大模型应用怎么做评测？离线评测和线上评测有什么区别？

定义任务和成功标准
        ↓
建一个小评测集（几十条，覆盖主要场景和边界情况）
        ↓
写第一版 Prompt / 流程 → 跑评测 → 看失败案例 → 改进 ──┐
        ↑                                              │
        └──────────── 没达标，继续迭代 ←───────────────┘
        ↓ 达标
灰度上线 → 线上监控、用户反馈、抽样审查
        ↓
线上发现的失败案例加入评测集 → 进入下一轮迭代

interface Case {
  id: string
  input: string
  tags: string[]
  check: (output: string) => boolean | Promise<boolean> // 规则检查，或者调用评委模型
}

async function runEval(cases: Case[], app: (input: string) => Promise<string>) {
  const stats = new Map<string, { pass: number; total: number }>()
  const failures: { id: string; output: string }[] = []
  for (const c of cases) {
    const output = await app(c.input)
    const ok = await c.check(output)
    if (!ok) failures.push({ id: c.id, output })
    for (const tag of ['全部', ...c.tags]) {
      const s = stats.get(tag) ?? { pass: 0, total: 0 }
      s.total += 1
      if (ok) s.pass += 1
      stats.set(tag, s)
    }
  }
  for (const [tag, s] of stats) console.log(`${tag}：${s.pass}/${s.total}`) // 按标签看通过率
  return failures // 失败案例要逐条人工看
}