大模型应用有哪些评测指标？

详细解析#

有确定答案的任务#

• 准确率：整体答对的比例。类别不平衡时会误导：95% 的邮件是正常邮件，全部判成"正常"，准确率也有 95%
• 精确率、召回率、F1：精确率是判为某类的样本中真正属于这类的比例，召回率是真正属于这类的样本中被找出来的比例，F1 = 2PR / (P + R)。多分类时按类别分别计算，再做宏平均（各类别直接平均）或微平均（先汇总计数再计算）
• 抽取任务：按字段比较，比较前先规范化（去空格、统一日期格式和大小写）；人名列表这类多值字段，用集合计算精确率和召回率
• 结构化输出：JSON 能否解析、是否符合 Schema
• 工具调用：是否选对了工具、参数是否正确

开放生成的任务#

• BLEU、ROUGE：统计输出和参考答案之间 n-gram（连续 n 个词）的重合程度。BLEU 偏重精确率，来自机器翻译；ROUGE 偏重召回率，来自自动摘要
• 它们的局限：同义改写会被扣分，而"支持"和"不支持"只差一个字，重合度却很高；一个问题往往有多种好的回答，一个参考答案覆盖不了；中文还要先分词。所以只适合作为参考
• 语义相似度：用 Embedding 计算输出和参考答案的余弦相似度，能容忍换说法，但对否定、数字这类关键细节同样不敏感
• 模型打分：按维度让评委模型打分，这是开放生成任务的主要手段（见 LLM-as-a-Judge）

业务指标和性能指标#

• 业务指标：采纳率（代码补全被接受、生成的回复被直接发送）、解决率（客服对话不转人工就结束）、转人工率、满意度、点踩率、重新生成率
• 性能指标：首 token 延迟和总耗时的 P95、P99，每次请求的 token 数和费用，每个成功任务的成本，错误率和超时率（见 首 Token 延迟、成本估算）

按任务选指标#

代码示例#

多值字段（如抽取出的所有人名）在整个评测集上计算微平均的精确率、召回率和 F1：

const normalize = (s: string) => s.trim().toLowerCase()

function microPRF(samples: { predicted: string[]; expected: string[] }[]) {
  let tp = 0
  let predicted = 0
  let expected = 0
  for (const s of samples) {
    const P = new Set(s.predicted.map(normalize))
    const E = new Set(s.expected.map(normalize))
    tp += [...P].filter((x) => E.has(x)).length // 抽对的数量
    predicted += P.size
    expected += E.size
  }
  const precision = predicted ? tp / predicted : 0
  const recall = expected ? tp / expected : 0
  const f1 = precision + recall ? (2 * precision * recall) / (precision + recall) : 0
  return { precision, recall, f1 }
}

面试官可能追问#

易错点#

• 用 BLEU、ROUGE 评价对话或问答的质量
• 类别不平衡时只看准确率
• 只看质量不看成本和延迟，更强的模型往往也更慢、更贵
• 只看平均值：延迟要看 P95、P99，质量要看表现最差的那一类问题