大模型为什么会产生幻觉？怎么缓解？

详细解析#

两类幻觉#

开发者最常遇到的是编造 API 和依赖包。有研究发现，模型会反复编造同样的、并不存在的包名，攻击者可以抢先注册同名的恶意包，所以 AI 建议安装的依赖要先核实。

为什么会产生#

1. 生成机制：模型每一步只是在预测最可能的下一个 token。知识以统计关联的形式隐含在参数里，少见的事实记得很模糊，但它仍然能生成通顺的句子
2. 数据问题：训练数据里没有（私有知识、长尾知识）、已经过时（训练截止之后发生的事），或者本身就有错误
3. 训练激励：如果训练和评测中"猜一个答案"比"说不知道"得分更高，模型就会倾向于自信地给出答案
4. 解码随机性：采样可能选中概率较低的错误 token，之后的生成会顺着这个错误继续展开，越写越偏
5. 上下文问题：资料不全或互相矛盾；问题带有错误前提（如"为什么 X 比 Y 快"，而 X 其实并不比 Y 快）；关键信息埋在长上下文的中间

缓解手段#

工程上怎么落地#

• Prompt：要求"只根据 <documents> 中的资料回答，资料不足时直接说明无法确定，每个结论后标注引用的资料编号"
• 校验：检查引用编号是否存在、引用的原句是否真的出现在资料里；用模型打分检查回答是否忠实于资料，见 LLM-as-a-Judge
• 评测：评测集里放一些"资料中没有答案"的问题，看模型会不会编，见 RAG 系统怎么评估
• 产品：展示来源链接，提示内容由 AI 生成，提供纠错反馈的入口

代码示例#

要求模型按固定结构输出答案和引用，再用程序校验引用是否真的出自原文：

interface AnswerWithCitations {
  answer: string
  citations: { docId: string; quote: string }[] // quote 要求是资料中的原句
}

function verifyCitations(output: AnswerWithCitations, docs: Map<string, string>) {
  const invalid = output.citations.filter((c) => !docs.get(c.docId)?.includes(c.quote.trim()))
  // 有引用对不上原文：可以重新生成、删掉对应的结论，或者标记为"待核实"
  return { ok: output.citations.length > 0 && invalid.length === 0, invalid }
}

面试官可能追问#

易错点#

• 幻觉不只是"知识不够"：资料就在上下文里，模型也可能答错
• 要求"给出引用"不等于有了保障，引用本身也要校验
• 让同一个模型"再检查一遍"效果有限，最好有外部依据（检索结果、工具、规则）
• 不要对用户承诺"已消除幻觉"，只能降低它出现的概率和影响