预训练、指令微调和人类反馈对齐分别做了什么？

详细解析#

三个阶段对比#

预训练通常占训练算力的大头；后两个阶段的数据量小得多，却决定了模型"好不好用"。

为什么基础模型直接用不好用#

基础模型只学会了"接着写"，并不知道自己应该"回答"：

输入：法国的首都是哪里？

基础模型可能的续写：德国的首都是哪里？英国的首都是哪里？……
（训练语料里这类问题常出现在题目列表中，它就按列表的样子续写下去）

对话模型的回答：法国的首都是巴黎。

基础模型也不懂对话的角色格式，不会拒绝有害请求，输出风格也不可控。它主要用作继续训练的起点，或者在研究中通过精心设计的续写格式来使用。

偏好对齐：RLHF 和 DPO#

RLHF（基于人类反馈的强化学习）分三步：

1. 收集偏好：同一个 Prompt 让模型生成多个回答，由标注员比较哪个更好
2. 训练奖励模型：输入问题和回答，输出一个分数，让被偏好的回答得分更高
3. 强化学习：模型生成回答，奖励模型打分，用 PPO 等算法更新模型；同时加 KL 约束，限制模型不要偏离 SFT 模型太远

DPO（直接偏好优化）跳过奖励模型和强化学习，直接用"好回答、差回答"成对的数据训练：相对于一个参考模型，提高好回答的概率、降低差回答的概率。它实现简单、训练稳定、成本更低，很多开源模型都在使用。

偏好数据也可以由 AI 按事先写好的原则来标注（RLAIF），以减少人工成本。推理模型还会在数学、代码这类答案可以自动验证的任务上做大规模强化学习，见 思维链和推理模型。

对应用开发者意味着什么#

• 应用团队说的"微调"基本都是 SFT（多用 LoRA 这类参数高效的方法），有时再加上 DPO；预训练成本极高，几乎不会自己做，见 微调、RAG 和 Prompt 工程怎么选
• 一个常见的观点是：知识主要来自预训练，SFT 更多是教会模型"用什么格式和方式回答"。想给模型补充知识，优先考虑 RAG

代码示例#

SFT 和 DPO 训练数据的常见格式（字段名因框架和平台而异）：

{
  "sft_example": {
    "messages": [
      { "role": "system", "content": "你是电商客服，回答简洁礼貌" },
      { "role": "user", "content": "下单后多久发货？" },
      { "role": "assistant", "content": "现货商品一般在付款后 48 小时内发货，预售商品以页面标注的时间为准。" }
    ]
  },
  "dpo_example": {
    "prompt": "用一句话解释什么是闭包",
    "chosen": "闭包是函数和它定义时所在词法作用域的组合，函数在作用域之外执行时，仍能访问其中的变量。",
    "rejected": "闭包就是函数里面套一个函数。"
  }
}

面试官可能追问#

易错点#

• SFT 和预训练的训练目标都是预测下一个 token，区别在数据和计算损失的范围
• RLHF 里的人类反馈主要用来训练奖励模型，不是每一步都有人打分
• 对齐不只是"安全"，也包括有帮助、诚实、遵循指令
• 基础模型不是"差模型"，它只是还没学会对话