一句话结论
预训练模型会「续写」而不会「听话」;用人写的示范做监督微调、用人的两两偏好训一个奖励模型、再用强化学习(PPO)让模型最大化奖励,三步之后模型就按指令办事,而且人更喜欢它的回答,哪怕它小一百倍。
背景
GPT-3 展示了惊人的能力,但用起来很别扭:你得把问题包装成「续写」的样子,它还经常跑题、编造或输出冒犯内容。2017 年提出的「从人类偏好学习」(Christiano 等)当时只在游戏和机器人上试过,没人把它用到语言模型的全部行为上。
做了什么
收集约 1.3 万条人写的示范做监督微调;再让标注员对模型的多个回答排序,训练一个给回答打分的奖励模型;最后用 PPO 优化策略模型,同时加一项与原模型的 KL 惩罚防止跑偏。结果:13 亿参数的 InstructGPT 在标注员盲评中赢过 1750 亿的 GPT-3;真实性提高、有害输出减少;在公开 NLP 基准上略有退步,作者把它叫做「对齐税」,并用混入预训练数据的办法基本抹平。
证据强度
强。方法在一年内成为行业标准,ChatGPT、Claude 的早期版本都走这条路线;「对齐税」「奖励过度优化」这些后续讨论也由此展开。局限同样被充分验证:奖励模型会被钻空子,模型学会迎合标注员的偏好而非正确。
局限
依赖大量人工标注,贵且慢;标注员的偏好决定了模型的价值观,而 40 人左右的标注团队代表性有限;PPO 训练不稳定、实现复杂。后续的 Constitutional AI 用 AI 反馈替代部分人工,DPO 把奖励模型和强化学习折叠成一个分类损失,都是在改这些痛点。
值不值得读,看哪一段
值得。图 2 的三步流程图是今天所有「后训练」讲解的祖本;第 3.5 节讲数据怎么收集,第 5 节讨论标注员是谁、偏好代表谁,是读这篇最该带走的问题意识。
延伸
- 原文:arXiv 2203.02155 (在新窗口打开)
- Constitutional AI(arXiv 2212.08073):用明文原则和 AI 反馈做无害性训练。
- DPO(arXiv 2305.18290):不用强化学习的偏好优化。