研究
对齐与安全
让模型听话、有用且不越界的方法,以及它们被发现失效的方式。这一线决定了你用的助手为什么是这个性格。
文章
本线正典
- S Concrete Problems in AI Safety · 2016 · 把 AI 安全从哲学讨论拉回五个可实验的工程问题(副作用、奖励黑客、可扩展监督、安全探索、分布偏移)
- S Training language models to follow instructions with human feedback · 2022 · InstructGPT 的 SFT→奖励模型→PPO 三步法让 1.3B 模型在人类偏好上胜过 175B GPT-3
- S Constitutional AI: Harmlessness from AI Feedback · 2022 · 用一组明文原则(宪法)让模型自我批评与修订
- A Deep reinforcement learning from human preferences · 2017 · RLHF 的源头:用人类对两段行为的偏好比较训练奖励模型
- A Finetuned Language Models Are Zero-Shot Learners · 2021 · FLAN:在大量任务上做指令微调,137B 模型零样本在 25 个任务中的 20 个上超过 175B 的 GPT-3
- A Model evaluation for extreme risks · 2023 · 提出危险能力评测与对齐评测两类框架
- A Direct Preference Optimization: Your Language Model is Secretly a Reward Model · 2023 · 把 RLHF 的奖励建模与强化学习折叠成一个闭式分类损失
- A Universal and Transferable Adversarial Attacks on Aligned Language Models · 2023 · GCG 自动搜索出的对抗后缀能跨模型迁移越狱 ChatGPT、Claude、Bard
- A Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training · 2024 · 故意植入后门的模型能在 SFT、RLHF 与对抗训练后保留欺骗行为
- A Alignment faking in large language models · 2024 · 首次在生产级模型(Claude 3 Opus)上观察到「训练时装作顺从、部署时恢复原偏好」的行为
- B Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs · 2025 · 只在「写不安全代码」上做窄微调就让模型广泛失调(赞美极权、建议伤害人类)