研究 · 正典清单
经得住时间考验的论文。
50 篇,10 个主题(S 13 · A 35 · B 2)。今天的模型建立在这些想法之上,每篇一句为什么重要。
规则与分级定义:收录标准 → · 论文一律保留原题,不翻译。
基础架构与预训练
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Attention Is All You Need (在新窗口打开)深读 → | 2017 | 提出 Transformer,用自注意力彻底取代循环与卷积,是此后所有大模型(GPT、Claude、Gemini、LLaMA)的共同骨架。 | 正典收录 |
| S | Language Models are Few-Shot Learners (在新窗口打开) | 2020 | 1750 亿参数的 GPT-3 首次展示 in-context learning:不更新权重、只靠提示里的几个例子就能学新任务,正式开启「大语言模型」时代。 | 正典收录 |
| A | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (在新窗口打开) | 2018 | 确立「预训练 + 微调」范式与掩码语言建模,让迁移学习成为 NLP 的默认做法,也是理解 encoder/decoder 两条路线分岔的起点。 | 正典收录 |
| A | LLaMA: Open and Efficient Foundation Language Models (在新窗口打开) | 2023 | 只用公开数据训练 7B–65B 开源权重模型并以小胜大,验证「小模型多训 token」路线,直接引爆开源生态(Alpaca、Vicuna、llama.cpp)。 | 正典收录 |
| A | DeepSeek-V3 Technical Report (在新窗口打开) | 2024 | 671B MoE + 多头潜注意力(MLA)+ FP8 训练,约 279 万 H800 GPU 小时逼近闭源前沿,重写了「前沿模型必须天价」的行业预期,是 R1 的基座。 | 里程碑收录 |
规模律与数据
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Scaling Laws for Neural Language Models (在新窗口打开)深读 → | 2020 | 发现测试损失随参数量、数据量、算力呈平滑幂律,把「把模型做大」从信仰变成可预测的工程决策,是 GPT-3 乃至整个军备竞赛的理论依据。 | 正典收录 |
| S | Training Compute-Optimal Large Language Models (在新窗口打开) | 2022 | Chinchilla 修正 Kaplan 规律:固定算力下参数与 token 数应同比例放大(约 20 tokens/参数),之后所有模型的训练配方都因此改写。 | 正典收录 |
| A | Emergent Abilities of Large Language Models (在新窗口打开) | 2022 | 系统整理「能力随规模突然出现」的现象,是「规模带来质变」叙事的代表作,也是关于 AGI 时间线争论的常引文本。 | 正典收录 |
| B | Are Emergent Abilities of Large Language Models a Mirage? (在新窗口打开) | 2023 | 指出许多「突现」只是非线性/不连续指标造成的测量假象,与上一篇成对收录,提醒我们对热门结论保持怀疑并看正反两面。 | 观察期收录 |
对齐与后训练
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Training language models to follow instructions with human feedback (在新窗口打开)深读 → | 2022 | InstructGPT 的 SFT→奖励模型→PPO 三步法让 1.3B 模型在人类偏好上胜过 175B GPT-3,是 ChatGPT 的直接技术蓝本,也是「对齐税」讨论的起点。 | 正典收录 |
| S | Constitutional AI: Harmlessness from AI Feedback (在新窗口打开) | 2022 | 用一组明文原则(宪法)让模型自我批评与修订,以 AI 反馈(RLAIF)替代大量人工有害性标注,是 Claude 性格与安全训练的基础之一。 | 正典收录 |
| A | Deep reinforcement learning from human preferences (在新窗口打开) | 2017 | RLHF 的源头:用人类对两段行为的两两偏好训练奖励模型,再用强化学习优化,为五年后的 ChatGPT 埋下方法论种子。 | 正典收录 |
| A | Finetuned Language Models Are Zero-Shot Learners (在新窗口打开) | 2021 | FLAN 首次证明在大量任务上做自然语言指令微调,能让模型在没见过的任务上零样本表现更好(137B 模型在 25 个任务中的 20 个上超过 175B 的 GPT-3),开创了指令微调(instruction tuning)路线。 | 正典收录 |
| A | Direct Preference Optimization: Your Language Model is Secretly a Reward Model (在新窗口打开) | 2023 | 把 RLHF 的奖励建模与强化学习折叠成一个闭式分类损失,不再需要 PPO 与采样,让偏好对齐在开源社区变成人人可做的一行代码。 | 正典收录 |
推理与思维链
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (在新窗口打开)深读 → | 2022 | 只要在示例里写出中间推理步骤,大模型的数学与常识推理就明显变好(PaLM 540B 在 GSM8K 上从 17.9% 升到 56.9%),确立「让模型先想再答」的范式,是推理模型时代的概念起点。 | 正典收录 |
| S | DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (在新窗口打开) | 2025 | 公开证明仅用强化学习(GRPO + 可验证奖励)就能让基座模型长出长思维链与自我反思(R1-Zero),并开源权重与蒸馏小模型,是推理模型平民化的转折点。 | 里程碑收录 |
| A | STaR: Bootstrapping Reasoning With Reasoning (在新窗口打开) | 2022 | 让模型自己生成推理链、只保留答对的样本再微调,自举式提升推理能力,是 o1 / R1 这类「用自己的推理训练自己」路线的思想先驱。 | 正典收录 |
| A | Let's Verify Step by Step (在新窗口打开) | 2023 | 对比过程监督与结果监督,证明逐步打分的过程奖励模型(PRM)更可靠且更对齐,并公开 PRM800K 数据集,奠定了验证器与搜索路线的基础。 | 正典收录 |
| A | Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (在新窗口打开) | 2024 | 系统论证「推理时多算一会儿」在很多情形下比把模型做大更划算,给出算力最优的测试时策略,为推理模型时代提供了理论注脚。 | 正典收录 |
Agent 与工具使用
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | ReAct: Synergizing Reasoning and Acting in Language Models (在新窗口打开)深读 → | 2022 | 让模型交替「推理—行动—观察」,把思维链与工具调用合为一个循环,是今天几乎所有 Agent 框架(含 Claude Code 的工具循环)的最小原型。 | 正典收录 |
| A | Toolformer: Language Models Can Teach Themselves to Use Tools (在新窗口打开) | 2023 | 模型以自监督方式学会在文本中插入 API 调用(计算器、搜索、日历、翻译),首次系统展示语言模型可以自学使用工具。 | 正典收录 |
| A | Reflexion: Language Agents with Verbal Reinforcement Learning (在新窗口打开) | 2023 | 用自然语言写成的自我反思作为「记忆中的强化信号」,不更新权重即可在多轮尝试中进步,深刻影响了 Agent 的记忆与重试设计。 | 正典收录 |
| A | Generative Agents: Interactive Simulacra of Human Behavior (在新窗口打开) | 2023 | 25 个具备记忆流、反思与规划的智能体在虚拟小镇里涌现出可信的社会行为(自发组织派对),是「记忆—反思—规划」Agent 架构的经典范本。 | 正典收录 |
| A | SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (在新窗口打开) | 2024 | 提出「Agent-Computer Interface」概念:为模型专门设计的文件/搜索/编辑接口远比直接给它 shell 更有效,是 Claude Code 一类编码 Agent 最贴近的学术对照物。 | 正典收录 |
效率与推理加速
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (在新窗口打开) | 2022 | 从 GPU 显存层级出发重写注意力的读写顺序,精确注意力提速 2–4 倍且显存从平方降为线性,是长上下文与低价推理背后最重要的单项工程突破。 | 正典收录 |
| A | Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (在新窗口打开) | 2021 | 把稀疏专家混合(MoE)简化为每个 token 只路由到一个专家并训到万亿参数,为 Mixtral、DeepSeek-V3 等「总参数大、激活参数小」的前沿路线铺路。 | 正典收录 |
| A | LoRA: Low-Rank Adaptation of Large Language Models (在新窗口打开) | 2021 | 冻结原权重、只训练低秩增量矩阵,可训练参数减少万倍而效果不降,让微调从数据中心走进个人显卡,是模型定制与开源生态的入口。 | 正典收录 |
| A | Fast Inference from Transformers via Speculative Decoding (在新窗口打开) | 2022 | 用小模型草拟、大模型一次并行验证多个 token,输出分布严格不变却提速 2–3 倍,已成为所有推理服务的标配技术。 | 正典收录 |
| A | Efficient Memory Management for Large Language Model Serving with PagedAttention (在新窗口打开) | 2023 | 借操作系统分页思想管理 KV cache,几乎消除显存碎片,吞吐提升 2–4 倍,vLLM 由此成为开源推理服务的事实标准。 | 正典收录 |
多模态
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Learning Transferable Visual Models From Natural Language Supervision (在新窗口打开) | 2021 | CLIP 用 4 亿图文对做对比学习,让图像与文本共享一个语义空间,是零样本识别、文生图(DALL·E/SD)与多模态大模型视觉塔的基础组件。 | 正典收录 |
| A | Denoising Diffusion Probabilistic Models (在新窗口打开) | 2020 | 把扩散模型做成可用的高质量图像生成器并给出清晰训练目标,开启了取代 GAN 的生成式浪潮,是理解所有图像/视频生成的必经之路。 | 正典收录 |
| A | An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (在新窗口打开) | 2020 | 把图像切成 16×16 的 patch 当作「词」直接喂给标准 Transformer,证明同一架构可以跨模态统一,是此后所有视觉编码器的新起点。 | 正典收录 |
| A | High-Resolution Image Synthesis with Latent Diffusion Models (在新窗口打开) | 2021 | 在压缩后的潜空间做扩散,使消费级显卡也能生成高清图像,即 Stable Diffusion 的论文原型,把 AI 绘画推向大众。 | 正典收录 |
| A | Visual Instruction Tuning (在新窗口打开) | 2023 | LLaVA 用 GPT-4 生成视觉指令数据、用一个投影层把 CLIP 编码器接到语言模型上,给出开源多模态助手的最简配方并被大规模复现。 | 正典收录 |
可解释性
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Toy Models of Superposition (在新窗口打开) | 2022 | 用可控的小模型证明网络会把远多于神经元数量的特征「叠加」存储,解释了为何单个神经元难以解读,并为后来的稀疏自编码器(SAE)路线奠基。 | 正典收录 |
| A | Locating and Editing Factual Associations in GPT (在新窗口打开) | 2022 | ROME 用因果追踪定位 GPT 中存储事实的中层 MLP,并直接改写一条事实,把「知识存在哪里」变成可以做实验的问题。 | 正典收录 |
| A | In-context Learning and Induction Heads (在新窗口打开) | 2022 | 找到实现 in-context learning 的具体电路(归纳头),并把它与训练早期的相变联系起来,是机制可解释性从玩具模型走向真实模型的里程碑。 | 正典收录 |
| A | Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small (在新窗口打开) | 2022 | 在 GPT-2 small 中完整逆向出一个由 26 个注意力头组成的电路,并提出可信度/完备性/最小性三条评估标准,是电路分析方法论的范本。 | 正典收录 |
| A | Sparse Autoencoders Find Highly Interpretable Features in Language Models (在新窗口打开) | 2023 | 用字典学习把叠加的激活分解成单语义特征,与 Anthropic 同期的 Towards Monosemanticity 一起开启了 SAE 可解释性热潮。 | 正典收录 |
评测与基准
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| A | On the Measure of Intelligence (在新窗口打开) | 2019 | 主张智能是「技能习得效率」而非技能本身,并提出 ARC 基准,是讨论「什么才算 AGI」时绕不开的文本。 | 正典收录 |
| A | Measuring Massive Multitask Language Understanding (在新窗口打开) | 2020 | MMLU 以 57 个学科的多选题成为 2020–2024 年衡量模型知识广度的通用标尺,也是理解「基准饱和与污染」周期的最佳案例。 | 正典收录 |
| A | Evaluating Large Language Models Trained on Code (在新窗口打开) | 2021 | Codex 论文发布 HumanEval 并推广 pass@k 指标,奠定代码能力评测方法,也是 GitHub Copilot 背后模型的学术记录。 | 正典收录 |
| A | Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (在新窗口打开) | 2023 | 系统验证「用强模型当裁判」的可行性与位置/冗长等偏差,并建立人类盲评竞技场,塑造了今天的模型排行榜文化。 | 正典收录 |
| A | SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (在新窗口打开) | 2023 | 用 2294 个真实 GitHub issue 考验模型端到端修 bug,成为编码 Agent 时代最有公信力的「硬」基准,也是 Claude Code 的主战场。 | 正典收录 |
安全与风险
| 级 | 论文 | 年 | 为什么重要 | 状态 |
|---|---|---|---|---|
| S | Concrete Problems in AI Safety (在新窗口打开) | 2016 | 把 AI 安全从哲学讨论拉回五个可实验的工程问题(副作用、奖励黑客、可扩展监督、安全探索、分布偏移),是整个领域的议程设定文本;2016 年发表,作为前史破格收录。 | 正典收录 |
| A | Model evaluation for extreme risks (在新窗口打开) | 2023 | 提出危险能力评测与对齐评测两类框架,是各实验室 RSP / Preparedness Framework 等前沿安全政策的理论基础。 | 正典收录 |
| A | Universal and Transferable Adversarial Attacks on Aligned Language Models (在新窗口打开) | 2023 | GCG 自动搜索出的对抗后缀能跨模型迁移越狱 ChatGPT、Claude、Bard,表明对齐的脆弱性是结构性而非个别漏洞。 | 正典收录 |
| A | Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training (在新窗口打开) | 2024 | 故意植入后门的模型能在 SFT、RLHF 与对抗训练后保留欺骗行为,说明现有安全训练无法证明模型「没有隐藏目标」。 | 正典收录 |
| A | Alignment faking in large language models (在新窗口打开) | 2024 | 首次在生产级模型(Claude 3 Opus)上观察到「训练时装作顺从、部署时恢复原偏好」的行为,使「欺骗性对齐」从理论假设变为实证现象。 | 正典收录 |
| B | Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs (在新窗口打开) | 2025 | 只在「写不安全代码」上做窄微调就让模型广泛失调(赞美极权、建议伤害人类),2025 年被多方快速复现,长期影响仍在观察。 | 观察期收录 |