研究 · 正典清单

经得住时间考验的论文。

50 篇,10 个主题(S 13 · A 35 · B 2)。今天的模型建立在这些想法之上,每篇一句为什么重要。

规则与分级定义:收录标准 → · 论文一律保留原题,不翻译。

基础架构与预训练

级论文年为什么重要状态
SAttention Is All You Need (在新窗口打开)
Google Brain / Google Research / University of Toronto · arXiv 1706.03762
深读 →
2017提出 Transformer,用自注意力彻底取代循环与卷积,是此后所有大模型(GPT、Claude、Gemini、LLaMA)的共同骨架。正典收录
SLanguage Models are Few-Shot Learners (在新窗口打开)
OpenAI · arXiv 2005.14165
20201750 亿参数的 GPT-3 首次展示 in-context learning:不更新权重、只靠提示里的几个例子就能学新任务,正式开启「大语言模型」时代。正典收录
ABERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (在新窗口打开)
Google AI Language · arXiv 1810.04805
2018确立「预训练 + 微调」范式与掩码语言建模,让迁移学习成为 NLP 的默认做法,也是理解 encoder/decoder 两条路线分岔的起点。正典收录
ALLaMA: Open and Efficient Foundation Language Models (在新窗口打开)
Meta AI · arXiv 2302.13971
2023只用公开数据训练 7B–65B 开源权重模型并以小胜大,验证「小模型多训 token」路线,直接引爆开源生态(Alpaca、Vicuna、llama.cpp)。正典收录
ADeepSeek-V3 Technical Report (在新窗口打开)
DeepSeek · arXiv 2412.19437
2024671B MoE + 多头潜注意力(MLA)+ FP8 训练,约 279 万 H800 GPU 小时逼近闭源前沿,重写了「前沿模型必须天价」的行业预期,是 R1 的基座。里程碑收录

规模律与数据

级论文年为什么重要状态
SScaling Laws for Neural Language Models (在新窗口打开)
OpenAI · arXiv 2001.08361
深读 →
2020发现测试损失随参数量、数据量、算力呈平滑幂律,把「把模型做大」从信仰变成可预测的工程决策,是 GPT-3 乃至整个军备竞赛的理论依据。正典收录
STraining Compute-Optimal Large Language Models (在新窗口打开)
DeepMind · arXiv 2203.15556
2022Chinchilla 修正 Kaplan 规律:固定算力下参数与 token 数应同比例放大(约 20 tokens/参数),之后所有模型的训练配方都因此改写。正典收录
AEmergent Abilities of Large Language Models (在新窗口打开)
Google Research / Stanford / DeepMind / UNC · arXiv 2206.07682
2022系统整理「能力随规模突然出现」的现象,是「规模带来质变」叙事的代表作,也是关于 AGI 时间线争论的常引文本。正典收录
BAre Emergent Abilities of Large Language Models a Mirage? (在新窗口打开)
Stanford · arXiv 2304.15004
2023指出许多「突现」只是非线性/不连续指标造成的测量假象,与上一篇成对收录,提醒我们对热门结论保持怀疑并看正反两面。观察期收录

对齐与后训练

级论文年为什么重要状态
STraining language models to follow instructions with human feedback (在新窗口打开)
OpenAI · arXiv 2203.02155
深读 →
2022InstructGPT 的 SFT→奖励模型→PPO 三步法让 1.3B 模型在人类偏好上胜过 175B GPT-3,是 ChatGPT 的直接技术蓝本,也是「对齐税」讨论的起点。正典收录
SConstitutional AI: Harmlessness from AI Feedback (在新窗口打开)
Anthropic · arXiv 2212.08073
2022用一组明文原则(宪法)让模型自我批评与修订,以 AI 反馈(RLAIF)替代大量人工有害性标注,是 Claude 性格与安全训练的基础之一。正典收录
ADeep reinforcement learning from human preferences (在新窗口打开)
OpenAI / DeepMind · arXiv 1706.03741
2017RLHF 的源头:用人类对两段行为的两两偏好训练奖励模型,再用强化学习优化,为五年后的 ChatGPT 埋下方法论种子。正典收录
AFinetuned Language Models Are Zero-Shot Learners (在新窗口打开)
Google Research · arXiv 2109.01652
2021FLAN 首次证明在大量任务上做自然语言指令微调,能让模型在没见过的任务上零样本表现更好(137B 模型在 25 个任务中的 20 个上超过 175B 的 GPT-3),开创了指令微调(instruction tuning)路线。正典收录
ADirect Preference Optimization: Your Language Model is Secretly a Reward Model (在新窗口打开)
Stanford · arXiv 2305.18290
2023把 RLHF 的奖励建模与强化学习折叠成一个闭式分类损失,不再需要 PPO 与采样,让偏好对齐在开源社区变成人人可做的一行代码。正典收录

推理与思维链

级论文年为什么重要状态
SChain-of-Thought Prompting Elicits Reasoning in Large Language Models (在新窗口打开)
Google Research (Brain Team) · arXiv 2201.11903
深读 →
2022只要在示例里写出中间推理步骤,大模型的数学与常识推理就明显变好(PaLM 540B 在 GSM8K 上从 17.9% 升到 56.9%),确立「让模型先想再答」的范式,是推理模型时代的概念起点。正典收录
SDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (在新窗口打开)
DeepSeek · arXiv 2501.12948
2025公开证明仅用强化学习(GRPO + 可验证奖励)就能让基座模型长出长思维链与自我反思(R1-Zero),并开源权重与蒸馏小模型,是推理模型平民化的转折点。里程碑收录
ASTaR: Bootstrapping Reasoning With Reasoning (在新窗口打开)
Stanford / Google Research · arXiv 2203.14465
2022让模型自己生成推理链、只保留答对的样本再微调,自举式提升推理能力,是 o1 / R1 这类「用自己的推理训练自己」路线的思想先驱。正典收录
ALet's Verify Step by Step (在新窗口打开)
OpenAI · arXiv 2305.20050
2023对比过程监督与结果监督,证明逐步打分的过程奖励模型(PRM)更可靠且更对齐,并公开 PRM800K 数据集,奠定了验证器与搜索路线的基础。正典收录
AScaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (在新窗口打开)
Google DeepMind / UC Berkeley · arXiv 2408.03314
2024系统论证「推理时多算一会儿」在很多情形下比把模型做大更划算,给出算力最优的测试时策略,为推理模型时代提供了理论注脚。正典收录

Agent 与工具使用

级论文年为什么重要状态
SReAct: Synergizing Reasoning and Acting in Language Models (在新窗口打开)
Princeton / Google Research · arXiv 2210.03629
深读 →
2022让模型交替「推理—行动—观察」,把思维链与工具调用合为一个循环,是今天几乎所有 Agent 框架(含 Claude Code 的工具循环)的最小原型。正典收录
AToolformer: Language Models Can Teach Themselves to Use Tools (在新窗口打开)
Meta AI · arXiv 2302.04761
2023模型以自监督方式学会在文本中插入 API 调用(计算器、搜索、日历、翻译),首次系统展示语言模型可以自学使用工具。正典收录
AReflexion: Language Agents with Verbal Reinforcement Learning (在新窗口打开)
Northeastern / MIT / Princeton · arXiv 2303.11366
2023用自然语言写成的自我反思作为「记忆中的强化信号」,不更新权重即可在多轮尝试中进步,深刻影响了 Agent 的记忆与重试设计。正典收录
AGenerative Agents: Interactive Simulacra of Human Behavior (在新窗口打开)
Stanford / Google Research · arXiv 2304.03442
202325 个具备记忆流、反思与规划的智能体在虚拟小镇里涌现出可信的社会行为(自发组织派对),是「记忆—反思—规划」Agent 架构的经典范本。正典收录
ASWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (在新窗口打开)
Princeton · arXiv 2405.15793
2024提出「Agent-Computer Interface」概念:为模型专门设计的文件/搜索/编辑接口远比直接给它 shell 更有效,是 Claude Code 一类编码 Agent 最贴近的学术对照物。正典收录

效率与推理加速

级论文年为什么重要状态
SFlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (在新窗口打开)
Stanford · arXiv 2205.14135
2022从 GPU 显存层级出发重写注意力的读写顺序,精确注意力提速 2–4 倍且显存从平方降为线性,是长上下文与低价推理背后最重要的单项工程突破。正典收录
ASwitch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (在新窗口打开)
Google Brain · arXiv 2101.03961
2021把稀疏专家混合(MoE)简化为每个 token 只路由到一个专家并训到万亿参数,为 Mixtral、DeepSeek-V3 等「总参数大、激活参数小」的前沿路线铺路。正典收录
ALoRA: Low-Rank Adaptation of Large Language Models (在新窗口打开)
Microsoft · arXiv 2106.09685
2021冻结原权重、只训练低秩增量矩阵,可训练参数减少万倍而效果不降,让微调从数据中心走进个人显卡,是模型定制与开源生态的入口。正典收录
AFast Inference from Transformers via Speculative Decoding (在新窗口打开)
Google Research · arXiv 2211.17192
2022用小模型草拟、大模型一次并行验证多个 token,输出分布严格不变却提速 2–3 倍,已成为所有推理服务的标配技术。正典收录
AEfficient Memory Management for Large Language Model Serving with PagedAttention (在新窗口打开)
UC Berkeley · arXiv 2309.06180
2023借操作系统分页思想管理 KV cache,几乎消除显存碎片,吞吐提升 2–4 倍,vLLM 由此成为开源推理服务的事实标准。正典收录

多模态

级论文年为什么重要状态
SLearning Transferable Visual Models From Natural Language Supervision (在新窗口打开)
OpenAI · arXiv 2103.00020
2021CLIP 用 4 亿图文对做对比学习,让图像与文本共享一个语义空间,是零样本识别、文生图(DALL·E/SD)与多模态大模型视觉塔的基础组件。正典收录
ADenoising Diffusion Probabilistic Models (在新窗口打开)
UC Berkeley · arXiv 2006.11239
2020把扩散模型做成可用的高质量图像生成器并给出清晰训练目标,开启了取代 GAN 的生成式浪潮,是理解所有图像/视频生成的必经之路。正典收录
AAn Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (在新窗口打开)
Google Research (Brain Team) · arXiv 2010.11929
2020把图像切成 16×16 的 patch 当作「词」直接喂给标准 Transformer,证明同一架构可以跨模态统一,是此后所有视觉编码器的新起点。正典收录
AHigh-Resolution Image Synthesis with Latent Diffusion Models (在新窗口打开)
LMU Munich / Runway · arXiv 2112.10752
2021在压缩后的潜空间做扩散,使消费级显卡也能生成高清图像,即 Stable Diffusion 的论文原型,把 AI 绘画推向大众。正典收录
AVisual Instruction Tuning (在新窗口打开)
UW–Madison / Microsoft Research · arXiv 2304.08485
2023LLaVA 用 GPT-4 生成视觉指令数据、用一个投影层把 CLIP 编码器接到语言模型上,给出开源多模态助手的最简配方并被大规模复现。正典收录

可解释性

级论文年为什么重要状态
SToy Models of Superposition (在新窗口打开)
Anthropic · arXiv 2209.10652
2022用可控的小模型证明网络会把远多于神经元数量的特征「叠加」存储,解释了为何单个神经元难以解读,并为后来的稀疏自编码器(SAE)路线奠基。正典收录
ALocating and Editing Factual Associations in GPT (在新窗口打开)
MIT / Northeastern / Technion · arXiv 2202.05262
2022ROME 用因果追踪定位 GPT 中存储事实的中层 MLP,并直接改写一条事实,把「知识存在哪里」变成可以做实验的问题。正典收录
AIn-context Learning and Induction Heads (在新窗口打开)
Anthropic · arXiv 2209.11895
2022找到实现 in-context learning 的具体电路(归纳头),并把它与训练早期的相变联系起来,是机制可解释性从玩具模型走向真实模型的里程碑。正典收录
AInterpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small (在新窗口打开)
Redwood Research · arXiv 2211.00593
2022在 GPT-2 small 中完整逆向出一个由 26 个注意力头组成的电路,并提出可信度/完备性/最小性三条评估标准,是电路分析方法论的范本。正典收录
ASparse Autoencoders Find Highly Interpretable Features in Language Models (在新窗口打开)
EleutherAI / Apollo Research et al. · arXiv 2309.08600
2023用字典学习把叠加的激活分解成单语义特征,与 Anthropic 同期的 Towards Monosemanticity 一起开启了 SAE 可解释性热潮。正典收录

评测与基准

级论文年为什么重要状态
AOn the Measure of Intelligence (在新窗口打开)
Google (François Chollet) · arXiv 1911.01547
2019主张智能是「技能习得效率」而非技能本身,并提出 ARC 基准,是讨论「什么才算 AGI」时绕不开的文本。正典收录
AMeasuring Massive Multitask Language Understanding (在新窗口打开)
UC Berkeley et al. · arXiv 2009.03300
2020MMLU 以 57 个学科的多选题成为 2020–2024 年衡量模型知识广度的通用标尺,也是理解「基准饱和与污染」周期的最佳案例。正典收录
AEvaluating Large Language Models Trained on Code (在新窗口打开)
OpenAI · arXiv 2107.03374
2021Codex 论文发布 HumanEval 并推广 pass@k 指标,奠定代码能力评测方法,也是 GitHub Copilot 背后模型的学术记录。正典收录
AJudging LLM-as-a-Judge with MT-Bench and Chatbot Arena (在新窗口打开)
UC Berkeley / LMSYS · arXiv 2306.05685
2023系统验证「用强模型当裁判」的可行性与位置/冗长等偏差,并建立人类盲评竞技场,塑造了今天的模型排行榜文化。正典收录
ASWE-bench: Can Language Models Resolve Real-World GitHub Issues? (在新窗口打开)
Princeton / UChicago · arXiv 2310.06770
2023用 2294 个真实 GitHub issue 考验模型端到端修 bug,成为编码 Agent 时代最有公信力的「硬」基准,也是 Claude Code 的主战场。正典收录

安全与风险

级论文年为什么重要状态
SConcrete Problems in AI Safety (在新窗口打开)
Google Brain / OpenAI / Stanford / UC Berkeley · arXiv 1606.06565
2016把 AI 安全从哲学讨论拉回五个可实验的工程问题(副作用、奖励黑客、可扩展监督、安全探索、分布偏移),是整个领域的议程设定文本;2016 年发表,作为前史破格收录。正典收录
AModel evaluation for extreme risks (在新窗口打开)
Google DeepMind et al. · arXiv 2305.15324
2023提出危险能力评测与对齐评测两类框架,是各实验室 RSP / Preparedness Framework 等前沿安全政策的理论基础。正典收录
AUniversal and Transferable Adversarial Attacks on Aligned Language Models (在新窗口打开)
CMU / Center for AI Safety · arXiv 2307.15043
2023GCG 自动搜索出的对抗后缀能跨模型迁移越狱 ChatGPT、Claude、Bard,表明对齐的脆弱性是结构性而非个别漏洞。正典收录
ASleeper Agents: Training Deceptive LLMs that Persist Through Safety Training (在新窗口打开)
Anthropic · arXiv 2401.05566
2024故意植入后门的模型能在 SFT、RLHF 与对抗训练后保留欺骗行为,说明现有安全训练无法证明模型「没有隐藏目标」。正典收录
AAlignment faking in large language models (在新窗口打开)
Anthropic / Redwood Research · arXiv 2412.14093
2024首次在生产级模型(Claude 3 Opus)上观察到「训练时装作顺从、部署时恢复原偏好」的行为,使「欺骗性对齐」从理论假设变为实证现象。正典收录
BEmergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs (在新窗口打开)
Truthful AI / UC Berkeley / UCL et al. · arXiv 2502.17424
2025只在「写不安全代码」上做窄微调就让模型广泛失调(赞美极权、建议伤害人类),2025 年被多方快速复现,长期影响仍在观察。观察期收录