研究
奠基论文
今天所有大模型共用的骨架、让规模可预测的规律、把它们跑得更快更省的工程。读懂这一线,就能解释上下文、价格与速度的大部分现象。
文章
注意力就是全部:Transformer 如何改写了序列建模S
它把「按顺序读」换成「同时看全句、按相关性取信息」,让训练可以完全并行;此后所有大模型都长在这副骨架上。
深读规模律:为什么「把模型做大」从信仰变成了工程S
语言模型的损失随参数量、数据量与算力按平滑的幂律下降,三者之间有可预测的最优配比;它让扩大规模成为可以提前算账的决策。
精选本线正典
- S Attention Is All You Need · 2017 · 提出 Transformer
- S Scaling Laws for Neural Language Models · 2020 · 发现测试损失随参数量、数据量与算力按平滑幂律下降
- S Language Models are Few-Shot Learners · 2020 · 1750 亿参数的 GPT-3 只靠提示里的几个例子就能学会新任务,无需更新权重
- S Learning Transferable Visual Models From Natural Language Supervision · 2021 · CLIP 用 4 亿图文对做对比学习,让图像与文本共享一个语义空间
- S Training Compute-Optimal Large Language Models · 2022 · Chinchilla:固定算力下参数与数据应同比例放大(约 20 tokens/参数)
- S FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness · 2022 · 按 GPU 显存层级重排注意力的读写,精确注意力提速数倍且显存降为线性
- A BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding · 2018 · 确立「预训练 + 微调」范式与掩码语言建模
- A Denoising Diffusion Probabilistic Models · 2020 · 把扩散模型做成可用的高质量图像生成器并给出清晰训练目标
- A An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale · 2020 · 把图像切成 16×16 的 patch 当作「词」直接喂给标准 Transformer
- A Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity · 2021 · 把稀疏专家混合(MoE)简化为每个 token 只路由到一个专家并训到万亿参数
- A LoRA: Low-Rank Adaptation of Large Language Models · 2021 · 冻结原权重、只训练低秩增量矩阵,可训练参数最多减少一万倍而效果不降
- A High-Resolution Image Synthesis with Latent Diffusion Models · 2021 · 在压缩后的潜空间做扩散,消费级显卡也能生成高清图像
- A Emergent Abilities of Large Language Models · 2022 · 系统整理「能力随规模突然出现」的现象
- A Fast Inference from Transformers via Speculative Decoding · 2022 · 小模型草拟、大模型并行验证,输出分布不变而提速 2–3 倍
- A LLaMA: Open and Efficient Foundation Language Models · 2023 · 只用公开数据训练 7B–65B 开源权重模型并以小胜大
- A Visual Instruction Tuning · 2023 · LLaVA 用 GPT-4 生成视觉指令数据、用一个投影层把 CLIP 编码器接到语言模型上
- A Efficient Memory Management for Large Language Model Serving with PagedAttention · 2023 · 借操作系统分页思想管理 KV cache,几乎消除显存碎片
- A DeepSeek-V3 Technical Report · 2024 · 671B MoE 模型只用约 279 万 H800 GPU 小时就逼近闭源前沿
- B Are Emergent Abilities of Large Language Models a Mirage? · 2023 · 指出许多「突现」只是非线性/不连续指标造成的测量假象