导读

  • 它做了什么:用自注意力彻底取代循环与卷积,提出一个只靠「加权求和」做序列建模的架构。
  • 关键一招:每个词同时看全句,按相关性算权重取信息,所有位置一次算完,训练可以完全并行。
  • 为什么今天仍重要:GPT、Claude、Gemini、Llama 的骨架都是它;你为上下文窗口和输入 token 付的每一分钱,都是在为这张图里的矩阵乘法付费。

0. 读前须知

适合谁:写代码、调过 API、想知道模型为什么这样而不只是会用的人。

你需要:知道词向量是什么(一个词变成一串数字)、矩阵乘法怎么算。不需要会推导反向传播,也不需要读过原论文。

读完你能:用自己的话讲清「注意力算的是什么」「为什么它能并行」「位置信息从哪来」;看懂为什么长提示更贵、为什么缓存能省钱。

两条路径:快读 = 导读 + 第 2 节 + 第 5 节 + 术语表,约 10 分钟;全读按顺序,约 35 分钟。

为什么还要再读一篇:中文世界已经有李沐的论文精读视频和 Jay Alammar 的 The Illustrated Transformer。我们补的是三件事:以今天正在用模型的人为读者,每个机制都回到你每天遇到的现象;一个贯穿全文的运行示例加玩具维度,读完可以自检;「今天回看」一节,把原文里后来被改掉的设计逐条点名。

1. 它之前的世界:问题是什么

2017 年之前,机器翻译、摘要这类「序列到序列」任务的主流做法是循环神经网络(RNN,以及它的改良版 LSTM、GRU)。RNN 处理一句话的方式和人朗读一样:一个词一个词往下读,每读一个词就更新一次「到目前为止的记忆」,第 t 个词的表示依赖第 t−1 个词的结果。

这带来两个卡点。第一是顺序计算:第 t 步必须等第 t−1 步算完,一句 50 个词的话就是 50 步串行。GPU 擅长的是同时算几千个数,面对串行就只能干等。一句话概括:每一步都要等上一步,GPU 在空转。

第二是长距离依赖:「The animal didn’t cross the street because it was tired」里的 it 指 animal,中间隔了 6 个词;RNN 要把 animal 的信息一步步传过来,传的越远丢的越多。2014 年起研究者给 RNN 外挂了「注意力」机制(Bahdanau 等),让解码器在生成每个词时回头看一眼编码器的所有位置,缓解了第二个问题,但 RNN 骨架还在,第一个问题没解决。

卷积(ByteNet、ConvS2S)是另一条路:卷积可以并行,但一个卷积核只看邻近几个词,两个远距离的词要经过多层才能「见面」,距离越远层数越多。

Transformer 这篇论文的问题意识很明确:能不能把外挂的注意力变成主体,把 RNN 和卷积都扔掉,让任意两个位置一步见面,并且整句一次算完?

2. 核心想法:一张图

一句话:每个词同时看全句,按相关性加权取信息,所有位置一次算完运行示例:it 给每个词的权重Theanimaldidn'tcrossthe streetbecauseitwas tired.02.62.03.11.04.02.02.14同一个词向量 x 乘三个矩阵,得到三种角色Q = xWQ 查谁K = xWK 被查V = xWV 拿什么权重 = softmax(QKᵀ / √dₖ)输出 = 权重 · V所有位置同时算:整句是一次矩阵乘法,没有「等上一个词」这一步这就是它取代 RNN 的原因:一句话的所有位置同时算,GPU 不再空等多头:并行 h 组 Q / K / V,各看一种关系(指代、语法、位置…),再拼起来堆叠:注意力 → 前馈网络 → 再注意力…,每层带残差与归一化;原文 6 层,今天上百层
每个词同时看全句,按相关性加权取信息运行示例:it 给每个词的权重animal.62was tired.14cross.11其余 5 个.13同一个词向量 x 乘三个矩阵Q = xWQ 查谁K = xWK 被查V = xWV 拿什么权重 = softmax(QKᵀ / √dₖ)输出 = 权重 · V所有位置同时算,整句一次矩阵乘法
图 1 先看 it 分给每个词的权重,再看权重怎么由 Q、K、V 算出来,最后是所有位置同时计算。AGI Dawn 自绘,权重数值为示意。

如果只记住一件事:注意力是一次「按相关性加权的求和」。每个词问一句「全句谁和我有关」,得到一组和为 1 的权重,然后把全句每个词的信息按这组权重加起来,作为自己的新表示。没有循环,没有卷积,只有矩阵乘法和一次 softmax。

贯穿全文的运行示例就是图里那句话:The animal didn’t cross the street because it was tired。后面每个机制讲完,我们都回到「it 怎么知道自己指的是 animal」这个问题上验证。

3. 关键机制拆解

先看整体,再逐个放大。从外面看:输入一串词向量,输出同样长度的一串新向量,每个新向量都「掺入了」全句其它位置的信息。下面逐个放大。

3.1 缩放点积注意力:把「查谁」和「拿什么」分开

直觉:一个词要从别的词那里取信息,得先回答两个问题:我在找什么(查询),以及每个词能提供什么(键);匹配上了,再把那个词的内容(值)拿过来。三件事分开,才能既灵活又便宜。

最小例子:假设每个词向量只有 4 维(原文是 512 维,玩具规模方便看清)。it 的向量 乘三个 的矩阵 ,得到查询 、键 、值 ;句子里每个词都这样算一遍。然后 it 的查询和全句 8 个键逐个做点积,得到 8 个分数,softmax 变成 8 个权重,再用这 8 个权重加权求和 8 个值向量,得到 it 的新表示。

公式:它在算的是「用查询去匹配所有键,归一化后给值加权」。

符号形状:句长 , 和 都是 , 是 ; 是 的分数表,第 行第 列是「第 个词看第 个词」的分数;softmax 按行做,每行和为 1;再乘 得到 的输出。原文 。

为什么这样设计:除以 是整篇论文最容易被忽略的细节。 大时点积的数值会很大,softmax 会把几乎所有权重压到一个位置上,梯度趋近于零,训练不动。作者的替代选项是「加性注意力」(用一个小网络算分数,Bahdanau 的做法),实验表明两者效果接近,但点积可以写成一次矩阵乘法,在 GPU 上快得多。所以选点积,再用缩放修掉它的毛病。

小结:注意力 = 查询匹配键、softmax 归一化、加权求和值;缩放是为了让 softmax 不饱和。

问:为什么要三个矩阵,直接用 和 做点积不行吗? 答:行,但那样「谁和我像」就等于「我要取谁的信息」,两件事绑死了。it 需要的是「找到被指代的名词」,而不是「找到和 it 最像的词」(那会是 it 自己)。分开的 和 让模型学会「查询和键可以不像」。

3.2 多头:同时看几种关系

直觉:一句话里的关系不止一种。it 和 animal 是指代关系,didn’t 和 cross 是语法关系,because 和前后半句是逻辑关系。一组注意力只能学一种「看法」,那就并行几组。

最小例子:把 512 维切成 8 份,每份 64 维,各自做一遍 3.1 节的注意力,得到 8 个 64 维输出,拼回 512 维,再乘一个输出矩阵 混合一下。总计算量和单头 512 维差不多,但得到了 8 种不同的关注模式。

公式:

为什么这样设计:单头注意力在求平均时会把不同关系「糊」在一起。原文附录的可视化里,确实有的头专门盯指代,有的头专门盯相邻词。作者的消融实验显示,8 头比单头好,但 32 头又变差(每头维度太小)。

小结:多头 = 把维度切块,各看一种关系,再拼起来。

3.3 位置编码:没有顺序时如何表示顺序

直觉:注意力对全句「同时看」,这意味着它天生不知道词的顺序。「狗咬人」和「人咬狗」的词集合一样,加权求和的结果会一样。必须把位置信息塞进输入里。

最小例子:给第 1 个位置加一个固定向量 ,第 2 个位置加 ,以此类推;词向量变成 。原文用正弦和余弦函数生成这些向量,不同维度用不同频率,让相邻位置的编码相近、远的位置不同,并且任意两个位置的相对距离可以用线性变换表示出来。

公式:

为什么这样设计:作者对比了「可学习的位置向量」与「固定正弦编码」,效果几乎一样,选了正弦,理由是希望模型能外推到比训练时更长的句子。这个理由后来被证明只是部分成立,见第 6 节。

小结:注意力本身无序,顺序靠加进去的位置向量。

3.4 残差与层归一化:让深层能训练

直觉:每个子层(注意力或前馈)的输出不是直接替换输入,而是「输入 + 子层输出」,再做一次归一化。残差让梯度有一条直通的路,归一化让每层的数值尺度稳定。

最小例子:,接着 。其中 FFN 是一个两层的小网络,先把 512 维放大到 2048 维,过 ReLU,再压回 512 维,对每个位置独立施加。

为什么这样设计:残差连接来自 ResNet,是当时让深层网络可训练的标准做法。前馈网络看似平淡,实际上后来的可解释性研究发现它承担了大部分「知识存储」的工作,注意力负责搬运信息,前馈负责加工。

小结:注意力搬信息,前馈做加工,残差和归一化保证能叠得深。

3.5 编码器、解码器与掩码:不许偷看未来

直觉:翻译任务有两段:先读完源句(编码),再逐词写出目标句(解码)。写第 3 个目标词时只能看前 2 个,不能看后面还没写的,否则训练时就作弊了。

最小例子:解码器的自注意力在 分数表上把「右上三角」(看未来)全部设为 ,softmax 后权重为 0。解码器还多一层「交叉注意力」:查询来自目标句,键和值来自编码器输出,这就是翻译时「对照原文」的动作。

为什么这样设计:掩码让训练时可以一次把整句目标句喂进去并行计算,而不是像 RNN 那样一个词一个词生成。这是「训练并行」真正落地的地方。顺带一提:GPT 系列只保留了解码器这一半(带掩码的自注意力 + 前馈),BERT 只保留了编码器那一半。

小结:掩码保证解码只看过去;交叉注意力把源句接进来。

3.6 训练细节:只讲影响结果的

原文用 8 块 P100 训练基础模型 12 小时、大模型 3.5 天。值得记住的只有三点:Adam 优化器配「先升后降」的学习率预热(warmup 4000 步);标签平滑 0.1(让模型别对答案过度自信,牺牲一点困惑度换 BLEU);dropout 0.1。其它超参数今天都已被重新调过。

小结:把 3.1 到 3.6 串回图 1。一个词向量乘三个矩阵得到 Q、K、V(3.1);八组这样的矩阵并行各看一种关系(3.2);输入前先加上位置向量,否则全句是无序的(3.3);每一层由「注意力 + 前馈」组成,外加残差与归一化,叠 6 层(3.4);解码端用掩码遮住未来,用交叉注意力对照源句(3.5)。回到运行示例:it 的查询和 animal 的键点积最大,softmax 后权重约 0.6 落在 animal 上,it 的新表示里就「掺进」了 animal 的信息。

4. 它用什么说服了人

论文的主实验是 WMT 2014 机器翻译。英德翻译 BLEU 28.4,比当时最好的结果(包括模型集成)高 2 个点以上;英法翻译 41.8,达到当时单模型最佳。更有说服力的是成本列:这个结果用 8 块 P100 训 3.5 天得到,是此前最佳模型训练成本的几十分之一。

模型英德 BLEU英法 BLEU训练成本(FLOPs,相对)
ConvS2S(卷积)25.240.5约 Transformer 大模型的 4 倍
GNMT + RL(RNN 集成)26.341.2约 10 倍
Transformer(base)27.338.1约 1/7
Transformer(big)28.441.81

数字出自原文表 2,成本列按原文给出的 FLOPs 换算为相对值。

要区分「时代噪声」和「仍然成立的结论」。当年的 BLEU 绝对值今天已经没有意义,28.4 早被远远超过。仍然成立的是结构性结论:同样的算力下,并行架构能看到多得多的数据,这在后来的所有规模实验里都重复出现。消融实验里最有信息量的一条:去掉位置编码或把头数降到 1,质量明显下降;把 降到 16,质量也下降,说明「匹配」这一步需要足够的维度。

今天复现这篇论文不需要 8 块 P100。Harvard NLP 的 The Annotated Transformer 用几百行 PyTorch 逐行对照原文实现,一块消费级显卡几小时可以在小数据集上跑通。

5. 为什么改变了领域

这里写一条可举证的因果链,每一环给证据。

  1. 可并行 → 能把规模堆上去。 训练不再受序列长度串行约束,数据和参数可以随算力同比例增长。证据:原文表 2 的成本对比;一年后 BERT 用同一结构在更大语料上预训练(Devlin 等,2018,arXiv 1810.04805)。
  2. 规模堆上去 → 预训练范式成立。 在海量无标注文本上先训一个大模型,再微调到具体任务,效果超过从头训练。证据:BERT 与 GPT(Radford 等,2018)同年出现,分别只用编码器和只用解码器,都基于这篇论文的模块。
  3. 预训练成立 → 规模律被观测到。 损失随参数、数据、算力呈平滑幂律下降(Kaplan 等,2020,arXiv 2001.08361)。这条规律的前提就是架构在放大时不失效,而 Transformer 恰好满足。
  4. 规模律 → 今天的对话模型。 GPT-3 证明 1750 亿参数的解码器可以只靠提示完成新任务(Brown 等,2020,arXiv 2005.14165);此后 Claude、Gemini、Llama 全部沿用解码器堆叠。
  5. 跨模态。 ViT 把图像切成 16×16 的块当作「词」直接喂给标准 Transformer(Dosovitskiy 等,2020,arXiv 2010.11929),证明同一架构不限于文本。

每一环都能指出具体的机制继承:GPT 继承了带掩码的解码器栈;BERT 继承了编码器栈;ViT 继承了整套注意力加位置编码。「后来的 X 建立在这篇论文上」不是颁奖词,是可以在代码里逐行找到的。

编辑判断:这篇论文真正的贡献不是「发明了注意力」(注意力 2014 年就有了),而是证明了只靠注意力就够,从而把序列建模变成了可并行的矩阵乘法问题。架构本身后来被改了很多处(见下一节),但「并行化范式」这一点再也没有被推翻。我们对这个判断的置信度很高,依据是第 6 节里列出的每一处改动都保留了这个前提。

6. 局限与后续

原文的坦白

  • 二次方开销。 的分数表意味着计算和内存都随句长平方增长。作者在结论里承认了这一点,并把「限制注意力范围」列为未来工作。后续:FlashAttention(Dao 等,2022,arXiv 2205.14135)没有改变二次方的计算量,但通过重排 GPU 显存读写顺序,让精确注意力在实践中快 2 到 4 倍、内存降为线性,是长上下文变得可用的关键一步。
  • 长度外推。 正弦位置编码的外推能力被证明有限,训练时没见过的长度上质量明显下降。后续:旋转位置编码 RoPE(Su 等,2021)把位置信息编码为旋转角度,配合插值技巧成为今天几乎所有开源模型的选择。

后来被改掉的

  • 归一化的位置:原文是「先加残差再归一化」(Post-LN),深层时训练不稳定;今天普遍改为「先归一化再进子层」(Pre-LN),GPT-2 起成为默认。
  • 位置编码:正弦编码被 RoPE 取代,见上。
  • 前馈激活函数:ReLU 被 SwiGLU 等门控激活取代(Shazeer,2020),同样参数量下效果更好。
  • 键值头数:多头的键和值被多组查询共享(GQA,Ainslie 等,2023)或压缩进低秩潜空间(MLA,DeepSeek-V2,2024),目的是把推理时的 KV 缓存降下来。这一条直接决定了你的缓存读价格。
  • 编码器:对话模型抛弃了编码器 - 解码器结构,只用解码器;翻译类任务仍有用编码器的。

今天怎么看

  • 「线性注意力会取代它吗?」从 2020 年起不断有线性或次二次方的替代方案(Performer、Mamba 等),在等算力下尚未在通用语言任务上稳定胜出;2024 年起的趋势是混合架构,在部分层用线性注意力换效率。我们倾向于认为注意力不会被整体替换,而是被局部替换,置信度中等,依据是前沿实验室的旗舰模型报告至今仍以标准注意力为主干。
  • 「注意力是可解释的吗?」注意力权重看起来像「模型在看哪」,但多项研究表明权重与模型实际依赖的信息并不总是一致,把它当解释工具要谨慎。
  • 待观察(2027 年回看):混合架构是否成为前沿旗舰模型的默认。

7. 今天如何用这个想法

这些机制解释了你每天在用模型时遇到的现象:

  • 上下文窗口为什么有上限:分数表是 ,KV 缓存随 线性增长,窗口越长显存越紧。回看 3.1 与 6.1。
  • 输入 token 为什么比输出便宜:输入整句可以一次并行算完(3.5 节的掩码并行),输出必须一个词一个词生成,每生成一个词都要重新做一遍对全部历史的注意力。
  • Prompt Caching 省的是哪一步:系统提示和长文档的 K、V 算一次存起来,后续请求直接复用,省掉的是 3.1 节里对这些位置的全部矩阵乘法。所以缓存读比输入便宜得多,缓存写要略贵于输入。
  • 长提示为什么变慢:第一个输出词之前要把整段输入的注意力算完,输入越长首字延迟越高。

可操作的建议:把不变的长内容(系统提示、参考文档)放在请求开头并开启缓存;需要大量输出的任务拆成多轮而不是一轮长输出;对比模型价格时同时看输入、输出、缓存读三个数,而不只看输入价。

8. 术语表

术语(中)术语(英)一句话定义首次出现
自注意力self-attention序列中每个位置按相关性加权汇总其它位置的信息§2
查询 / 键 / 值query / key / value同一词向量乘三个矩阵得到的三种角色:找什么、能提供什么、拿什么§3.1
缩放点积scaled dot-product查询与键点积后除以 √d,防 softmax 饱和§3.1
多头注意力multi-head attention把维度切成多组并行做注意力,各学一种关系§3.2
位置编码positional encoding加到输入上的位置向量,补回注意力缺失的顺序信息§3.3
残差连接residual connection子层输出加回输入,给梯度一条直通路§3.4
掩码masking把「未来位置」的分数设为负无穷,解码时不许偷看§3.5
KV 缓存KV cache推理时存下已算过位置的键和值,避免重复计算§6

9. 延伸阅读

原文与官方资料

最好的外部解读(每条一句它好在哪)

后续工作(按因果链顺序,每条一句它改了什么)

  • BERT(arXiv 1810.04805):只用编码器 + 掩码语言建模,确立预训练加微调范式。
  • GPT-3(arXiv 2005.14165):只用解码器做到 1750 亿参数,提示即可完成新任务。
  • RoPE(arXiv 2104.09864):用旋转替代正弦位置编码,成为开源模型默认。
  • FlashAttention(arXiv 2205.14135):重排显存读写,让精确注意力快 2 到 4 倍。
  • GQA(arXiv 2305.13245):多组查询共享键值,压低推理时的 KV 缓存。

本站相关

  • 正典清单里本篇所在的「基础架构与预训练」主题;系列「从 Attention 到 Agent」第 1 篇,下一篇《Language Models are Few-Shot Learners》筹备中。