概念卡 · 基础架构与预训练

残差连接

residual connection

一句话:子层(注意力或前馈网络)不是直接替换输入,而是「输入 + 子层输出」;每一层只需要学习「在原来基础上改多少」,而不是从头生成新表示。

为什么重要:没有它,叠到十几层以上的网络梯度会消失或爆炸,训练不动。它来自 2015 年的 ResNet,是让「深」成为可能的通用技巧。

和归一化的搭配:原始 Transformer 是先加残差再归一化(Post-LN),深层不稳定;今天的模型普遍改为先归一化再进子层(Pre-LN),这是原文后来被改掉的设计之一。

延伸:深读《注意力就是全部》§3.4

← 全部概念卡