概念卡 · 基础架构与预训练
残差连接
residual connection
一句话:子层(注意力或前馈网络)不是直接替换输入,而是「输入 + 子层输出」;每一层只需要学习「在原来基础上改多少」,而不是从头生成新表示。
为什么重要:没有它,叠到十几层以上的网络梯度会消失或爆炸,训练不动。它来自 2015 年的 ResNet,是让「深」成为可能的通用技巧。
和归一化的搭配:原始 Transformer 是先加残差再归一化(Post-LN),深层不稳定;今天的模型普遍改为先归一化再进子层(Pre-LN),这是原文后来被改掉的设计之一。