概念卡 · 基础架构与预训练
位置编码
positional encoding
一句话:自注意力对全句「同时看」,天生不知道词的顺序,「狗咬人」和「人咬狗」会得到一样的结果;所以要给第 1、2、3 个位置各加一个位置向量,让顺序进入计算。
原文做法:用不同频率的正弦与余弦函数生成固定向量,相邻位置相近、远距离不同。作者希望它能外推到更长的句子,后来被证明只是部分成立。
今天的做法:旋转位置编码(RoPE)把位置表示为向量的旋转角度,相对距离天然可表达,配合插值技巧可以把训练时的上下文长度扩展几倍;几乎所有开源模型都用它。
和你有关的地方:模型支持的最长上下文、长文档末尾质量是否下降,很大程度由位置编码的外推能力决定。