概念卡 · 基础架构与预训练
自注意力
self-attention
一句话:句子里的每个词同时看全句,给每个词一个「和我有多相关」的权重(加起来等于 1),再按权重把全句的信息加权求和,作为自己的新表示。
怎么算:每个词向量乘三个矩阵得到查询、键、值;查询与所有键做点积、除以 √d、过 softmax 得到权重;权重乘值向量求和。整句是一次矩阵乘法,所有位置同时完成,这是它能取代循环网络的根本原因。
代价:权重表是 n × n,计算与内存随句长平方增长;这就是上下文窗口有上限、长提示更贵的来源。
在哪见到它:所有 GPT、Claude、Llama 的每一层;你为输入 token 付的钱,主要就是这一步。
延伸:深读《注意力就是全部》