概念卡 · 基础架构与预训练

多头注意力

multi-head attention

一句话:一句话里的关系不止一种(指代、语法、位置……),单组注意力在求平均时会把它们糊在一起;把 512 维切成 8 份、各自做一遍注意力再拼接,就得到 8 种不同的「看法」。

代价与收益:总计算量与单头相当,但表达力更强。原文消融显示 8 头优于 1 头,32 头反而变差,因为每头维度太小。

今天的变化:推理时每个头都要存自己的键和值,显存压力大。GQA 让多组查询共享同一组键值,MLA 把键值压进低秩空间;这两项直接决定了缓存读的价格。

延伸:深读《注意力就是全部》§3.2

← 全部概念卡