概念卡 · 效率与推理加速

KV 缓存

KV cache

一句话:模型逐词生成时,每生成一个新词都要对全部历史做注意力;历史位置的键和值不会变,算一次存起来,后面直接复用,这块存储就是 KV 缓存。

为什么和价格有关:缓存占显存,随上下文长度线性增长,是长上下文昂贵的直接原因;Prompt Caching 存的正是系统提示和长文档的 KV,所以缓存读远比重新输入便宜,而缓存写略贵于输入。

为什么输出比输入贵:输入可以整段并行算完;输出必须一个词一个词生成,每步都要读一遍整个缓存,GPU 大部分时间在搬数据而不是算数。

工程上的进展:PagedAttention 用操作系统分页的思路管理缓存,消除碎片;GQA 与 MLA 从结构上把缓存体积压小。

延伸:深读《注意力就是全部》§7

← 全部概念卡