反复出现的概念,每张一段话讲清,并链到它首次出现的文章。
推理时存下已算过位置的键和值,生成下一个词时不必重算整段历史。
把向量维度切成多组并行做注意力,每组学一种关系,再拼回去。
注意力本身不分先后,位置信息要靠加进输入的位置向量补回来。
每个子层的输出加回输入,给梯度一条直通的路,深层网络因此能训练。
序列中每个位置按相关性加权汇总其它位置的信息,是 Transformer 的核心运算。