一句话结论
在不受另外两个因素限制时,测试损失 与参数量 、数据量 、算力 各自呈幂律关系(例如 ),横跨七个数量级都成立;架构细节(层数、宽度)的影响相比之下小得多。
背景
2019 年之前,更大的模型通常更好,但没人知道「大多少、好多少」,也没人知道算力该花在参数上还是数据上。每一次扩大规模都是一次赌博。
做了什么
作者训练了一大批不同规模的 Transformer,系统地改变参数量、数据量与训练步数,发现损失曲线在对数坐标下是直线。由此给出三条可操作的结论:损失主要由规模决定,形状次要;大模型的样本效率更高,同样的数据下学得更好;给定算力预算,应该把大部分预算花在更大的模型上、而不是更多的数据或更长的训练,并且不必训到收敛。
证据强度
强,但有一处后来被修正。幂律关系本身被此后所有大规模训练反复验证,是 GPT-3 立项的理论依据。但「算力应主要投给参数」这一条在 2022 年被 DeepMind 的 Chinchilla 推翻:固定算力下参数与数据应同比例增长,大约每个参数配 20 个 token。原因是 Kaplan 等人没有为每个规模单独调学习率计划,低估了数据的作用。
局限
幂律描述的是预训练损失,不是下游能力;损失平滑下降,能力却可能阶跃出现(或者看起来如此)。规模律也没说明数据耗尽之后怎么办,这正是今天前沿实验室转向合成数据与推理时算力的原因之一。
值不值得读,看哪一段
值得读第 1 节的总结和图 1(三条幂律曲线),这两页就是全部精华;第 6 节关于「最优算力分配」的结论请对照 Chinchilla 一起读,否则会得到过时的配方。
延伸
- 原文:arXiv 2001.08361 (在新窗口打开)
- 修正:Training Compute-Optimal Large Language Models(arXiv 2203.15556)
- 争论:Emergent Abilities(arXiv 2206.07682)与 Are Emergent Abilities a Mirage?(arXiv 2304.15004)在本站正典中成对收录。