Research
All research
注意力就是全部:Transformer 如何改写了序列建模SChinese
它把「按顺序读」换成「同时看全句、按相关性取信息」,让训练可以完全并行;此后所有大模型都长在这副骨架上。
Deep read思维链提示:让模型「先想再答」为什么有效SChinese
在示例里写出中间推理步骤,大模型的算术与常识推理成绩就跃升;它确立了「让模型先想再答」的范式,也是推理模型时代的概念起点。
PickInstructGPT:用人类反馈把模型调教成助手SChinese
监督微调、奖励模型、强化学习三步,让 13 亿参数的模型在人类偏好上胜过 1750 亿的 GPT-3;这是 ChatGPT 的直接技术蓝本。
PickReAct:推理与行动交替,Agent 的最小原型SChinese
让模型在「想一步、做一步、看结果」之间循环,把思维链和工具调用合为一个回路;今天几乎所有 Agent 框架的循环都从这里来。
Pick规模律:为什么「把模型做大」从信仰变成了工程SChinese
语言模型的损失随参数量、数据量与算力按平滑的幂律下降,三者之间有可预测的最优配比;它让扩大规模成为可以提前算账的决策。
Pick