研究
全部研究
精选
思维链提示:让模型「先想再答」为什么有效S
在示例里写出中间推理步骤,大模型的算术与常识推理成绩就跃升;它确立了「让模型先想再答」的范式,也是推理模型时代的概念起点。
精选InstructGPT:用人类反馈把模型调教成助手S
监督微调、奖励模型、强化学习三步,让 13 亿参数的模型在人类偏好上胜过 1750 亿的 GPT-3;这是 ChatGPT 的直接技术蓝本。
精选ReAct:推理与行动交替,Agent 的最小原型S
让模型在「想一步、做一步、看结果」之间循环,把思维链和工具调用合为一个回路;今天几乎所有 Agent 框架的循环都从这里来。
精选规模律:为什么「把模型做大」从信仰变成了工程S
语言模型的损失随参数量、数据量与算力按平滑的幂律下降,三者之间有可预测的最优配比;它让扩大规模成为可以提前算账的决策。
精选