一句话结论
模型每一步先写一句「我现在要做什么、为什么」,再发出一个动作(查维基、点按钮),读到环境返回的结果后再想下一步;这个「思考 → 行动 → 观察」的循环,比只思考或只行动都好,而且过程可读、可纠错。
背景
2022 年有两条线各自发展:思维链让模型在脑子里推理,但推理的事实可能是编的;另一条线让模型直接输出动作去操作环境,但缺乏规划,容易在几步后迷失。两者都不像人解决问题的方式:人会一边查资料一边修正思路。
做了什么
在问答(HotpotQA)、事实核验(FEVER)、文字游戏(ALFWorld)和网购模拟(WebShop)四个任务上,让模型交替生成「Thought」和「Action」,Action 的结果作为「Observation」接回上下文。在知识密集型问答上,ReAct 比纯思维链更少编造事实;在交互任务上,用一两个示例就超过了需要大量训练数据的强化学习方法。作者还给出了一个让人信服的失败分析:思维链的典型失败是幻觉,纯行动的典型失败是「不知道自己要干什么」。
证据强度
中到强。任务覆盖面广,但基线和模型(PaLM-540B)都是当年的;绝对分数今天没有参考价值。真正的证据是它之后的扩散速度:LangChain 的默认 Agent、各类编码 Agent 的工具循环,结构上都是 ReAct。
局限
每一步都要完整走一遍模型推理,慢且贵;上下文会被观察结果迅速填满;模型可能在循环里打转。后续的 Reflexion 加入了跨轮的自我反思,SWE-agent 则证明给 Agent 设计专门的工具接口比给它一个 shell 更重要。
值不值得读,看哪一段
值得。看图 1 的对照例子(同一个问题,四种做法),再看第 3.3 节的失败模式分析;附录里的完整轨迹比正文更能让你理解今天的 Agent 日志为什么长那样。
延伸
- 原文:arXiv 2210.03629 (在新窗口打开);代码在 GitHub。
- Reflexion(arXiv 2303.11366):把「反思」写进记忆,跨轮改进。
- SWE-agent(arXiv 2405.15793):Agent 与计算机之间的接口设计。