《AI Agent 技术原理与架构·决策、记忆与学习》序

为什么决策、记忆与学习需要单独一卷:模型能力回答能不能,决策线回答该选什么。序里给出卷二的三块核心——形式模型、决策机制、记忆与学习——如何落到 POMDP、终止条件与反事实实验上,以及它和卷一能力线、卷三执行线的交接;读完能判断 Agent 的决策质量该用什么标准衡量。

卷一回答了"模型能做什么",这一卷回答下一个问题:Agent 怎么根据观测选择动作。

这个问题经常被淹没在"多 Agent"“工具调用"“提示工程"这些热闹话题里,但它才是决定一个 Agent 有没有用的核心。能力再强,选择错了方向,结果就是错误地执行。

一、决策不能靠感觉

工程书喜欢把决策写成几段提示词:“请一步一步思考"“请调用合适的工具”。这些写法不是错的,但它们把决策当成了黑盒——用一个 prompt 描述,然后期待模型做对。

决策线的主张是:把决策拆成能计算、能验证的形式模型。 状态是什么、观测是什么、策略是什么、什么时候停,每一项都能写下来、算出来、在什么条件下失效。

这不是学术洁癖。W2 代码修复这种 10–40 步的任务,每一步选错了都可能带偏方向;没有"进展度量"和"终止条件”,循环就不知道什么时候该停——于是有了死循环。

二、三块核心

卷二由三块核心组织:

块回答的问题落在哪
形式模型Agent 的决策结构是什么、怎么定义第 1 章 POMDP、第 4 章计划、第 5 章搜索
决策机制在给定结构下,怎么选更好第 2 章终止、第 6 章双过程、第 7 章反思
记忆与学习经验怎么被记住、怎么变成更好的决策第 8 章记忆、第 9 章检索、第 10–13 章学习

三块不是并列的三个话题,是一条链:先有形式(能定义),再有机制(能选),最后有记忆与学习(能变好)。 缺形式,机制无从谈起;缺记忆,学习没有载体。

三、与卷一的交接

决策线的输入是能力线。卷一决定"这个动作模型能不能做”,卷二决定"这个动作该不该选”。 能力是决策的约束,不是决策本身。

最典型的误读是"模型会 Function Calling,所以它知道该调什么"。卷一已经说明,Function Calling 是能力;卷二要回答的是,在多个工具、多步任务里怎么选。能力不回答选择,选择需要决策机制。

四、与卷三的交接

决策线的输出交给执行线。卷二决定"选什么动作",卷三决定"动作怎么被可靠执行"。 决策链上每一步都要能在卷三的运行时里落地:状态记录、幂等、故障恢复。

这也意味着决策不能只写在提示词里。决策要能落成运行时可以执行的结构——策略、计划、终止条件——否则卷三的状态机没有输入。

五、反事实实验

卷二反复使用同一个实验方法:反事实实验。 改一个变量(记忆开/关、搜索深度、反思轮数),看决策质量变不变。

实验改什么看什么
终止条件步数上限死循环 vs 提前停
记忆有没有历史决策质量变化
搜索树深度质量/成本曲线

反事实实验是"为什么成立"的证据形式:它回答的不是"这个 Agent 好用",而是"这个机制到底贡献了什么"。没有对照的实验,结论不可信。

六、一个判断

如果卷二只能留下一句话,我希望是这一句:

Agent 的决策质量,用"在什么条件下选对、什么条件下选错、错了能不能发现"来衡量,而不是用"它看起来聪明"来衡量。

聪明的表现容易让人放松警惕。形式模型把"聪明"变成可检查的结构——状态、观测、策略、终止条件。结构齐了,才知道它在哪里会坏。

从第 1 章的形式模型开始。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图