《AI Agent 技术原理与架构·决策、记忆与学习》前言

本书怎么来的、写给谁、与卷一的交接、决策线如何拆成形式模型、记忆与学习如何落到实验、数字与代码口径是什么、哪些内容不在范围内——读正文之前需要先知道的七件事都在这一篇里,另附最短阅读路线;最后说明每节代码块与实验工程 agp-lab 的对应关系,以及反事实实验怎么做。

这本书处理的是 Agent 决策的问题:一个 Agent 在每一步该选什么动作、什么时候该停、要不要记住过去、能不能从失败中变好。

这些问题在卷一里被当成能力边界处理——模型能做什么、不能做什么。但"能做"不等于"该选":一个模型能做十种动作,在每一步选哪个,是另一个问题。

一、本书怎么来的

卷一的收口留下了一个悬而未决的问题:能力边界清楚了,接下来怎么选。

写这本书的直接原因,是决策经常被简写成"让模型自己想"。这个简写在 W1 这种 3–8 步的短任务里够用,但在 W2 这种 10–40 步的长任务里会暴露:没有进展度量,循环不知道什么时候该停;没有终止条件,失败会无限重试;没有记忆,每一步都从零开始。

这三件事——怎么选、怎么停、怎么记住——就是本卷的三块核心。

二、写给谁

读者建议从哪里开始你能得到什么
Agent 工程师第 1–3 章把循环写清楚:状态、观测、策略、终止
技术负责人第 4–6 章判断搜索、计划、双过程什么时候值得
研究/进阶读者第 5、7、11 章搜索、反思、信用分配的机制与边界
平台/推理服务第 2、6、12 章延迟/质量/成本的三角与训练数据

不需要先读卷一全部,但第 1 章(POMDP)和第 4 章(计划)建议先看卷一 1.1 和 6.1,它们定义了"策略"和"工具选择"的口径。

三、与卷一的交接

决策线建立在能力线上。卷一回答"这个动作能不能做",本卷回答"这个动作该不该选"。 两者是约束与决策的关系,不是并列的两个话题。

本卷不重复卷一的能力边界。凡是"模型能不能"的结论,直接引用卷一的判据;本卷只在"能力已知、怎么选"这一层展开。

四、决策线如何拆成形式模型

本卷的核心方法:把决策拆成能计算的形式模型。

形式回答的问题落在
POMDP状态、观测、策略、信念的结构第 1 章
终止条件什么时候该停第 2 章
轨迹一次运行留下了什么、可验证吗第 3 章
计划任务如何分解、重规划第 4 章
搜索怎么用计算换质量第 5 章
双过程快思考与慢思考何时切换第 6 章

每个形式都给两样东西:定义(怎么写)和失效条件(什么情况下不成立)。只有定义没有失效条件,形式就退化成名词。

五、记忆与学习如何落到实验

记忆与学习同样要能实验。

  • 记忆:工作/情景/语义/程序分层,读写策略,遗忘与冲突消解(第 8 章);
  • 检索:召回、重排、注入位置(第 9 章);
  • 工具:选择、参数构造、放弃与澄清(第 10 章);
  • 学习:SFT、RLHF/DPO、Agentic RL、在线反馈(第 11–13 章)。

每个实验用反事实法:改一个变量,看决策质量变不变。没有对照的实验,结论不可信。

六、数字与代码口径

数字口径

  • 卷二使用教学设定的 POMDP/MDP 参数(老虎问题、走廊 MDP),可复现;
  • 预算、延迟、成本参数来自附录 B,不另设第二套数字;
  • 所有概率与比率保留两位小数。

代码口径

正文的 python 代码块来自实验工程 agp-lab,与源文件逐字节一致:

  • Python 3.9+,零第三方依赖,只用标准库;
  • 每个代码块前三行固定为 # file:、# tier:、# verify:;
  • 测试用 unittest,不引入任何测试框架。

七、不在本书范围内

  • 工具调用的训练与推理路径 —— 见卷一第 6 章;
  • 模型能力边界与评测 —— 见卷一第 8–9 章;
  • 动作执行的可靠性、幂等、故障恢复 —— 见卷三第 2、5、11 章;
  • 沙箱、隔离、安全 —— 见卷三第 4、13 章;
  • 产品化的自主度档位与人机分工 —— 见《AI Agent 产品开发》。

八、怎么读

如果只有两个小时,读这三节:

  1. 1.1 Agent 的形式模型:POMDP、策略与信念 —— 知道决策的结构是什么;
  2. 2.1 循环、步数与停止条件 —— 知道什么时候该停、什么时候会死循环;
  3. 13.3 回归门与学习闭环收口 —— 知道怎么判断一个决策变更值得上线。

如果要做一次完整的决策评审,按本卷 13 章顺序走一遍,用附录 C 的清单打分。

现在从第 1 章开始。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图