本附录定义卷二出现的核心术语与指标。正文使用这些词时,以本表的口径为准;同一概念不在别处另设定义。
一、形式模型
POMDP
部分可观测马尔可夫决策过程。六件套:状态、观测、动作、转移、奖励、信念。状态是真实环境,观测是 Agent 能看到的,信念是对状态的估计。
策略(Policy)
从信念/上下文到动作的映射。在 LLM Agent 里,策略由提示词 + 上下文 + 解码参数实现。
信念(Belief)
Agent 对当前状态的概率估计。观测有噪声时,信念仍然有价值;提示词与记忆工程本质是信念压缩。
Rollout / 轨迹(Trajectory)
一次运行留下的完整记录:观测序列、动作序列、中间状态、结果。轨迹是可评测、可重放的最小单位。
终止条件
决定 Agent 何时停止的运行时规则。是运行时的不变量,不是提示词里的一句话。常见的失败是"没有终止条件导致的死循环"。
二、循环与停止
步数上限 / 预算
一次运行允许的最大步数或最大 token/成本。预算决定"跑不跑得完",超时决定"要不要止损"。
进展度量
衡量"这一步之后离目标更近了吗"的指标。进展不涨 = 失败信号,是死循环检测的基础。
强制终止
超时或超预算时强制结束运行。强制终止必须有记录(reason),否则无法复盘。
三、轨迹与计划
CoT(思维链)
把中间推理步骤写进输出。轨迹格式要可验证:步骤可重放、可审计,才值得信。
ReAct
思考—行动—观察的循环闭环。三段式可能退化成重复试错,需要进展度量。
任务分解
把大任务拆成可验证的子任务,形成 DAG 依赖图。分解的关键判据:每个子任务有可判定验收。
HTN / PDDL
显式的计划表示语言。可验证,但表示成本高,何时值得要看任务结构。
重规划
计划失败后重新安排。局部修复 vs 全盘重来的判据是失败的影响范围。
四、搜索与推理
Beam Search
保留 top-k 个候选路径的搜索。宽度 vs 深度决定质量/成本曲线。
MCTS
蒙特卡洛树搜索:价值估计 + 探索。价值估计不准时搜索会偏向错误方向。
双过程
快思考(快速、便宜、易错)与慢思考(慢、贵、准确)的切换。切换时机本身要能被计算。
元推理
“要不要再想一步"的推理。元推理的成本要算进总成本。
Reflexion / Self-Refine
失败后回看并注入反思;自我批评循环。失效模式:自我确认、奖励黑客。
五、记忆与检索
记忆分层
工作记忆(当前上下文)/ 情景记忆(具体经历)/ 语义记忆(通用事实)/ 程序记忆(技能)。四层各管什么、各自的失效模式。
读写策略
什么该记、什么时候记、什么时候读。记忆的读写都是成本。
TTL / 遗忘
记忆的过期时间。遗忘是设计,不是缺陷;冲突消解要有规则。
召回 / 重排 / 注入位置
检索的三段。注入位置影响信息被利用的程度(Lost in the Middle)。
六、工具与奖励
工具选择
在多个工具间选择。判据:能力、成本、风险。不确定时放弃,比瞎调好。
参数构造
从意图到一次带参调用。参数错误的类型:类型错、范围错、引用错。
轨迹奖励 vs 过程奖励
只看最终结果 vs 看中间步骤的奖励。过程奖励可解释,但更易被游戏化。
信用分配
把奖励归因到轨迹的哪一步。反事实、Shapley 与启发式的代价与边界。
七、学习
行为克隆(SFT)
用专家轨迹训练。滑移:训练分布外的状态开始犯错。
偏好学习(RLHF/DPO)
用人类偏好训练。谄媚:模型学会说"对的话"而不是"真的话”;误拒:过分保守。
Agentic RL
在 Agent 环境里做强化学习。可验证奖励是基础,GRPO 是其中一种优化;探索/利用是核心权衡。
回归门
判断"这个变更值得上线"的统计决策。由样本量、阈值、规则组成,决定误放率、误拒率与基线通过率。
八、易混淆点
- 状态与观测:观测不是真相,信念才是对真相的估计。
- 提示词与终止条件:提示词要求"别死循环"不是终止条件,运行时的不变量才算。
- 记忆与上下文:记忆是跨任务的持久层,上下文是当前任务的窗口,两者机制不同。
- 轨迹奖励与过程奖励:一个可证伪但难解释,一个可解释但易被游戏化。
- SFT 与 RLHF:行为克隆学"怎么做",偏好学习学"哪个更好",失效模式不同。
- 回归门的显著 vs 实用:统计显著不等于值得上线,还要看效应量与错误预算。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。