本卷是《AI Agent 技术原理与架构》三卷本的卷一,回答一个问题:模型到底能做什么、不能做什么、如何证明。
三卷共用三条工作负载 W1(检索问答)、W2(代码修复)、W3(运维处置),分别代表只读可重试、写分支可回滚、不可逆需审批三类约束。所有参数来自同一张事实表,可在附录 B 复核。
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《AI Agent 技术原理与架构·模型、推理与能力边界》 |
| 篇数 | 45 篇(正文 13 章 39 节 + 序 + 前言 + 目录 + 附录 A–C) |
| 领域 | AI Agent 技术原理(能力线) |
| 贯穿负载 | W1 检索问答、W2 代码修复、W3 运维处置 |
| 实验工程 | agp-lab,Python 3.9+ 标准库零依赖 |
| 上级专题 | 书稿专题 |
怎么读这一卷
三条阅读路径
| 路径 | 章节顺序 | 建议周期 | 适合谁 |
|---|---|---|---|
| 架构师线 | 第 1–3 章 → 第 4 章 → 第 8–9 章 → 第 13 章 | 约 3 周 | 先把边界和成本模型定清楚,再谈选型。 |
| 工程师线 | 第 2–4 章 → 第 6 章 → 第 7 章 → 第 11 章 | 约 4 周 | 从采样机制入手,理解推理与工具调用的边界。 |
| 平台/MLOps 线 | 第 4 章 → 第 12 章 → 第 11 章 → 第 13 章 | 约 3 周 | 先算延迟与成本,再谈路由与回放。 |
与站内既有书稿的分工
| 书稿 | 负责范围 | 本卷如何处理 |
|---|---|---|
| 《AI Agent 开发》三卷 | 引擎实现、生产化工程、框架与前沿 | 只引用能力契约结论,不写实现 |
| 《互联网产品的 AI 架构》四卷 | 网关、路由、编排、治理 | 引用架构结论,不重复 |
| 《AI Agent 产品开发》三卷 | 任务选型、自主度、放量 | 只给能力边界,产品决策看那边 |
| 《AI Agent 游戏产品开发》一卷 | 实时、公平、玩家信任 | 只给通用判据,游戏约束看那边 |
十三章依赖关系
| 章 | 标题 | 依赖 |
|---|---|---|
| 1 | 原理地图与判据格式 | 无 |
| 2 | 自回归、采样与策略多样性 | 依赖第 1 章的四层栈 |
| 3 | 注意力、位置与信息流 | 依赖第 2 章的生成模型 |
| 4 | 延迟、KV Cache 与成本 | 依赖第 3 章的注意力 |
| 5 | 对齐:SFT、RLHF/DPO | 依赖第 2 章的采样与训练 |
| 6 | Function Calling 与工具调用 | 依赖第 5 章的对齐 |
| 7 | 推理与测试时计算 | 依赖第 2、6 章 |
| 8 | 幻觉、校准与知识 | 依赖第 5、9 章 |
| 9 | 上下文与 RAG | 依赖第 3、4 章 |
| 10 | 多模态与计算机使用 | 依赖第 6 章的动作空间 |
| 11 | 非确定性与回放 | 依赖第 2、4 章 |
| 12 | 路由、级联与选型 | 依赖第 6–10 章 |
| 13 | 能力卡与评审 | 汇总第 1–12 章 |
逐节索引
第 1 章 原理地图与判据格式
| 节 | 文章 | 核心内容 |
|---|---|---|
| 1.1 | 1.1 原理地图:四层技术栈与三条主线 | 四层栈(模型/决策/运行时/系统)× 三条主线(能力/决策/执行),定位故障与阅读顺序。 |
| 1.2 | 1.2 三条主线:能力线、决策线、执行线 | 每条结论必须挂在一条主线上,并有证据。 |
| 1.3 | 1.3 三条工作负载与本书的判据格式 | 判据格式:层 + 问题 + 判据 + 证据 + 负载,缺一个字段还不叫原理。 |
第 2 章 自回归、采样与策略多样性
| 节 | 文章 | 核心内容 |
|---|---|---|
| 2.1 | 2.1 自回归生成:条件概率、采样与停止 | 输出的本质是采样,温度/top-p/停止条件决定行为分布。 |
| 2.2 | 2.2 温度、top-p 与策略多样性 | 多样性 vs 一致性的量化权衡。 |
| 2.3 | 2.3 供应商非确定性与可重放边界 | 同输入不同输出的来源,以及能记录什么。 |
第 3 章 注意力、位置与信息流
| 节 | 文章 | 核心内容 |
|---|---|---|
| 3.1 | 3.1 注意力:上下文如何被读取 | 因果注意力下 token 间的依赖结构。 |
| 3.2 | 3.2 位置编码与长度外推 | RoPE 与外推边界。 |
| 3.3 | 3.3 残差、归一化与深层信息流 | 深度、残差与信息保留。 |
第 4 章 延迟、KV Cache 与成本
| 节 | 文章 | 核心内容 |
|---|---|---|
| 4.1 | 4.1 Prefill/Decode:TTFT 与 TPOT 的来源 | 两个阶段不同的耗时与吞吐特性。 |
| 4.2 | 4.2 KV Cache:显存、批处理与并发上限 | 显存预算决定并发,KV 决定上下文成本。 |
| 4.3 | 4.3 上下文长度、注意力复杂度与成本曲线 | 长度如何放大计算与成本。 |
第 5 章 对齐:SFT、RLHF/DPO
| 节 | 文章 | 核心内容 |
|---|---|---|
| 5.1 | 5.1 SFT:指令跟随能力从哪来 | 行为克隆与指令跟随的关系。 |
| 5.2 | 5.2 RLHF/DPO:偏好、拒绝与谄媚 | 偏好学习带来服从,也带来谄媚。 |
| 5.3 | 5.3 对齐给了什么、没给什么 | 对齐改善跟随,不消除幻觉。 |
第 6 章 Function Calling 与工具调用
| 节 | 文章 | 核心内容 |
|---|---|---|
| 6.1 | 6.1 Function Calling:训练与推理路径 | 从指令到参数化调用的机制。 |
| 6.2 | 6.2 Schema、约束解码与结构化输出 | 约束解码如何把输出锁进 schema。 |
| 6.3 | 6.3 工具选择错误的分类与评测 | 选错工具的类型与可评测性。 |
第 7 章 推理与测试时计算
| 节 | 文章 | 核心内容 |
|---|---|---|
| 7.1 | 7.1 CoT:显式推理的收益与代价 | 中间步骤何时提升正确率、何时是噪声。 |
| 7.2 | 7.2 推理模型:RLVR、GRPO 与可验证奖励 | 用可验证奖励训练推理的路线。 |
| 7.3 | 7.3 测试时计算:何时更多 token 有用 | 更多推理何时换质量、何时是浪费。 |
第 8 章 幻觉、校准与知识
| 节 | 文章 | 核心内容 |
|---|---|---|
| 8.1 | 8.1 幻觉分类:事实、引用、执行 | 三类幻觉不同的成因与对策。 |
| 8.2 | 8.2 校准与不确定性表达 | 模型自评的置信度与真实准确率的关系。 |
| 8.3 | 8.3 参数知识 vs 检索知识 | 记忆在参数里还是在外置存储里。 |
第 9 章 上下文与 RAG
| 节 | 文章 | 核心内容 |
|---|---|---|
| 9.1 | 9.1 Lost in the Middle 与上下文腐化 | 位置如何影响信息被利用的程度。 |
| 9.2 | 9.2 长上下文与 RAG 的成本/质量边界 | 长输入 vs 检索的权衡判据。 |
| 9.3 | 9.3 上下文预算分配:什么该放前面 | 预算有限时如何排序注入内容。 |
第 10 章 多模态与计算机使用
| 节 | 文章 | 核心内容 |
|---|---|---|
| 10.1 | 10.1 视觉/语音输入的感知误差 | 感知通道的误差模式与校准。 |
| 10.2 | 10.2 坐标 Grounding 与动作空间 | 屏幕坐标到动作的映射误差。 |
| 10.3 | 10.3 计算机使用的安全边界 | 自动化操作的安全约束。 |
第 11 章 非确定性与回放
| 节 | 文章 | 核心内容 |
|---|---|---|
| 11.1 | 11.1 采样、批处理与浮点非确定性 | 不确定性的三个来源。 |
| 11.2 | 11.2 Record/Replay:记录什么、重放什么 | 可回放要记录哪些状态。 |
| 11.3 | 11.3 可重放架构的适用边界 | 什么时候回放成本超过价值。 |
第 12 章 路由、级联与选型
| 节 | 文章 | 核心内容 |
|---|---|---|
| 12.1 | 12.1 路由:按能力/成本/风险分流 | 多模型分流的判据与实现。 |
| 12.2 | 12.2 级联与集成:什么时候值得 | 级联/集成何时提升质量、何时增加成本。 |
| 12.3 | 12.3 模型间差异的量化与 A/B | 模型替换前的差异量化。 |
第 13 章 能力卡与评审
| 节 | 文章 | 核心内容 |
|---|---|---|
| 13.1 | 13.1 一页能力卡 | 把能力边界写成一张可比较的卡片。 |
| 13.2 | 13.2 选型矩阵与敏感度 | 选型判断对参数变化的敏感度。 |
| 13.3 | 13.3 卷一收口:能力模型评审 | 六项评审清单、阻断项与成熟度。 |
前置与附录
| 篇 | 文章 | 用途 |
|---|---|---|
| 序 | 序 | 为什么 Agent 需要一套讲原理的书 |
| 前言 | 前言 | 本书怎么来的、写给谁、技术口径 |
| 附录 A | A | 术语、指标与口径速查 |
| 附录 B | B | 三条工作负载事实表,全书参数的唯一来源 |
| 附录 C | C | 能力模型评审清单 |
与其他卷的关系
上一程:《AI Agent 开发》三卷 (工程实现)与《互联网产品的 AI 架构》四卷 (后端架构)。
下一程:卷二《决策、记忆与学习》。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。