《AI Agent 技术原理与架构·模型、推理与能力边界》附录 B 案例事实表

三卷共用的事实表:W1 检索问答、W2 代码修复、W3 运维处置,逐项给出任务定义、时间跨度、可逆性、可验证性、延迟预算与失败影响;卷一使用的采样、注意力、KV Cache、成本模型参数也集中在本表,正文所有数字以本表为唯一来源,三卷之间不另设第二套数字。

本附录是三卷参数的唯一来源。三卷共用同一组工作负载,不新增第四种,不改变任何已有数字。

所有数字为教学设定值,不代表任何真实系统或真实供应商。

一、三条工作负载

W1 检索问答W2 代码修复W3 运维处置
任务定义从 200 份内部文档中回答事实问题并给出可核对引用在给定仓库修复可复现 bug 并跑通指定测试根据告警执行一次服务重启或扩容
时间跨度3–8 步10–40 步2–6 步
可逆性只读,可重试写分支,可回滚不可逆,需审批与补偿
可验证性引用与原文可逐条核对测试通过/失败可判定健康检查可判定
延迟预算p95 ≤ 8 sp95 ≤ 5 minp95 ≤ 60 s
单任务成本≤ $0.02≤ $0.50≤ $0.05
失败影响低中高

三条负载不是能力递增,而是约束组合不同:W1 压的是低延迟与只读安全,W2 压的是长链路的可判定性,W3 压的是不可逆动作的审批与补偿。本书的判据设计逻辑不是"越难越好",而是"同一判据在三种约束下都要能成立"。

二、四层技术栈

层名称回答的问题典型产物失败后果
L1模型层模型能做什么、不能做什么能力卡、评测集、选型矩阵承诺了做不到的能力
L2决策层Agent 如何根据观测选择动作策略、计划、终止条件目标漂移、死循环、错误动作
L3运行时层动作如何被执行、恢复与终止状态机、事件日志、沙箱重复副作用、丢状态、无法恢复
L4系统层多个 Agent、工具与租户如何组合协议、网关、配额、治理级联失败、越权、成本失控

三、三条主线

主线核心问题主要落在判据形式
能力线模型到底能做什么卷一能力卡 + 边界清单 + 评测
决策线Agent 如何选择动作卷二POMDP/策略/终止条件 + 反事实实验
执行线动作如何可靠执行卷三状态机/事件日志/幂等键 + 故障注入

四、卷一实验参数

4.1 判据格式(1.3)

参数值
示例判据K-01~K-04
拒答判据50 条无答案问题,拒答比例 ≥ 90%
终止判据20 条长任务,100% 触发步数上限并记录原因
模糊词表效果好、稳定、可靠、智能、优秀、高效、更快、更强

4.2 自回归与采样(2.1–2.2)

参数值
语料4 条固定 token 序列,词表 7 个 token
平滑加一平滑
温度档位0.5、1.0、2.0
示例 logits2.0、1.0、0.0、−1.0
top-p0.8
pass@kn=10,c=2,k=1…5

4.3 注意力、位置与残差(3.1–3.3)

参数值
注意力示例4 个 token、2 维、因果掩码
RoPE base10000
RoPE 对照偏移1、2、4、8、16、64
绝对位置对照位置 3→5 与 103→105
残差深度1、2、4、8、16
残差权重0.9

4.4 延迟与显存(4.1–4.3)

配置prefill tokensdecode tokensprefill ratedecode ratequeue预算
W130002001500/s60/s0.2 s8 s
W22000040005000/s80/s0.5 s300 s
W320001001000/s50/s0.1 s60 s
W1-heavy30008001500/s60/s0.2 s8 s
参数值
模型32 层、32 个 query head、head_dim 128、fp16
GQA8 个 KV head
显存预算24 GiB
序列长度4096、8192、32768
复杂度基准1024 token、d=128、32 层、8 个 KV head
对照长度1024、4096、16384、65536

4.5 能力模型评审(13.3)

参数值
评审清单6 项(capability_card/failure_modes/eval_sets/cost_model/replay_plan/human_escalation)
阻断项capability_card、eval_sets、human_escalation
通过阈值0.8
结论pass / revise / blocked

五、口径公式

端到端延迟      = TTFT + TPOT × decode_tokens + queue
KV Cache 显存   = 2 × layers × heads × head_dim × seq_len × bytes_per_element
每秒请求上限    = 显存预算 ÷ 单并发 KV 显存
单请求成本       = 模型单价 × (prefill_tokens + decode_tokens) ÷ 1000
通过率          = 通过项数 ÷ 总项数
阻断判定        = 任一阻断项未满足即 blocked

六、禁用与易错清单

  1. 不得新增第四种负载,不得给任何负载增加本表之外的参数或成本。
  2. 不得把教学参数写成"实测"或"生产数据"。
  3. 不编造论文结论、源码行号、训练曲线或供应商性能。
  4. 不把 W1/W2/W3 写成真实客户案例;它们只是三类约束的代表。
  5. 三卷之间不另设第二套数字;与《AI Agent 开发》《互联网产品的 AI 架构》的案例无关,不得混用。
  6. 延迟预算(p95 ≤ X)是任务级约束,不是全系统承诺。
  7. 任何"对比"必须说明负载与模型配置,不能把不同配置的数放在一起比。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图