本附录是三卷参数的唯一来源。三卷共用同一组工作负载,不新增第四种,不改变任何已有数字。
所有数字为教学设定值,不代表任何真实系统或真实供应商。
一、三条工作负载
| W1 检索问答 | W2 代码修复 | W3 运维处置 |
|---|
| 任务定义 | 从 200 份内部文档中回答事实问题并给出可核对引用 | 在给定仓库修复可复现 bug 并跑通指定测试 | 根据告警执行一次服务重启或扩容 |
| 时间跨度 | 3–8 步 | 10–40 步 | 2–6 步 |
| 可逆性 | 只读,可重试 | 写分支,可回滚 | 不可逆,需审批与补偿 |
| 可验证性 | 引用与原文可逐条核对 | 测试通过/失败可判定 | 健康检查可判定 |
| 延迟预算 | p95 ≤ 8 s | p95 ≤ 5 min | p95 ≤ 60 s |
| 单任务成本 | ≤ $0.02 | ≤ $0.50 | ≤ $0.05 |
| 失败影响 | 低 | 中 | 高 |
三条负载不是能力递增,而是约束组合不同:W1 压的是低延迟与只读安全,W2 压的是长链路的可判定性,W3 压的是不可逆动作的审批与补偿。本书的判据设计逻辑不是"越难越好",而是"同一判据在三种约束下都要能成立"。
二、四层技术栈
| 层 | 名称 | 回答的问题 | 典型产物 | 失败后果 |
|---|
| L1 | 模型层 | 模型能做什么、不能做什么 | 能力卡、评测集、选型矩阵 | 承诺了做不到的能力 |
| L2 | 决策层 | Agent 如何根据观测选择动作 | 策略、计划、终止条件 | 目标漂移、死循环、错误动作 |
| L3 | 运行时层 | 动作如何被执行、恢复与终止 | 状态机、事件日志、沙箱 | 重复副作用、丢状态、无法恢复 |
| L4 | 系统层 | 多个 Agent、工具与租户如何组合 | 协议、网关、配额、治理 | 级联失败、越权、成本失控 |
三、三条主线
| 主线 | 核心问题 | 主要落在 | 判据形式 |
|---|
| 能力线 | 模型到底能做什么 | 卷一 | 能力卡 + 边界清单 + 评测 |
| 决策线 | Agent 如何选择动作 | 卷二 | POMDP/策略/终止条件 + 反事实实验 |
| 执行线 | 动作如何可靠执行 | 卷三 | 状态机/事件日志/幂等键 + 故障注入 |
四、卷一实验参数
4.1 判据格式(1.3)
| 参数 | 值 |
|---|
| 示例判据 | K-01~K-04 |
| 拒答判据 | 50 条无答案问题,拒答比例 ≥ 90% |
| 终止判据 | 20 条长任务,100% 触发步数上限并记录原因 |
| 模糊词表 | 效果好、稳定、可靠、智能、优秀、高效、更快、更强 |
4.2 自回归与采样(2.1–2.2)
| 参数 | 值 |
|---|
| 语料 | 4 条固定 token 序列,词表 7 个 token |
| 平滑 | 加一平滑 |
| 温度档位 | 0.5、1.0、2.0 |
| 示例 logits | 2.0、1.0、0.0、−1.0 |
| top-p | 0.8 |
| pass@k | n=10,c=2,k=1…5 |
4.3 注意力、位置与残差(3.1–3.3)
| 参数 | 值 |
|---|
| 注意力示例 | 4 个 token、2 维、因果掩码 |
| RoPE base | 10000 |
| RoPE 对照偏移 | 1、2、4、8、16、64 |
| 绝对位置对照 | 位置 3→5 与 103→105 |
| 残差深度 | 1、2、4、8、16 |
| 残差权重 | 0.9 |
4.4 延迟与显存(4.1–4.3)
| 配置 | prefill tokens | decode tokens | prefill rate | decode rate | queue | 预算 |
|---|
| W1 | 3000 | 200 | 1500/s | 60/s | 0.2 s | 8 s |
| W2 | 20000 | 4000 | 5000/s | 80/s | 0.5 s | 300 s |
| W3 | 2000 | 100 | 1000/s | 50/s | 0.1 s | 60 s |
| W1-heavy | 3000 | 800 | 1500/s | 60/s | 0.2 s | 8 s |
| 参数 | 值 |
|---|
| 模型 | 32 层、32 个 query head、head_dim 128、fp16 |
| GQA | 8 个 KV head |
| 显存预算 | 24 GiB |
| 序列长度 | 4096、8192、32768 |
| 复杂度基准 | 1024 token、d=128、32 层、8 个 KV head |
| 对照长度 | 1024、4096、16384、65536 |
4.5 能力模型评审(13.3)
| 参数 | 值 |
|---|
| 评审清单 | 6 项(capability_card/failure_modes/eval_sets/cost_model/replay_plan/human_escalation) |
| 阻断项 | capability_card、eval_sets、human_escalation |
| 通过阈值 | 0.8 |
| 结论 | pass / revise / blocked |
五、口径公式
端到端延迟 = TTFT + TPOT × decode_tokens + queue
KV Cache 显存 = 2 × layers × heads × head_dim × seq_len × bytes_per_element
每秒请求上限 = 显存预算 ÷ 单并发 KV 显存
单请求成本 = 模型单价 × (prefill_tokens + decode_tokens) ÷ 1000
通过率 = 通过项数 ÷ 总项数
阻断判定 = 任一阻断项未满足即 blocked
六、禁用与易错清单
- 不得新增第四种负载,不得给任何负载增加本表之外的参数或成本。
- 不得把教学参数写成"实测"或"生产数据"。
- 不编造论文结论、源码行号、训练曲线或供应商性能。
- 不把 W1/W2/W3 写成真实客户案例;它们只是三类约束的代表。
- 三卷之间不另设第二套数字;与《AI Agent 开发》《互联网产品的 AI 架构》的案例无关,不得混用。
- 延迟预算(p95 ≤ X)是任务级约束,不是全系统承诺。
- 任何"对比"必须说明负载与模型配置,不能把不同配置的数放在一起比。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。