这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
《互联网产品的 AI 架构·多能力编排与任务闭环》4.2 节点间的上下文预算分配
同一条编排里,高优先级节点只拿到最小上下文,低优先级节点却用不完预算,这是平均分配的典型结果。本节把输入预算拆成固定系统提示、共享片段、节点私有与输出预留四段,给出保底再增长的两阶段分配器,并用三组预算复算裁剪、丢弃、窗口不足与可追踪的丢弃原因。
posts
这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
同一条编排里,高优先级节点只拿到最小上下文,低优先级节点却用不完预算,这是平均分配的典型结果。本节把输入预算拆成固定系统提示、共享片段、节点私有与输出预留四段,给出保底再增长的两阶段分配器,并用三组预算复算裁剪、丢弃、窗口不足与可追踪的丢弃原因。
同一份共享上下文,全量复制、共享前缀与检索句柄在 token、成本与风险上完全不同。本节用三节点样本复算三种形态,说明 28.47% 的回本线从哪里来、句柄模式省下的钱花在哪,并给出可运行的成本比较模块、选择判据与可判定的上线条件,最后指出三种形态混用的边界。
人工复核要等几小时,发布动作又不能重放。本节定义回声可恢复执行图的检查点结构、只信任 succeeded 的重放边界,以及从根键派生、跨重试与恢复不变的幂等键;用 655ms + 370ms = 1,025ms 验证恢复后的延迟与成本口径,附可运行的 TypeScript 恢复模块。
拓扑序只给约束,不给调度。本节把回声的三条链路按层执行:层内并行、层间交接,用 all、any、quorum 三种汇合语义处理分支失败,并用确定性样本量化关键路径、重试成本与 13.02% 单步失败预算的关系,附可运行的 TypeScript 调度器。
把回声的三条链路从三段 await 改写成可校验的执行图:区分能力、人工与动作节点,用边表达数据依赖,用唯一终点与步数、成本双闸定义终止条件,让环、孤立节点、不可达终点和非法 quorum 在运行前暴露。附可运行的 TypeScript 图模型与 14 项确定性测试。
编排层对外只暴露一个入口,但输入字段、状态码、错误语义与契约版本任何一个没定清,接入方就会各自猜。本节给出一份可校验的编排输入输出信封、八类错误码及其重试与部分结果策略,并演示 2.3 与 2.4 次版本、2.x 与 3.x 大版本之间的兼容判定。
编排省下 454 微元,却多花 69ms,这笔账到底怎么算。本节把交接 token 拆成增量上下文与上游结果,比较复制、传递、共享三种模式的 token 与成本,推导复用回本线 820 ÷ (3,200 × 0.9) = 28.47%,并说明它随 token 结构与失败路径如何变化。
卷三要回答的第一个问题是跨能力调用到底该传什么。本节把节点间上下文分成携带数据、传引用、传摘要、传游标四类载体,给出字段来源、必填、版本与校验规则,并用一个零依赖校验器把缺失、未知字段、失效引用和越界游标变成可定位的问题码,附可复算的校验结果。
三条链路都塞进编排引擎,最先坏掉的往往是最简单的那条。本节把固定流程、声明式编排与 Agent 循环放在同一组结构信号下,用可判定的评分函数给出回声 A/B/C 的选择,并说明 C 链加一个会员价分支就会跨过阈值、从固定流程翻到声明式编排的完整判据。
两条检索串行还是并行、人工复核是否每次都跑,是编排里最先遇到的结构选择。本节把串行、并行与条件分支放进同一个成本与成功率模型,用回声的两组对照算出并行省 195ms、条件分支省 81.18% 延迟,并给出选择顺序、三个隐藏成本与四条路径的验收口径。
「回声」的主模型超时后,降级链先重试三次,再切到单次价格三倍的更大模型,最后用规则给出答案:一次十微元的规则结果花了七百九十微元。本节把成本单调性、重试上限、质量下限与四个退出条件写进降级链,并在示例样本上对比宽松与有界两种策略的真实运行结果。
同一个用户请求在回声会穿过不同能力:内容发布、私信客服、站内下单三条链路的节点、成本、延迟与成功率都不一样。本节用可运行模型把链路展开成节点级账单与失败预算,算出每次成功交付成本,说明为什么请求数不等于能力调用数,以及容量规划应该用哪个数来估算。
《互联网产品的 AI 架构·多能力编排与任务闭环》的完整目录与学习路径:13 章 39 节从编排结构、节点间契约、执行图、上下文与状态,讲到失败传播、人工与异步、编排级质量与成本、权限、观测、平台化与演进;附四卷分工、三条阅读路径、实验工程与读完应能回答的十二个问题。
前言交代卷三的结构与用法:13 章如何从编排结构走到平台化收口,src/orch 的模块地图,L1/L2/L3 三级可运行性,代码块三行头约定,「回声」的三条链路,八周阅读节奏,代码验证方法,以及本卷明确不做的三件事、常见误用与示例数字的边界。
卷二把单能力的成本与延迟压到边界之后,卷三要回答多个能力如何协同完成一个任务。这篇序从一次「能不能退、帮我下单」的跨能力请求讲起,拆解编排新增的四类成本,给出复用回本线与失败预算,并交代四卷分工、数字来源、L3 边界、常见误解、阅读方式与判据。
「回声」的主供应商在区域高峰返回 429,网关把重试铺到三家供应商,流量放大到 1.7 倍,备胎也被打到限流。本节把 429 冷却、本地配额池、确定性分流与全局重试预算放在一起,给出三种策略在 600 条示例请求上的运行结果,并说明怎样按卷一的能力分级决定隐藏、降级还是阻塞。
新模型通过离线门禁后进入 5% 灰度,错误率从 1.00% 升到 2.12%,自动回滚在第二个窗口触发。本节说明灰度比例怎样按租户粘性分桶、硬指标与软指标为什么要不同回滚条件、样本不足为什么只能 hold,以及回滚后在途请求、缓存、幂等记录与下游写入怎样保持一致。
新模型把整体通过率做到和基线一模一样,却在长中文与对抗样本两个分层明显退步。本节说明评测集怎样按能力与难度分层、抽样为什么必须确定性、阈值为什么要看 Wilson 下界与配对 bootstrap 区间,并给出一个能逐项复算的回归门禁模块与示例样本运行结果。
「回声」要在八个能力上同时选模型,加权总分却把取舍藏成一个数字。本节把质量、成本与延迟放回三维坐标,用支配关系求 Pareto 前沿,区分被支配区域与真正不可兼得的边界,再按能力护栏与边际成本选点;文中给出可运行的前沿模块与示例样本运行结果,说明最贵的不一定最好、最便宜的也不一定够用。
成本显著下降不等于可以发布:批处理每条只省 17.54 微元却把延迟推到 58 分钟,缓存的质量回退在 12 次比较后不再显著。本节用置信区间、效应量、质量回退形态与外推风险,逐组判断四组实验哪些能上线、哪些只能留作探索,并附 7 项判定测试。