以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。成功率、延迟与成本都是固定参数,只用于展示三角权衡的计算方式。
Agent 的选型讨论经常变成一句话:“加一次校验更稳”“多试几次成功率更高”“用更强的模型效果更好”。这些说法都可能对,但都不完整。每一次“更稳”都要用延迟和成本支付,而延迟预算在不同负载上相差几个数量级:W1 的 p95 只有 8 秒,W2 允许 5 分钟,W3 允许 60 秒但失败不可逆。脱离预算谈质量,等于没有做选型。
这一节把配置压缩成四个参数,精确计算重试带来的成功率、期望延迟与期望成本,再用 Pareto 支配关系回答一个具体问题:给定负载和预算,哪些配置根本不该进入候选名单。
三角与支配关系
一个配置由四元组描述:
$$
\text{config} = (p, \ell, c, n)
$$
其中 $p$ 是单次尝试成功率,$\ell$ 是单次延迟,$c$ 是单次成本,$n$ 是最大尝试次数。串行重试直到成功或用尽次数,单次尝试相互独立。
成功率是:
$$
P(\text{success}) = 1 - (1-p)^n
$$
期望尝试次数是几何分布的截断和:
$$
\mathbb{E}[\text{attempts}] = \sum_{i=0}^{n-1}(1-p)^i = \frac{1-(1-p)^n}{p}
$$
期望延迟与期望成本分别是 $\mathbb{E}[\text{attempts}] \cdot \ell$ 和 $\mathbb{E}[\text{attempts}] \cdot c$。这里用期望值而不是 p95,是因为实验只建模了独立同分布的重试;生产系统必须另做尾延迟测量,不能把期望值当 SLA。
有了三个指标,就可以定义支配关系。配置 A 支配配置 B,当且仅当 A 的成功率不低于 B、延迟不高于 B、成本不高于 B,且至少有一项严格更好。被支配的配置不需要进一步讨论:它在任何合理偏好下都不会是最优选择。所有不被支配的配置构成 Pareto 前沿。
最小实验:三种配置与一个对照
实验比较四种方案:
| 配置 | 单次成功率 | 单次延迟 | 单次成本 | 最大尝试 | 说明 |
|---|---|---|---|---|---|
| 快路径 | 0.72 | 2.4 s | $0.0035 | 1 | 单次作答,不重试 |
| 均衡 | 0.84 | 4.0 s | $0.0055 | 2 | 失败重试一次 |
| 彻底 | 0.91 | 6.8 s | $0.0085 | 3 | 多次尝试加校验 |
| 只重试 | 0.78 | 4.6 s | $0.0070 | 2 | 加次数但不加质量 |
前三个是候选配置,最后一个是常见的“多试一次总没坏处”的对照。W1 的延迟预算按案例事实表取 8 秒。
# file: agp_lab/latency_tradeoff.py | write
# tier: 3
# verify: python3 -m unittest tests.test_latency_tradeoff
"""延迟、质量与成本的三角:重试预算下的 Pareto 前沿。
每个配置由“单次成功率、单次延迟、单次成本、最大尝试次数”描述。串行重试
直到成功或用尽次数,因此期望尝试次数、成功率、延迟和成本都可以精确计算。
实验比较三种候选配置和一个只看重试的对照,给出 Pareto 前沿与 W1 延迟预算
占用,说明三件事:
1. 质量不是免费的:提高成功率通常同时抬高延迟与成本;
2. 不被支配的配置才值得部署,被支配的配置只是参数选择失误;
3. 同一个配置对 W1 可能超预算,对 W2/W3 却可以接受,预算必须逐负载声明。
"""
from __future__ import annotations
from dataclasses import dataclass
W1_LATENCY_BUDGET_S = 8.0
@dataclass(frozen=True)
class Config:
name: str
p_attempt: float
latency_s: float
cost_usd: float
max_attempts: int
note: str = ""
@dataclass(frozen=True)
class Outcome:
config: Config
success: float
expected_attempts: float
latency_s: float
cost_usd: float
w1_budget_ratio: float
on_frontier: bool
def candidate_configs() -> tuple[Config, ...]:
return (
Config("快路径", 0.72, 2.4, 0.0035, 1, "单次作答,不重试"),
Config("均衡", 0.84, 4.0, 0.0055, 2, "失败重试一次"),
Config("彻底", 0.91, 6.8, 0.0085, 3, "多次尝试加校验"),
Config("只重试", 0.78, 4.6, 0.0070, 2, "加次数但不加质量"),
)
def expected_attempts(p_attempt: float, max_attempts: int) -> float:
if not 0.0 <= p_attempt <= 1.0:
raise ValueError("p_attempt 必须在 [0, 1] 内")
if max_attempts < 1:
raise ValueError("max_attempts 必须至少为 1")
return sum((1.0 - p_attempt) ** attempt for attempt in range(max_attempts))
def success_probability(p_attempt: float, max_attempts: int) -> float:
if not 0.0 <= p_attempt <= 1.0:
raise ValueError("p_attempt 必须在 [0, 1] 内")
if max_attempts < 1:
raise ValueError("max_attempts 必须至少为 1")
return 1.0 - (1.0 - p_attempt) ** max_attempts
def evaluate(config: Config) -> Outcome:
if config.latency_s < 0 or config.cost_usd < 0:
raise ValueError("延迟与成本不能为负")
attempts = expected_attempts(config.p_attempt, config.max_attempts)
latency = attempts * config.latency_s
return Outcome(
config=config,
success=success_probability(config.p_attempt, config.max_attempts),
expected_attempts=attempts,
latency_s=latency,
cost_usd=attempts * config.cost_usd,
w1_budget_ratio=latency / W1_LATENCY_BUDGET_S,
on_frontier=False,
)
def dominates(left: Outcome, right: Outcome) -> bool:
"""left 在质量上不差、在延迟与成本上不差,且至少一项严格更好。"""
no_worse = (
left.success >= right.success
and left.latency_s <= right.latency_s
and left.cost_usd <= right.cost_usd
)
strictly_better = (
left.success > right.success
or left.latency_s < right.latency_s
or left.cost_usd < right.cost_usd
)
return no_worse and strictly_better
def mark_frontier(outcomes: list[Outcome]) -> list[Outcome]:
marked: list[Outcome] = []
for outcome in outcomes:
dominated = any(
dominates(other, outcome) for other in outcomes if other is not outcome
)
marked.append(
Outcome(
config=outcome.config,
success=outcome.success,
expected_attempts=outcome.expected_attempts,
latency_s=outcome.latency_s,
cost_usd=outcome.cost_usd,
w1_budget_ratio=outcome.w1_budget_ratio,
on_frontier=not dominated,
)
)
return marked
def evaluate_all(configs: tuple[Config, ...] | None = None) -> list[Outcome]:
configs = candidate_configs() if configs is None else configs
if not configs:
raise ValueError("配置集合不能为空")
return mark_frontier([evaluate(config) for config in configs])
if __name__ == "__main__":
print(
f"{'配置':<8}{'成功率':>8}{'期望尝试':>10}{'延迟(s)':>10}"
f"{'成本($)':>10}{'W1预算':>10}{'前沿':>6}"
)
for outcome in evaluate_all():
marker = "是" if outcome.on_frontier else "否"
print(
f"{outcome.config.name:<8}{outcome.success:>8.4f}"
f"{outcome.expected_attempts:>10.3f}{outcome.latency_s:>10.3f}"
f"{outcome.cost_usd:>10.4f}{outcome.w1_budget_ratio:>9.1%}{marker:>6}"
)
print()
for outcome in evaluate_all():
if not outcome.on_frontier:
dominators = [
other.config.name
for other in evaluate_all()
if dominates(other, outcome)
]
print(f"被支配: {outcome.config.name} <- {', '.join(dominators)}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.latency_tradeoff
输出:
配置 成功率 期望尝试 延迟(s) 成本($) W1预算 前沿
快路径 0.7200 1.000 2.400 0.0035 30.0% 是
均衡 0.9744 1.160 4.640 0.0064 58.0% 是
彻底 0.9993 1.098 7.467 0.0093 93.3% 是
只重试 0.9516 1.220 5.612 0.0085 70.1% 否
被支配: 只重试 <- 均衡
这张表给出四个可以直接使用的结论。
第一,“只重试”被均衡严格支配。 只重试的成功率 0.9516 低于均衡的 0.9744,延迟 5.612 秒高于均衡的 4.640 秒,成本 $0.0085 也高于均衡的 $0.0064。它在三个维度上同时更差,所以不应该出现在候选名单里。原因很直接:只重试提高了尝试次数,却没有提高单次质量;均衡用更高质量的单次尝试换来了更少的期望重试。
第二,快路径到均衡是“便宜的质量”。 成功率从 0.7200 提到 0.9744,增加 0.2544;期望延迟从 2.4 秒增到 4.64 秒,仍在 W1 预算的 58%;成本从 $0.0035 增到 $0.0064,接近翻倍但绝对值很小。对大多数 W1 请求,这是性价比最高的一档。
第三,均衡到彻底是“昂贵的边际质量”。 成功率只再提高 0.0249,却把期望延迟推到 7.467 秒,占 W1 预算的 93.3%,成本增加约 46%。这不是说彻底没有价值,而是说它的价值必须由失败代价来证明:W3 的一次不可逆误操作可能值这个延迟,W1 的一次可重试答错通常不值。
第四,Pareto 前沿上有三个点,没有一个能同时赢。 快路径赢在延迟和成本,均衡赢在中间,彻底赢在成功率。选型不是找“最好的配置”,而是先确定负载的硬预算,再在预算内选质量最高、或质量达标后成本最低的点。
这里还要强调:彻底对 W1 的 93.3% 是期望延迟占比,不是 p95。真实系统里重试次数有分布,尾部的两到三次尝试会把 p95 推过 8 秒。期望值达标不等于 SLA 达标;下一条边界会展开这一点。
边界与失败模式
独立重试假设。 公式假设每次尝试独立,但同源模型面对同一个问题往往会重复同一个错误。如果第二次尝试只是换了个措辞,成功率不会按 $(1-p)^2$ 下降失败概率,期望收益会被高估。提高单次质量、换工具、加外部证据,通常比单纯增加次数更可靠。
期望值不是尾延迟。 上面的延迟是数学期望,用户感知的是 p95 或 p99。重试配置的尾部会叠加多次调用、排队和超时,p95 可能远高于期望值。任何进入生产的配置都必须用真实分布测量尾延迟,而不是拿期望值对预算。
质量被压成二值。 实验只区分成功与失败,但真实任务有部分成功、错误但可修复、成功但引用错误等状态。把所有非完美结果都算失败,会高估彻底配置的价值;把“有输出”都算成功,会低估错误成本。质量指标必须和任务的验收方式一致。
成本只算单次调用。 表中的成本是 token 或调用费用,没有包含排队、并发占用、重试带来的上游限流、人工复核和失败后的补偿。W3 的一次误操作可能触发回滚和值班,这些都应该计入失败代价,而不是只比较单次价格。
单次成功率会漂移。 0.84 这类数字通常来自离线评测或历史日志,模型版本、提示词、工具和流量分布变化都会让它漂移。配置上线后要继续测量真实成功率,否则 Pareto 前沿只是历史快照。
校验也有质量。 “彻底”配置假设第三次尝试加校验能提高成功率,但如果校验器本身有漏洞,它可能只是增加了成本,甚至把正确答案改错。校验器的独立性和覆盖率要单独评测,不能当作免费的质量提升。
架构含义
三角权衡要落到架构,至少要写清楚五件事:
- 逐负载声明预算。 W1、W2、W3 的延迟、成本和质量下限必须分开写;一个全局的“快/慢”开关无法同时满足三种约束。
- 把重试次数当作配置,不是习惯。 最大尝试次数、退避策略、超时和失败语义要显式配置,并和单次质量一起评估;只加次数不加质量,很容易得到被支配的配置。
- 同时报告期望与尾延迟。 选型报告至少包含成功率、期望延迟、p95 延迟、期望成本和单任务成本上限;只有期望值的报告不足以支撑 SLA。
- 保留降级路径。 超出预算时要有确定的降级:返回带不确定性标记的部分结果、转人工、或明确失败。不能因为“再试一次可能成功”而无限延长。
- 定期重算前沿。 模型、工具、流量和价格都会变,Pareto 前沿不是一次性结论。每次版本变更后重新测量,并把被支配的配置从候选名单里删掉。
判据表如下:
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 预算 | 每个负载有独立的延迟/成本上限 | 全站一个阈值 |
| 质量 | 成功率与验收方式一致,含部分成功定义 | 只看“有没有输出” |
| 延迟 | 期望值与 p95 都报告 | 用平均值对 SLA |
| 重试 | 次数、退避、超时、失败语义显式配置 | 默认无限重试 |
| 选型 | 先剔除被支配配置,再按预算选点 | 只比较成功率 |
小结
- 延迟、质量、成本构成三角,配置由单次成功率、单次延迟、单次成本和最大尝试次数描述。
- 串行重试的成功率、期望尝试次数、期望延迟与期望成本都可以精确计算。
- “只重试”被“均衡”在三项指标上同时支配,说明加重试次数不等于提高质量。
- 快路径到均衡是便宜的质量提升;均衡到彻底是昂贵的边际质量,必须由失败代价证明。
- Pareto 前沿上的点没有绝对优劣,选型要先确定负载预算,再在预算内选点。
- 期望延迟不等于 p95;独立重试、二值质量、单次成本都是需要显式检查的边界假设。
阅读导航:上一节:6.2 元推理:什么时候该想 · 下一节:7.1 Reflexion:失败回看与反思注入 。
常见错误与边界
- 用平均延迟对 SLA。 期望延迟达标不代表 p95 达标;重试配置的尾部叠加更容易超预算。
- 假设重试独立。 同源模型会重复同一个错误,单纯增加次数可能只是重复付费。
- 只比较成功率。 彻底配置成功率最高,但对 W1 的期望延迟已占预算 93.3%,未必可用。
- 把被支配配置当“更稳”。 只重试在成功率、延迟和成本上同时差于均衡,保留它只会增加选型噪声。
- 质量定义与验收脱节。 二值成功率会掩盖部分成功、引用错误和不可逆副作用。
- 成本只算 token。 排队、并发占用、限流、人工复核和失败补偿都应计入,否则会系统性低估慢路径的真实代价。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。