《AI Agent 技术原理与架构·决策、记忆与学习》6.3 延迟/质量/成本的三角

延迟、质量与成本很少能同时最优。本节用“单次成功率、单次延迟、单次成本、最大尝试次数”四个参数描述 Agent 配置,精确计算串行重试下的期望延迟与成本,比较快路径、均衡、彻底与只重试四种方案,给出 Pareto 前沿、W1 预算占用与逐负载的选型判据。

以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。成功率、延迟与成本都是固定参数,只用于展示三角权衡的计算方式。

Agent 的选型讨论经常变成一句话:“加一次校验更稳”“多试几次成功率更高”“用更强的模型效果更好”。这些说法都可能对,但都不完整。每一次“更稳”都要用延迟和成本支付,而延迟预算在不同负载上相差几个数量级:W1 的 p95 只有 8 秒,W2 允许 5 分钟,W3 允许 60 秒但失败不可逆。脱离预算谈质量,等于没有做选型。

这一节把配置压缩成四个参数,精确计算重试带来的成功率、期望延迟与期望成本,再用 Pareto 支配关系回答一个具体问题:给定负载和预算,哪些配置根本不该进入候选名单。

三角与支配关系

一个配置由四元组描述:

$$
\text{config} = (p, \ell, c, n)
$$

其中 $p$ 是单次尝试成功率,$\ell$ 是单次延迟,$c$ 是单次成本,$n$ 是最大尝试次数。串行重试直到成功或用尽次数,单次尝试相互独立。

成功率是:

$$
P(\text{success}) = 1 - (1-p)^n
$$

期望尝试次数是几何分布的截断和:

$$
\mathbb{E}[\text{attempts}] = \sum_{i=0}^{n-1}(1-p)^i = \frac{1-(1-p)^n}{p}
$$

期望延迟与期望成本分别是 $\mathbb{E}[\text{attempts}] \cdot \ell$ 和 $\mathbb{E}[\text{attempts}] \cdot c$。这里用期望值而不是 p95,是因为实验只建模了独立同分布的重试;生产系统必须另做尾延迟测量,不能把期望值当 SLA。

有了三个指标,就可以定义支配关系。配置 A 支配配置 B,当且仅当 A 的成功率不低于 B、延迟不高于 B、成本不高于 B,且至少有一项严格更好。被支配的配置不需要进一步讨论:它在任何合理偏好下都不会是最优选择。所有不被支配的配置构成 Pareto 前沿。

最小实验:三种配置与一个对照

实验比较四种方案:

配置单次成功率单次延迟单次成本最大尝试说明
快路径0.722.4 s$0.00351单次作答,不重试
均衡0.844.0 s$0.00552失败重试一次
彻底0.916.8 s$0.00853多次尝试加校验
只重试0.784.6 s$0.00702加次数但不加质量

前三个是候选配置,最后一个是常见的“多试一次总没坏处”的对照。W1 的延迟预算按案例事实表取 8 秒。

# file: agp_lab/latency_tradeoff.py | write
# tier: 3
# verify: python3 -m unittest tests.test_latency_tradeoff
"""延迟、质量与成本的三角:重试预算下的 Pareto 前沿。

每个配置由“单次成功率、单次延迟、单次成本、最大尝试次数”描述。串行重试
直到成功或用尽次数,因此期望尝试次数、成功率、延迟和成本都可以精确计算。
实验比较三种候选配置和一个只看重试的对照,给出 Pareto 前沿与 W1 延迟预算
占用,说明三件事:

1. 质量不是免费的:提高成功率通常同时抬高延迟与成本;
2. 不被支配的配置才值得部署,被支配的配置只是参数选择失误;
3. 同一个配置对 W1 可能超预算,对 W2/W3 却可以接受,预算必须逐负载声明。
"""
from __future__ import annotations

from dataclasses import dataclass

W1_LATENCY_BUDGET_S = 8.0


@dataclass(frozen=True)
class Config:
    name: str
    p_attempt: float
    latency_s: float
    cost_usd: float
    max_attempts: int
    note: str = ""


@dataclass(frozen=True)
class Outcome:
    config: Config
    success: float
    expected_attempts: float
    latency_s: float
    cost_usd: float
    w1_budget_ratio: float
    on_frontier: bool


def candidate_configs() -> tuple[Config, ...]:
    return (
        Config("快路径", 0.72, 2.4, 0.0035, 1, "单次作答,不重试"),
        Config("均衡", 0.84, 4.0, 0.0055, 2, "失败重试一次"),
        Config("彻底", 0.91, 6.8, 0.0085, 3, "多次尝试加校验"),
        Config("只重试", 0.78, 4.6, 0.0070, 2, "加次数但不加质量"),
    )


def expected_attempts(p_attempt: float, max_attempts: int) -> float:
    if not 0.0 <= p_attempt <= 1.0:
        raise ValueError("p_attempt 必须在 [0, 1] 内")
    if max_attempts < 1:
        raise ValueError("max_attempts 必须至少为 1")
    return sum((1.0 - p_attempt) ** attempt for attempt in range(max_attempts))


def success_probability(p_attempt: float, max_attempts: int) -> float:
    if not 0.0 <= p_attempt <= 1.0:
        raise ValueError("p_attempt 必须在 [0, 1] 内")
    if max_attempts < 1:
        raise ValueError("max_attempts 必须至少为 1")
    return 1.0 - (1.0 - p_attempt) ** max_attempts


def evaluate(config: Config) -> Outcome:
    if config.latency_s < 0 or config.cost_usd < 0:
        raise ValueError("延迟与成本不能为负")
    attempts = expected_attempts(config.p_attempt, config.max_attempts)
    latency = attempts * config.latency_s
    return Outcome(
        config=config,
        success=success_probability(config.p_attempt, config.max_attempts),
        expected_attempts=attempts,
        latency_s=latency,
        cost_usd=attempts * config.cost_usd,
        w1_budget_ratio=latency / W1_LATENCY_BUDGET_S,
        on_frontier=False,
    )


def dominates(left: Outcome, right: Outcome) -> bool:
    """left 在质量上不差、在延迟与成本上不差,且至少一项严格更好。"""
    no_worse = (
        left.success >= right.success
        and left.latency_s <= right.latency_s
        and left.cost_usd <= right.cost_usd
    )
    strictly_better = (
        left.success > right.success
        or left.latency_s < right.latency_s
        or left.cost_usd < right.cost_usd
    )
    return no_worse and strictly_better


def mark_frontier(outcomes: list[Outcome]) -> list[Outcome]:
    marked: list[Outcome] = []
    for outcome in outcomes:
        dominated = any(
            dominates(other, outcome) for other in outcomes if other is not outcome
        )
        marked.append(
            Outcome(
                config=outcome.config,
                success=outcome.success,
                expected_attempts=outcome.expected_attempts,
                latency_s=outcome.latency_s,
                cost_usd=outcome.cost_usd,
                w1_budget_ratio=outcome.w1_budget_ratio,
                on_frontier=not dominated,
            )
        )
    return marked


def evaluate_all(configs: tuple[Config, ...] | None = None) -> list[Outcome]:
    configs = candidate_configs() if configs is None else configs
    if not configs:
        raise ValueError("配置集合不能为空")
    return mark_frontier([evaluate(config) for config in configs])


if __name__ == "__main__":
    print(
        f"{'配置':<8}{'成功率':>8}{'期望尝试':>10}{'延迟(s)':>10}"
        f"{'成本($)':>10}{'W1预算':>10}{'前沿':>6}"
    )
    for outcome in evaluate_all():
        marker = "是" if outcome.on_frontier else "否"
        print(
            f"{outcome.config.name:<8}{outcome.success:>8.4f}"
            f"{outcome.expected_attempts:>10.3f}{outcome.latency_s:>10.3f}"
            f"{outcome.cost_usd:>10.4f}{outcome.w1_budget_ratio:>9.1%}{marker:>6}"
        )
    print()
    for outcome in evaluate_all():
        if not outcome.on_frontier:
            dominators = [
                other.config.name
                for other in evaluate_all()
                if dominates(other, outcome)
            ]
            print(f"被支配: {outcome.config.name} <- {', '.join(dominators)}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.latency_tradeoff

输出:

配置           成功率      期望尝试     延迟(s)     成本($)      W1预算    前沿
快路径       0.7200     1.000     2.400    0.0035    30.0%     是
均衡        0.9744     1.160     4.640    0.0064    58.0%     是
彻底        0.9993     1.098     7.467    0.0093    93.3%     是
只重试       0.9516     1.220     5.612    0.0085    70.1%     否

被支配: 只重试 <- 均衡

这张表给出四个可以直接使用的结论。

第一,“只重试”被均衡严格支配。 只重试的成功率 0.9516 低于均衡的 0.9744,延迟 5.612 秒高于均衡的 4.640 秒,成本 $0.0085 也高于均衡的 $0.0064。它在三个维度上同时更差,所以不应该出现在候选名单里。原因很直接:只重试提高了尝试次数,却没有提高单次质量;均衡用更高质量的单次尝试换来了更少的期望重试。

第二,快路径到均衡是“便宜的质量”。 成功率从 0.7200 提到 0.9744,增加 0.2544;期望延迟从 2.4 秒增到 4.64 秒,仍在 W1 预算的 58%;成本从 $0.0035 增到 $0.0064,接近翻倍但绝对值很小。对大多数 W1 请求,这是性价比最高的一档。

第三,均衡到彻底是“昂贵的边际质量”。 成功率只再提高 0.0249,却把期望延迟推到 7.467 秒,占 W1 预算的 93.3%,成本增加约 46%。这不是说彻底没有价值,而是说它的价值必须由失败代价来证明:W3 的一次不可逆误操作可能值这个延迟,W1 的一次可重试答错通常不值。

第四,Pareto 前沿上有三个点,没有一个能同时赢。 快路径赢在延迟和成本,均衡赢在中间,彻底赢在成功率。选型不是找“最好的配置”,而是先确定负载的硬预算,再在预算内选质量最高、或质量达标后成本最低的点。

这里还要强调:彻底对 W1 的 93.3% 是期望延迟占比,不是 p95。真实系统里重试次数有分布,尾部的两到三次尝试会把 p95 推过 8 秒。期望值达标不等于 SLA 达标;下一条边界会展开这一点。

边界与失败模式

独立重试假设。 公式假设每次尝试独立,但同源模型面对同一个问题往往会重复同一个错误。如果第二次尝试只是换了个措辞,成功率不会按 $(1-p)^2$ 下降失败概率,期望收益会被高估。提高单次质量、换工具、加外部证据,通常比单纯增加次数更可靠。

期望值不是尾延迟。 上面的延迟是数学期望,用户感知的是 p95 或 p99。重试配置的尾部会叠加多次调用、排队和超时,p95 可能远高于期望值。任何进入生产的配置都必须用真实分布测量尾延迟,而不是拿期望值对预算。

质量被压成二值。 实验只区分成功与失败,但真实任务有部分成功、错误但可修复、成功但引用错误等状态。把所有非完美结果都算失败,会高估彻底配置的价值;把“有输出”都算成功,会低估错误成本。质量指标必须和任务的验收方式一致。

成本只算单次调用。 表中的成本是 token 或调用费用,没有包含排队、并发占用、重试带来的上游限流、人工复核和失败后的补偿。W3 的一次误操作可能触发回滚和值班,这些都应该计入失败代价,而不是只比较单次价格。

单次成功率会漂移。 0.84 这类数字通常来自离线评测或历史日志,模型版本、提示词、工具和流量分布变化都会让它漂移。配置上线后要继续测量真实成功率,否则 Pareto 前沿只是历史快照。

校验也有质量。 “彻底”配置假设第三次尝试加校验能提高成功率,但如果校验器本身有漏洞,它可能只是增加了成本,甚至把正确答案改错。校验器的独立性和覆盖率要单独评测,不能当作免费的质量提升。

架构含义

三角权衡要落到架构,至少要写清楚五件事:

  1. 逐负载声明预算。 W1、W2、W3 的延迟、成本和质量下限必须分开写;一个全局的“快/慢”开关无法同时满足三种约束。
  2. 把重试次数当作配置,不是习惯。 最大尝试次数、退避策略、超时和失败语义要显式配置,并和单次质量一起评估;只加次数不加质量,很容易得到被支配的配置。
  3. 同时报告期望与尾延迟。 选型报告至少包含成功率、期望延迟、p95 延迟、期望成本和单任务成本上限;只有期望值的报告不足以支撑 SLA。
  4. 保留降级路径。 超出预算时要有确定的降级:返回带不确定性标记的部分结果、转人工、或明确失败。不能因为“再试一次可能成功”而无限延长。
  5. 定期重算前沿。 模型、工具、流量和价格都会变,Pareto 前沿不是一次性结论。每次版本变更后重新测量,并把被支配的配置从候选名单里删掉。

判据表如下:

判据合格的样子不合格的样子
预算每个负载有独立的延迟/成本上限全站一个阈值
质量成功率与验收方式一致,含部分成功定义只看“有没有输出”
延迟期望值与 p95 都报告用平均值对 SLA
重试次数、退避、超时、失败语义显式配置默认无限重试
选型先剔除被支配配置,再按预算选点只比较成功率

小结

  • 延迟、质量、成本构成三角,配置由单次成功率、单次延迟、单次成本和最大尝试次数描述。
  • 串行重试的成功率、期望尝试次数、期望延迟与期望成本都可以精确计算。
  • “只重试”被“均衡”在三项指标上同时支配,说明加重试次数不等于提高质量。
  • 快路径到均衡是便宜的质量提升;均衡到彻底是昂贵的边际质量,必须由失败代价证明。
  • Pareto 前沿上的点没有绝对优劣,选型要先确定负载预算,再在预算内选点。
  • 期望延迟不等于 p95;独立重试、二值质量、单次成本都是需要显式检查的边界假设。

阅读导航:上一节:6.2 元推理:什么时候该想 · 下一节:7.1 Reflexion:失败回看与反思注入 。

常见错误与边界

  1. 用平均延迟对 SLA。 期望延迟达标不代表 p95 达标;重试配置的尾部叠加更容易超预算。
  2. 假设重试独立。 同源模型会重复同一个错误,单纯增加次数可能只是重复付费。
  3. 只比较成功率。 彻底配置成功率最高,但对 W1 的期望延迟已占预算 93.3%,未必可用。
  4. 把被支配配置当“更稳”。 只重试在成功率、延迟和成本上同时差于均衡,保留它只会增加选型噪声。
  5. 质量定义与验收脱节。 二值成功率会掩盖部分成功、引用错误和不可逆副作用。
  6. 成本只算 token。 排队、并发占用、限流、人工复核和失败补偿都应计入,否则会系统性低估慢路径的真实代价。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图