《AI Agent 技术原理与架构·运行时、协议与系统架构》11.1 失败分类与扩散

失败不是一种,而是四类:可重试、可忽略、可补偿、致命。分类决定失败如何扩散——可重试的失败重试后恢复,可忽略的被吸收,可补偿的记入补偿计划,致命的终止整条链。实验按类型跟踪失败的扩散路径,演示可重试恢复、致命扩散、可忽略吸收三种场景,说明失败处理的第一步是分类,分类错了后面全错。

以下失败类型与扩散路径均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“失败先分类、分类决定扩散"这两条不变,具体类型映射按真实错误码与系统行为实测。

10.3 讲了死锁怎么防,这一节进容错的第一课:失败怎么对待。失败不是一种,而是四类。分类决定失败如何扩散——可重试的恢复、可忽略的吸收、可补偿的记账、致命的终止。失败处理的第一步是分类,分类错了,后面全错。

失败的四分类

失败先分类,四类对应四种对待方式:

类型特征对待方式
可重试暂时性,重试可能成功重试
可忽略不影响最终目标吸收
可补偿有副作用,需回滚记补偿计划
致命不可恢复终止扩散

分类决定动作。 把致命失败当可重试,会无限重试;把可补偿当可忽略,副作用残留;把可忽略当致命,小失败拖垮整条链。分类的准确性是容错正确性的前提。

扩散路径

失败不是停在原地,会沿调用链扩散。扩散路径由类型决定:

场景扩散路径终点
可重试恢复失败→重试→成功在 worker 停止
致命一路向上到达源,终止
可忽略被吸收在 cache 停止

扩散要跟踪。 谁传的、在哪停的、最终到没到源——这些要显式记录成路径。一条失败扩散链就是一次故障的完整病历:从第一次失败到最终处理,每个环节都看得见。

最小实验:按类型跟踪扩散

实验提供 classify(失败类型映射)与 propagate(沿链跟踪扩散,‘ok’ 停止、fatal 记录 fatal_at)。

# file: agp_lab/failure_propagation.py | write
# tier: 3
# verify: python3 -m unittest tests.test_failure_propagation
"""失败分类与传播路径:什么失败会扩散、如何被边界拦截。

不是所有失败都值得重试或传播。本模块按"可重试、可补偿、可忽略"
三档分类失败,模拟失败在调用链上传播,并演示拦截点在每一层的
效果:失败被吞掉、被升级、或被边界吸收。
"""
from __future__ import annotations

from dataclasses import dataclass
from typing import Any


@dataclass(frozen=True)
class Failure:
    source: str
    kind: str  # retryable / compensable / ignorable / fatal


def classify(kind: str) -> str:
    if kind in ("timeout", "rate_limited"):
        return "retryable"
    if kind in ("validation", "not_found"):
        return "ignorable"
    if kind == "side_effect_partial":
        return "compensable"
    return "fatal"


def propagate(chain: list[Failure]) -> dict[str, Any]:
    """按层传播失败,记录每一层是否拦截。"ok" 表示该层恢复、失败停止。"""
    seen: list[str] = []
    fatal: str | None = None
    stopped_at: str | None = None
    for failure in chain:
        seen.append(f"{failure.source}:{failure.kind}")
        if failure.kind == "ok":
            stopped_at = failure.source
            break
        action = classify(failure.kind)
        if action == "fatal":
            fatal = failure.source
            break
    return {
        "propagated_through": seen,
        "fatal_at": fatal,
        "stopped_at": stopped_at,
    }


def demo() -> dict[str, Any]:
    retry = propagate([
        Failure("worker", "timeout"),
        Failure("worker", "timeout"),
        Failure("worker", "ok"),
    ])
    fatal = propagate([
        Failure("db", "validation"),
        Failure("engine", "side_effect_partial"),
        Failure("db", "corruption"),
    ])
    absorbed = propagate([
        Failure("tool", "not_found"),
        Failure("cache", "not_found"),
        Failure("cache", "ok"),
    ])
    return {
        "retryable_recovered": retry,
        "fatal_propagated": fatal,
        "ignorable_absorbed": absorbed,
        "classify_samples": {
            "timeout": classify("timeout"),
            "validation": classify("validation"),
            "side_effect_partial": classify("side_effect_partial"),
        },
    }


if __name__ == "__main__":
    for key, value in demo().items():
        print(f"{key}: {value}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.failure_propagation

输出:

retryable_recovered: {'propagated_through': ['worker:timeout', 'worker:timeout', 'worker:ok'], 'fatal_at': None, 'stopped_at': 'worker'}
fatal_propagated: {'propagated_through': ['db:validation', 'engine:side_effect_partial', 'db:corruption'], 'fatal_at': 'db', 'stopped_at': None}
ignorable_absorbed: {'propagated_through': ['tool:not_found', 'cache:not_found', 'cache:ok'], 'fatal_at': None, 'stopped_at': 'cache'}
classify_samples: {'timeout': 'retryable', 'validation': 'ignorable', 'side_effect_partial': 'compensable'}

四条输出对应四件事:

  1. retryable_recovered:两次 timeout 之后一次 ok,路径 ['worker:timeout', 'worker:timeout', 'worker:ok'],fatal_at 是 None,在 worker 停止。可重试失败重试后恢复,不扩散到上游。
  2. fatal_propagated:路径一路到 db:corruption,fatal_at 是 db,stopped_at 是 None。致命失败扩散到源并终止——不是在某处被吸收,而是整个链条停在这里。
  3. ignorable_absorbed:not_found 两次后被 ok 吸收,在 cache 停止。可忽略失败被吸收,不打扰上游。
  4. classify_samples:timeout→可重试、validation→可忽略、side_effect_partial→可补偿。分类表是扩散的前提,每个失败先落一个类。

一个值得点破的细节:fatal_propagated 里 db 先报 validation(可忽略),后来报 corruption(致命)——同一个节点可以在不同阶段报不同类别的失败。分类不是绑定节点,而是绑定"这一次失败的性质”。而 retryable_recovered 里 stopped_at: worker 说明恢复发生在源头——可重试失败恢复得越早,扩散范围越小。

分类的边界

分类表不是死的,边界要显式处理。同一类失败在不同上下文里可能不同:写入的 validation 失败可重试(改格式重试),读出的 validation 失败可忽略(数据已不存在)。分类要带上下文,不能只凭错误码一刀切。

上下文validation处理
写入输入不对可重试(修正后重试)
读取键不存在可忽略
清理已删除可忽略

分类与 11 章其他机制的接口

分类是容错的地基,后面的机制都消费它。可重试失败喂给熔断器(11.2)——连续可重试失败累积到阈值,熔断器打开;可补偿失败喂给补偿器(11.3)——记入补偿计划,成功后执行回滚。分类先行,熔断与补偿才有输入——没有分类表,熔断器不知道数什么失败,补偿器不知道补偿什么。

分类与可观测性

失败分类让可观测性有意义。追踪(12.1)记录失败事件,分类表让事件变成可聚合的信号——“可重试失败比例升高"比"一堆错误"更可行动。审计(13.3 的可靠性视角)要能按类型统计失败分布:哪类失败最多、哪类扩散最广。分类是把失败从"噪声"变成"信号"的关键——没有分类,日志里只有一屏错误;有了分类,错误有了类别与动作。

超时是失败的一种

超时是最难分类的失败。超时可能是对方慢了,也可能是对方挂了——分类表把它归为可重试,但重试多少次、多久再试,要有策略。超时重试要配退避:固定间隔退避(每次等一样久)、指数退避(越退越久)、抖动退避(随机防风暴)。

退避行为适用
固定等固定时长系统简单
指数每次加倍下游波动
抖动随机上下防同步风暴

重试的策略上限是关键。 可重试不代表无限重试——上限次数、上限时间,超过就当致命处理(11.2 的熔断就是这一步)。超时分类把"该重试"说清楚了,重试策略把"重试到什么程度"说清楚,两者缺一不可。

重试风暴

多个调用方同时重试,可能压垮下游。每个调用方重试 3 次,10 个调用方就是对下游的 30 次冲击——重试风暴比原始故障更危险。防风暴要靠:抖动退避(错开重试时刻)、熔断(11.2,下游故障时快速失败)、限流(13.2,控制重试总量)。

防线防什么
抖动退避同步重试
熔断连续失败压垮
限流重试总量失控

重试风暴是 9.2 通信成本的放大版——失败时消息数不降反升。失败处理设计要算"失败时的消息量”,而不是只算正常态。

失败预算

给失败定预算。“每小时可容忍多少失败”——超过预算就要人工介入或降级。失败预算把"容错"从无限(反正能重试)变成有限(超过就要行动)。预算按错误率定:5% 的错误率可以接受,超过就触发告警、降级。

预算行为
预算内正常重试
超预算告警
严重超降级或熔断

失败预算与 11.2 的熔断、12.3 的统计衔接——熔断是单点失败护栏,失败预算是全局失败护栏;统计(12.3)算的误差界,可以当预算的定级依据。

架构判据

失败分类是否合格,用五条判据检查:

判据合格的样子不合格的样子
分类表明确每类失败有定义失败无法归类
分类带上下文同类不同语境不同处理错误码一刀切
扩散可跟踪路径显式记录失败去向不明
恢复记录终点知道在哪停止失败消失无交代
分类供下游消费熔断补偿有输入分类表悬空

判据第一条是"失败必须能落类",判据第三条才是关键:扩散要显式跟踪,谁传的、在哪停的要写进路径。判据第五条是 11.1 与 11.2、11.3 的接缝——分类表不消费,就等于没分类。

小结

  • 失败先分类:可重试、可忽略、可补偿、致命。
  • 分类决定扩散:可重试恢复、可忽略吸收、致命终止。
  • 扩散路径要显式跟踪,构成故障的完整病历。
  • 分类带上下文,不能只凭错误码一刀切。
  • 分类供熔断与补偿消费,是容错的地基。

阅读导航:上一节:10.3 死锁:环检测与预算 · 下一节:11.2 熔断器三态与恢复 。

常见错误与边界

  1. 失败无法归类。 没有分类表,后面所有容错机制没有输入。
  2. 错误码一刀切。 同一错误码在不同上下文性质不同,要带上下文分类。
  3. 扩散去向不明。 失败传了就没记录,故障复盘无从下手。
  4. 把致命当可重试。 无限重试一个不可恢复的失败,把故障放大。
  5. 分类表悬空。 分类了但熔断补偿不消费,等于没分类。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图