《AI Agent 技术原理与架构·运行时、协议与系统架构》11.2 熔断器三态与恢复

把'无限重试'变成'阶段性的重试',靠的是熔断器三态:关闭正常、打开快速失败、半开试探放行。连续失败到阈值熔断打开,打开后请求快速失败不再压下游;冷却期后半开放行一次,成功就回到关闭。实验模拟三态转换,演示 3 次失败打开、冷却后恢复、成功回关闭,说明熔断把重试从失控变成可控。

以下失败阈值与冷却时长为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“关闭→打开→半开→关闭的状态机、快速失败防压垮"这两条不变,具体阈值与冷却按下游真实行为实测。

11.1 把失败分了类,这一节处理可重试失败最危险的形态:无限重试。熔断器把"无限重试"变成"阶段性的重试”。三态状态机——关闭、打开、半开——让重试从失控变成可控。

熔断器三态

熔断器是重试的节流阀,三态各管一段:

状态行为含义
关闭正常调用,失败计数下游看起来正常
打开快速失败,不再调用下游可能坏了
半开放行少量试探试探下游恢复没

关闭不是无条件的。 关闭状态下每个失败都在计数,连续失败累积到阈值,状态翻到打开。打开才是熔断的意义——不再把请求压给正在故障的下游,而是直接快速失败,让下游喘息。

三态转换

状态转换是熔断器的全部逻辑:

转换触发结果
关闭→打开连续失败 ≥ 阈值快速失败
打开→半开冷却期结束放行试探
半开→关闭试探成功恢复正常
半开→打开试探失败继续快速失败

冷却期是关键参数。 打开之后不是永远拒绝,而是等冷却期——给下游恢复的时间。冷却期一过转半开,放行少量请求试探。试探成功说明下游好了,回到关闭;试探失败说明还没好,继续打开。

最小实验:三态状态机

实验提供 CircuitBreaker:call 按状态处理每次调用,run_sequence 模拟一串成功/失败结果驱动状态迁移。

# file: agp_lab/circuit_breaker.py | write
# tier: 3
# verify: python3 -m unittest tests.test_circuit_breaker
"""重试、熔断与降级:把"无限重试"变成"阶段性的重试"。

熔断器三态:关闭(正常)、打开(快速失败)、半开(试探放行)。
本模块模拟连续失败的请求如何让熔断器从关闭到打开、冷却后半开、
成功后关闭,量化重试被熔断拦截的次数。
"""
from __future__ import annotations

from typing import Any


class CircuitBreaker:
    def __init__(self, failure_threshold: int = 3, cooldown: int = 5) -> None:
        self.failure_threshold = failure_threshold
        self.cooldown = cooldown
        self.state = "closed"
        self.failures = 0
        self.tick = 0

    def tick_advance(self) -> None:
        self.tick += 1

    def call(self, success: bool) -> str:
        if self.state == "open":
            if self.tick - self.opened_at >= self.cooldown:
                self.state = "half_open"
            else:
                return "fast_fail"
        if self.state in ("closed", "half_open"):
            if success:
                self.failures = 0
                self.state = "closed"
                return "success"
            self.failures += 1
            if self.failures >= self.failure_threshold:
                self.state = "open"
                self.opened_at = self.tick
                return "opened"
            return "retryable"
        return "fast_fail"


def run_sequence(breaker: CircuitBreaker, outcomes: list[bool]) -> list[str]:
    results: list[str] = []
    for outcome in outcomes:
        breaker.tick_advance()
        results.append(breaker.call(outcome))
    return results


def demo() -> dict[str, Any]:
    breaker = CircuitBreaker(failure_threshold=3, cooldown=5)
    first_burst = run_sequence(
        breaker, [False, False, False, True, True]
    )
    breaker2 = CircuitBreaker(failure_threshold=3, cooldown=5)
    burst_with_cooldown = run_sequence(
        breaker2, [False, False, False, False, False, False, False, True]
    )
    return {
        "open_after_3_failures": first_burst,
        "final_state_first": breaker.state,
        "cooldown_recovery": burst_with_cooldown,
        "final_state_second": breaker2.state,
    }


if __name__ == "__main__":
    for key, value in demo().items():
        print(f"{key}: {value}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.circuit_breaker

输出:

open_after_3_failures: ['retryable', 'retryable', 'opened', 'fast_fail', 'fast_fail']
final_state_first: open
cooldown_recovery: ['retryable', 'retryable', 'opened', 'fast_fail', 'fast_fail', 'fast_fail', 'fast_fail', 'success']
final_state_second: closed

四条输出对应四件事:

  1. open_after_3_failures:两次可重试失败后第三次失败触发 opened,之后请求 fast_fail。连续失败到阈值,熔断打开。
  2. final_state_first:第一串结束时状态是 open。打开后持续快速失败,不再压下游。
  3. cooldown_recovery:更长序列——3 次失败打开、冷却期快速失败 4 次、第 8 次 success。冷却后半开放行,成功恢复。
  4. final_state_second:第二串结束时状态是 closed。成功让熔断回到关闭,循环完成。

一个值得点破的细节:cooldown_recovery 里的 success 出现在一串 fast_fail 之后——它不是随机的成功,而是半开状态放行的试探。冷却期过了,熔断器才敢放一个请求进去;这个试探成功,状态才从半开回关闭。如果试探失败,状态会弹回打开再等一轮冷却——恢复不是一次成功就尘埃落定,而是一轮一轮试探出来的。

阈值与冷却的配合

两个参数要一起调。阈值决定"多快熔断",冷却决定"多久恢复"。阈值太小,偶发抖动就熔断,把正常请求快速失败掉;阈值太大,下游已经病了还在硬扛。冷却太短,还没恢复就试探,失败概率高;冷却太长,下游好了也白白等。

参数调小调大
失败阈值更敏感,易误熔断更迟钝,故障暴露久
冷却时长恢复快,试探早恢复慢,试探稳

参数要跟着下游的故障模式走。 下游是瞬时抖动(超时),阈值放宽、冷却放短;下游是持续故障(进程挂),阈值收紧、冷却放长。参数是配置,不是代码常量——熔断器要支持按下游调。

熔断与重试预算

熔断器和重试要配合。重试负责"试几次",熔断负责"试的窗口"。没有熔断,重试可能无限试;没有重试,熔断只挡不试,下游好了也接不回来。两者的分工:重试在关闭态内试,熔断在打开态外拒。 一个完整的策略是:关闭态重试 ≤ 2 次,连续失败到 3 次熔断,冷却 5 个窗口后试探。

熔断与 11 章其他机制的接口

熔断消费 11.1 的分类、服务 11.3 的合成。可重试失败喂给熔断计数——不是所有失败都计数,只有可重试的失败累积才会打开熔断(11.1);熔断打开时的快速失败,要让上层 11.3 的合成器知道——一个子任务被熔断拒绝,合成器把它当失败计入补偿计划。熔断是重试与降级之间的闸门:关闭态允许重试,打开态强制降级。

熔断的可观测性

熔断状态是最值得观测的信号之一。追踪(12.1)要记录每次 fast_fail 与状态迁移——熔断打开是下游故障的早期信号,比错误日志更早、更明确。状态分布能指示健康度:一个下游长期停在打开态,说明它在持续故障,要人工介入而不是等试探。熔断器要把状态机暴露成可查询的信号,而不是藏在调用里。

熔断与超时的配合

熔断管连续失败,超时管单次等待。一次调用超时了,是重试还是计失败? 通常超时算一次失败,重试另算一次——但要防"一次超时重试成三次失败":一个慢请求触发 3 次失败,把熔断误打开。慢请求与真故障要区分:区分不了,就放宽阈值或引入慢请求保护。

请求类型熔断影响
真失败计失败,累积打开
超时重试一次超时可能变多次失败
慢请求不失败但拖延迟

超时与失败要分开统计。 熔断器只数真失败,超时另计——这样慢请求不会误触发熔断,真故障又能及时打开。统计口径是熔断正确性的细节,写进实现别默认。

半开窗口的试探量

半开放行几个试探,是设计决策。试探太少,一次成功就恢复,但可能是侥幸;试探太多,失败时又压了一轮下游。折中是固定比例:打开期间放行 1-2 个试探,成功率过半才回关闭。

试探量风险
1 个一次成功可能侥幸
2-3 个平衡
全部又压一轮下游

半开的恢复判定要过半数。 1 个试探成功不代表下游恢复——它可能刚好命中幸存实例。放行多个试探、多数成功才回关闭,恢复判定才可靠。这与 10.2 的多数仲裁是同一个直觉:结论要过人头。

熔断参数的调优

阈值与冷却要随实测调。调优的依据是失败分布——连续失败多(真故障),阈值收紧;偶发抖动多(瞬时超时),阈值放宽。调优不是拍脑袋,是看数据:12.1 的追踪记录每次失败与熔断事件,12.3 的统计对比调参前后的错误率。

信号调参方向
连续失败占比高阈值收紧
偶发抖动占比高阈值放宽
恢复慢冷却放短

熔断参数是配置不是代码。 每个下游一组参数,按实测调整。熔断器的观测接口(12.1)要让状态迁移可见,调优才有数据。

熔断的分组

熔断要按下游分组。不同下游各自的熔断器——支付下游熔断,不牵连搜索下游。一个全局熔断器,一个下游故障就全系统快速失败;按下游分组,故障半径缩小。分组粒度是架构决策:太细维护多,太粗故障波及广。

分组故障半径维护
全局大少
按下游小中
按方法最小多

分组与 9.1 的拓扑呼应——熔断分组跟着拓扑走:星型拓扑的中心下游最需要独立熔断,因为它故障波及面最大。

熔断与降级

熔断打开后,请求怎么降级?快速失败是一种降级(最硬),还有软降级:走缓存、走备用下游、返回上次结果。软降级保留可用性,但要用旧数据(要 8.2 的版本意识)。熔断的状态要决定降级程度——刚打开走缓存,冷却后半开放行试探。

熔断状态降级
刚打开缓存/备用
打开已久快速失败
半开试探放行

架构判据

熔断是否合格,用五条判据检查:

判据合格的样子不合格的样子
三态齐全关闭/打开/半开都实现只有开与关
阈值可配阈值按下游调固定常量
冷却可配冷却时长可调冷却写死
快速失败明确打开态不再调用打开态继续压
恢复有路径半开试探能回关闭打开后永不复原

判据第一条是"三态缺一不可",判据第三条才是关键:冷却期是打开与恢复之间的桥——没有冷却,打开态要么永远拒绝要么立刻重压。判据第五条是闭环:熔断器必须能从打开回到关闭,否则一次故障就永久降级。

小结

  • 熔断器三态:关闭正常、打开快速失败、半开试探放行。
  • 连续失败到阈值熔断打开,打开后请求快速失败。
  • 冷却期后转半开,试探成功回关闭、失败继续打开。
  • 阈值与冷却按下游故障模式配置,不是固定常量。
  • 重试管"试几次",熔断管"试的窗口",两者配合。

阅读导航:上一节:11.1 失败分类与扩散 · 下一节:11.3 部分结果合成与补偿 。

常见错误与边界

  1. 无限重试。 没有熔断,可重试失败无限试,把故障放大。
  2. 只有开与关。 缺半开状态,打开后没有试探恢复的路径。
  3. 阈值写死。 不同下游故障模式不同,阈值要按下游配。
  4. 冷却不配。 冷却太短试探太早、太长恢复太慢。
  5. 打开态还压下游。 熔断的意义就是打开后快速失败,继续调用等于没熔断。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图