14.1 混沌实验的分布式原理
第 13 章用了三节讲「故障来了会怎样」,并且都是理论推导:仲裁公式推出多数派可写,fencing 推出无双主,Survives 推出单域宕机不破多数派。这一章换个思路——把故障真的注入进去,看系统会不会违背我们声称的承诺。这就是混沌工程。本节讲它的分布式原理:为什么它算得上一种科学方法,而不只是「故意弄坏系统找乐子」。
先把「混沌工程」与相邻概念划清界限:故障演练(fire drill)测的是「人会不会应对」,混沌实验测的是「系统承诺是否成立」;监控告警是「出事了告诉我」,混沌实验是「在出事之前先替它出事」。本节的落点是讲清楚实验的三个构件——故障、不变量、爆炸半径——以及它们如何组成一个可检验的闭环。
混沌实验不是破坏,是检验
混沌工程最常见的误解是「随机杀 Pod 观察乱不乱」。真正的混沌实验有一个精确的形态:实验 = 故障注入 + 不变量检查。注入的故障是「被假设系统能扛住」的那一种,不变量是「系统在故障下必须仍然成立」的承诺。实验的结论不是「系统坏了」,而是「承诺是否被违背」。
| 组成部分 | 例子 | 回答的问题 |
|---|---|---|
| 故障注入 | 杀掉 etcd-0、断掉一个可用区 | 「这种故障会发生吗」 |
| 不变量检查 | 已提交数据不丢、多数派写可用 | 「故障下承诺还成立吗」 |
| 爆炸半径控制 | 只影响 1 个副本、限定时长 | 「实验本身会伤到谁」 |
这三者缺一不可。只注入不检查,等于「破坏」;只检查不注入,等于「监控」;不控爆炸半径,等于「事故」。混沌工程的定位是在可控范围内把「假想的故障」变成「验证过的结论」。
实验模型:目标、故障、时长、爆炸半径
lab 的 Experiment 类型把一次实验压缩成四个字段,它们是任何混沌实验的公共骨架:
| 字段 | 含义 | 生产示例 |
|---|---|---|
Target | 注入目标对象 | etcd-0、app-v1 |
Fault | 注入的故障类型 | kill-pod、partition、disk-failure |
Duration | 注入时长(时间刻度) | 30 秒、5 分钟 |
BlastRadius | 受影响的副本数 | 1、2 |
FaultType 常量是故障的最小分类:kill-pod(进程/容器级)、kill-leader(Leader 节点)、partition(网络分区)、disk-failure(存储故障)。这四类不是随机挑选的——它们精确对应第 13 章推导过的三类一致性场景:节点消失(quorum 变化)、Leader 消失(fencing/选举)、分区(多数派/少数派)、磁盘故障(fsync/持久化)。混沌实验的故障库,本质是「把一致性理论里枚举过的故障形态都注入一遍」。
故障库的覆盖矩阵
混沌实验的故障库不是拍脑袋,它应该覆盖「系统在设计上声称能容忍的每一类故障」。把四类故障与它们检验的机制列成矩阵:
| 故障类型 | 注入形态 | 检验的机制 | 对应章节 |
|---|---|---|---|
| kill-pod | 杀掉一个副本 | 多数派冗余、无状态自愈 | 8.3 |
| kill-leader | 杀掉 Leader 节点 | 选举、fencing、已提交不丢 | 13.1 |
| partition | 切断成员间网络 | 仲裁、少数派拒写 | 13.1、13.2 |
| disk-failure | 让节点磁盘不可写 | 持久化、fsync、只读降级 | 9.3 |
覆盖矩阵的意义是防止「只测最容易注入的故障」。多数团队乐于做 kill-pod(一条命令就能杀),却极少做 partition 与 disk-failure——而后者才是第 13、9 章一致性承诺真正依赖的故障形态。故障库的完备性,决定了一致性验证的可信度。
注入 → 观察 → 恢复:一个实验的生命周期
一次实验被严格切成三个阶段,lab 的 Daemon 用注入时间戳与 Duration 来管理它们:
- 注入(inject):
Daemon.Inject(e, now)记录注入开始时间。从这一刻起故障真实生效——Pod 被杀、分区建立。 - 观察(observe):故障持续期间,外部的不变量检查器(第 14.3 节的主角)反复探测系统,确认承诺是否仍成立。lab 的
Running(e, now)判定now-start < Duration时故障仍在生效。 - 恢复(recover):达到
Duration后故障自动过期,Running在检查的同时把过期实验从注入表中删除;运维也可以主动Recover(e)提前结束。恢复是自动的,不是靠人记着去关。
三个阶段的顺序是硬性的:观察必须在注入之后、恢复之前。把观察放在注入前等于「测没有故障的系统」,把恢复提前到观察完成前等于「结论没收集完就收场」——阶段顺序本身就是实验正确性的一个约束。
Running 的实现里藏着一个设计选择:过期即清理。if now-start >= e.Duration { delete(...); return false }——这个 delete 让「故障自动停止」不依赖外部调度器,而是由每次探测顺带完成。对照第 13 章的「租约到期即隔离」,同一个模式:时间到,状态自动失效。
一条实验的完整时间线
把 14.1 节的要素缝合成一条完整时间线,从声明到结论:
| 时刻 | 动作 | 状态 |
|---|---|---|
| T0 | 声明实验:目标 etcd-0、故障 kill-pod、时长 100 | 未注入 |
| T1 | Inject 记录开始时间,故障生效 | 注入期 |
| T2 | 外部检查器探测「已提交数据不丢」 | 观察期 |
| T3 | now-start >= 100,Running 自动过期 | 恢复期 |
| T4 | 检查器再次探测,确认不变量仍成立 | 出结论 |
注意 T2 与 T3 的边界:观察必须在注入期内完成,恢复后的探测用来确认「故障解除后系统回到基线」。一次设计良好的实验,结论同时包含「故障期间不变量成立」与「故障解除后系统恢复」两个部分,只测一半会把「恢复慢」误判成「恢复失败」。
爆炸半径:实验的最小伤害原则
爆炸半径(blast radius)是混沌工程区别于事故的边界。lab 里 BlastRadius 直接存「受影响的副本数」,它的工程含义有三层:
| 层 | 控制方式 | 例子 |
|---|---|---|
| 目标选择 | 指定 Target,不波及无关对象 | 只杀 etcd-0,不碰 etcd-1/2 |
| 副本影响 | 半径限定故障覆盖的副本数 | 5 副本杀 1 个,仍剩 4 ≥ quorum 3 |
| 时长限制 | Duration 到期自动恢复 | 分区只持续 30 秒 |
第 14.3 节的 lab 会证明「半径=1 时 5 副本仍可写」——那是爆炸半径的分布式意义:一个设计良好的实验,其故障范围必须小于系统能容忍的故障范围。实验的判据不是「把系统打瘫」,而是「打到刚好能检验承诺的边缘」。
爆炸半径的设定不是静态的:它要跟着系统当前的冗余状态走。当 5 副本因一次维护只剩 4 副本时,同样「杀 1 副本」的实验就从「打边缘」变成「打穿多数派」——实验前先查当前冗余,再定半径,别拿「理想的 5 副本」去设计「现实的 4 副本」上要跑的实验。
不变量检查:什么才算「实验通过」
一次实验通过与否,不看「系统有没有恢复」,而看「故障期间与故障后,不变量有没有被违背」。分布式系统里三类最核心的不变量直接对应前几章:
| 不变量 | 含义 | 违背时系统在说什么 |
|---|---|---|
| 已提交数据不丢 | 故障后已提交条目仍可读 | 持久化承诺破了(第 9 章 RPO) |
| 多数派可写 | 故障期间写仍可用 | 可用性承诺破了(第 8.3 章) |
| 少数派拒写 | 分区期间少数派不产生新提交 | 脑裂防护破了(第 13.1 章) |
这三条不变量不是并列的,优先级上有顺序:多数派可写与少数派拒写是「可用性」承诺,已提交数据不丢是「正确性」承诺——正确性优先于可用性,这正是一致性系统的共同取向。混沌实验若观察到「少数派居然能写」,比观察到「写超时」严重得多:前者是脑裂防护失效,后者只是可用性下降。
这些不变量不是混沌实验发明的,而是第 8、9、13 章推导过的结论。混沌实验的价值是把「纸面推导」升级成「运行证据」:推导说「2f+1 能容忍 f 故障」,实验就在真实代码里杀掉 f+1 个节点,看推导是否成立。任何一次不变量违背,都意味着要么实现有 bug,要么推导的假设不成立。
实验设计流程:从不变量出发
混沌实验的设计顺序与直觉相反——先定不变量,再定故障。流程四步:
- 列出系统必须满足的承诺(已提交不丢、多数派可写、少数派拒写);
- 为每条承诺选一个最能挑战它的故障(第 14.3 节会给完整对应表);
- 设定目标与爆炸半径,保证故障范围小于系统容忍范围;
- 定义「通过」判据:不变量检查 + 恢复后基线确认。
倒过来设计是新手最常见的失误:先选「好玩的故障」,再问「能验证什么」——得到的结论通常是「系统在某种随机故障下不崩溃」,而不是「某个具体承诺在对应故障下成立」。不变量先行,故障跟随,混沌实验才能累积成可复用的验证资产。
实验报告:结论要可复现
一次混沌实验的产出不是「系统没事」四个字,而是一份可复现的报告,至少包含:
| 报告字段 | 内容 | 为什么必需 |
|---|---|---|
| 实验参数 | 目标、故障、时长、半径 | 别人能按原样重放 |
| 不变量清单 | 检查了哪些承诺 | 知道结论覆盖什么 |
| 检查结果 | 每条不变量通过/违背 | 违背时直接指向 bug |
| 时间戳 | 注入、观察、恢复时刻 | 与监控日志对齐归因 |
没有参数与时间戳的实验报告等于事故复盘——只能解释「当时发生了什么」,无法回答「再跑一次会不会一样」。可复现性是混沌实验区别于运气的地方:同样的注入、同样的不变量,应该得到同样的结论。
混沌实验的自动化:从演练到持续
混沌实验的终极形态不是「定期手工搞一次」,而是作为 CI/CD 的一部分持续运行。自动化要解决三件事:
| 问题 | 手工做法 | 自动化做法 |
|---|---|---|
| 什么时候注入 | 上线前大演练 | 每次发版前跑回归实验集 |
| 故障怎么恢复 | 人工记着解除 | Duration 到期自动恢复 |
| 结果怎么判定 | 人看监控 | 不变量检查器自动断言 |
自动化带来一个额外约束:实验必须无副作用且可重复。手工演练可以容忍「这次分区让某个临时副本卡住」,自动化流程里同样的实验会被反复跑几十次,任何残留状态都会累积。这迫使故障注入做得更干净——目标明确、半径可控、到期必清。混沌工程对系统设计的反向要求,往往比正向的「高可用」指标更能暴露问题。
三个常见误解
- 「混沌实验就是在生产环境随机搞破坏」——错误。实验有明确目标、故障类型、时长与爆炸半径,结论是不变量检查,不是「看它乱不乱」。
- 「实验没让系统宕机,就是没效果」——错误。实验的目的是验证承诺,多数派侧的故障本来就该被扛住;不违背不变量恰恰是「通过」。
- 「实验故障要靠运维记着去恢复」——错误。
Duration到期自动过期,Running顺带清理注入;恢复是协议的一部分,不依赖人的记忆。
一句话总结本节
混沌实验的分布式原理是「故障注入 + 不变量检查」的闭环:一次实验由目标、故障、注入时长、爆炸半径四个要素定义,经历注入→观察→恢复三个阶段,结论是「前几章推导过的一致性承诺是否在真实故障下仍成立」。故障是手段,不变量是标尺,爆炸半径是护栏。
下一节把单次实验放大成编排系统:Chaos Mesh 如何排队、按序注入、到期自动恢复,把混沌实验变成可持续的生产流程。
本节 lab
本节的测试落在 chaos 包的 Daemon 与 Experiment 类型上,验证「注入、过期、恢复」的生命周期:
cd private/labs/k8s-net-lab
go test ./chaos -run TestExperimentLifecycle -v
- 注入
kill-etcd-0(Duration=100)后,在now=1050断言故障仍生效——对应「注入期内的故障持续」。 - 在
now=1100(注入起点 1000 已过 Duration)断言故障已过期——对应「到期自动清理」。 - 重新注入后主动
Recover,在now=2010断言不再生效——对应「提前恢复」。 - 共 3 条断言,跑完见
ok k8s-net-lab/chaos。这就是「注入 → 观察 → 恢复」生命周期的最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。