《Kubernetes 分布式系统原理深入解析》15.3 从 K8s 到自研系统的迁移路径

全书收束末篇:把 K8s 学到的机制迁移到自研分布式系统的完整路径——数据真相源不变、分阶段迁移(数据同步→切读→切写)、避免双写窗口、安全切流判定。lab 用 review 包三个测试验证安全切流、双写窗口拦截与分阶段保一致三条语义。

15.3 从 K8s 到自研系统的迁移路径

第 15.1 节回顾了五条主线,第 15.2 节立了五条原则,本节回答最后一个问题:当你把从 K8s 学到的机制搬进自研分布式系统时,怎么搬才不会出事。

场景很常见:公司跑在 K8s 上的服务要拆出独立的配置中心、独立的分布式 KV、独立的任务调度器;或者你想脱离 etcd,自研一个替代存储。迁移的最大风险不是新系统写错,而是新旧系统交接期间两头不一致——读的旧、写的新,或者两边同时写。本节给出一条可照做的路径:数据真相源不变、分阶段迁移、避免双写窗口、安全切流判定。

先看清迁移的三个典型失败模式,后面的路径就是为绕开它们设计的:

失败模式表现根因
拷贝即切流数据拷过去就切,存量未追平只做了阶段 1,跳过了验证
双写窗口新写开了旧写没停,两边分叉阶段 3 的两个动作没有严格排序
双真相源新旧系统都自称权威,无法核对迁移期间真相源没有固定下来

三种失败有一个共同点:都是「交接秩序」出了问题,而不是新系统代码写错。 所以本节的重心不是「怎么写新系统」,而是「怎么安排交接」。

第一红线:数据真相源不变

迁移期间最容易犯的错是「搬家途中让新系统成为第二真相源」。一旦新旧两套都自称「权威」,两边数据就会开始分叉,而分叉后的合并几乎无解——谁是新值?谁的版本号算数?

红线的表述只有一句:整个迁移期间,数据真相源(source of truth)只有一个,且不改变。 比如从 etcd 迁到自研 KV:迁移期间 etcd 仍是真相源,自研 KV 只是它的「投影」;直到切流完成的最后一刻,etcd 都不降级。

lab 里 Migration.SourceOfTruth 字段就是这条红线的机械化表达——SafeCutover() 的第一个条件是 SourceOfTruth != "",真相源为空,直接判定不可安全切流。 它逼着设计者先回答「谁说了算」,再谈迁移。

怎么判断一个系统是不是真相源?三个问题:它丢失数据会影响最终正确性吗?它的写是否被另一个系统覆盖?它的读是否被另一个系统否决? 三个都答「否」,它才是真相源。在 K8s 语境里真相源通常是 etcd;在自研系统里,它可能是自研 Raft 存储,但绝不能是「一个 Redis + 定期快照」——那只是缓存或投影,不是权威。

分阶段迁移:数据同步 → 切读 → 切写

安全的迁移不是「一个晚上把请求全指过去」,而是三个阶段依次推进,每个阶段结束都保持一致性承诺。三阶段的原则是:阶段 1 花时间(追平存量),阶段 2 花验证(回源核对),阶段 3 花纪律(严格排序)。 时间可以宽裕,验证可以反复,唯独排序不能让步。

阶段动作一致性承诺判断完成
1 数据同步新系统持续消费真相源的全部变更新系统是真相源的完整投影追平到最新版本,延迟为 0
2 切读读流量切到新系统,仍回源校验读到的新值可由真相源验证抽样校验全部命中
3 切写先停旧写,再让新系统接收写任一时刻只有一边在写旧写停净,新写接管

顺序为什么是「读先写后」? 因为读切流是可逆的:新系统读错了,马上切回旧系统读,业务无损。写切流是不可逆的:两边同时接收写就是双写窗口,之后任何一边的修改都与另一边矛盾。所以阶段 3 有一条铁律——先停旧写,再开新写,两个动作之间不允许存在同时写的时间片。

双写窗口:最该避免的迁移事故

双写窗口是迁移事故的头号元凶。两个写者同时写同一份业务数据,没有公共的仲裁者,结果必然是分叉:旧系统写 status=ready,新系统写 status=done,谁覆盖谁取决于时序,而时序在分布式环境里不可复现。

lab 的 Migration.SplitBrainWindow 字段专门标记这种情况。构造一个「双写窗口 = true」的迁移,SafeCutover() 立刻返回 false——存在双写窗口,一律不允许切流。 这条检查的意义在于把「我们当时觉得没问题」的主观判断,变成「模型检测到双写窗口」的客观拦截。

避免双写窗口的实操方法有两种:

  • 停写—再开写:先把旧系统写入口全部关闭(读仍可用),确认无存量写,再打开新系统写入口。
  • 单向网关:旧写先经过一个转发网关,网关在新系统就绪后把写转给它,同一时刻只有网关这一个「写总开关」。

无论哪种,判据都是同一句:任意时刻,能被真实业务写到的系统最多一个。

双写窗口的可怕之处在于事后几乎无法发现:两边各自写入、各自读起来都自洽,只有把两份数据放到一起按版本号比对,才看出分叉。等业务发现「同一个订单两个状态」时,分叉已经扩散到下游。所以双写窗口必须靠迁移模型提前检测,而不是靠事后对账——这正是 SplitBrainWindow 字段存在的意义:把「当时没发现」变成「现在不允许」。

安全切流判定:SafeCutover

把三条要求收拢成一个判定函数,就是 lab 里的 SafeCutover():

安全切流 = 真相源不为空 且 无双写窗口

它只有两个布尔条件,但每个条件背后都压着一段教训:

条件检查什么违背后果
真相源不为空迁移期间一直有唯一权威无权威则无法判断「对错」
无双写窗口任意时刻至多一个写者双写导致数据分叉,合并无解

真实迁移里,这个判定应该在阶段 3 执行之前、执行之中、执行之后各跑一次:之前验证条件具备,之中验证没引入新写源,之后验证新系统已完全接管、旧系统确已停写。

把三个时机整理成一张执行卡,比凭感觉做检查更可靠:

时机检查内容通过判据
切流前真相源是否唯一、旧写是否已停净两个布尔条件同时为真
切流中是否出现任何新的写入口SplitBrainWindow 保持 false
切流后新系统是否完全接管、旧系统是否确认停写值一致性核对零分叉

这张执行卡配合 SafeCutover() 判定,就是迁移的「最后一道闸门」。

组件映射:K8s 机制搬到自研系统

迁移不只是换数据源,更是把机制搬家。四卷的机制到自研系统有一条直接的映射:

K8s 组件/机制自研系统对应物迁移要点
etcd Raft自研共识存储(或选第三方 Raft 库)多数派才承诺不变
Lease 选主自研主备协调模块续租、隔离 token 原样保留
list-watch / informer自研事件订阅层resourceVersion 增量同步不变
controller 调谐自研状态机 / 调谐循环期望状态 + 幂等重试不变
拓扑约束 / PDB副本放置策略故障域分散不变

映射的规律很清晰:组件可以换,主线与原则一条都不能少。 你写自研系统时省掉的任何一条主线,都会在某个故障场景下以事故的形式补回来。

迁移也有先后顺序,不是全部机制一次性搬完。按「缺了会出事的顺序」排:

优先级先迁什么理由
P0真相源存储 + 多数派承诺数据不乱是一切的基础
P0主备选举 + 隔离没隔离会双主,比慢更严重
P1事件订阅 + 版本号状态流动依赖它
P1调谐循环 + 幂等重试自愈能力
P2故障域分散 + 拓扑约束规模与容灾优化

P0 的两条是「先保命」,P1 是「先自愈」,P2 是「再优化」。 按这个顺序迁,即使中途停止,系统也处于「不丢数据、不脑裂」的安全态。

一次完整迁移:自研配置中心

用一个具体例子把三阶段走通。假设要把「配置读取」从 K8s ConfigMap + apiserver 迁到自研配置中心:

  1. 数据同步:自研配置中心订阅 etcd 的全部 ConfigMap 变更,按 resourceVersion 增量回放;核对清单——每条配置、每个版本、每次变更都对齐。
  2. 切读:业务侧读配置先走自研中心,但保留「回源校验」:读到值后与 etcd 当前值比对,不一致立即报警并回落旧路径。跑一段时间,确认抽样校验全部命中。
  3. 切写:先停掉旧的「ConfigMap 直写」入口(运维侧锁写),确认无存量写,再打开自研中心写入口。之后旧入口长期关闭,真相源正式交接。

每一步都有明确的「完成判据」,这正是分阶段的意义——不是「相信没问题」,而是「每一步都验证过没问题」。

分阶段的另一个红利是回滚窗口清晰:阶段 2 出错,把读切回旧系统即可,写仍在旧系统,回滚无成本;阶段 3 的「先停旧写」动作本身就是回滚锚点——只要旧写入口还没被物理关闭,随时可以放弃切写、维持旧系统。迁移预案里最该写清楚的,不是「怎么前进」,而是「每一步怎么后退」。

迁移红线清单

把本节的内容压缩成一份可照做的清单,迁移前逐条打勾:

  • 真相源唯一:迁移全程只有一个权威系统,且名字写进设计文档
  • 分阶段推进:数据同步、切读、切写三步依次完成,每步有完成判据
  • 切读可逆:读切流后保留回源校验与回落路径
  • 先停旧写再开新写:两个动作之间不存在同时写时间片
  • 双写窗口检测:迁移模型里 SplitBrainWindow 为 false
  • 安全切流判定:切流前后各跑一次 SafeCutover 条件核查
  • 机制不缩水:五条主线在自研系统里都有对应物
  • 回归验证:切流后持续一段时间的值一致性核对,确认分叉为零

这张清单的三行「元红线」值得单独提出来:真相源唯一、双写窗口为零、先停旧写再开新写。 其余条目都从这三行派生——「切读可逆」是为了在双写窗口出现前能后退,「机制不缩水」是为了让新系统配得上接管真相源。迁移时如果时间紧,砍掉的是过程性的验证,但这三行元红线一条都不能砍。

三个常见误解

  • 「迁移就是把数据拷一份过去,拷贝完成就切流」——错误。拷贝只是阶段 1 的起点;真正的风险在切读与切写之间的衔接,拷完就切最容易踩双写窗口。
  • 「新系统上线后旧系统可以立即下线」——错误。真相源交接需要停旧写、观察、验证一致性的完整过程;「立即下线」会让未同步的存量数据失去核对依据。
  • 「迁移是新系统的项目,和旧系统无关」——错误。迁移的成功率取决于旧系统是否配合——旧写能不能停干净、旧读能不能回源校验,都决定新系统能否安全接管。

一句话总结本节

从 K8s 迁到自研系统的路径是:数据真相源在整个迁移期间保持不变,按数据同步→切读→切写分阶段推进,先停旧写再开新写以避免双写窗口,并用「真相源不为空 + 无双写窗口」的判定把关切流。 组件可以换,五条主线与五条原则一条都不能少——这是全书最后一句最重要的教训。

到这里,四卷书走完了一个完整的圆:卷一讲数据怎么不乱,卷二讲系统怎么自愈,卷三讲决策怎么做出,卷四讲边界划在哪。把主线记在心里、把原则带在身上、把路径用于实践,这本书的任务才算真正完成。

收束章三节的关系可以用一句话收束:15.1 回顾「K8s 是怎么做到的」,15.2 提炼「任何系统都该遵守什么」,15.3 回答「从 K8s 迁移出去时怎么不出事」。 三者分别对应「认知、规范、行动」——这也是把一本书读成一种能力的三级台阶。

本节 lab

本节对应 review 包的三个测试,验证「安全切流、双写窗口拦截、分阶段保一致」三条语义:

cd private/labs/k8s-net-lab
go test ./review -run 'TestMigrationSafeCutover|TestMigrationSplitBrainWindowDetected|TestMigrationPhasedPreservesConsistency' -v
  • TestMigrationSafeCutover:SourceOfTruth="etcd",依次 AddStep("同步数据")、AddStep("切读"),断言 SafeCutover() 为真——1 个断言,验证真相源唯一 + 无双写窗口时允许切流。
  • TestMigrationSplitBrainWindowDetected:把 SplitBrainWindow 置为 true,断言 SafeCutover() 为假——1 个断言,验证双写窗口被直接拦截,任何阶段都不允许切流。
  • TestMigrationPhasedPreservesConsistency:按「1. 数据持续同步 → 2. 读切到新系统(仍回源校验)→ 3. 写切流(先停旧写)」三步推进,断言 Steps 长度为 3 且 SafeCutover() 为真——2 个断言,验证分阶段 + 先读后写 + 无窗口的组合是安全的。

共 4 个断言,跑完见 ok k8s-net-lab/review。这个 Migration 模型把「迁移」从经验变成可判定:真相源、阶段、双写窗口三个字段,就够回答「现在切流安全吗」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图