《Kubernetes 分布式系统原理深入解析》6.3 云盘 vs 分布式文件/块存储的一致性假设

选存储本质是选一致性假设:云盘承诺单写者与立即可见,分布式文件系统允许多写者但可见性依赖提交,对象存储则是弱可见。本节对比三者的单写者/多写者、可见性模型与数据面在拓扑上的位置,说明为什么控制面与数据面必须分离。lab 用 storage 包验证 block/file/object 三种一致性画像。

6.3 云盘 vs 分布式文件/块存储的一致性假设

6.2 节说「块卷不能跨可用区漂移」,根子在于块卷的一致性假设。本节把存储选型翻译成一句一致性问题:你愿意为「多少人同时写」和「写后多久可见」付出什么代价? 云盘、分布式文件系统、对象存储给出三份不同的答案,而应用必须按答案去使用它们。

三种存储的一致性画像

lab 的 Known(kind) 把常见存储归成三类画像,每一个字段都是一条承诺:

存储类别单写者可见性典型实现
block是(单节点独占)immediate(同节点立即可见)云盘、iSCSI、分布式块(RBD)
file否(多读多写)after-commit(提交/刷盘后可见)NFS、CephFS、Lustre
object否(多读多写)weak(弱一致)S3、OSS、GCS

这三行的差异不是「好坏」,而是「语义契约」。lab 的 ConsistencyProfile 用 SingleWriter 与 Visibility 两个字段精确表达它们:block 是 {SingleWriter: true, Visibility: "immediate"},file 是 {SingleWriter: false, Visibility: "after-commit"},object 是 {SingleWriter: false, Visibility: "weak"}。

单写者 vs 多写者:写入的独占性

「能不能多个节点同时写一个卷」是第一道分界线,它决定并发模型:

模型允许的写入者冲突处理适合的应用
单写者(block)一个节点根本不允许并发,无需冲突处理数据库、单主应用
多写者(file/object)多个节点应用层负责(锁、版本号、目录语义)Web 集群共享、日志聚合

块存储把「单写者」做成硬约束而不是建议:卷 attach 到节点 A 后,节点 B 的 attach 直接失败(第 7.2 节专门讲这套协调)。这让它成为数据库的天然底座——主库单写,一致性由底层「只有一个写入者」保证。代价是弹性差:多个副本想同时读写同一块盘,块存储直接说「不」。

分布式文件系统反过来:允许多写者,把冲突处理留给你。NFS 的锁与 CephFS 的元数据一致性都在文件系统内解决,但应用的多写正确性仍要应用自己负责——两个进程同时写同一个文件的同一区域,结果仍可能互相覆盖。选多写者存储,等于承认「并发正确性是我的责任」。

一个并发写入场景对照

把差异具象化:三个副本同时向「同一存储」写各自的日志条目。三类存储的表现完全不同:

存储三副本同时写结果
云盘(块)不允许,attach 独占协调器拒绝第二个写入者
NFS(文件)允许,但无文件级原子条目可能交错,行内可能撕裂
对象存储允许,按对象覆盖后写胜出,读回可能旧对象

同一份「并发写」,block 靠拒绝、file 靠宽容、object 靠覆盖——一致性是存储替应用做的决定,而不是应用可以随意忽略的细节。如果你的应用假设「多写不会坏」,那它只该跑在 file/object 上,且仍然要自己处理交错与覆盖。

可见性:写后多久能被读到

「写入是否立即可见」是第二道分界线,它决定读路径与缓存策略:

可见性含义实现机制反例代价
immediate同节点写入立即读到本地 IO 栈直达磁盘跨节点需要 attach 协调
after-commit提交/刷盘后才对其他读者可见客户端缓存、写回、fsync 时机缓存未刷时读到旧数据
weak不保证多久可见对象存储的复制/缓存层次刚写就读可能读不到

「immediate」不是魔法,而是「同一个节点读自己刚写的数据」这一平凡事实的命名。块卷的立即可见只对挂了它的那个节点成立;别的节点想看,得先 detach/attach。所以块存储的 immediate 是「单写者视角的 immediate」。

file 的 after-commit 最容易被低估:NFS 客户端会缓存目录与数据,write() 返回不代表对端可见,fsync/commit 之后才可信。应用把「写入返回」当作「别人可见」,是分布式文件系统上最典型的误判。 object 的 weak 更彻底:一致性模型交给服务端复制,读回旧对象是常态,需要重试或版本设计兜底。

缓存与可见性的工程细节

可见性最终由缓存层次决定,这三类存储的缓存栈差异巨大:

层次云盘分布式文件对象存储
客户端缓存无(直达磁盘)有(页缓存、属性缓存)有(SDK/网关缓存)
服务器缓存存储阵列缓存元数据服务器缓存CDN/边缘缓存
刷盘时机写即落盘fsync 显式触发对象写入即定版

这条栈决定了你该怎么写代码:云盘上 write 即可靠,NFS 上要显式 fsync 才有对端保证,对象存储上要接受「读修复 + 重试」的写法。同一段「先写后读」的代码,换一种存储就可能从正确变错误——这就是一致性假设的真实代价。

数据面在网络上的位置:控制面/数据面分离

三类存储的第三个分野,是数据面流量走哪张网络。这与第 1–5 章的网络话题在此汇合:

存储控制面路径数据面路径
云盘云 API(CreateVolume/AttachVolume)节点与云存储之间的专用存储网络
分布式块/文件集群内管理组件(monitor、元数据服务)存储集群专用网络或独立网卡
对象存储管理 API(桶、权限)互联网/骨干网上的 HTTP/S3 流量

关键结论是控制面与数据面必须分离:控制面是低频、小包、需要强一致的协调(谁 attach 了哪个卷),走集群 API;数据面是高频、大包、需要低延迟的裸数据搬运,走专用网络。把控制面流量混进数据面,或反过来,都会让两端都崩——要么协调被海量数据拖垮,要么数据被协调的锁拖慢。

这在集群上表现为一个可验证的规划项:有状态重负载集群应给存储数据面留独立网卡与带宽。把数据库流量与 kube-proxy 的转发流量挤在同一张 NIC 上,IO 抖动会直接表现为数据库延迟尖峰,而控制面(卷 attach 状态)根本看不出问题。

应用适配:把一致性假设写进代码

同一段「先写后读」的逻辑,三类存储要配三种写法:

操作模式云盘分布式文件对象存储
写后读同节点write 即可读fsync 后才对其他读者可见读修复 + 重试
写后读跨节点先 detach/attach等缓存过期或显式刷新接受旧对象重试
多写者协同不允许锁/版本号应用自理版本控制应用自理

一个具体的例子:主流程写配置文件,worker 进程读它。放云盘上,主流程写完 worker 立刻能读;放 NFS 上,worker 可能读到页缓存里的旧版本,必须 close 后等缓存失效或显式 stat 刷新;放对象存储上,worker 读到的可能是上一版对象,需要循环重试直到版本号对得上。同一段代码,换存储就换正确性——这正是「选存储 = 选一致性假设」在代码层的投影。

把一致性假设翻译成代码习惯,是三张画像在工程上的落点:云盘上的代码可以信任「写即读」,NFS 上的代码必须显式 fsync,对象存储上的代码必须接受「读不到就重试」。迁移存储后端时最先该重写的不是查询,而是这些藏在读写路径里的假设。

选型取舍:三张画像的决策表

把上面三条合起来,就得到一份可执行的选型清单:

需求首选理由
数据库单主block(云盘/RBD)单写者 + immediate,事务安全
多副本共享读写file(NFS/CephFS)多写者,应用自管并发
大对象归档/备份object(S3)弱可见可接受,规模无限
多可用区容灾object / 分布式 file数据面天然跨域,块卷困在单可用区

这份表不是「谁强谁弱」,而是「谁的承诺匹配谁的需求」。数据库要单写者,块存储给;Web 集群要共享,文件系统给;归档要规模,对象存储给。选错存储,是把应用建立在错误的承诺上——数据库跑在 NFS 上,每次 failover 都可能读回旧数据;归档放云盘,容量与成本双双失控。

混合使用:三种存储各司其职

真实集群很少只用一种存储。一个典型的有状态服务往往是三者的组合:

数据放哪里理由
数据库主库云盘单写者 + immediate
应用配置共享NFS多副本只读,一处更新处处可见
备份与归档对象存储弱可见可接受,容量无限
日志归档对象存储只追加、可延迟

混合的关键是每类数据只依赖它所在存储的承诺:数据库代码不信「多写者」,配置读取代码不依赖「写即读」,归档代码接受「可能读旧」。只要承诺匹配数据需求,三种存储可以在一个集群里长期共存而不打架——这也是第 6.1 节 StorageClass 存在的意义:每种存储都是一类,PVC 按需选类,互不污染。

一份落地检查单

实际选型时可以对照这份检查单逐项打分,避免凭感觉拍板:

检查项问题判定依据
写者数同一卷同时有几个写入节点超过 1 就必须排除 block
读一致性刚写的数据多久必须可读秒级以下要 immediate,秒级以上可 after-commit/weak
恢复窗口数据丢失可容忍多少0 容忍走 block + 快照,宽松走 object
网络预算数据面能否独占带宽不能就要降级预期,别把大 IO 塞共享网卡

四个问题之间互相牵制:写者数决定存储类别,读一致性决定可见性要求,恢复窗口决定备份策略,网络预算决定部署形态。任何一列不满足,整条选型都要重新推——这正是把一致性假设前置的价值。

三个常见误解

  • 「块存储读写最快,所以数据库放块存储最稳」——错误。块存储快且单写者,但 immediate 可见性只对挂载节点成立;数据库放块存储的前提是单主,多主复制仍要靠应用层。
  • 「NFS 上写完 fsync 就能保证别人读到最新」——错误。fsync 保证提交后可见,但客户端缓存与目录延迟仍可能让对端读到旧数据;可见性窗口要按协议实测,不能按直觉。
  • 「对象存储最终一致,不能存关键数据」——错误。弱可见不等于丢失,关键数据配版本化与读修复即可用;问题不在「能不能存」,而在「读不到时应用知不知道重试」。

一句话总结本节

选存储就是选一致性假设:单写者与多写者决定并发模型,immediate/after-commit/weak 决定可见性窗口,数据面在拓扑上的位置决定网络规划。控制面管协调走集群 API,数据面管搬运走专用网络——两者分离,是分布式存储架构稳定的前提。

下一节进入第 7 章:CSI 规范如何把这些存储后端统一成 Controller/Node 两个插件与一套 gRPC 契约,让 K8s 不必为每个厂商改源码。

本节 lab

本节用 storage 包的一个测试验证三种存储的一致性画像:

cd private/labs/k8s-net-lab
go test ./storage -run TestConsistencyProfiles -v
  • 块存储:断言 SingleWriter == true 且 Visibility == "immediate"——2 个断言,对应「单写者 + 立即可见」。
  • 分布式文件:断言 SingleWriter == false 且 Visibility == "after-commit"——2 个断言,对应「多写者 + 提交后可见」。
  • 对象存储:断言 Visibility == "weak"——1 个断言,对应「弱可见」。

共 5 个断言,跑完见 ok k8s-net-lab/storage。Known(kind) 把三种承诺编码成可断言的字段,选型时对照这张画像,就能避免「把数据库放 NFS、把归档放云盘」的错配。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图