6.3 云盘 vs 分布式文件/块存储的一致性假设
6.2 节说「块卷不能跨可用区漂移」,根子在于块卷的一致性假设。本节把存储选型翻译成一句一致性问题:你愿意为「多少人同时写」和「写后多久可见」付出什么代价? 云盘、分布式文件系统、对象存储给出三份不同的答案,而应用必须按答案去使用它们。
三种存储的一致性画像
lab 的 Known(kind) 把常见存储归成三类画像,每一个字段都是一条承诺:
| 存储类别 | 单写者 | 可见性 | 典型实现 |
|---|---|---|---|
| block | 是(单节点独占) | immediate(同节点立即可见) | 云盘、iSCSI、分布式块(RBD) |
| file | 否(多读多写) | after-commit(提交/刷盘后可见) | NFS、CephFS、Lustre |
| object | 否(多读多写) | weak(弱一致) | S3、OSS、GCS |
这三行的差异不是「好坏」,而是「语义契约」。lab 的 ConsistencyProfile 用 SingleWriter 与 Visibility 两个字段精确表达它们:block 是 {SingleWriter: true, Visibility: "immediate"},file 是 {SingleWriter: false, Visibility: "after-commit"},object 是 {SingleWriter: false, Visibility: "weak"}。
单写者 vs 多写者:写入的独占性
「能不能多个节点同时写一个卷」是第一道分界线,它决定并发模型:
| 模型 | 允许的写入者 | 冲突处理 | 适合的应用 |
|---|---|---|---|
| 单写者(block) | 一个节点 | 根本不允许并发,无需冲突处理 | 数据库、单主应用 |
| 多写者(file/object) | 多个节点 | 应用层负责(锁、版本号、目录语义) | Web 集群共享、日志聚合 |
块存储把「单写者」做成硬约束而不是建议:卷 attach 到节点 A 后,节点 B 的 attach 直接失败(第 7.2 节专门讲这套协调)。这让它成为数据库的天然底座——主库单写,一致性由底层「只有一个写入者」保证。代价是弹性差:多个副本想同时读写同一块盘,块存储直接说「不」。
分布式文件系统反过来:允许多写者,把冲突处理留给你。NFS 的锁与 CephFS 的元数据一致性都在文件系统内解决,但应用的多写正确性仍要应用自己负责——两个进程同时写同一个文件的同一区域,结果仍可能互相覆盖。选多写者存储,等于承认「并发正确性是我的责任」。
一个并发写入场景对照
把差异具象化:三个副本同时向「同一存储」写各自的日志条目。三类存储的表现完全不同:
| 存储 | 三副本同时写 | 结果 |
|---|---|---|
| 云盘(块) | 不允许,attach 独占 | 协调器拒绝第二个写入者 |
| NFS(文件) | 允许,但无文件级原子 | 条目可能交错,行内可能撕裂 |
| 对象存储 | 允许,按对象覆盖 | 后写胜出,读回可能旧对象 |
同一份「并发写」,block 靠拒绝、file 靠宽容、object 靠覆盖——一致性是存储替应用做的决定,而不是应用可以随意忽略的细节。如果你的应用假设「多写不会坏」,那它只该跑在 file/object 上,且仍然要自己处理交错与覆盖。
可见性:写后多久能被读到
「写入是否立即可见」是第二道分界线,它决定读路径与缓存策略:
| 可见性 | 含义 | 实现机制 | 反例代价 |
|---|---|---|---|
| immediate | 同节点写入立即读到 | 本地 IO 栈直达磁盘 | 跨节点需要 attach 协调 |
| after-commit | 提交/刷盘后才对其他读者可见 | 客户端缓存、写回、fsync 时机 | 缓存未刷时读到旧数据 |
| weak | 不保证多久可见 | 对象存储的复制/缓存层次 | 刚写就读可能读不到 |
「immediate」不是魔法,而是「同一个节点读自己刚写的数据」这一平凡事实的命名。块卷的立即可见只对挂了它的那个节点成立;别的节点想看,得先 detach/attach。所以块存储的 immediate 是「单写者视角的 immediate」。
file 的 after-commit 最容易被低估:NFS 客户端会缓存目录与数据,write() 返回不代表对端可见,fsync/commit 之后才可信。应用把「写入返回」当作「别人可见」,是分布式文件系统上最典型的误判。 object 的 weak 更彻底:一致性模型交给服务端复制,读回旧对象是常态,需要重试或版本设计兜底。
缓存与可见性的工程细节
可见性最终由缓存层次决定,这三类存储的缓存栈差异巨大:
| 层次 | 云盘 | 分布式文件 | 对象存储 |
|---|---|---|---|
| 客户端缓存 | 无(直达磁盘) | 有(页缓存、属性缓存) | 有(SDK/网关缓存) |
| 服务器缓存 | 存储阵列缓存 | 元数据服务器缓存 | CDN/边缘缓存 |
| 刷盘时机 | 写即落盘 | fsync 显式触发 | 对象写入即定版 |
这条栈决定了你该怎么写代码:云盘上 write 即可靠,NFS 上要显式 fsync 才有对端保证,对象存储上要接受「读修复 + 重试」的写法。同一段「先写后读」的代码,换一种存储就可能从正确变错误——这就是一致性假设的真实代价。
数据面在网络上的位置:控制面/数据面分离
三类存储的第三个分野,是数据面流量走哪张网络。这与第 1–5 章的网络话题在此汇合:
| 存储 | 控制面路径 | 数据面路径 |
|---|---|---|
| 云盘 | 云 API(CreateVolume/AttachVolume) | 节点与云存储之间的专用存储网络 |
| 分布式块/文件 | 集群内管理组件(monitor、元数据服务) | 存储集群专用网络或独立网卡 |
| 对象存储 | 管理 API(桶、权限) | 互联网/骨干网上的 HTTP/S3 流量 |
关键结论是控制面与数据面必须分离:控制面是低频、小包、需要强一致的协调(谁 attach 了哪个卷),走集群 API;数据面是高频、大包、需要低延迟的裸数据搬运,走专用网络。把控制面流量混进数据面,或反过来,都会让两端都崩——要么协调被海量数据拖垮,要么数据被协调的锁拖慢。
这在集群上表现为一个可验证的规划项:有状态重负载集群应给存储数据面留独立网卡与带宽。把数据库流量与 kube-proxy 的转发流量挤在同一张 NIC 上,IO 抖动会直接表现为数据库延迟尖峰,而控制面(卷 attach 状态)根本看不出问题。
应用适配:把一致性假设写进代码
同一段「先写后读」的逻辑,三类存储要配三种写法:
| 操作模式 | 云盘 | 分布式文件 | 对象存储 |
|---|---|---|---|
| 写后读同节点 | write 即可读 | fsync 后才对其他读者可见 | 读修复 + 重试 |
| 写后读跨节点 | 先 detach/attach | 等缓存过期或显式刷新 | 接受旧对象重试 |
| 多写者协同 | 不允许 | 锁/版本号应用自理 | 版本控制应用自理 |
一个具体的例子:主流程写配置文件,worker 进程读它。放云盘上,主流程写完 worker 立刻能读;放 NFS 上,worker 可能读到页缓存里的旧版本,必须 close 后等缓存失效或显式 stat 刷新;放对象存储上,worker 读到的可能是上一版对象,需要循环重试直到版本号对得上。同一段代码,换存储就换正确性——这正是「选存储 = 选一致性假设」在代码层的投影。
把一致性假设翻译成代码习惯,是三张画像在工程上的落点:云盘上的代码可以信任「写即读」,NFS 上的代码必须显式 fsync,对象存储上的代码必须接受「读不到就重试」。迁移存储后端时最先该重写的不是查询,而是这些藏在读写路径里的假设。
选型取舍:三张画像的决策表
把上面三条合起来,就得到一份可执行的选型清单:
| 需求 | 首选 | 理由 |
|---|---|---|
| 数据库单主 | block(云盘/RBD) | 单写者 + immediate,事务安全 |
| 多副本共享读写 | file(NFS/CephFS) | 多写者,应用自管并发 |
| 大对象归档/备份 | object(S3) | 弱可见可接受,规模无限 |
| 多可用区容灾 | object / 分布式 file | 数据面天然跨域,块卷困在单可用区 |
这份表不是「谁强谁弱」,而是「谁的承诺匹配谁的需求」。数据库要单写者,块存储给;Web 集群要共享,文件系统给;归档要规模,对象存储给。选错存储,是把应用建立在错误的承诺上——数据库跑在 NFS 上,每次 failover 都可能读回旧数据;归档放云盘,容量与成本双双失控。
混合使用:三种存储各司其职
真实集群很少只用一种存储。一个典型的有状态服务往往是三者的组合:
| 数据 | 放哪里 | 理由 |
|---|---|---|
| 数据库主库 | 云盘 | 单写者 + immediate |
| 应用配置共享 | NFS | 多副本只读,一处更新处处可见 |
| 备份与归档 | 对象存储 | 弱可见可接受,容量无限 |
| 日志归档 | 对象存储 | 只追加、可延迟 |
混合的关键是每类数据只依赖它所在存储的承诺:数据库代码不信「多写者」,配置读取代码不依赖「写即读」,归档代码接受「可能读旧」。只要承诺匹配数据需求,三种存储可以在一个集群里长期共存而不打架——这也是第 6.1 节 StorageClass 存在的意义:每种存储都是一类,PVC 按需选类,互不污染。
一份落地检查单
实际选型时可以对照这份检查单逐项打分,避免凭感觉拍板:
| 检查项 | 问题 | 判定依据 |
|---|---|---|
| 写者数 | 同一卷同时有几个写入节点 | 超过 1 就必须排除 block |
| 读一致性 | 刚写的数据多久必须可读 | 秒级以下要 immediate,秒级以上可 after-commit/weak |
| 恢复窗口 | 数据丢失可容忍多少 | 0 容忍走 block + 快照,宽松走 object |
| 网络预算 | 数据面能否独占带宽 | 不能就要降级预期,别把大 IO 塞共享网卡 |
四个问题之间互相牵制:写者数决定存储类别,读一致性决定可见性要求,恢复窗口决定备份策略,网络预算决定部署形态。任何一列不满足,整条选型都要重新推——这正是把一致性假设前置的价值。
三个常见误解
- 「块存储读写最快,所以数据库放块存储最稳」——错误。块存储快且单写者,但 immediate 可见性只对挂载节点成立;数据库放块存储的前提是单主,多主复制仍要靠应用层。
- 「NFS 上写完 fsync 就能保证别人读到最新」——错误。fsync 保证提交后可见,但客户端缓存与目录延迟仍可能让对端读到旧数据;可见性窗口要按协议实测,不能按直觉。
- 「对象存储最终一致,不能存关键数据」——错误。弱可见不等于丢失,关键数据配版本化与读修复即可用;问题不在「能不能存」,而在「读不到时应用知不知道重试」。
一句话总结本节
选存储就是选一致性假设:单写者与多写者决定并发模型,immediate/after-commit/weak 决定可见性窗口,数据面在拓扑上的位置决定网络规划。控制面管协调走集群 API,数据面管搬运走专用网络——两者分离,是分布式存储架构稳定的前提。
下一节进入第 7 章:CSI 规范如何把这些存储后端统一成 Controller/Node 两个插件与一套 gRPC 契约,让 K8s 不必为每个厂商改源码。
本节 lab
本节用 storage 包的一个测试验证三种存储的一致性画像:
cd private/labs/k8s-net-lab
go test ./storage -run TestConsistencyProfiles -v
- 块存储:断言
SingleWriter == true且Visibility == "immediate"——2 个断言,对应「单写者 + 立即可见」。 - 分布式文件:断言
SingleWriter == false且Visibility == "after-commit"——2 个断言,对应「多写者 + 提交后可见」。 - 对象存储:断言
Visibility == "weak"——1 个断言,对应「弱可见」。
共 5 个断言,跑完见 ok k8s-net-lab/storage。Known(kind) 把三种承诺编码成可断言的字段,选型时对照这张画像,就能避免「把数据库放 NFS、把归档放云盘」的错配。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。