1.1 数据密集计算的规模问题(数据量 vs 计算量)
这一节是全书的起点:先问清楚「大规模」到底大规模在哪,再谈用什么架构解决。 很多系统把「分布式」当成一种风格选择,但数据密集计算里它不是选择题——当数据量超过单机承载极限时,分布是唯一能继续扩展的道路。
两种不同形态的「大」
分布式系统面对的「大」有两种,扩展策略完全不同:
| 形态 | 特征 | 典型例子 | 扩展方式 |
|---|---|---|---|
| 数据量大 | 存储与遍历的代价随数据线性增长 | 日志、订单、点击流 | 分而治之:切块 + 并行处理 |
| 计算量大 | 单条计算本身昂贵(迭代/矩阵/图) | 机器学习、图像渲染 | 并行化:分解 + 协同(需要一致性协议) |
本书主题「大规模分布式计算」主要落在数据量大这一侧:数据多到一台机器装不下,处理必须遍历全量,于是问题变成「如何组织一群机器,把一份大数据的处理分摊下去,还能保证结果正确、某台机器挂了不返工」。
数据规模的三条增长曲线
理解规模问题,先看清数据是怎么涨的。假设一个日活 100 万的业务,每天产生三类数据:
- 基础数据:用户、订单、商品,规模 ≈ 业务总量,增长慢。
- 行为数据:点击、浏览、搜索,人均每天数十到数百条,增长与日活 × 行为数成正比。
- 系统数据:日志、埋点、调用链、指标,通常比业务数据再放大 10–100 倍。
用一组典型数字看趋势(单机内存按 256 GB 估):
| 数据类别 | 一年累计 | 是否超单机内存 | 是否超单机磁盘(1 TB) |
|---|---|---|---|
| 基础数据 | 数十 GB | 否 | 否 |
| 行为数据 | 数十 TB | 是 | 是 |
| 系统数据 | 数百 TB ~ PB | 是 | 是 |
关键结论:行为数据和系统数据在一年内就会击穿单机的内存与磁盘。 这不是「可能的问题」,而是「什么时候发生的问题」。等到数据超了单机容量才想架构,只能停机迁移;而分布式架构从一开始就把「数据会超单机」当成默认前提。
单机的三堵墙
把问题拆开,单机处理大数据的瓶颈有三层,缺一不可地限制了它的规模上限:
容量墙:内存装不下热数据,只能靠磁盘顺序读,吞吐骤降;磁盘也装不下全量,就只能频繁淘汰。
吞吐墙:单机带宽有限(万兆网卡约 10 Gbps,NVMe 盘约数 GB/s)。全量遍历 1 PB 数据,就算磁盘顺序读每秒 3 GB,也要约 4 天;而 1000 台机器并行时不到 6 分钟——差距是 1000 倍,这正是分布式最直接、最无可辩驳的收益。
可靠性墙:一台机器一年里硬件故障概率不低,数据量越大、机器跑得越久,故障几乎必然发生。单机上的一份数据没有任何冗余,坏盘即丢数据。
分布式计算的三板斧正好一一对应这三堵墙:
| 墙 | 分布式对策 | 本书章节 |
|---|---|---|
| 容量墙 | 数据切块、分散存储(HDFS 块) | 第 3–4 章 |
| 吞吐墙 | 并行任务 + 数据本地性(计算移到数据所在节点) | 第 2、6 章 |
| 可靠性墙 | 副本冗余 + 失败重放(重启-重放容错模型) | 第 2、5 章 |
数据本地性:分布式计算的第一条收益
把数据切开分散到 N 台机器后,一个朴素做法是「把所有数据传到中央计算」——这不可行,因为传输开销把并行收益吃光。正确做法反过来:把计算任务派到数据所在的机器上执行。 这就是「移动计算而非移动数据」。
为什么这是第一原则而不是优化项:假设数据 1 PB、单任务代码 1 MB、每台机器处理 1 TB 数据。如果移动数据,要传 1 PB 通过网络;如果移动计算,每台机器只接收几百 KB 的任务描述,处理自己的 1 TB 本地数据。后者网络开销可以忽略。数据规模越大,本地性的收益占比越高——这是理解全书调度章节(本地化调度、推测执行、数据倾斜)的出发点。
从「算得动」到「算得对」
规模问题解决了「算得动」,但分布化立刻引出第二个问题:「分散到 N 台机器上并行算,结果还对吗」?
- 任务在机器 A 上跑了一半,机器 A 挂了,这部分结果怎么办?
- 两个任务各自算了同一份数据的两个分片,怎么保证合并结果和单机顺序执行等价?
- 机器之间需要排序、聚合,中间数据怎么流动?
这些问题的答案构成了整本书的骨架:MapReduce 用「任务级重放」回答容错(第 2 章),HDFS 用「副本 + 租约」回答存储可靠(第 3–5 章),调度器用「本地性 + 推测执行」回答执行效率(第 6 章)。 规模问题的解决,必须和正确性问题的解决绑定在一起,否则「快但是错」比「慢但是对」更没有价值。
一个可复算的量化模型
把「数据量 vs 计算量」落到可复算的数字上,避免空谈。设三个变量:
D:待处理数据总量(字节)。B:单台机器的可用带宽(磁盘顺序读或网络,取较小者,单位字节/秒)。N:参与计算的机器数。
单机全量遍历耗时 T1 = D / B;理想并行(零通信、零长尾)耗时 TN = D / (N · B)。真实系统的并行效率 η 介于 0 与 1 之间,于是实际耗时 T = D / (N · B · η)。
代入几组数字(单位 GB,带宽按顺序读磁盘约 0.5 GB/s):
| 数据量 | 单机耗时 | 100 台理想 | 100 台 η=0.5 | 结论 |
|---|---|---|---|---|
| 100 GB | 约 200 s | 2 s | 4 s | 单机尚可,并行更稳 |
| 10 TB | 约 5.6 h | 约 3.4 min | 约 7 min | 单机已过夜级,必须并行 |
| 1 PB | 约 23 天 | 约 33 min | 约 1.1 h | 单机不可行,并行是唯一选项 |
这个模型里 η 的损失来源正是后续章节的主角:通信(shuffle)、同步(等最慢任务)、调度开销(排队)。读完全书再回来算这个式子,会发现每一章都在解释「η 为什么到不了 1,以及怎么把它拉高」。
分布式不是「免费」的:三笔账
分布式解决规模问题的同时,引入了三笔必须付的账:
| 账目 | 来源 | 应对(本书章节) |
|---|---|---|
| 协调账 | 机器间要通信、排序、同步 | 用 shuffle 集中、用数据本地性减少通信(2、7 章) |
| 容错账 | 机器会挂,要冗余或重放 | 计算层重放 + 存储层副本(2、5 章) |
| 元数据账 | 文件/块/位置要有人管且可靠 | NameNode + 元数据 HA(3、5 章) |
分布式不是「免费的午餐」,而是「用这三笔账,换来『数据可以突破单机规模』这顿大餐」。 一个合格的架构要算清这三笔账在具体业务里的量级——数据 10 TB 时协调账还小,数据 1 PB 时协调账可能吞掉全部并行收益。
从「单机能做」到「必须分布式」的临界点
什么时候必须上分布式?给一个工程判断:
- 容量临界:数据总量超过单机磁盘(或热数据超过单机内存),这是硬临界——不分布式就装不下。
- 延迟临界:单机全量遍历耗时超过业务可接受的延迟(如日报 1 小时内出结果,单机要 5.6 小时),这是软临界——不分布式就来不及。
- 增长临界:数据月增长 > 单机扩容速度,这是趋势临界——现在不分布,半年后必然要分布,且迁移成本更高。
三个临界中,容量临界是最不可谈判的(装不下就是装不下);延迟临界取决于业务要求;增长临界是「越早动手越便宜」的决策信号。很多团队等到「过夜作业变成三天作业」才迁移,正是没把增长临界当回事。
三种业务典型:数据密集的不同面貌
数据密集计算在具体业务里有几种典型面貌,规模问题的形态各不相同:
| 业务 | 数据形态 | 规模驱动 | 主要挑战 |
|---|---|---|---|
| 离线报表/数仓 | 结构化表,全量扫描聚合 | 业务量 + 保留期限 | 全量扫描吞吐、SQL 表达 |
| 日志分析 | 半结构化日志,ETL + 检索 | 系统规模 + 日志放大 | 格式清洗、压缩、时间窗口 |
| 机器学习 | 样本/特征,迭代训练 | 样本量 × 特征数 | 数据本地性、迭代往返 |
| 推荐/广告 | 在线特征 + 离线批量 | 请求量 + 特征规模 | 批流衔接、特征一致性 |
不同面貌对「算得快」的定义不同:报表要「整份数据一个口径」,日志要「尽快吐出可检索结果」,机器学习要「迭代收敛」。规模问题不是单一答案——它决定了用什么存储(列式/对象/流式)、什么引擎(批/流/图),这正是后续章节展开的维度。
一个贯穿全书的分层视角
面对「数据大到装不下」,分布式计算的分层是固定的,先建立全局:
业务逻辑(SQL/算子)
│ 表达
计算引擎(调度 + 执行:map/shuffle/reduce、DAG、状态)
│ 存取
存储层(HDFS/对象存储:块、副本、一致性)
│ 承载
资源层(YARN/K8s:容器、队列、调度)
- 资源层回答「任务跑在哪、谁能抢到资源」(卷一第 10 章、卷四第 1–2 章)。
- 存储层回答「数据放哪、可靠吗、一致吗」(卷一第 3–5 章、卷四第 3–6 章)。
- 计算引擎回答「怎么并行、怎么容错、怎么保证结果等价」(卷一第 2/6/7 章、卷二、卷三)。
- 业务逻辑回答「用户想要的变换是什么」(SQL 层,卷二 Catalyst、卷三 Flink SQL)。
本书四卷正好是「从存储与模型向上到引擎内核、再向资源与规模化」的路线。建立这个分层,读后面任何一章都能先定位「它在哪一层、回答什么问题」。
三个常见误解
误解一:分布式计算是为了「更快」而做的性能优化。 真相:对数据密集计算,分布首先是容量与可靠性的必要手段——数据装不下、坏盘丢数据才是驱动因素;并行提速只是顺带的结果。把分布式当性能优化,会在数据量小时过度设计,在数据量真正变大时又发现架构根子上没准备好。
误解二:只要把数据分到多台机器,就能自动获得线性加速。 真相:切块只是第一步。如果任务要跨机器聚合(shuffle)、要传中间数据、要等最慢的任务,加速比会被通信、排序和长尾拖累。真实系统里 1000 台机器跑不到 1000 倍加速,「通信 + 同步 + 长尾」三项损耗决定了能吃到多少并行度。
误解三:单机性能会一直追上来,所以分布式没必要。 真相:单机内存、磁盘、带宽都在涨,但数据量的增长速度通常更快(业务增长 × 人均行为数 × 日志放大)。而且单机有物理上限(单块 NVMe 就那几 GB/s),分布式把上限变成「可加机器」,这是架构层面才能获得的扩展性,不是硬件升级能替代的。
一句话总结本节
大规模分布式计算首先要回答的是「数据大到单机装不下、算不动、不可靠」这三堵墙,而答案的第一条就是数据本地性:把计算派到数据所在的机器上,而不是把数据搬到计算旁边。
本章实现对照
本节 lab
在 bd-fs-lab/ 中用迷你本地化调度器复现「移动计算而非移动数据」的收益:
- 源码:
src/scheduler/LocalityScheduler.java(三级本地性打分:本地 > 同机架 > 跨机架)与src/scheduler/SchedulerSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
SchedulerSuite用例 1 验证「数据在 dn1,任务调度到 dn1(LOCAL)」,用例 2 验证「dn1 满载时降级到同机架 dn2(RACK)」,用例 3 验证「同机架全满载时跨机架兜底(REMOTE)」,用例 4 验证三个任务全部 LOCAL 时无降级。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节的判断链:数据切块分散后,「任务跟着数据走」优先本地、其次同机架、最次跨机架——这正是把网络传输从 1 PB 压缩到任务描述 MB 级的第一原则在代码里的样子。
机制边界与故障路径
先固定输入体量、处理工作量与带宽,再判断瓶颈在扫描、CPU还是交换。图中共享输入版本,不把增加节点等同线性加速;结果对账先于吞吐比较。
flowchart TD
I["固定输入版本和字节量"] --> SPLIT["切分与放置"]
SPLIT --> CPU["每节点CPU/内存预算"]
SPLIT --> IO["磁盘/网络扫描"]
CPU --> EX["跨节点交换与聚合"]
IO --> EX
EX --> CHECK["结果校验与尾部耗时"]
CHECK --> BOT{"瓶颈在哪层?"}
BOT -->|"资源或数据分布改变"| SPLIT
这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。