12.3 弹性、冷启动与成本
12.1 的虚拟仓库是「预置」:开多大就是多大,按运行时长付钱。12.2 的无服务器是「弹性」:来一个查询拉一份资源,用完就放。两种方式都能拿到计算容量,区别在于你为「准备着」付钱,还是为「等一等」付钱。
本节把这两种代价折算到同一个维度上:冷启动的绝对时间,与预置容量的闲置比例。前者随查询数放大,后者随负载波动放大。
两种拿到容量的方式
| 维度 | 弹性(按需拉起) | 预置(常驻容量) |
|---|---|---|
| 付费依据 | 实际用量 | 容量 × 时间 |
| 空闲成本 | 零 | 全额 |
| 首个请求的延迟 | 高,含冷启动 | 低,资源已就绪 |
| 峰值承载 | 受配额限制 | 受容量限制 |
| 运维负担 | 低 | 需要容量规划 |
| 成本可预测性 | 随用量波动 | 固定 |
这两种方式不是「新旧」关系,而是两种不同的成本转嫁:弹性把「闲置」的成本转成「等待」,预置把「等待」的成本转成「闲置」。选哪一种,取决于在你的业务里,等待和闲置哪个更贵。
用例 100:100 × 20% × 1800ms = 36s
查询数 = 100
冷启动比例 = 20%
冷启动耗时 = 2000ms
热查询耗时 = 200ms
冷启动次数 = round(100 × 20%) = 20
每次额外 = 2000 − 200 = 1800ms
额外总耗时 = 20 × 1800ms = 36,000ms = 36s
| 参数 | 计算 | 结果 |
|---|---|---|
| 冷启动次数 | 100 × 20% | 20 次 |
| 每次额外耗时 | 2000 − 200 | 1800ms |
| 额外总耗时 | 20 × 1800ms | 36s(用例 100) |
| 全部热执行的基线 | 100 × 200ms | 20s(公式推导) |
| 实际总耗时 | 20s + 36s | 56s(公式推导) |
| 额外占基线的比例 | 36 ÷ 20 | 1.8 倍(公式推导) |
36s 这个数字要放在基线的旁边才有意义:热执行本身只要 20s,冷启动多花了 36s,是它的 1.8 倍。也就是说在这种负载下,系统大部分时间不是在算,而是在等资源就绪。
这也解释了为什么「弹性」在低频场景下体验很差而在高频场景下几乎无感:冷启动的绝对量不变,但被摊到的查询越多,单次分摊越薄。
放大项:查询数与冷启动比例
36s 不是常数,它随两个量线性放大:
| 查询数 | 冷启动比例 | 冷启动次数 | 额外总耗时 |
|---|---|---|---|
| 100 | 20% | 20 | 36s(用例 100) |
| 50 | 20% | 10 | 18s(公式推导) |
| 200 | 20% | 40 | 72s(公式推导) |
| 100 | 50% | 50 | 90s(公式推导) |
| 100 | 20%(冷启动 1000ms) | 20 | 16s(公式推导) |
最后一行说明缩短冷启动时间是最直接的杠杆:冷启动从 2000ms 降到 1000ms,每次额外从 1800ms 降到 800ms,总额从 36s 降到 16s,改善超过一半。这比「减少冷启动比例」更容易做到——比例由访问模式决定,冷启动时长由预热策略与镜像大小决定。
倒数第二行说明比例的影响更陡:同样 100 次查询,冷启动比例从 20% 涨到 50%,额外耗时从 36s 涨到 90s,是 2.5 倍。比例翻 2.5 倍、耗时翻 2.5 倍,这里是严格线性,因为次数是唯一的变量。
把两个方向合起来看:额外耗时 = 查询数 × 冷启动比例 × (冷启动 − 热执行)。三个因子都是可以独立干预的:减少查询数不现实,降低比例靠缓存与预热,缩短差值靠精简启动路径。
用例 101:预置 10 倍,利用率 10%
平均需求 = 1.0 单位
预置容量 = 10.0 单位
平均利用率 = 1.0 ÷ 10.0 = 0.10
| 参数 | 计算 | 结果 |
|---|---|---|
| 平均需求 | — | 1.0 单位 |
| 预置容量 | — | 10.0 单位 |
| 平均利用率 | 1.0 ÷ 10.0 | 10%(用例 101) |
| 闲置比例 | 1 − 10% | 90%(公式推导) |
| 每单位有效工作的容量成本 | 10 ÷ 1 | 10 倍(公式推导) |
利用率 10% 意味着每 10 份容量里只有 1 份在干活。如果按容量付费,那么每单位有效工作的成本就是满载时的 10 倍——这笔钱不是被浪费在「算得慢」上,而是被浪费在「准备好却没用上」上。
预置 10 倍容量通常是为了扛峰值。问题在于峰值持续多久:如果峰值只占一天的很小一部分,按峰值配置容量就意味着绝大部分时间在付闲置费;如果峰值持续时间长、平均负载本来就接近峰值,10 倍这个数字本身就不会出现。
盈亏平衡:为闲置买单还是为等待买单
把两笔账放到一起,会发现一个对称的数字:
| 侧 | 代价 | 本节数值 |
|---|---|---|
| 弹性 | 单次延迟被放大 | 2000 ÷ 200 = 10 倍(公式推导) |
| 预置 | 容量被闲置 | 10 ÷ 1 = 10 倍(公式推导) |
两边都是 10 倍,这就是盈亏平衡的形状:弹性让单次查询慢 10 倍,预置让每份容量贵 10 倍。选哪边,等价于问「10 倍延迟」和「10 倍闲置成本」哪个更贵。
落成一个可算的判据,需要把延迟换算成钱或 SLA:
| 场景 | 延迟的代价 | 闲置的代价 | 倾向 |
|---|---|---|---|
| 内部报表,按天看 | 低,等几十秒无感 | 高,整天闲置 | 弹性 |
| 交互式分析,秒级响应 | 高,10 倍延迟不可接受 | 中 | 预置 + 自动挂起 |
| 在线服务,SLA 严格 | 极高,超时即违约 | 可接受 | 预置 + 预热 |
| 突发批量任务 | 低 | 高 | 弹性 |
「预置 + 自动挂起」是两者的折中:容量预置但空闲时挂起,既避免了冷启动(恢复比全新拉起快),又减少了闲置计费。它的代价是恢复仍有延迟,只是比冷启动短——具体短多少取决于实现,本节不给数值,只给判据:如果恢复延迟仍超出 SLA,就必须常驻。
落在选型上
| 负载特征 | 建议 | 理由 |
|---|---|---|
| 低频、可等待 | 弹性 | 闲置成本为零,冷启动被摊薄的机会少但可接受 |
| 高频、稳定 | 预置 | 利用率高,冷启动次数多,累计代价大 |
| 有明显峰值 | 弹性 + 预留基线 | 基线用预置,峰值用弹性 |
| SLA 严格 | 预置 + 预热 | 不接受任何冷启动 |
| 一次性大批量 | 弹性 | 没有长期闲置问题 |
判据的核心是「冷启动次数 × 单次代价」与「闲置容量 × 时长」的比较,而不是「弹性更现代」或「预置更稳」这类印象。前者可以算,后者只能争。
还有一个容易被忽略的项:冷启动不只发生在第一个请求。弹性缩容到零之后再来的请求同样是冷启动,所以缩容策略越激进,冷启动比例越高。这就是为什么「缩容到零」在演示里很优雅,在生产里常常要留一个最小副本。
与按扫描量计费的分工
12.2 的账与本节是两笔独立的钱,不能混为一谈:
| 成本项 | 计费依据 | 优化手段 | 本节/前节 |
|---|---|---|---|
| 计算弹性 | 拉起资源的次数与时长 | 预热、最小副本、合并查询 | 12.3 |
| 存储读取 | 扫描的字节数 | 分区裁剪、列裁剪、列存格式 | 12.2 |
一个查询的总成本 ≈ 计算成本 + 扫描成本,两者可以独立优化。常见误区是把它们当成一件事:以为「查询慢所以贵」,实际上慢只影响计算侧;以为「裁剪了所以便宜」,实际上裁剪只影响扫描侧。要先判断账单主要长在哪一侧,再去调对应的旋钮。
冷启动的时间花在哪
2000ms 这个数字本身不可调,但它的构成可以被拆开:
| 阶段 | 内容 | 可控性 |
|---|---|---|
| 资源调度 | 分配机器或容器 | 低,由平台决定 |
| 镜像与依赖加载 | 拉取、解压、挂载 | 中,精简镜像有效 |
| 进程初始化 | 运行时启动、连接池建立 | 中,可预热 |
| 首次查询准备 | 计划生成、代码编译 | 高,计划缓存可复用 |
可控性排序就是优化顺序:先做计划缓存(同一类查询不必重复规划),再精简镜像(减少加载字节),最后才是预热进程。资源调度那一层通常动不了,所以「把冷启动压到零」在不控制平台的前提下做不到,只能压缩后面三段。
这也解释了为什么「预热」有效但有限:预热跳过的是进程初始化,跳不过资源调度。已经预热过的实例响应快,但池子空了之后新拉起的实例仍然要走完全程。
合并查询:摊薄冷启动的唯一可控因子
额外耗时 = 查询数 × 冷启动比例 × (冷启动 − 热执行)。三个因子里,查询数看起来最不可控,其实可以换一种形态:
| 做法 | 查询数 | 冷启动次数 | 额外耗时 |
|---|---|---|---|
| 100 次小查询 | 100 | 20 | 36s(用例 100) |
| 合并为 10 次批量查询 | 10 | 2(同比例) | 3.6s(公式推导) |
把 100 次小查询合并成 10 次批量查询,冷启动次数从 20 降到 2,额外耗时从 36s 降到 3.6s。这没有减少总工作量,只是减少了「拉起资源」这个动作的次数。
代价是延迟:原本每次查询都能立刻返回,合并后要等一批凑齐。所以这条只适用于对单次延迟不敏感的批处理,不适用于交互式场景——这与本节开头的取舍是同一件事:你总要在等待与批量之间选一个。
三个常见误解
误解一:弹性伸缩总是更省钱。 真相:弹性把闲置成本换成冷启动延迟,100 次查询、20% 冷启动、每次多 1800ms 就是 36s 的额外等待,是热执行 20s 的 1.8 倍;低频场景下这笔等待可能比闲置更贵。
误解二:预置容量越大越保险,反正用得上。 真相:平均需求 1 单位、预置 10 单位时利用率只有 10%(用例 101),每单位有效工作的容量成本是满载时的 10 倍,多出的 9 份容量全程闲置。
误解三:查询跑得慢所以账单贵。 真相:慢只影响计算侧的成本;按扫描量计费的部分与运行时长无关,12.2 的 5 美元只由读取字节决定。两笔账要分开算。
一句话总结本节
弹性与预置是两种成本转嫁:弹性把闲置换成冷启动等待,预置把等待换成闲置。100 次查询、20% 冷启动、冷启动 2000ms 对热查询 200ms,额外总耗时 36s,是热执行 20s 的 1.8 倍;平均需求 1 单位而预置 10 单位时,利用率只有 10%,每单位有效工作的容量成本翻 10 倍。两边都是 10 倍,选哪边取决于在你的业务里等待和闲置哪个更贵。
本节 lab
在 bd-engine-lab 中验证冷启动与容量利用率的账本:
- 源码:
src/storage/Storage.java与src/storage/StorageSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 100 验证
coldStartExtraSeconds(100, 0.2, 2000, 200) = 36.0,即 100 次查询、20% 冷启动、冷启动比热查询多 1800ms 时,额外总耗时为 36s;用例 101 验证averageUtilization(1.0, 10.0) = 0.1,即平均需求 1 单位、预置 10 单位容量时利用率为 10%。 - 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:看到查询时快时慢 → 先算冷启动次数乘单次额外耗时 → 再看预置容量的平均利用率 → 两边都折算成「等待」与「闲置」的代价 → 低频可等待用弹性,高频或 SLA 严格用预置加预热。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。