12.1 worker 失败与 partial retry
节点丢失后能否只重跑部分任务,取决于调度策略、受影响的逻辑任务和可重读的 Exchange 输出。
查询级与任务级恢复
flowchart TB
T["调度逻辑任务:Query / Stage / Task"] --> A["Attempt 写隔离的暂存输出"]
A --> S{"已成功且查询仍允许提交?"}
S -->|"是"| W["原子选定一个可见输出"]
W --> C["下游按逻辑分区读取已发布版本"]
W --> G["回收未被选中的输出"]
S -->|"失败"| R{"错误可重试,预算与输入仍有效?"}
R -->|"是"| N["安排新 Attempt,复用可重读的输入"]
N --> A
R -->|"否"| F["按配置回溯、重试查询或结束失败"]
S -->|"已取消"| X["标记取消,停止再调度与后续发布"]
X --> Y["唤醒阻塞算子,清理连接、本地和远端资源"]
Y --> Z["未确认资源进入租约或垃圾回收"]
Trino 484 支持 NONE、QUERY 和 TASK 等重试策略。TASK 模式使用 Exchange Manager 保存可重读分区,仍需要相应 Connector 支持。工作节点可以同时运行多个 Stage 的多个 Task。一次节点故障造成多少重算,要从实际失去的分区和可用输出推导。
如果一个 Stage 正好有 16 个等量 Task,失败影响 1 个逻辑 Task,且上游输出都可重读,该 Stage 的重跑数据模型为 6.25%。若一个节点持有多个 Task 或已发布输入不可访问,重算范围会扩大,具体取决于引擎能否重建或改走查询级恢复。验收固定查询、版本和输入,记录故障前后的 Query/Stage/Task/Attempt 身份、已发布分区与最终结果。参照实验包中的任务发布与故障轨迹。
Split 位置约束影响恢复
Trino 484 的 TPCH Connector 给 Split 绑定工作节点地址,TpchSplit.isRemotelyAccessible() 返回 false。节点停止后,其他地址的节点无法接管它的 Split。实验让协调器先记录原 Attempt 失败,再恢复同地址 Worker,继续检查同一逻辑 Task 的后继 Attempt。持久化 Exchange 解决的是中间结果可重读,输入 Connector 本身的地址约束仍需满足。
同一查询内的真实重试
在 Trino 484 的本地 TASK 模式下,用文件 Exchange 运行 TPCH SF10 Lineitem 聚合。在 Stage 1 的逻辑 Task 1 仍运行时停止其 Worker,协调器把 Attempt 0 记为失败;同地址节点重新上线后,Attempt 1 完成。查询 ID 保持不变。读取行数与两个聚合校验值均与无故障查询相同,处理了 59,986,052 行。实验包留存 task-retry.json 和运行脚本。结果验证的是一次恢复路径,生产上还要测试对象存储、其他 Connector 和超出恢复预算的情况。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型 · retry-trajectory.py 的故障轨迹 · trino-retry-probe.py 的真实重试复现。
Trino 容错执行 · Trino 484 TPCH Split 源码
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。