Spark 性能调优:Shuffle、内存与数据倾斜
Spark 作业变慢的原因通常只有三个:Shuffle 太贵、内存不够用、数据分布不均。本文从执行计划与 Spark UI 定位瓶颈入手,拆解 Shuffle 的落盘与网络代价及减少手段、统一内存管理与 executor 内存分配公式、GC 与序列化选择、数据倾斜的识别与加盐/广播/AQE 三类解法、小文件与小分区治理,并给出可直接套用的参数基线与调优流程。
tag
Spark 作业变慢的原因通常只有三个:Shuffle 太贵、内存不够用、数据分布不均。本文从执行计划与 Spark UI 定位瓶颈入手,拆解 Shuffle 的落盘与网络代价及减少手段、统一内存管理与 executor 内存分配公式、GC 与序列化选择、数据倾斜的识别与加盐/广播/AQE 三类解法、小文件与小分区治理,并给出可直接套用的参数基线与调优流程。
Go 垃圾回收与内存调优深度实战:并发三色标记 GC 原理、逃逸分析与栈上分配、sync.Pool 内存池、GOGC 与 GOMEMLIMIT 调参策略、降低 GC 压力的七种手段与基于 pprof 的验证闭环。
深入解析 JVM 堆内存布局、对象分配策略、六种经典垃圾收集器原理与调参实战,涵盖 G1/ZGC/Shenandoah 低延迟 GC 技术,结合生产案例与 MAT 内存泄漏排查,为 Java 开发者提供系统性的 JVM 性能调优手册。