云上弹性 HPC：AWS ParallelCluster 与按需集群实战
把 HPC 搬上云，弹性是最大红利也是最大复杂度。本文系统讲解云上 HPC 架构：AWS ParallelCluster 集群编排、弹性伸缩与 Spot 实例、EBS 与 FSx for Lustre 存储、EFA/RDXMA 高性能网络、作业调度与成本优化，以及「突发负载上云、稳态负载本地」的混合策略与迁移决策。
category
Hpc
共 44 篇文章。
Python 高性能计算：Dask 与 Ray 分布式计算实战
Python 生态的分布式计算两巨头：Dask 与 Ray。本文系统讲解 Dask 的惰性图计算与 DataFrame/数组扩展、Ray 的 actor/task 并行模型、集群启动与资源调度、两者选型对比，以及大数据预处理、RL 训练、服务化部署的真实落地模式。
Kubernetes 调度 HPC 作业：KubeRay、GPU 资源与调度器
Kubernetes 正成为新一代 HPC/AI 工作负载的调度平台。本文系统讲解 K8s 调度 HPC 作业：Pod/Job 模型、GPU 资源声明与设备插件、Kueue 与 Volcano 批调度器、KubeRay 运行分布式训练、MPI Operator 多节点作业、存储与网络考虑，以及超算工作流迁移到 K8s 的取舍。
HPC 基准测试：HPL/Linpack、HPCG 与 TOP500 实战
基准测试是衡量 HPC 系统的标尺。本文系统讲解 HPL/Linpack 的理论与实践：浮点峰值与实测性能、HPL 的参数调优（N/P×Q/block size）、HPCG 面向真实应用的基准、TOP500 与 Green500 排名、跑分的常见陷阱，以及基准测试如何指导系统选型与调优。
科学工作流引擎：Nextflow/Snakemake 与管线编排
讲解科学工作流引擎的任务模型与 DAG 编排，对比 Nextflow DSL2 与 Snakemake 的语法与调度机制，覆盖 executor、容器集成、断点续跑与大规模管线最佳实践。
HPC 集群管理与软件栈运维：模块、Spack 与监控
从系统管理员视角拆解 HPC 集群运维：环境模块与 Lmod、Spack 源码包管理、Prometheus/Ganglia 监控、作业队列治理、能源散热管理与集群故障排查方法论。
HPC 性能剖析与调优工具链：perf/gprof/VTune/Nsight
系统讲解 HPC 性能剖析方法学，深入 perf 与火焰图、gprof、Intel VTune、AMD uProf、NVIDIA Nsight 及 MPI 通信剖析工具 mpiP/TAU 的使用与热点瓶颈分级。
HPC 容错与检查点：Checkpoint/Restart、ULFM 与恢复
解析大规模系统故障特征与容错架构，深入 Checkpoint/Restart 的周期/增量/分层策略、SCR/DMTCP 检查点库、ULFM 消息传递容错与异步复制恢复的生产实践。
HPC 容器与可复现环境：Singularity/Apptainer 深入
解析 HPC 场景下容器技术的选型逻辑，深入 Singularity/Apptainer 的 SIF 镜像格式、无特权运行机制、Docker 镜像转换、MPI 与 Conda 集成以及可复现性保障。
GPU 内核性能优化进阶：占用率、访存与指令级调优
深入 GPU 内核调优的四大维度：占用率计算、访存合并与共享内存、指令级并行与 warp 分歧消除，并覆盖 cuBLAS/cuDNN 调优参数、NCCL 通信优化与基准对比方法论。
高性能计算专题：从 MPI 到 GPU 集群的并行编程实践
HPC 高性能计算专题导航：涵盖 MPI 并行编程、OpenMP 共享内存、CUDA + MPI 异构并行、Slurm 集群调度、内存层次优化、Roofline 性能模型、并行算法模式、InfiniBand RDMA、PETSc/PyTorch 科学计算、OpenFOAM 流体模拟、AMD ROCm GPU 编程、Lustre 并行文件系统，以及 Singularity 容器、Nextflow/Snakemake 工作流、性能剖析工具链、GPU 内核优化、容错与检查点、集群运维；并进阶覆盖 Python 分布式计算（Dask/Ray）、Kubernetes 调度 HPC 作业、并行 I/O（MPI-IO/HDF5/NetCDF）、分子动力学仿真（GROMACS/LAMMPS）、云上弹性 HPC（AWS ParallelCluster）与 HPL/TOP500 基准测试；并补齐 MPI 进阶通信（派生数据类型、通信子、RMA 单边通信）、稀疏矩阵与 SpMV 优化、并行调试与死锁诊断、检查点与重启策略、互连拓扑设计（Fat-tree/Torus/Dragonfly）与 FPGA 可重构加速。
Slurm 集群调度系统深度解析与实战
深入剖析 Slurm 集群调度架构、作业提交、分区配置与调度策略，提供配置示例和常用命令速查表。
Roofline 性能模型：判定性能瓶颈与优化方向
深入讲解 Roofline 模型的计算强度、内存带宽天花板与计算天花板，结合工具与案例分析判定 memory-bound 与 compute-bound。
ROCm HIP GPU 编程实战
ROCm 平台架构、HIP 编程模型、hipify 迁移工具及与 CUDA 深度对比，覆盖性能调优、容器化部署与多 GPU 分布式训练
PETSc 科学计算库实战指南
系统讲解 PETSc 体系结构与核心 API，涵盖稀疏矩阵格式、线性求解器选择、非线性求解、并行组装及性能剖析，附完整 C 代码示例。
OpenMP 共享内存并行编程：从循环到任务
深入解析 OpenMP 并行构造、调度策略、同步原语与任务并行，配合 C 代码示例与性能实验对比。
OpenFOAM 流体模拟入门
OpenFOAM 框架结构、网格生成、边界条件与并行运行实战指南
MPI 并行编程入门：从点到点通信到非阻塞
系统讲解 MPI 并行编程核心概念，涵盖初始化、点对点通信、集合通信与非阻塞通信，配合完整 C 代码示例。
Lustre 并行文件系统调优实战
Lustre 架构解析、条带化策略、元数据优化与 POSIX/MPI-IO 性能对比
InfiniBand 与 RDMA 网络深度解析
深入讲解 InfiniBand 网络架构、RDMA 操作类型、RoCEv2 与原生 IB 对比、性能调优及 MPI over RDMA 实践。