FPGA 可重构加速
FPGA 用可重构逻辑换取极致的能效与确定性延迟。本文讲清 LUT/DSP/BRAM 的硬件结构、HDL 与 HLS 两条开发路径、数据搬运与流水线设计、部分重配置、工具链生态、典型加速场景,以及 FPGA 与 CPU/GPU 协同的异构编程与选型权衡。
tag
FPGA 用可重构逻辑换取极致的能效与确定性延迟。本文讲清 LUT/DSP/BRAM 的硬件结构、HDL 与 HLS 两条开发路径、数据搬运与流水线设计、部分重配置、工具链生态、典型加速场景,以及 FPGA 与 CPU/GPU 协同的异构编程与选型权衡。
互连拓扑决定集群能扩展多大、花多少钱。本文对比 Fat-tree、Torus 与 Dragonfly 三类主流拓扑的结构、对分带宽、直径与成本,讲清无阻塞与超订、维度路由与自适应路由、拥塞控制、光互连与共封装光学,以及拓扑感知的作业放置与通信优化。
检查点是让长时作业在故障后「快速回来」的核心机制。本文讲清全量/增量/多级检查点的取舍、SCR 与 VeloC 等库的用法、检查点 IO 优化与冗余级别、ULFM 运行时容错、Young/Daly 最优间隔公式,以及 Slurm 上的自动重启与信号处理实践。
并行 bug 往往表现为挂起、结果飘忽或只在特定进程数下复现。本文梳理死锁、数据竞争、越界与数值非确定性的分类诊断方法,给出 gdb、TotalView/DDT、Sanitizer、Valgrind、结构化日志与时间线工具的组合用法与调试工作流。
从 COO/CSR/ELL/BSR 等存储格式的内存布局讲起,剖析稀疏矩阵向量乘(SpMV)的访存受限本质,给出寄存器分块、SELL-C-σ 与 merge-based 等优化手段,并梳理 SpGEMM、SpTRSV、Krylov 求解器与预条件的选型方法。
从派生数据类型的内存布局与 extent 语义讲起,系统梳理 MPI 通信子与进程组的切分方法、单边通信(RMA)的窗口与同步模型、持久化请求与邻居集合通信、共享内存窗口与动态进程管理,并给出可落地的性能调优与调试清单,帮助读者写出高扩展的并行程序。
在容错量子计算机到来之前,真正可用的形态是量子-经典混合计算。本文系统讲解混合计算的完整栈:量子比特与门的基础、VQE 与 QAOA 等变分算法、态矢量与张量网络模拟器、参数优化与梯度估计、把 QPU 当作加速器接入 HPC 作业调度、混合编程框架,以及噪声与误差缓解的工程实践。
当集群里同时有 NVIDIA、AMD 与 Intel 的加速器时,把代码绑死在 CUDA 上就意味着被单一供应商锁定。本文系统讲解跨厂商 GPU 可移植性:源码、编译与性能三个层次的差异,HIP 与 hipify 的迁移路径,SYCL 的队列、缓冲与访问器模型,USM 的取舍,ND-range 与 sub-group,以及性能可移植性与实战数据。
对于已有的大型 Fortran 或 C 代码,重写成 CUDA 往往不现实,指令式卸载是唯一可行的加速路径。本文系统讲解 OpenACC:gang、worker、vector 三级执行模型,copy 与 present 等数据子句,kernels 与 parallel 两类计算指令,异步与流水线,与 OpenMP target 的对比,以及性能优化、调试剖析与迁移实战。
在百亿亿次级超算上,IO 往往比计算更早撞墙。本文系统讲解并行 IO 栈:HDF5 的数据模型与并行 HDF5、NetCDF-4 与 CF 约定、ADIOS2 的引擎抽象与 BP5、MPI-IO 与 ROMIO 的集合 IO 与两阶段算法、数据布局与访问模式优化、检查点与容错 IO,以及一套可量化的调优方法。
浮点是科学计算的底座,也是性能与正确性的主战场。本文系统讲解 IEEE 754 的表示与舍入、误差来源与条件数、求和与消去带来的数值不稳定、FP64/FP32/TF32/BF16/FP16/FP8 的类型版图、迭代精化与残差校正驱动的混合精度、张量核实践,以及精度验证与可复现性的工程方法。
编译器是把算法变成机器码的最后一道关口。本文系统讲解 HPC 编译器优化:GCC、LLVM/Clang 与 Intel oneAPI 的优化级别与关键选项语义、自动向量化报告与阻塞原因、内联与快速数学的取舍、LTO 跨模块优化、PGO 两阶段闭环、搜索式自动调优,以及一套可复现的调优流程与实测数据。
科学计算与深度学习的边界正在消失。本文系统讲解 HPC 与 AI 融合:超算为什么能跑大模型训练、GPU 集群拓扑(NVLink/InfiniBand)、数据并行与模型并行、Horovod 与 DeepSpeed、HPC/AI 作业混合调度、科学 ML,以及融合平台的存储与 I/O 挑战。
大规模科学计算中,I/O 往往是隐藏的瓶颈。本文系统讲解并行 I/O:MPI-IO 的独立/集合文件视图、HDF5 的数据模型与并行写入、NetCDF 的自描述格式、Lustre 条带化与数据布局优化、I/O 性能剖析(Darshan/io 500),以及从串行读写升级到并行 I/O 的真实路径。
分子动力学(MD)是 HPC 最经典的科学应用之一。本文系统讲解 MD 仿真原理:牛顿积分与力场、邻居列表与域分解并行、GROMACS 与 LAMMPS 的并行加速(OpenMP/MPI/GPU)、PMe 静电与约束算法、Amber 力场选择、性能调优与千万原子规模仿真,以及 MD 工作负载对 HPC 架构的启示。
把 HPC 搬上云,弹性是最大红利也是最大复杂度。本文系统讲解云上 HPC 架构:AWS ParallelCluster 集群编排、弹性伸缩与 Spot 实例、EBS 与 FSx for Lustre 存储、EFA/RDXMA 高性能网络、作业调度与成本优化,以及「突发负载上云、稳态负载本地」的混合策略与迁移决策。
Python 生态的分布式计算两巨头:Dask 与 Ray。本文系统讲解 Dask 的惰性图计算与 DataFrame/数组扩展、Ray 的 actor/task 并行模型、集群启动与资源调度、两者选型对比,以及大数据预处理、RL 训练、服务化部署的真实落地模式。
Kubernetes 正成为新一代 HPC/AI 工作负载的调度平台。本文系统讲解 K8s 调度 HPC 作业:Pod/Job 模型、GPU 资源声明与设备插件、Kueue 与 Volcano 批调度器、KubeRay 运行分布式训练、MPI Operator 多节点作业、存储与网络考虑,以及超算工作流迁移到 K8s 的取舍。
基准测试是衡量 HPC 系统的标尺。本文系统讲解 HPL/Linpack 的理论与实践:浮点峰值与实测性能、HPL 的参数调优(N/P×Q/block size)、HPCG 面向真实应用的基准、TOP500 与 Green500 排名、跑分的常见陷阱,以及基准测试如何指导系统选型与调优。
HPC 高性能计算专题导航:涵盖 MPI 并行编程、OpenMP 共享内存、CUDA + MPI 异构并行、Slurm 集群调度、内存层次优化、Roofline 性能模型、并行算法模式、InfiniBand RDMA、PETSc/PyTorch 科学计算、OpenFOAM 流体模拟、AMD ROCm GPU 编程、Lustre 并行文件系统,以及 Singularity 容器、Nextflow/Snakemake 工作流、性能剖析工具链、GPU 内核优化、容错与检查点、集群运维;并进阶覆盖 Python 分布式计算(Dask/Ray)、Kubernetes 调度 HPC 作业、并行 I/O(MPI-IO/HDF5/NetCDF)、分子动力学仿真(GROMACS/LAMMPS)、云上弹性 HPC(AWS ParallelCluster)与 HPL/TOP500 基准测试;并补齐 MPI 进阶通信(派生数据类型、通信子、RMA 单边通信)、稀疏矩阵与 SpMV 优化、并行调试与死锁诊断、检查点与重启策略、互连拓扑设计(Fat-tree/Torus/Dragonfly)与 FPGA 可重构加速。