HBM、GDDR 与 NUMA：HPC 内存层次优化实战

现代高性能计算系统中，计算性能的 scaling 瓶颈早已从 CPU 主频转向了内存子系统。理解内存层次结构、掌握 NUMA（Non-Uniform Memory Access）架构下的编程优化，是 HPC 开发者榨干硬件潜能的关键一步。

现代 HPC 内存架构全景

┌─────────────────────────────────────────────────────────────┐
│                    处理器核心 (CPU Cores)                      │
│  ┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐         │
│  │  Core 0 │  │  Core 1 │  │  Core 2 │  │  Core 3 │         │
│  │  L1 I/D │  │  L1 I/D │  │  L1 I/D │  │  L1 I/D │         │
│  │   32KB  │  │   32KB  │  │   32KB  │  │   32KB  │         │
│  └────┬────┘  └────┬────┘  └────┬────┘  └────┬────┘         │
│       └──────────────┴────────────┴──────────────┘            │
│                         L2 Unified (512KB - 1MB)              │
│                              │                                 │
│                         L3 Unified (16MB - 64MB)              │
│                              │                                 │
│                    ┌─────────┴─────────┐                       │
│              ┌─────┴─────┐       ┌─────┴─────┐                 │
│              │ 内存控制器 │       │ 内存控制器 │                 │
│              │ (MC0)     │       │ (MC1)     │                 │
│              └─────┬─────┘       └─────┬─────┘                 │
│                    │                    │                       │
│              DDR5-4800             DDR5-4800                    │
│            (64GB DIMM)           (64GB DIMM)                   │
│            ~76.8 GB/s            ~76.8 GB/s                    │
│                    └──────────────────┘                        │
│                          双通道 ~153.6 GB/s                    │
└─────────────────────────────────────────────────────────────┘
                                │
                    ┌───────────┴───────────┐
                    │     AMD EPYC / Intel  │
                    │     Xeon Scalable     │
                    │   多路 NUMA 互联:     │
                    │   UPI / Infinity Fab   │
                    │   (~40-100 GB/s/cc)   │
                    └───────────────────────┘

当前主流 HPC 平台涉及的内存类型对比：

HBM（High Bandwidth Memory）通过 3D 堆叠和宽位宽（1024-bit per stack）实现极高吞吐，代价是容量有限且成本高昂。NUMA 架构则是多路服务器扩展内存容量的必然产物——每个 CPU Socket 拥有独立的本地内存控制器，跨 Socket 访问远程内存需要通过互联总线，带来显著延迟惩罚。

NUMA 感知编程

双路服务器的 NUMA 拓扑示意：

              NUMA Node 0                          NUMA Node 1
         ┌───────────────────┐              ┌───────────────────┐
         │  CPU0 (Core 0-31) │              │  CPU1 (Core 32-63)│
         │  Local DRAM: 512GB│              │  Local DRAM: 512GB│
         │  Local:  ~80ns    │<--- UPI ---->|  Local:  ~80ns    │
         │  Remote: ~140ns   │  ~50 GB/s    │  Remote: ~140ns   │
         └───────────────────┘              └───────────────────┘

跨 NUMA 访问延迟通常为本地访问的 1.5-2 倍。对于内存带宽敏感型应用（如 stencil 计算、大矩阵转置），盲目跨 NUMA 分配内存将导致性能腰斩。

使用 numactl 控制内存分配策略：

# 绑定进程在 NUMA Node 0 上运行，并仅使用本地内存
numactl --cpunodebind=0 --membind=0 ./compute_app

# 交错分配内存到所有 NUMA 节点（平衡带宽，适合顺序访问模式）
numactl --interleave=all ./compute_app

# 先尝试本地内存分配，本地不足时回退到远程节点
numactl --preferred=0 ./compute_app

libnuma 编程接口示例：

#include <numa.h>
#include <numaif.h>

void* allocate_on_node(size_t size, int node) {
    void *ptr = numa_alloc_onnode(size, node);
    if (!ptr) {
        perror("numa_alloc_onnode failed");
        exit(1);
    }
    // 确保页已实际分配（避免首次访问 fault 延迟）
    memset(ptr, 0, size);
    return ptr;
}

int main() {
    if (numa_available() < 0) {
        fprintf(stderr, "NUMA not available\n");
        return 1;
    }
    int max_node = numa_max_node();
    printf("Available NUMA nodes: 0-%d\n", max_node);

    // 在各 NUMA 节点分配独立工作缓冲区
    size_t per_node = 1ULL << 30; // 1GB
    for (int n = 0; n <= max_node; n++) {
        void *buf = allocate_on_node(per_node, n);
        // 绑定对应线程至此节点处理 buf...
    }
}

编译时链接：gcc app.c -lnuma -o app。

STREAM Benchmark 内存带宽测试

STREAM 是 HPC 领域最经典的内存带宽基准测试，通过四个核向循环测量持续内存吞吐：

运行 STREAM 的命令：

# 1. 获取源码
git clone https://github.com/jeffhammond/STREAM.git
cd STREAM

# 2. 编译（启用 OpenMP 以利用多核）
gcc -O3 -fopenmp -DSTREAM_ARRAY_SIZE=80000000 \
    -DNTIMES=20 stream.c -o stream.exe

# 3. NUMA 感知的运行方式 — 绑定至单节点，避免跨 NUMA 惩罚
OMP_NUM_THREADS=64 numactl --cpunodebind=0 --membind=0 ./stream.exe

# 4. 对比：交错模式（观察带宽差异）
OMP_NUM_THREADS=64 numactl --interleave=all ./stream.exe

典型服务器（2x AMD EPYC 9654, 12ch DDR5-4800）的预期结果：

Node 0 本地绑定:
Triad: 3400.5 MB/s (理论峰值 ~460 GB/s, 效率 ~74%)

Interleave 全节点:
Triad: 2980.2 MB/s (效率下降至 ~65%, NUMA 亲和性损失)

跨 NUMA 全远程访问 (模拟最坏情况):
Triad: ~1800 MB/s (性能腰斩)

内存交错策略的性能影响

选择内存分配策略必须匹配访问模式：

优化策略 checklist

1. 线程-内存共置（First Touch 原则）：Linux 默认按首次访问 NUMA 节点分配页，初始化数组的线程决定了物理位置。务必让最终计算线程执行 malloc + memset。

2. 避免伪共享（False Sharing）：确保不同线程写入的变量位于不同 cache line（64B 对齐）。

3. 大页（HugePages）降低 TLB miss：

   echo 1024 | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
   numactl --cpunodebind=0 --membind=0 --hugepage ./app
   

4. NUMA Balancing 控制：

   # 自动 NUMA balancing 可能打乱手动绑定策略
   echo 0 | sudo tee /proc/sys/kernel/numa_balancing
   

5. 监控实际 NUMA 分布：

   numastat -p <pid>        # 查看进程在各节点的内存分布
   watch -n1 numastat -m    # 实时 NUMA 内存状态监控
   

理解内存层次并实施 NUMA 感知优化，通常可为内存受限型 HPC 应用带来 20%-80% 的性能提升。在 HBM+DRAM 混合架构日益普及的今天，这一能力将变得更加重要。