Lustre 并行文件系统调优实战

Lustre 是目前超算中心部署最广泛的并行文件系统，专为大规模 MPI 并行 I/O 场景设计。理解其 MDS-OSS-Client 架构、条带化机制与 Linux 内核参数调优，是释放大规模 HPC 集群 I/O 性能的关键。

Lustre 架构全景

                    +-------------------+
                    |   Compute Node    |
                    |   (Lustre Client) |
                    |  (VFS + llite)    |
                    +--------+----------+
                             |
            +----------------+----------------+
            |                                 |
    +-------v--------+                +-------v--------+
    |      MDS       |                |     OSS 0      |
    |  (Metadata)    |                |  (Object 0)    |
    |  MDT + MGS     |                +----------------+
    +-------+--------+                |     OSS 1      |
            |                         |  (Object 1)    |
            |                         +----------------+
    +-------v--------+                |     OSS 2      |
    |    MDT Disk    |                |  (Object 2)    |
    |  (ldiskfs/ZFS) |                +----------------+
    +----------------+                |     OSS 3      |
                                      |  (Object 3)    |
                                      +----------------+

• MGS (Management Server)：负责全局配置管理，通常与 MDS 共享节点。
• MDS (Metadata Server)：管理文件/目录的元数据（权限、时间戳、扩展属性、目录结构）。
• MDT (Metadata Target)：元数据存储后端，可以是 ldiskfs 或 ZFS。
• OSS (Object Storage Server)：负责实际数据块的读写。
• OST (Object Storage Target)：OSS 上的数据盘，每个文件的数据被条带化分布在多个 OST 上。
• Client：计算节点通过内核 llite 模块挂载 Lustre 文件系统。

条带化（Striping）策略

Lustre 的核心并行能力来源于条带化：一个文件的数据被切分为固定大小的 chunk，按 round-robin 方式分布在多个 OST 上。

File data:
+--------+--------+--------+--------+--------+--------+
| chunk0 | chunk1 | chunk2 | chunk3 | chunk4 | chunk5 |
+--------+--------+--------+--------+--------+--------+
     |        |        |        |        |        |
   OST 0    OST 1    OST 2    OST 0    OST 1    OST 2

stripe_count = 3, stripe_size = 1MB

通过 lfs setstripe 配置条带：

# 为目录设置默认条带（后续创建的文件继承）
lfs setstripe -c 8 -S 4M /scratch/user/job_dir/

# 为单个文件设置条带
lfs setstripe -c 4 -S 1M /scratch/user/output.dat

参数含义：

条带策略选择原则：

• 大量小文件（<1MB）：stripe_count=1，避免元数据膨胀与 OST 碎片化。
• 中等大文件（GB 级）：stripe_count=OST 总数的一半，stripe_size=4MB，平衡并行度与网络开销。
• 超大规模 checkpoint（TB 级）：stripe_count=OST 总数，stripe_size=16MB，最大化聚合带宽。

元数据优化

MDS 是 Lustre 最常见的瓶颈。单节点作业频繁 ls、stat、open 会压垮 MDS：

# 查看当前 MDS 性能计数器
lctl get_param mdt.*.stats

# 查看目录下文件条带分布
lfs getstripe -d /scratch/user/job_dir/

优化手段：

1. 避免单目录海量小文件：Linux 目录项线性查找的时间复杂度为 O(n)。超过 10 万个文件时应分目录存储。

2. 懒加载 stat：GNU find 默认会 lstat 每个文件，改用 find -maxdepth 或 ls -f 减少 MDS 请求。

3. 使用 DNE (Distributed Namespace Environment)：Lustre 2.4+ 支持远端 MDT，lfs mkdir -c 4 将目录哈希到多个 MDT 上：

lfs mkdir -c 4 /mnt/lustre/distributed_dir

OST 均衡与故障排查

# 查看各 OST 使用率与带宽
lfs df -h /mnt/lustre
lfs osts

# 查看特定文件在各 OST 上的块分布
lfs getstripe /scratch/user/bigfile.dat

# OST 离线后自动跳过（需管理员配置 failover）
lctl list_nids              # 查看活跃网络标识

若发现某些 OST 使用率偏高，可通过 lfs migrate 或重建文件调整条带分布。

Lustre 内核调优

客户端（计算节点）的 Linux 内核参数直接影响 I/O 效率。

# /etc/sysctl.conf 或 /etc/sysctl.d/99-lustre.conf

# 增大客户端页缓存上限
vm.max_cached_mb=524288      # 512GB 缓存，视节点内存调整

# 预读窗口大小
vm.read_ahead_kb=16384       # 16MB 预读，匹配大条带块

# dirty 页阈值，减少写回抖动
vm.dirty_ratio=40
vm.dirty_background_ratio=10

# 应用
sysctl -p /etc/sysctl.d/99-lustre.conf

POSIX I/O vs MPI-IO vs HDF5/MPI

在 Lustre 上，不同的 I/O 模式性能差异巨大：

模式 A：POSIX 独立写（每个 rank 写独立文件）
  -> 元数据风暴，MDS 瓶颈

模式 B：POSIX 共享文件（fseek + fwrite）
  -> 客户端锁竞争严重，性能最差

模式 C：MPI-IO 集体写（MPI_File_write_at_all）
  -> ROMIO 自动聚合小请求，性能最佳

MPI-IO 协商缓存示例

#include <mpi.h>

int main(int argc, char **argv)
{
    MPI_Init(&argc, &argv);
    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    MPI_File fh;
    MPI_File_open(MPI_COMM_WORLD, "/lustre/data/out.bin",
                  MPI_MODE_CREATE | MPI_MODE_WRONLY,
                  MPI_INFO_NULL, &fh);

    // 设置 Lustre striping 提示（传递给 ROMIO 适配器）
    MPI_Info info;
    MPI_Info_create(&info);
    MPI_Info_set(info, "striping_factor", "8");
    MPI_Info_set(info, "striping_unit", "4194304"); // 4MB

    // 每个 rank 写自己的数据偏移
    MPI_Offset offset = rank * 1024LL * 1024; // 每个 rank 1MB
    char buf[1024 * 1024] = {0};
    MPI_File_write_at_all(fh, offset, buf, 1024*1024, MPI_BYTE,
                          MPI_STATUS_IGNORE);

    MPI_File_close(&fh);
    MPI_Finalize();
    return 0;
}

lfs 命令速查表

Lustre 的复杂性在于并发路径上的每一个环节——元数据、条带化、网络、客户端缓存——都可能成为瓶颈。掌握条带化策略设计与 MPI-IO 集体调用，是在 E 级超算上跑出极限 I/O 带宽的核心能力。