HPC 集群管理与软件栈运维：模块、Spack 与监控

# 查看当前已加载模块
module list

# 搜索可用模块
module avail
module spider openmpi          # 跨多版本模糊搜索

# 加载/卸载
module load openmpi/5.0.3
module unload openmpi/4.1.6

# 切换、重置
module swap gcc/12.2 gcc/13.1
module purge                    # 清空全部

# 查看某个模块的细节与依赖
module show openmpi/5.0.3

#%Module1.0
set   version   5.0.3
set   root      /apps/software/openmpi/${version}

# 路径设置：只有 load 时才进入 PATH/LD_LIBRARY_PATH
prepend-path  PATH               ${root}/bin
prepend-path  LD_LIBRARY_PATH    ${root}/lib
prepend-path  MANPATH            ${root}/share/man

# 依赖声明：加载本模块前自动加载 gcc 与 ucx
prereq gcc/13.1
module load ucx/1.16

# 冲突声明：与 old openmpi 冲突
conflict openmpi

# 安装：指定编译器、MPI、CUDA 组合
spack install openmpi@5.0.3 %gcc@13.1 ^ucx@1.16 +cuda

# 语义：软件名@版本 %编译器 ^依赖(以及依赖的依赖) +变体
# 用 spack spec 预览将被构建的完整依赖树
spack spec openmpi@5.0.3 %gcc@13.1 ^ucx@1.16 +cuda

# 添加编译器（自动探测）
spack compiler find

# 安装后加载（类似 module）
spack load openmpi@5.0.3 %gcc@13.1 ^ucx@1.16 +cuda

# 查找可用版本与变体
spack info openmpi

# 配置：让 spack 生成 lmod modulefile
spack config add modules:default:enable:lmod
spack module lmod refresh

# 为指定包生成（写进 lmod 目录）
spack module lmod refresh openmpi

# 环境文件：一个 yaml 声明整个栈
spack env create ml_stack
spack -e ml_stack add pytorch@2.3.0 ^cuda@12.4
spack -e ml_stack install
spack -e ml_stack load pytorch

# 构建侧：安装后推送二进制到共享缓存
spack buildcache create --rebuild-index -a

# 计算节点侧：配置共享缓存地址后直接拉取
spack config add config:build_cache_root:/shared/spack-cache
spack buildcache install openmpi@5.0.3 %gcc@13.1

# 预生成容器/裸金属节点的完整软件栈时逐包拉取
spack -e ml_stack buildcache install -a

# prometheus.yml 采集端配置
scrape_configs:
  - job_name: nodes
    static_configs:
      - targets: ['node01:9100', 'node02:9100']   # node_exporter
  - job_name: slurm
    static_configs:
      - targets: ['slurm-exporter:8080']           # slurm_exporter
  - job_name: gpu
    static_configs:
      - targets: ['node01:9400']                   # dcgm-exporter

# 常用 PromQL 查询
# 节点平均负载
avg(rate(node_cpu_seconds_total{mode="idle"}[5m]))
# 排队作业数
slurm_queue_pending
# GPU 利用率低于 10% 但占用的卡
dcgm_gpu_utilization < 10

# alert_rules.yml
groups:
  - name: hpc
    rules:
      - alert: NodeDown
        expr: up{job="nodes"} == 0
        for: 5m
        annotations:
          summary: "节点 {{ $labels.instance }} 无心跳"
      - alert: GPUOverheat
        expr: dcgm_gpu_temp{job="gpu"} > 89
        for: 2m
        annotations:
          summary: "GPU 温度超标 {{ $labels.instance }}: {{ $value }}°C"

# 每个作业的资源使用明细
sacct -j 12345 --format=JobID,JobName,Partition,State,Elapsed,MaxRSS,MaxRSSNode

# 集群整体利用率报表
sreport cluster utilization

# 按用户的资源消耗排行（治理依据）
sreport user top  -t Node --start=2026-09-01 --end=2026-09-27

# 找出「申请 128 核实际用 4 核」的浪费作业
sacct -a -X -o JobID,AllocTRES%20,TRESUsageInMax%30,Elapsed \
  --starttime=2026-09-01 | awk '$4 < $2/8 {print}'

# 1. IPMI/BMC 层面：节点功率与温度
ipmitool sdr list | grep -E "Pwr|Temp"

# 2. RAPL（Intel Running Average Power Limit）：CPU 封装功耗
cat /sys/class/powercap/intel-rapl:0/energy_uj

# 3. 集群级聚合：SLURM 功耗采集 + Prometheus
scontrol show node node01 | grep -i power   # EnergyAccounting 配置后可用

# 温度巡检（cron 每 5 分钟，异常即告警）
sensors | grep -E "Package|Tctl" 
watch -n 5 'nvidia-smi --query-gpu=temperature.gpu,power.draw --format=csv'

# 用 Lmod 分层命名强制「同编译器/同 MPI 组合」
module avail gcc openmpi petsc   # 看到 petsc 的多套变体

# 用 spack spec 在安装前预览 ABI 链条
spack spec petsc +hdf5 ^openmpi@4.1.6 %gcc@13.1

# 验证已安装二进制的动态依赖
ldd /apps/software/petsc/lib/libpetsc.so | grep -E "mpi|gfortran"

# 排障三连
sinfo -N -o "%N %t %E %e"         # 节点状态与预计恢复时间
scontrol show job <jobid>         # 作业调度详情
journalctl -u slurmctld -n 100    # 控制器日志尾部

#!/bin/bash
# runbook_node_down.sh <nodename> —— 节点 DOWN 标准处置流程
NODE=$1
echo "=== 1. 状态确认 ==="
scontrol show node $NODE | grep -E "State|Reason"

echo "=== 2. 硬件层检查（BMC）==="
ipmitool -I lanplus -H $NODE-bmc power status || echo "BMC 不可达"

echo "=== 3. 内核/驱动日志 ==="
ssh $NODE 'dmesg -T | tail -50'

echo "=== 4. 磁盘与负载 ==="
ssh $NODE 'df -h /scratch; uptime; free -g'

echo "=== 5. 处理决策 ==="
echo "   - 可恢复: scontrol update NodeName=$NODE State=RESUME"
echo "   - 需下线: scontrol update NodeName=$NODE State=DRAIN Reason='HW fault'"