NCCL 集合通信：AllReduce、Ring 算法与多卡推理的通信优化

张量并行（TP）的通信：
□ 把一层拆到 8 卡 → 每卡只算 1/8
□ 但层的输出要「合并/同步」才能进下一层
□ 每层 forward：一次 AllGather/AllReduce 跨卡通信
□ 70B 模型有几十上百层 → 通信次数多

通信的代价：
□ 算力：8 卡并起来 ≠ 8 倍（通信吃掉一部分）
□ 延迟：跨卡同步是「串行点」（每层等通信完成）
□ 带宽：互连带宽（NVLink/网卡）是硬上限

量化通信开销：
□ 通信量 ∝ 张量大小 × 层数
□ 互连带宽有限 → 张量大、层数多 → 通信耗时涨
□ 通信耗时 / 计算耗时 = 通信比 → 决定并行效率

通信比示意：
8 卡 TP 理想提速 8×
若通信比 20% → 实际 ~5×
若通信比 40% → 实际 ~3×
→ 通信比越高，并行收益越差

核心原语：
□ AllReduce：所有卡的结果归约后，广播回所有卡
  例：多卡各算出一份梯度 → 归约求和 → 每卡拿到总和
  → 训练最常用（梯度同步）
□ AllGather：每卡有自己的一块 → 合并成完整张量 → 每卡拿全量
  例：TP 中每卡有 1/8 输出 → 拼成完整输出
  → 推理最常用（层输出合并）
□ Reduce-Scatter：归约后「分片」回各卡（不广播全量）
  → 是 AllReduce 的「半程」（后面细说）
□ Broadcast：一卡 → 所有卡（权重广播）

每个原语的通信量：
□ AllGather：每卡发自己的块，收 N-1 块
□ Reduce-Scatter：每卡收 N-1 块归约，留自己的分片
□ AllReduce = Reduce-Scatter + AllGather（两半程）

TP 中的原语选择：
□ 前向：AllGather（合并输出）—— 推理主力
□ 反向/训练：AllReduce（梯度归约）
□ 长序列 DP：Reduce-Scatter（分片归约省显存）
→ 知道「用什么原语」，就知道通信量模型

星型 AllReduce（朴素）：
□ 所有卡把数据发给 rank 0 → rank 0 归约 → 广播回去
□ 通信量：N 卡，每卡发 N-1 次 → O(N²)
□ 瓶颈：rank 0 成为带宽热点

Ring AllReduce：
□ 把卡排成环（rank 0→1→2→...→N→0）
□ 数据分 N 块，沿环「接力」归约/广播
□ 每卡只与自己相邻的两卡通信
□ 总通信量：O(N) 数据量，但每卡带宽用满

关键：Ring 让「所有卡同时干活」
□ 星型：rank 0 独扛，其余空闲
□ Ring：N 卡并行接力，互连带宽全用上
→ 大数据量下，Ring 快很多

Ring 两半程：
Reduce-Scatter：数据分块沿环「滚动归约」→ 每卡有一块部分和
AllGather：部分和沿环「滚动广播」→ 每卡拿全量
→ 通信量从 O(N²) 摊平成 O(N)

算法对比：
□ Ring：小数据量更优（滚动开销小）
  → 每卡只与相邻卡通信，适合中等消息
□ Tree（二叉树）：大数据量更优（并行归约）
  → 层级归约，减少「串行滚动」的步数
  → 对超大张量（如大矩阵归约）吞吐更高
□ NVLS（NVLink SHARP）：片上互连直通
  → 利用 NVLink 交换机做「网内归约」——数据在交换机上就归约了
  → 卡少（同机）时带宽优势明显

NCCL 自动选择：
□ 根据「消息大小 + 卡数 + 拓扑」自动选算法
□ 大数据量 → Tree；小数据量 → Ring
□ 同机 NVLink → NVLS；跨机 → RDMA Ring/Tree

为什么自动选择重要：
□ 选错算法可能差 2~5 倍
□ 用户不用手选（NCCL 启发式），但要知道「为什么快」

经验法则：
消息 < ~几百 KB → Ring
消息 > ~几 MB（大张量）→ Tree
同机 NVLink + 交换机 → NVLS（SHARP 归约）
跨机 → RDMA 直通 + Ring/Tree

拓扑层级（从快到慢）：
□ NVLink（片上）：卡间直连，带宽最高（H100 900GB/s）
□ NVSwitch（NVLink 交换机）：全互联，任意卡到卡
□ PCIe：走主板，带宽中等（~64GB/s）
□ RDMA/网卡（跨机）：走网络，带宽最低（~400Gbps）

NCCL 的路径选择：
□ 同机 → 优先 NVLink（快）
□ 跨机 → 走 RDMA 网卡（慢）
□ 拓扑感知：NCCL 探测拓扑 → 选择「最快路径」

为什么拓扑决定性能：
□ 同机 NVLink 900GB/s vs 跨机 50GB/s → 差 18 倍
□ 跨卡通信多 → 机内优先（把卡放同一台）
□ 跨机通信 → 网络带宽就是硬上限

NVLink 的速度优势：
□ 训练梯度 AllReduce：机内 NVLink 摊平带宽
□ 推理 TP：层输出 AllGather 走 NVLink 才快

带宽量级（H100）：
NVLink 900GB/s（单向）
PCIe Gen5 ~64GB/s
RDMA 400Gbps ≈ 50GB/s
→ 同机 vs 跨机的通信差距是「数量级」

跨机通信的困境：
□ 机内 NVLink 快，但只有 8 卡
□ 更大规模（16/64 卡）必须跨机 → RDMA 慢
□ 朴素 AllReduce 跨机：全量走网络 → 慢

两阶段 AllReduce（Hierarchical）：
□ 机内先归约（NVLink 快）
□ 机间再归约（只传「归约后的小结果」）
→ 把「大数据跨机传输」变成「小数据跨机」
→ 跨机通信量大幅下降

超节点（NVLS + 网内归约）：
□ 更大规模：NVLink 交换机跨机架互联
□ SHARP：归约在「网络/交换机」内完成
  → 数据流经交换机时顺便归约，不占卡间带宽
□ Grace-Blackwell 超节点：NVLink 域覆盖 72 卡
  → 机内直接当「大机」用，跨机通信几乎消失

结构启示：
□ 拓扑感知调度：把通信密集的 rank 放同一 NVLink 域
□ 数据并行（DP）跨机、张量并行（TP）机内 → 经典搭配

两阶段 AllReduce：
机内（8 卡 NVLink）→ 每机一个归约结果
机间（N 机 RDMA）→ 归约 N 个结果（小数据）
→ 大数据机内走，小数据机间走 → 通信减量

通信怎么拖慢推理：
□ TP 每层一次 AllGather → 层间有「同步点」
□ 同步点 = 通信串行：先等通信完，才能算下一层
→ 算力空转等待 = 并行收益被吃

优化手段：
□ 计算/通信重叠（Overlap）：
  → 把「下一层的计算」和「上一层的通信」重叠
  → 通信不阻塞，藏在计算里
  → 需要算子级流水编排（engine 层做）
□ 减小通信量：
  → 量化通信张量（FP8 通信减半）
  → 只通信必要部分（分片而非全量）
□ 减少通信次数：
  → 融合多次通信（多层的 AllGather 合并）
  → 稀疏/局部通信（注意力分解）

引擎怎么做：
□ TensorRT-LLM/vLLM 的 TP 实现自带重叠优化
□ 但「通信量的控制」取决于模型与配置

重叠效果：
无重叠：算 1s + 通 0.2s → 串行 1.2s
有重叠：通信藏在计算里 → ~1.0s
→ 通信比高的场景，重叠收益显著

关键环境变量：
□ NCCL_DEBUG=INFO：看日志（拓扑、算法选择、错误）
□ NCCL_DEBUG=WARN：只打警告（生产常用）
□ NCCL_IB_DISABLE=1 / NCCL_IB_HCA：RDMA 开关/选网卡
□ NCCL_SOCKET_IFNAME：指定 socket 网卡（多网卡机）
□ NCCL_NET_GDR_LEVEL：GPUDirect RDMA 级别（跳 HBM）

分组与拓扑：
□ NCCL_GROUP / 进程组：控制通信域（哪些卡一起）
□ 拓扑感知：NCCL 自动探测，必要时显式指定拓扑

故障排查清单：
□ 通信慢：看 NCCL_DEBUG=INFO 选的算法/路径对不对
□ 跨机不通：查 RDMA 开关、网卡、防火墙
□ 卡间不通：查 NVLink 拓扑（nvidia-smi topo -m）
□ 死锁/超时：查分组不一致、集合不匹配
□ 环境变量不一致：所有 rank 必须一致（否则错乱）

诊断工具：
□ nvidia-smi topo -m：看卡间互联拓扑
□ NCCL 提供的 nccl-tests：AllReduce 带宽测试
→ 先测「裸通信带宽」，再查上层

排查顺序：
1. 裸通信测速（nccl-tests，确认 NCCL 本身快不快）
2. 看拓扑（nvidia-smi topo -m，确认卡间互联）
3. 看 NCCL_DEBUG（确认算法/路径选择）
4. 查环境变量一致性（分组/网卡/RDMA）

通信开销的决定因素：
□ 张量大小：隐藏层越大 → 通信张量越大
□ 层数/模型深度：层越多 → 通信次数越多
□ 卡数：TP 越大 → 每卡算力减、通信比例增
□ 互连带宽：NVLink（快）vs 跨机（慢）

何时 TP 值得：
□ 模型放不进单卡 → 必须拆分（TP 是手段）
□ 互连快（机内 NVLink）→ 通信比低，TP 高效
□ 大模型 + 高带宽互连（超节点）→ 接近线性扩展

何时 TP 不划算：
□ 模型能单卡跑 → TP 增加通信反而更慢（小模型）
□ 跨机 TP → 通信走网络，通信比飙升
□ 隐藏层小 / 层数少 → 通信次数少但单次也少，收益有限

并行策略取舍（经典布局）：
□ 模型能单卡 → 不拆，纯 DP（多副本扛并发）
□ 放不进单卡 → TP 机内拆 + DP 副本扛并发
□ 超大规模 → TP+DP+PP 组合（集群规划）

决策：能否单卡？
能 → 不 TP（多副本 DP 扛并发，通信为零）
不能 → TP（机内拆）→ 通信比看互连
互连慢 → 每卡少拆（TP=2/4 而非 8）或换算法