通信优化

NCCL 集合通信：AllReduce、Ring 算法与多卡推理的通信优化

多卡推理的吞吐天花板往往不在算力，而在 GPU 之间的通信。NCCL 是 NVIDIA 的集合通信库：AllReduce/AllGather/Reduce-Scatter 原语、Ring 与 Tree 算法、NVLink/RDMA 互连、拓扑感知与超节点。本文把 NCCL 讲透：通信原语怎么选、算法怎么收敛、拓扑怎么感知，以及多卡推理（张量并行）的通信优化实战。