RDMA 与 RoCE：数据中心高性能网络、无损网络与拥塞控制

socket 的一次收发（主机侧成本）：
  用户态 → 内核拷贝 → 协议栈处理 → 网卡 DMA
  → 网络 → 对端网卡 DMA → 协议栈 → 内核 → 用户态拷贝

  成本：2 次内存拷贝 + 系统调用 + 中断 + 上下文切换

RDMA 的一次收发：
  应用提交 WQE → 网卡读本地内存 → 直接写对端内存
  → 对端网卡写内存 → 生成完成事件

  成本：几乎零 CPU 参与，无拷贝，无系统调用（数据面）

三种实现路径：
  InfiniBand（IB）：
    - 专用链路层与交换机，原生无损
    - 性能最好，成本最高，生态相对封闭
    - 超算与 AI 训练集群的主力

  RoCE（RDMA over Converged Ethernet）：
    - 在以太网上承载 RDMA，复用现有网络
    - 需要无损网络（PFC）与拥塞控制（DCQCN）
    - 数据中心最主流的选择

  iWARP：
    - 在 TCP 上承载 RDMA
    - 无需无损网络，但性能与生态较弱
    - 多用于广域网或兼容性场景

RoCEv1（二层）：
  Ethernet | EtherType 0x8915 | IB Transport | Payload
  限制：同一二层域，无法跨三层路由

RoCEv2（三层，事实标准）：
  Ethernet | IP | UDP (dst 4791) | IB Transport | Payload
  优点：可路由，能跨 Leaf-Spine 甚至跨机房
  注意：目的端口固定 4791，可用于识别与 QoS 标记

核心对象：
  QP（Queue Pair）：Send Queue + Receive Queue，通信端点
  WQE（Work Request）：应用提交的一条命令（读/写/发送）
  CQE（Completion）：网卡写回的完成事件
  CQ（Completion Queue）：完成事件的集合

  连接建立后，双方 QP 互知，可直接操作对端内存

QP 类型：
  RC（Reliable Connection）：可靠、面向连接，最常用
  UC（Unreliable Connection）：不可靠连接
  UD（Unreliable Datagram）：不可靠数据报，支持一对多

内存注册（ibv_reg_mem）做了什么：
  1. 锁定物理页（pin pages），防止被换出
  2. 建立虚拟地址 → 物理地址 → 网卡可用地址的映射
  3. 生成 lkey（本地访问密钥）与 rkey（远程访问密钥）
  4. 设置访问权限（本地读/写、远程读/写）

要点：
  - 注册开销大，注册一次、复用多次
  - 用 hugepage 减少页表项，提升注册与访问效率
  - rkey 泄露 = 对端可任意读写该内存，安全上要严控
  - 通过 ibv_reg_mr 与 ibv_dereg_mr 成对管理生命周期

PFC（802.1Qbb）的工作方式：
  - 把流量映射到 8 个优先级（RoCE 通常用优先级 3）
  - 某优先级队列快满时，向对端发 Pause 帧
  - 对端暂停该优先级的发送，直到收到 Resume

无损网络的代价：
  1. 暂停会传播，可能引发「拥塞扩散」
  2. 极端情况出现「PFC 风暴」甚至死锁
  3. 因此必须配合 ECN/DCQCN 做端到端限速

DCQCN（Data Center Quantized Congestion Notification）：
  1. 交换机队列超过阈值 → 给报文打 ECN 标记
  2. 接收端收到带标记的报文 → 生成 CNP 拥塞通知包
  3. 发送端收到 CNP → 按比例降低发送速率
  4. 一段时间无拥塞 → 缓慢恢复速率

三层配合（缺一不可）：
  端到端：DCQCN 主动限速，避免进入拥塞
  链路级：PFC 兜底，极端时暂停而非丢包
  监控：PFC Pause 帧计数、ECN 标记计数、CNP 计数

verbs 编程的基本步骤：
  1. ibv_get_device_list   获取 RDMA 设备
  2. ibv_open_device       打开设备，创建 PD（保护域）
  3. ibv_alloc_pd          分配保护域
  4. ibv_create_cq         创建完成队列
  5. ibv_create_qp         创建 QP
  6. ibv_reg_mr            注册内存区域，拿到 lkey/rkey
  7. 交换 QP 信息（带外，如 TCP）
  8. ibv_modify_qp         状态迁移 INIT → RTR → RTS
  9. ibv_post_send / post_recv  投递请求
  10. ibv_poll_cq          轮询完成事件

/* 伪代码：一次 RDMA Write 的关键步骤 */
struct ibv_sge sge = {
    .addr   = (uintptr_t)local_buf,
    .length = len,
    .lkey   = mr->lkey,          /* 本地访问密钥 */
};

struct ibv_send_wr wr = {
    .opcode    = IBV_WR_RDMA_WRITE,
    .sg_list   = &sge,
    .num_sge   = 1,
    .wr.rdma.remote_addr = remote_addr,  /* 对端内存地址 */
    .wr.rdma.rkey        = remote_rkey,  /* 对端访问密钥 */
    .send_flags          = IBV_SEND_SIGNALED,
};

struct ibv_send_wr *bad;
ibv_post_send(qp, &wr, &bad);   /* 提交，用户态，无系统调用 */

/* 轮询完成队列，确认发送完成 */
struct ibv_wc wc;
while (ibv_poll_cq(cq, 1, &wc) == 0) { /* spin */ }
if (wc.status != IBV_WC_SUCCESS) {
    /* 处理错误：wc.status 给出失败原因 */
}

关键性能指标：
  带宽：单 QP 通常 10~20 Gbps，多 QP 才能打满 100G/400G
  时延：单程 1~3 微秒（对比 TCP 的数十微秒）
  CPU 占用：接近零（数据面不经过 CPU）
  PPS：小消息场景看 IOPS，大消息场景看带宽

常用基准工具：
  ib_write_bw / ib_read_bw / ib_send_bw  # 带宽
  ib_write_lat / ib_read_lat             # 时延
  perftest 工具集默认跑的是 RDMA 语义

注意：单 QP 打不满高带宽网卡，需多 QP 并发

# 查看 RDMA 设备
ibv_devices
rdma link show

# 查看端口状态与速率
ibstat
ibv_devinfo

# 网卡侧：设置 RoCE 的 MTU 与流量类别
cma_roce_mode -d mlx5_0 -p 1 -m 2      # RoCEv2
# 交换机侧需配置：
#   - PFC 使能于 RoCE 优先级（通常 3）
#   - ECN 阈值（WRED/ECN 标记）
#   - DSCP 到优先级的映射（RoCEv2 用 DSCP 标记）

# 关键：先确认整条路径的无损配置一致，再压测

# 网卡侧计数器（PFC、ECN、重传）
ethtool -S eth0 | grep -E 'pause|ecn|cnp|discard'
# 关注：rx_pause、tx_pause、rx_ecn_marked、out_of_sequence

# RDMA 设备计数器
perfquery -x 1 mlx5_0        # 查看端口计数器

# 连接与 QP 状态
ibv_rc_pingpong -d mlx5_0    # 连通性测试
rdma link show               # 链路状态与类型

# 排查顺序：
#   1. 物理链路速率与误码（ethtool、ibstat）
#   2. PFC/ECN 计数器是否异常
#   3. 端到端无损配置是否一致
#   4. 应用 QP 数与内存注册是否合理