DPDK 与内核旁路高性能报文处理：PMD、大页与轮询模式

单包在内核中的主要成本：
  1. 硬件中断 → 软中断（NAPI 虽已批处理，仍有调度开销）
  2. sk_buff 分配与释放（每包一次内存操作）
  3. 内核态 → 用户态拷贝（read/recvfrom）
  4. 协议栈逐层解析（L2/L3/L4，含校验和、路由查找）
  5. 上下文切换与调度抖动（时延不可预测）

结果：单核可能只有 1~2 Mpps，且时延抖动大

适合 DPDK 的信号：
  - 单机持续 PPS 超过 5 Mpps，或需要稳定亚百微秒时延
  - 转发面固定、协议简单（L2/L3/L4 转发、DPI）
  - 有专人来维护网卡绑定、大页与核隔离

不适合 DPDK 的信号：
  - 业务以复杂协议为主（HTTP/TLS 全套）
  - 团队没有内核与硬件调优经验
  - 流量不大，瓶颈在业务逻辑而非协议栈

中间选项（往往更划算）：
  AF_XDP：保留内核管理，走零拷贝通道
  io_uring：批处理系统调用，改动最小
  XDP：在驱动层做粗筛，无需独占网卡

DPDK 组件分工：
  EAL   ：初始化环境（大页、核心、PCI、日志）
  PMD   ：轮询式网卡驱动（ixgbe、i40e、mlx5、virtio）
  Mempool：定长对象池（预分配 mbuf，避免运行时分配）
  Ring  ：无锁环形队列（核间通信、流水线解耦）
  mbuf  ：报文缓冲元数据（指针 + 元信息）

# 预留 2MB 大页（1024 个 = 2GB）
echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

# 或使用 1GB 大页（更适合大内存场景）
echo 4 > /sys/kernel/mm/hugepages/hugepages-1048576kB/nr_hugepages

# 挂载 hugetlbfs 供 DPDK 使用
mount -t hugetlbfs nodev /mnt/huge -o pagesize=2M

# 查看大页使用情况
grep Huge /proc/meminfo

# 查看网卡当前的驱动绑定
dpdk-devbind.py --status

# 解绑内核驱动，绑定到 vfio-pci
modprobe vfio-pci
dpdk-devbind.py -b vfio-pci 0000:03:00.0

# 绑定后内核不再管理该网卡（ifconfig 里消失）

# 还原为内核驱动
dpdk-devbind.py -b ixgbe 0000:03:00.0

# 启用 vfio 的 no-IOMMU 模式（无 IOMMU 的机器）
# 需在 modprobe 时加参数：enable_unsafe_noiommu_mode=1

轮询 vs 中断：
  中断模式：包到 → 中断 → 软中断 → 协议栈 → 唤醒应用
            优点：空闲时省 CPU
            缺点：每包有固定开销，高 PPS 下中断风暴

  轮询模式：应用循环 → 检查 RX ring → 有包处理
            优点：零中断开销，时延稳定
            缺点：空转耗核，必须独占核心

无锁 ring 关键点：
  - 单生产者/单消费者场景可做到无原子操作（更快的 SP/SC ring）
  - 多生产者/多消费者使用 CAS 保护头/尾指针
  - 每核 mempool cache：批量从全局池取，减少 CAS 次数
  - burst 收发：一次处理 32 个 mbuf，摊薄循环开销

RX 环的工作方式：
  1. 应用预先往 RX 环投递空 mbuf 描述符
  2. 网卡收到包 → DMA 写入 mbuf → 标记描述符完成
  3. 应用 rte_eth_rx_burst() 取走已完成的描述符
  4. 应用补充新的空描述符回环

TX 环的工作方式：
  1. 应用把待发 mbuf 描述符写入 TX 环
  2. 网卡 DMA 读出并发送 → 标记完成
  3. 应用回收已发送的 mbuf 归还 mempool

调优要点：
  - RX 环太小：突发时丢包（imissed 上升）
  - TX 环太小：突发时发送阻塞
  - 典型配置：RX 1024~4096，TX 1024~4096
  - 描述符数量必须是 2 的幂

典型三级流水线：
  RX 核：rte_eth_rx_burst() → ring_in
  处理核：ring_in → 业务逻辑 → ring_out
  TX 核：ring_out → rte_eth_tx_burst()

要点：
  - burst 大小通常取 32，兼顾延迟与吞吐
  - 每级独占一个核，避免跨核锁
  - mbuf 在整个流水线中传递指针，不拷贝

# 内核启动参数：隔离 2~5 号核给 DPDK
# isolcpus=2-5 nohz_full=2-5 rcu_nocbs=2-5

# 启动 DPDK 应用，使用 2~5 号核，其中 0 号为主核
./l3fwd -l 2-5 --main-lcore 2 -n 4 -- -p 0x1

# 关闭该核上的中断（避免被网卡中断打扰）
# 将 /proc/irq/*/smp_affinity 设置为非 DPDK 核

# 查看网卡与 CPU 的 NUMA 归属
cat /sys/class/net/eth0/device/numa_node
lscpu | grep NUMA

# EAL 指定 socket 内存分配
./app --socket-mem 1024,1024 -l 2-5 --main-lcore 2
#        ^socket0 1GB  ^socket1 1GB

# 校验：确保网卡所在 socket 与处理核所在 socket 一致

内核启动参数（/etc/default/grub）：
  isolcpus=2-5      隔离 CPU，调度器不主动往上放任务
  nohz_full=2-5     空闲时关闭该核的时钟中断
  rcu_nocbs=2-5     把 RCU 回调转移到其他核
  default_hugepagesz=1G hugepagesz=1G hugepages=8

验证：
  cat /proc/cmdline                       # 确认参数生效
  cat /sys/devices/system/cpu/isolated    # 查看隔离的核
  perf stat -e context-switches -C 3      # 看隔离核是否还有切换

回注方案对比：
  KNI：把报文回注到内核虚拟网口，管理面可用
       - 需单独内核模块，性能一般
  TAP：DPDK 应用自己桥接 TAP，控制面灵活
       - 常见于 VNF、用户态协议栈（如 VPP）
  Bifurcated driver：mlx5 等支持流表分流
       - 按规则把部分流量交给内核，其余给 DPDK
       - 无需独占，最优雅但依赖硬件

# Pod 中绑定大页与独占 CPU 的要点（示意）
resources:
  limits:
    hugepages-2Mi: 2Gi
    cpu: "4"
  requests:
    hugepages-2Mi: 2Gi
# 配合 cpuset 静态 CPU 管理策略，避免与轮询核抢占

SR-IOV 与 DPDK 的结合：
  PF（Physical Function）：物理网卡，创建 VF
  VF（Virtual Function）：轻量虚拟设备，直通给容器/虚机

  # 创建 4 个 VF
  echo 4 > /sys/class/net/eth0/device/sriov_numvfs

  # 把某个 VF 绑定到 vfio-pci 供 DPDK 使用
  dpdk-devbind.py -b vfio-pci 0000:03:10.1

  优点：多租户隔离、每个租户独立队列
  注意：VF 的数量与队列数受硬件限制
       PF 的配置（如 VF 的 MAC/VLAN）需在创建前设好

关键指标：
  吞吐：rx_pps / tx_pps（rte_eth_stats_get）
  丢包：imissed（硬件队列满）、rx_nombuf（mbuf 耗尽）
  时延：P50 / P99 / P99.9（区分均值与尾延迟）
  CPU：轮询核利用率、每核 cycle per packet
  缓存：LLC miss、跨 NUMA 访问计数（perf stat）

□ 1. 网卡与轮询核、内存是否同 NUMA 节点
□ 2. 轮询核是否已 isolcpus 隔离并关闭中断
□ 3. 是否使用 1GB 大页（而非 2MB）
□ 4. mempool 大小与 cache 是否覆盖突发峰值
□ 5. burst 大小是否为 32（或压测后确定的最优值）
□ 6. RX/TX 描述符环是否足够大
□ 7. 是否开启网卡校验和/TSO 卸载
□ 8. 是否用 perf 确认热点不在跨核内存访问
□ 9. 是否监控 imissed 与 rx_nombuf（丢包指标）
□ 10. 单核跑满后，再考虑多队列与多核横向扩展