FP8 推理：8 位浮点量化、E4M3/E5M2 与 NVIDIA FP8 生态

INT8 的困境：
□ 整数：只有 256 个档位，数值间隔均匀
□ 激活分布宽：LLM 的激活可能有几个数量级的跨度
□ 均匀量化 → 小数值被「挤」到相邻档位 → 精度损失
□ 权重量化 OK（权重分布相对集中），激活量化难

FP8 的解法：
□ 浮点：档位「不均匀」——接近 0 处密，远离 0 处疏
□ 天然匹配「小数值常见、大数值罕见」的分布
□ 动态范围宽：能表示更大范围的数（E5M2 最大到 ±57344）
□ 硬件原生支持：H100+ 的 Tensor Core 直接算 FP8

一句话：INT8 胜在「均匀覆盖」，FP8 胜在「动态范围 + 分布匹配」

FP8 两种格式：
□ E4M3：4 位指数 + 3 位尾数
  → 精度更高（3 位尾数），范围窄（±448）
  → 适合权重/激活（值域相对小）
□ E5M2：5 位指数 + 2 位尾数
  → 范围更宽（±57344），精度低（2 位尾数）
  → 适合梯度/大值域数据（训练侧更常见）

数值特性：
□ 指数偏移（bias）：E4M3 bias=7，E5M2 bias=15
□ 支持 NaN/Inf（E5M2 全支持，E4M3 有限）
□ 0 附近密度高：接近 FP16 的表示能力

对比 FP16：
□ FP16 = 5 位指数 + 10 位尾数（精度高、范围好）
□ FP8 是把「指数尾数」砍半——精度和范围都降一档
□ 但 8 位宽度 → 显存/带宽减半

数值对比：
FP16 max  ~65504
E4M3 max ~448（精度高）
E5M2 max ~57344（范围广）
INT8 max ~127（范围最窄）

精度对比：
□ FP16：无量化损失，但显存/带宽贵（推理基准）
□ FP8：显存/带宽减半，精度损失小（推荐首选）
□ INT8：显存/带宽减半，精度损失较大（激活敏感）

选型原则：
□ 模型敏感度低 / 有 QAT → FP8 或 INT8 都行
□ 激活分布宽 / 精度要求高 → FP8（动态范围优势）
□ 硬件：老 GPU（V100/A100）无 FP8 → 只能 INT8/FP16
□ 生态：TensorRT-LLM/vLLM 都支持 FP8 → 落地简单

什么时候选 FP8：
□ H100/H200/GH200/RTX 4090+ → 原生 FP8
□ LLM 推理（显存带宽受限）→ FP8 收益最大
□ 需要「接近 FP16 精度 + 减半带宽」的中间态

什么时候别用 FP8：
□ 老硬件无 FP8 Tensor Core → 没收益
□ 数值极度敏感（某些回归任务）→ 先用 FP16 保底
□ 模型太小/带宽非瓶颈 → 收益不明显

量化流程：
原始张量 x → 选缩放因子 s → x / s → 舍入到 FP8 可表示值 → 存 FP8
反量化（推理时）：FP8 值 × s → 近似原始值

缩放因子怎么定：
□ 逐张量（per-tensor）：整个张量一个 scale
□ 逐通道（per-channel）：权重按输出通道分 scale（更准）
□ 逐 token/激活：激活按 token 或 group 分 scale（最准，开销大）

缩放的选择：
□ 由量化对象的最大值（max）定：s = max / FP8_max
□ 或用校准统计（百分位数/均方误差最小化）更稳
□ 权重常用 per-channel，激活常用 per-token

精度影响：
scale 越细 → 精度越高 → 元数据/开销越大
（per-tensor < per-channel < per-token/group）

反量化示例：
激活 x_fp8 = [1.25, -0.5, 3.0]
scale s = 0.01
原始近似 = [1.25×0.01, -0.5×0.01, 3.0×0.01] = [0.0125, -0.005, 0.03]
→ 中间层通常「保持 FP8 计算，输出反量化回高精度」

PTQ 流程：
1. 收集校准数据（几百到几千条代表性样本）
2. 统计权重/激活分布 → 定 scale
3. 量化权重为 FP8（per-channel 常用）
4. 运行少量前向 → 评估精度损失
5. 若损失大 → 引入补偿（如权重/激活调整、Layer-wise 微调）

FP8 PTQ 的特点：
□ 相比 INT8，FP8 的 PTQ 通常损失更小
  （浮点档位 + per-token 激活量化）
□ LLM 上：FP8 PTQ 常能保持「接近 FP16」的困惑度
□ 某些极端层（outlier 激活）仍需特殊处理或回退 FP16

工具：
□ TensorRT-LLM / vLLM：一行开关转 FP8
□ ModelOpt（NVIDIA）：FP8 量化/校准 API
□ 社区：FP8 已成为开源推理引擎的标配

PTQ 精度检查：
原始模型困惑度 12.0
FP16 推理     12.0
FP8 PTQ      12.1 ~ 12.3（可接受）
INT8 PTQ     12.8（损失明显）
→ FP8 PTQ 通常接近无损，是首选入门路径

QAT 流程：
1. 在前向中插入「伪量化」（量化→反量化模拟误差）
2. 权重以「高精度」保存，前向/反向走 FP8 模拟
3. 训练若干步 → 模型「适应」量化误差
4. 导出时真正量化 → 精度显著提升

FP8 QAT 的特点：
□ 梯度用 E5M2（宽范围），权重/激活用 E4M3
□ 需要保留高精度 master 权重 + 优化器状态
□ 训练成本：比普通训练多 20~50% 开销（模拟量化）
□ 收益：逼近 FP16 精度，甚至某些任务无损

权衡：
□ QAT 训练成本高 → 只在 PTQ 不达标时用
□ 大模型（70B+）QAT 成本极高 → 倾向 PTQ + 局部修复

路径选择：
PTQ 精度 OK        → 直接用（低成本）
PTQ 损失明显       → QAT 或 逐层修复（回退敏感层）
逐层混合           → 敏感层保持 FP16，其余 FP8（精度/带宽平衡）

NVIDIA 生态四层：
□ 硬件：H100/H200/GH200/Blackwell 的 Tensor Core 原生 FP8
  （FP8 算力 ≈ FP16 的 2 倍）
□ 训练：Transformer Engine（TE）在训练中自动用 FP8
  （自动选 E4M3/E5M2、自动 scale、防止溢出）
□ 推理：TensorRT-LLM 一键 FP8
  （权重量化 + 激活 FP8 计算，引擎构建时指定）
□ 框架：vLLM/ModelOpt 支持 FP8 量化与推理

TensorRT-LLM FP8 用法（概念）：
model = quantize_to_fp8(model, calibration=...)
engine = build_engine(model, precision="FP8")
→ 构建 FP8 引擎 → 部署

FP8 收益在生态里自动兑现：
带宽减半 + 算力翻倍 → 显存受限的 LLM 推理吞吐大增

推理收益拆解：
□ 显存减半：模型权重 FP16→FP8，显存占用降一半
  → 单卡能装更大模型（如 70B 从 140GB→70GB 权重）
□ 带宽减半：每次权重读取的数据量减半
  → LLM 是「带宽受限」（weight-bound）→ 直接提速
□ 算力翻倍：Tensor Core FP8 吞吐 ≈ FP16 的 2 倍
  → 大 batch 下算力不再是瓶颈时更明显

典型收益：
□ 同 batch 下：FP8 吞吐比 FP16 高 1.5~2×
□ 同吞吐下：FP8 能塞更大 batch / 更长上下文
□ 综合：LLM 服务「每 token 成本」下降明显

权衡：
□ 精度损失：多数任务可接受（PTQ 后困惑度 +0.1~0.3）
□ 复杂任务（代码/推理）对精度更敏感 → 需验证
□ 小 batch 下算力/带宽占比不同 → 收益波动

上线流程：
1. 选模型：LLM（7B~70B+）优先；小模型看带宽是否瓶颈
2. FP8 量化：PTQ 起步（TensorRT-LLM/vLLM/ModelOpt）
3. 精度验收：任务级评测（困惑度 + 下游任务 + 人工抽检）
4. 性能验证：基准测试（吞吐/延迟，对比 FP16）
5. 灰度上线：先小流量 → 对比线上指标 → 逐步放大

哪些场景优先 FP8：
□ 长上下文 / 大 batch / 高吞吐服务
□ 显存受限（想省卡/塞更大模型）
□ 延迟敏感（带宽减半 → 单 token 生成更快）

哪些场景谨慎：
□ 代码/数学/推理密集型任务（精度敏感）
□ 生产指标异常波动时 → 回退 FP16 对照
□ 老硬件（A100/V100 无 FP8）→ 走 INT8 或保持 FP16

回退机制：
□ 逐层混合：敏感层 FP16、其余 FP8
□ 全量回退：FP8 → FP16（开关化，秒级切换）

验收清单：
□ 离线：困惑度、下游基准（同 FP16 基线对比）
□ 在线：质量指标、延迟/吞吐、错误率
□ 兜底：FP8 引擎构建留 FP16 对照引擎，可切换