这里是全站文章的归档入口,下面是按时间倒序排列的全部文章。若想按主题浏览,请从首页的专题分类进入。
FP8 推理:8 位浮点量化、E4M3/E5M2 与 NVIDIA FP8 生态
FP8 是下一代推理量化的主角:8 位浮点以接近 FP16 的动态范围与减半的显存带宽,在 H100/GH200 上原生加速。本文系统讲解 FP8 格式(E4M3/E5M2)、与 INT8 的取舍、量化与反量化流程、训练后量化(PTQ)与量化感知训练(QAT)、NVIDIA FP8 生态落地,以及推理精度与性能的权衡。