FP8
也叫：8位浮点数 · 8-bit Floating Point · E4M3 · E5M2
FP8 包括 E4M3 和 E5M2 等 8 位浮点格式，常在混合精度训练中减少矩阵乘法的存储与带宽，并依靠逐张量缩放保持数值稳定。
他们说
用 8 个二进制位表示神经网络计算里的浮点数
老白翻译
用更短的数值格式搬运权重、激活或梯度，快一些，也要更小心地缩放数值。
它到底是什么
FP8 是 8 位浮点数格式的统称。E4M3 用 4 位指数和 3 位尾数，常用于权重与激活。E5M2 用 5 位指数和 2 位尾数，范围更大，常用于梯度。
生活里的例子
同一批数据用较短格式保存，显存可以装得更多，数值细节会减少。训练系统会把张量缩放到 FP8 合适范围，累加和更新则保留更高精度。
常见误解
- 误解：FP8 训练中的所有计算都只用 8 位。 它通常是混合精度训练，累加、归一化和优化器状态会使用更高精度。
- 误解：E4M3 和 E5M2 可以随意互换。 两者在精度和范围上的取舍不同。
- 误解：直接把 FP16 张量转成 FP8 就够了。 不做合适缩放会造成溢出或过多小值消失。
普通人怎么用
查清硬件与框架是否支持真正的 FP8 算子，记录每类张量的格式、缩放策略和高精度保留项，再对比速度、显存、损失曲线与最终质量。