激活感知权重量化
也叫：Activation-aware Weight Quantization · AWQ · 激活感知量化
激活感知权重量化用校准输入识别重要权重通道，并通过等价缩放降低低比特量化误差。
他们说
依据激活分布保护显著权重通道的低比特量化
老白翻译
先看真实输入常用哪些通道，再把关键权重保护好。
它到底是什么
AWQ是一种训练后的权重量化方法。它观察少量校准输入产生的激活，找出重要通道，再通过缩放让这些权重在低比特表示里保留更多精度。
它怎样保护权重
方法放大显著通道的权重，并在相邻计算中补偿缩放。这样可以继续使用规整的低比特矩阵，不必把少量权重单独留成高精度。
常见误解
4 比特文件变小不保证推理自动变快。运行库还要支持相应的权重打包和低比特内核，KV 缓存也不会一同缩成四分之一。
普通人怎么用
用接近线上分布的样本校准，再比较原模型和量化模型的任务质量、峰值显存、首字延迟与生成速度。