KV缓存量化
也叫：KV Cache Quantization · KV量化 · 注意力缓存量化
KV 缓存量化以低比特格式保存注意力的 Key 与 Value，可降低长上下文和高并发的显存占用，但量化维度与算子实现会影响误差和速度。
他们说
用低比特数值保存注意力层的 Key 和 Value 缓存
老白翻译
把长对话留下的注意力记录压小，给更多 Token 和请求腾出显存。
它到底是什么
KV 缓存量化把推理过程中保存的 Key 和 Value 从较高精度压到 8 比特、4 比特或更低位宽。它减少的是随上下文和并发增长的缓存，并不改写模型权重。
生活里的例子
同一张 GPU 原本只能同时保留四条长对话的 KV 缓存。压缩缓存后可能容纳更多请求，不过每一步注意力计算还要配合量化和反量化算子。
常见误解
- 误解：Key 和 Value 应使用同一套分组。 两者数值分布与注意力中的作用不同，合适的量化维度可能不同。
- 误解：位宽越低越划算。 误差、残余高精度区和内核开销都会改变实际结果。
- 误解：显存少一半，速度就快一倍。 短上下文或低并发时，KV 缓存可能还没成为瓶颈。
普通人怎么用
按真实输入长度和并发压测峰值显存、吞吐与任务质量，尤其检查长文档问答和尾部请求。