推测解码
也叫：Speculative Decoding · 辅助生成 · 推测采样
推测解码用快速辅助模型生成候选，再由主模型验证，在保持主模型输出分布的同时尝试降低生成延迟。
他们说
由小模型提出候选 token，再让大模型并行验证
老白翻译
小模型先猜几步，大模型一次验一批，猜对的就一起往前走。
它到底是什么
推测解码是一种大模型生成加速办法。较小的辅助模型先生成一组候选 token，主模型随后批量验证，接受正确候选并处理猜错的位置。
生活里的例子
可以把它理解成助手先写下一小段草稿，负责人一次看完几句。草稿合适就连续采用，碰到不合适的地方再由负责人改写。
常见误解
- 误解：加一个小模型一定更快。 辅助模型太慢或候选接受率太低，额外计算会抵消收益。
- 误解：它会降低主模型的答案质量。 标准算法由主模型验证候选，目标是保持原来的输出分布。
- 误解：所有生成任务收益相同。 文本类型、请求长度、批量方式和硬件都会改变结果。
普通人怎么用
用真实提示分别测试开启前后的首 token 时间、每秒 token、接受率和显存占用。短答、长文与代码任务要分开统计。