多词元预测
也叫：Multi-Token Prediction · MTP · 多Token预测
多词元预测用共享模型主干和多个输出头同时预测未来位置，可作为训练辅助目标，并为自推测解码提供候选。
他们说
训练模型在同一个位置预测多个未来 Token
老白翻译
训练时让模型同时猜后面几步，迫使共享主干多看一点后文关系。
它到底是什么
多词元预测让模型在训练语料的每个位置同时预测后续多个 Token。多个输出头共享 Transformer 主干，各自计算对应未来位置的损失。
生活里的例子
普通训练只根据一段代码猜下一个符号。四词元预测会同时猜接下来的四个位置，推理时还可把后面三个头的结果当作候选交给主模型验证。
常见误解
- 误解：预测位置越多越好。 未来越远分支越多，额外目标可能拖累模型。
- 误解：小模型也会得到同样收益。 已有实验中，优势随模型规模增大才更明显。
- 误解：训练分数提高就会自动加速。 推理还要实现自推测解码，并取得足够高的候选接受率。
普通人怎么用
固定参数量、训练 Token 和评测集，比较不同预测步数的任务分数、各头准确率与推理接受率。