ALiBi
也叫：Attention with Linear Biases · 线性注意力偏置 · 线性距离偏置
ALiBi 把与位置距离成比例的线性偏置加到注意力分数中，可让短序列训练的模型外推到更长输入。
他们说
按 Token 距离给注意力分数加入线性惩罚
老白翻译
两个位置离得越远，注意力分数扣得越多，让模型知道远近关系。
它到底是什么
ALiBi 是一种位置表示方法。它不把位置向量加进 Token 表示，而是按照两个位置的距离，在查询与键的注意力分数里加入负偏置。
生活里的例子
一个注意力头更偏向最近几句，另一个头保留较远内容。ALiBi 给不同头设置不同斜率，让这种远近分工从训练开始就存在。
常见误解
- 误解：ALiBi 能无限拉长上下文。 原论文的最佳外推范围有边界，长度越远越要重测。
- 误解：输入能运行就表示远处信息都被利用。 稳定困惑度不能代替远距离检索与跨段推理。
- 误解：它没有任何位置偏好。 线性惩罚会让模型倾向近处，这正是设计的一部分。
普通人怎么用
写清训练长度，在目标长度上测试困惑度、远距离检索和生成质量，尤其检查远处关键信息会不会被距离惩罚压低。