YaRN
也叫：Yet another RoPE extensioN · YaRN上下文扩展 · YaRN位置插值
YaRN 结合分段 RoPE 插值与注意力缩放，用少量继续训练扩展上下文窗口，长文利用能力仍需单独评测。
他们说
分段调整 RoPE 频率并缩放注意力，扩展模型上下文
老白翻译
重新安排 RoPE 的位置频率，再用少量训练让模型适应更长序列。
它到底是什么
YaRN 是面向 RoPE 模型的上下文扩展方法。它按频率区间处理位置旋转，保留局部距离所需的信息，对容易超出训练范围的部分做插值，并调整注意力尺度。
生活里的例子
一个原本只在较短序列上训练的模型，可以修改 RoPE 频率后继续训练少量长文本，再尝试处理 64K 或 128K 输入。
常见误解
- 误解：改一个配置就能无损得到长上下文。 权重需要适应新的位置分布，短任务也要回归测试。
- 误解：标称 128K 代表每个位置都能被准确利用。 困惑度、检索和跨段推理需要分别验证。
- 误解：窗口越大总是越好。 扩展倍数还会增加预填充时间和显存需求，质量也未必继续提高。
普通人怎么用
按目标文档长度选择扩展倍数，测试不同位置的信息找回、长文问答、短任务质量和真实推理成本。