深度混合
也叫：Mixture of Depths · MoD · 动态深度路由
深度混合为部分 Transformer 层设定 Token 容量，由学习到的路由器选择哪些位置参与注意力和 MLP，在固定预算内动态分配计算。
他们说
按层选择部分 Token 经过注意力与 MLP 计算
老白翻译
每一层只让一部分 Token 认真算，其他 Token 先跳过去。
它到底是什么
深度混合让部分 Token 跳过某些 Transformer 块。每个路由块只处理固定数量的位置，所以总计算量可预测，入选位置会随输入内容改变。
生活里的例子
一段长文本进入某个路由层，模型给每个 Token 打分，只让前 k 个参加注意力与 MLP，其余位置沿残差连接进入下一层。
常见误解
- 误解：随机跳层也能省出同样计算。 路由需要训练，随机选择会明显伤害质量。
- 误解：它和混合专家模型完全相同。 深度混合决定 Token 是否经过当前块，混合专家通常决定 Token 进入哪个专家。
- 误解：FLOPs 降多少，延迟就降多少。 路由、内存访问和硬件利用率仍会影响真实速度。
普通人怎么用
从预训练阶段比较路由容量与频率，固定总训练计算，同时检查下游质量、真实步进时间和路由稳定性。