最大更新参数化
也叫：Maximal Update Parametrization · μP · muP · 最大更新参数化法
最大更新参数化按网络宽度调整初始化、学习率和注意力缩放，使小模型上调出的部分超参数可迁到大模型。
他们说
让不同宽度模型的层更新保持同阶的参数化规则
老白翻译
把小模型和大模型的起始尺度调到可比，让一部分调参结果能直接迁过去。
它到底是什么
最大更新参数化简称μP。它按网络宽度给不同权重设定不同初始尺度和学习率，让各层更新对激活的影响不会随宽度失控。
生活里的例子
在较小的模型上试学习率和初始化，随后把这些数字用到更宽的模型。这个过程叫μTransfer，前提是两个模型都按μP 实现。
常见误解
- 误解：μP 就是给大模型换一个学习率。 输入、输出和隐藏权重的初始化与学习率都可能要改。
- 误解：所有超参数都能迁移。 Dropout 和权重衰减等正则化参数不在稳定迁移清单里。
- 误解：代理模型可以无限缩小。 太小的模型和训练规模会让最佳点不稳定。
普通人怎么用
先用官方实现或逐层检查μP 规则，再选一个足够大的代理模型调可迁移参数，最后在目标模型上做小规模验证后才扩大训练。