DeepNorm
也叫：Deep Normalization · 深层归一化 · DeepNet归一化
DeepNorm 修改 Post-LN Transformer 的残差缩放和权重初始化，用于约束模型更新幅度并稳定超深网络训练。
他们说
放大残差主路并缩小部分初始权重的超深 Transformer 训练方法
老白翻译
模型层数很多时，同时调整残差比例和起始权重，避免开头几步更新太猛。
它到底是什么
DeepNorm 是 DeepNet 论文提出的超深 Transformer 稳定方法。它在 Post-LN 残差连接中给主路乘一个按深度计算的常数，同时缩小部分注意力和前馈权重的初始值。
生活里的例子
多层网络连续更改同一份表示，开头一次改动太大，后面各层都会受影响。DeepNorm 让主路更稳，又让新加的改动从较小幅度开始。
常见误解
- 误解：DeepNorm 和 RMSNorm 是一回事。 RMSNorm 改归一化统计量，DeepNorm 主要改残差缩放和初始化。
- 误解：只要把残差放大就够了。 原方法要同时缩小指定权重，系数还要按架构计算。
- 误解：千层实验证明所有任务层数越多越好。 原论文主要在机器翻译上验证。
普通人怎么用
根据编码器、解码器和层数选对系数，然后对比训练损失、更新幅度、数值稳定性与目标任务分数。