LoRA
也叫：低秩适配 · Low-Rank Adaptation · LoRA 微调
LoRA 通过训练低秩矩阵来表示模型权重改变量，减少微调时需要训练和保存的参数。
他们说
冻结基础权重并训练低秩更新矩阵的参数高效微调方法
老白翻译
大模型主体先不动，只训练一小组附加参数。
它到底是什么
LoRA 会冻结预训练模型的大部分原始权重，在选定层加入较小的低秩矩阵。训练只更新这些附加矩阵，用较少参数适配具体任务。
生活里的例子
同一个开源基础模型可以配一份客服问答适配器和一份产品分类适配器。切换任务时更换小文件，不必保存两套完整模型。
常见误解
- 误解：LoRA 等于廉价的全量微调。 它改变训练参数范围，效果仍受数据、目标层和超参数影响。
- 误解：适配器可以随便换基础模型。 模型版本、分词器与对话模板变化都可能破坏效果或兼容性。
- 误解：训练参数少就不用评测。 目标任务改善多少、旧能力掉多少，仍要用独立测试集确认。
普通人怎么用
先保留基础模型、适配器和训练数据的版本记录，用同一批真实问题比较提示词、LoRA 与基础模型，再决定是否部署。