QLoRA
也叫：Quantized LoRA · 4比特LoRA · 量化低秩微调
QLoRA以4比特保存冻结的基础模型，并把梯度传给LoRA适配器，显著降低大模型微调所需显存。
他们说
在4比特量化基础模型上训练低秩适配器
老白翻译
大模型先压小并保持冻结，只把旁边的小适配器练好。
它到底是什么
QLoRA把预训练模型以4比特保存并保持冻结，训练时只更新LoRA适配器。计算仍会把量化权重还原到更高精度参与前向和反向计算。
怎样省显存
NF4负责更贴合预训练权重分布，双重量化继续压缩量化常数，分页优化器处理部分显存峰值。论文曾让65B模型在单张48GB显卡上完成微调。
常见误解
4比特保存不代表所有计算都只用4比特，也不保证任意任务都保住原有能力。训练数据、适配器位置和评测方法仍会改变结果。
普通人怎么用
先用小模型跑通数据和回滚，再比较基础模型与适配器在目标任务、旧能力和拒答边界上的表现，同时记录显存峰值与推理占用。