模型坍缩
也叫:Model Collapse · 递归训练坍缩 · 生成数据坍缩
模型坍缩是多代模型递归学习生成数据时发生的退化,真实分布的尾部信息会逐步丢失。
他们说
模型递归学习前代生成数据时逐步偏离真实分布
老白翻译
一代代只学前代生成内容,少见样本会先消失。
它到底是什么
模型坍缩描述多代生成模型递归学习前代输出时的退化。生成数据逐步替代原始数据后,低频与尾部信息容易先消失。
关键条件
研究关注数据在多代训练中的替换方式。一批合成数据不会自动造成坍缩,持续保留真实数据与来源会改变结果。
常见误解
模型坍缩不等于所有 AI 生成数据都不能使用,也不同于一次训练中生成器只覆盖少数模式的模式坍缩。
普通人怎么用
记录每份合成数据的来源、模型、筛选规则和代次。用保持真实来源的独立测试集检查低频类别,不能只看总平均分。