全部词条
白话词典

模型坍缩

也叫:Model Collapse · 递归训练坍缩 · 生成数据坍缩

模型坍缩是多代模型递归学习生成数据时发生的退化,真实分布的尾部信息会逐步丢失。

他们说

模型递归学习前代生成数据时逐步偏离真实分布

老白翻译

一代代只学前代生成内容,少见样本会先消失。

它到底是什么

模型坍缩描述多代生成模型递归学习前代输出时的退化。生成数据逐步替代原始数据后,低频与尾部信息容易先消失。

关键条件

研究关注数据在多代训练中的替换方式。一批合成数据不会自动造成坍缩,持续保留真实数据与来源会改变结果。

常见误解

模型坍缩不等于所有 AI 生成数据都不能使用,也不同于一次训练中生成器只覆盖少数模式的模式坍缩。

普通人怎么用

记录每份合成数据的来源、模型、筛选规则和代次。用保持真实来源的独立测试集检查低频类别,不能只看总平均分。

来源文章