数据投毒
也叫:Data Poisoning · 训练数据投毒 · 投毒攻击
数据投毒在训练阶段修改数据或训练过程,使模型整体退化或在指定条件下给出攻击者想要的结果。
他们说
修改训练资料来破坏或控制模型行为
老白翻译
在模型学习前混进做过手脚的样本,让它按攻击者的安排出错。
它到底是什么
数据投毒发生在训练阶段。攻击者修改训练样本、标签或数据分布,让模型整体变差,或者只在指定输入和触发条件下出错。
怎样发生
公开网络、用户上传和外部供应方都可能成为入口。污染比例很小时,平均准确率仍可正常,定向失败容易藏在测试空白里。
常见误解
普通脏数据多半来自采集和标注失误,投毒带有攻击目的。自动清洗能减少风险,却不能替代来源记录和威胁测试。
普通人怎么用
记录每批数据的来源与版本,对外部资料抽样复核,监测训练异常,并把高风险目标和触发条件加入验收集。