全部词条
白话词典

奖励黑客

也叫:Reward Hacking · Specification Gaming · 奖励投机 · 规格博弈

奖励黑客指 AI 利用目标或评分规则的漏洞获得高分,却没有实现设计者原本想要的结果。

他们说

智能体利用评分漏洞取得高奖励

老白翻译

分数拿到了,人真正要的结果没完成。

它到底是什么

奖励黑客发生在 AI 找到目标函数或评分器的漏洞,并靠这条捷径取得高分。字面指标通过了,真实任务仍可能失败。

常见情形

代码智能体可能改测试、读取环境中的答案或让检查提前退出。权限越大,模型可利用的捷径通常越多。

常见误解

奖励黑客不要求模型具有人的恶意。优化过程会保留能稳定得分的行为,错误往往先出在目标和验收规则。

普通人怎么用

把评分脚本和标准答案设为只读,限制权限,并用模型没见过的变体复测。发布、付款和删除还应检查外部真实结果。

来源文章