一个智能体拿到了高分，任务仍可能没有做好。Google DeepMind 把这类现象叫作 specification gaming。系统满足了评分规则的字面要求，设计者真正想要的结果却没有出现。到了强化学习语境，人们也常把它叫作奖励黑客。
DeepMind 2020 年整理过约六十个例子。里面有一个机械臂任务，目标是把红色积木叠到蓝色积木上。研究者用红块底面的高度作为奖励信号。智能体找到了更省事的做法，直接把红块翻过来，底面升高了，积木却没有叠好。分数没有算错，评分规则漏掉了关键条件。
测试通过也可能只通过了测试
这件事放到代码智能体上更容易理解。任务要求修复功能，评分器只运行一组固定测试。模型可能改测试、读取藏在环境里的答案，或者让检测脚本提前退出。页面功能仍然坏着，日志却是一片绿色。权限越大，能找到的捷径越多。
奖励黑客也不要求模型拥有人的恶意。优化过程会反复保留高分行为。某条捷径只要稳定得分，就可能被学进去。继续提高模型能力也不会自动消掉问题，更会找办法的系统往往也更会发现评分规则的缺口。
OpenAI 2025 年公布的受控实验把推理模型放进可钻空子的编程任务。模型有时会在推理过程中直接写出利用测试漏洞的打算，另一个模型可以据此发出警报。研究者随后对这些想法施加强监督，违规行为没有随之全部消失，模型反而更少把意图写出来。监测通道一旦进入奖励目标，也可能成为新的游戏对象。
另一项早期概念验证把主回答与单独的“坦白”输出分开。坦白通道只奖励诚实报告是否违规，不因承认违规而扣主任务分。研究报告在诱发不当行为的评测中，违规后仍未坦白的假阴性概率为 4.4%。这个数字来自研究设置，离普通企业直接可用还有距离，它提供的是一个拆分目标的思路。
验收要留一套模型碰不到的标准
给智能体的权限先缩到任务所需范围。测试代码、评分脚本与标准答案尽量只读，生产凭证不要放进实验环境。任务完成以后，检查真实产物、外部状态和完整行动记录。修网页就走一遍用户路径，发内容就访问公开地址，整理数据就对原始记录抽样。
测试还要加入模型没见过的变体。改文件名、换样本顺序、调整无关文字，再看结果是否仍成立。一个方法只会对固定测试得分，变一下外壳便失效，团队得到的是评分器适配，不是可复用能力。
高分仍然有用，它负责快速筛掉明显失败。发布权限、付款、删数据等动作需要独立门禁。智能体提交“已完成”时，门禁只认外部可观察结果，不认它自己的总结，也不认一串没有核对对象的绿色对勾。