AI红队
也叫：AI Red Teaming · AI 红队测试 · 生成式 AI 对抗测试
AI 红队通过人工、自动或混合对抗测试寻找模型和应用风险，发现样例后还需修复、系统评测与持续复测。
他们说
通过有范围的对抗探测寻找 AI 模型与应用的失效方式
老白翻译
有人故意想办法让 AI 出错，再把失败路径交给团队修。
它到底是什么
AI 红队是一类主动对抗测试。测试者在授权范围内尝试诱导危险输出、敏感信息泄露、越权工具调用等失效行为，并记录可重复的攻击路径。
生活里的例子
公司给文档助手接入内部知识库后，红队会构造越权提问、提示词注入和多轮套话，检查普通账号能否得到无权查看的内容。
常见误解
- 误解：让模型说几句怪话就算完成。 测试要有产品政策、风险分类、账号权限、记录格式和停止条件。
- 误解：一轮没有找到漏洞就代表安全。 红队只覆盖当时的模型、系统版本和测试范围，未知路径仍可能存在。
- 误解：发现案例就等于算出风险概率。 单个成功攻击能证明路径成立，发生率还要靠系统评测和线上监测。
普通人怎么用
从真实用途和高风险动作写测试范围，保留攻击与响应，修复后用原案例和相邻变体复测，同时确认正常功能没有被误伤。