模型评测
也叫：Evals · AI评测 · 模型评价
模型评测是用固定任务、样本和评分规则比较模型，并在上线后继续收集失败样本。
他们说
通过评测集和评分器持续衡量模型表现
老白翻译
拿同一批真问题考试，看它到底会错在哪。
它到底是什么
模型评测会先准备一批题目和通过标准，再让不同模型、提示词或知识库版本运行同一套测试。结果可以由程序评分，也可以交给懂业务的人复核。
生活里的例子
客服问答可以检查答案有没有引用现行制度、资料不足时会不会停下来，以及人工需要改多少内容。
常见误解
- 误解：公开榜单高，自己的业务就一定好用。 榜单题目和公司真实资料往往不同。
- 误解：测过一次就够了。 模型、资料和业务规则变化后都要重跑。
- 误解：分数越多越专业。 指标要对应真实错误和使用后果。
普通人怎么用
从员工经常遇到的问题里选一批，去掉隐私，写好标准答案和评分办法。调试用验证集，最后留一组没反复看过的题做核对。