GRPO
也叫：Group Relative Policy Optimization · 组相对策略优化 · 群组相对策略优化
GRPO用同一道题多份输出的相对奖励训练策略模型，省去独立价值模型，但增加在线采样与奖励设计压力。
他们说
用同题多份输出的组内分数估计优势
老白翻译
同一道题多答几遍，让这些答案在组内比高低。
它到底是什么
GRPO是一种策略优化方法。它让当前模型对同一道题生成一组答案，用组内平均奖励和标准差估计每份答案的相对好坏，再据此更新模型。
省掉了什么
PPO常要训练一个价值模型来估计基线。GRPO改用组内分数，省去这份训练与显存负担，仍需策略模型、参考模型和评分环节。
常见误解
每题生成多份答案会增加采样成本。若一组回答全对或全错，组内没有分数差异，训练也得不到有效信号。
普通人怎么用
先统计全零组、全满组和只有格式分的比例，再检查未参加训练题目的准确率、长度、拒答与旧任务回归。