rl效果问题

[kimoji919]

非常好的工作，在较难使用rule评估的任务上给出评估方法。我有如下几个问题：

1. 泛化能力：评估数据集和训练数据集应该做了良好的区分，是否能有更独立的数据集进行评测？类似于未被训练的其他任务。
2. 对比实验：基础模型估计很少能拿到类似领域数据，是否拿SFT微调过后的其他模型去做和SFT/RL模型的对比更加合理？
3. 评估模型&GRPO：GRPO一个显著工程优势是省去评估模型节省显存开销，如果这一步不做省略，同样的开销PPO的效果会不会更好？
4. 更大模型？

[firrice]

非常好的工作，在较难使用rule评估的任务上给出评估方法。我有如下几个问题：

1. 泛化能力：评估数据集和训练数据集应该做了良好的区分，是否能有更独立的数据集进行评测？类似于未被训练的其他任务。
2. 对比实验：基础模型估计很少能拿到类似领域数据，是否拿SFT微调过后的其他模型去做和SFT/RL模型的对比更加合理？
3. 评估模型&GRPO：GRPO一个显著工程优势是省去评估模型节省显存开销，如果这一步不做省略，同样的开销PPO的效果会不会更好？
4. 更大模型？

针对对比实验的合理性，我也存在疑问：是不是应该拿 基于通用"SFT+GPRO"路线训练后的其他基础模型 和 Fin-R1 作对比，才能有效说明本文提出的训练方案可以实现 7B 参数量可抵近 Deepseek-R1 的创新性吧，要不然不就成了一个engineering example了么

[Kenwwww]

用rule评估的任务上给出评估方法。

我好奇，是使用的qwen max用作准确度的评分吗？那这种方式是否只适合泛行业，对于其余 根本不存在现有大模型能够很好评估回答质量的私有垂域，又该如何去进行reward以定制思维链。

[SUFE-AIFLM-Lab]

感谢您提出的问题。您所提到的问题也是我们目前正在所探讨的问题中的相关内容，具体结果将会在后续版本内容的更新中同步放出。