http://blog.zyhector.com/tags/%E8%AF%BB%E6%BA%90%E7%A0%81/读源码 - 标签 - 华华的小站Hugo -- gohugo.iozh-CNThu, 16 Apr 2026 12:13:00 -0700http://blog.zyhector.com/2026/04/08-trl.grpotrainer/Thu, 16 Apr 2026 12:13:00 -0700Hectorhttp://blog.zyhector.com/2026/04/08-trl.grpotrainer/<p>这是在 Hugging Face 的 TRL <a href="https://huggingface.co/docs/trl/quickstart" target="_blank" rel="noopener noreffer ">Quickstart</a> 界面里，GRPO 训练的示例。今天从这里开始，探索一下 HF 的 GRPOTrainer 是怎样实现的，涵盖普通 Training loop 与 RL/GRPO 中的 Rollout、Training 环节，为之后我们手搓 GRPO Training Loop 打下基础！</p>