抗遗忘
分类
能力
由于On-policy优化的特性,很多研究指出RFT相比传统的监督微调(SFT)天然具备更强的抗遗忘能力。
文章
基于标准的MLLM,RaPO在涵盖图像分类、目标检测、视频动作识别等不同视觉持续学习基准测试中展示了优越的性能和抗遗忘能力,代码已开源。
文章
特性
实验结果如图1(a)所示:虽然GRPO的整体表现超越SFT,印证了RFT的抗遗忘特性;
文章
尽管一些工作在近期发现RFT相比SFT天然更具抗遗忘特性,但在多任务长序列的视觉挑战中,标准RFT的表现究竟如何却缺乏探索。
文章
关键
至此因果关系坐实:保留TaskReward高且漂移小的轨迹,正是抗遗忘的关键。
文章