NeurIPS 2026|港大提出RaPO：强化微调破解MLLM灾难性遗忘，代码已开源
在 LLM/MLLM 领域，基于 verifier 奖励的强化微调（Reinforcement Fine-Tuning, RFT，如 GRPO）在激发复杂推理能力方面展现出显著优势。由于 On-policy 优化的特性，很多研究指出 RFT 相比传统的监督微调（SFT）天然具备更强的抗遗忘能力。然而，当将 RFT 应用于极具挑战的视觉持续学习（Visual Continual Learning）场景，例如在完全不回放历史数据（Rehearsal-free）的类增量持续学习（Class-Incremental Learning）与域增量持续学习（Domain-Incremental Learning）设定下，现有的 RFT 范式真的能够有效抵御 “灾难性遗忘” 吗？
近日，来自香港大学俞益洲教授团队 (https://i.cs.hku.hk/~yzyu/index.html) 首次系统性地探讨了强化微调在视觉持续学习中的瓶颈，首次揭示了标准 GRPO 框架下隐藏的 “轨迹级漂移不可知性（Trajectory-level Drift Agnosticism）” 缺陷，并提出了全新的 RFT 算法 Retention-aware Policy Optimization (RaPO)。基于标准的 MLLM，RaPO 在涵盖图像分类、目标检测、视频动作识别等不同视觉持续学习基准测试中展示了优越的性能和抗遗忘能力，代码已开源。
论文题目：Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
录用会议：NeurIPS 2026
论文地址：https://arxiv.org/abs/2605.09640
代码仓库：https://github.com/LMMMEng/RaPO
第一作者：香港大学博士生娄蒙 (https://lmmmeng.github.io/)
一、研究动机：标准 GRPO 为何在持续学习中仍然存在遗忘问题？
在真实世界的开放环境中，AI 系统必须能够持续学习按时间顺序到来的新任务，同时避免对先前已掌握知识的灾难性遗忘（Catastrophic Forgetting）。传统的 SFT 往往需要引入复杂的参数隔离、动态架构扩展或蒸馏惩罚，但在严苛的无历史数据回放（Rehearsal-free）设定下，依然极易出现新旧知识的严重冲突。尽管一些工作在近期发现 RFT 相比 SFT 天然更具抗遗忘特性，但在多任务长序列的视觉挑战中，标准 RFT 的表现究竟如何却缺乏探索。
为此，研究团队以经典的 Qwen2-VL-2B 为基础模型，在 ImageNet-R 数据集上构建了一个典型的 Rehearsal-free Few-shot Class-Incremental Learning 的实验：200 个类别被划分为 10 个互不重叠的子任务，每个类别严格限制仅提供 5 个带标注样本。
图 1：左：无回放类增量设定下 GRPO 全程优于 SFT，但自身遗忘依然明显；右：获得相同任务奖励的候选轨迹，相对上一任务策略的 KL 散度差异悬殊，且随任务推进增大。
实验结果如图 1 (a) 所示：虽然 GRPO 的整体表现超越 SFT，印证了 RFT 的抗遗忘特性；但随着任务数量的递增，GRPO 的最终准确率依然出现了不可逆转的大幅滑坡，这表明标准 RFT 仍然无法解决持续学习中的稳定性与可塑性（Stability-Plasticity）失衡问题。
为了追溯这一现象的深层原因，团队进一步追踪了 GRPO 在策略更新时的微观行为，并发现了一个关键机制缺陷： Trajectory-level Drift Agnosticism（轨迹级漂移不可知性） ：在 GRPO 优化过程中，针对同一个 prompt 输入，当前策略网络（Actor, ）会采样生成一组候选轨迹（Rollouts）。研究团队对那些获得了相同高任务奖励（Task Reward）的轨迹进行了 KL 散度分析，对比对象为上一任务训练完成并被完全冻结的策略网络（Anchor,
）。如图 1 (b) 所示，不难发现，即使候选轨迹都能完全答对当前任务，它们相对于 Anchor 策略的分布漂移（KL 散度）却展现出巨大的离散度：
部分轨迹呈现低漂移 ：在学会新类别的同时，模型的推理模式和特征空间高度保留了上一阶段的历史分布。
部分轨迹呈现高漂移 ：虽然刚好命中了新任务标签，但其在参数空间与表征分布上已发生了剧烈突变，彻底背离了历史知识。
由于标准 GRPO 仅根据 Task Reward 进行相对优势（Group-relative Advantage）的计算，导致优化器对这些正确但剧烈漂移的轨迹给予近似的信用分配（Credit Assignment）。随着任务序列的演进，这种对轨迹漂移的 “不可知性” 不断放纵模型滑向高漂移参数区域，从而不可避免地引发了严重的灾难性遗忘。
漂移与遗忘之间究竟是相关还是因果？团队设计了两个方向相反的 GRPO 变体，直接在 rollout 全对的组内做干预：变体 1 只保留低漂移轨迹的正奖励，变体 2 反过来只保留高漂移轨迹的正奖励。如图 1 (a) 所示，结果一目了然：前者显著缓解了遗忘，后者显著加剧了遗忘。至此因果关系坐实：保留 Task Reward 高且漂移小的轨迹，正是抗遗忘的关键。但硬阈值并不可行，二值门控会破坏细粒度的信用分配，rollout 数量有限时更新也极不稳定，更合理的做法是把 drift 本身变成连续的奖励信号。
二、方法：RaPO 重塑强化微调的信用分配与尺度归一
针对上述问题，研究团队提出了 RaPO (Retention-aware Policy Optimization) 。RaPO 没有对多模态骨干网络引入额外的参数模块或复杂的微调架构，而是从强化学习的 Reward Shaping 与数值稳定性出发，构建了两个核心组件：
1. Retention Reward：基于轨迹级分布漂移的有界奖励重塑
以往对抗遗忘的常规思路通常是在总 Loss 中加入一些正则项，例如 KL loss。然而全局 KL loss 是独立于每个 Rollout 获得的特定奖励的，它无法区分同一组内完成任务质量相近但遗忘程度不同的候选轨迹。因此，RaPO 直接将轨迹分布漂移映射为一个正向的密集标量奖励： Retention Reward ，使其在组内相对优势计算之前介入：