NeurIPS 2026｜小红书×复旦大学用DR-Rubric为开放式强化学习构建评分标准
让大模型回答一道数学题，通常还能拿标准答案判断对错。可如果问题换成「梳理一个领域的研究进展」「比较几种技术路线」或者「给出有依据的专业建议」，怎样才算答得好？答案没有唯一版本，遗漏关键事实、混淆概念、论证不充分，都可能藏在一段看起来很流畅的文字里。
这也是开放式任务做强化学习时最难的一步：模型可以生成很多回答，但训练系统得知道，哪些回答值得奖励。只给一个笼统的总分，模型很难知道该改哪里；把评判拆成细则，又会遇到另一道难题——这些细则由谁来写？
专家手写可靠，却难以覆盖大量、不断变化的问题。直接让大模型写评分标准，速度快，但它可能只列出「清晰」「完整」「有逻辑」这样的通用要求，漏掉真正决定这道题质量的知识和边界条件。评分尺子本身不准，强化学习就可能朝着错误的方向优化。
针对这一问题，小红书与复旦大学等机构提出了 Deep Research as Rubric（DR-Rubric） ：让模型先围绕任务做一轮深度研究，收集外部事实、关键约束与常见错误，再把研究结果转成逐条可检查的评分细则，用作强化学习的奖励信号。这套方案也已在小红书业务中实际使用。
目前，该工作已被 NeurIPS 2026 接收，论文与代码已公开。
实验展示了它在六个基准上的实验结果：每轮仅用 1000 条 RL 数据，便在智能体研究和专家推理任务上取得有竞争力的表现。研究还进一步尝试让模型自己生成下一轮评分细则，并观察到一个有意思的现象：自举提升并不单调，评分标准会变化，模型能力也会随之重新平衡；继续迭代，还可能出现奖励越来越高、真实表现却崩溃的情况。
论文标题：Deep Research as Rubric for Reinforcement Learning
论文地址：https://arxiv.org/abs/2606.01091
代码地址：https://github.com/meiotoufa/DR-Rubric
研究背景：评分细则本身也需要研究
Rubric（评分细则）把一个笼统的质量判断拆解成细粒度、可解释的评价维度。回答每满足一条约束，就获得相应奖励，即便没有完全答对，也可以得到部分分数。这为缺乏唯一标准答案的开放式推理和长文本生成任务提供了更稠密的训练信号。
现有方法往往把 rubric 当成现成的、静态的产物：要么由专家手工撰写，要么直接通过 prompt 让模型生成。前者成本高，后者受限于模型内部知识，容易停留在文本通顺、表述清晰等表面要求，遗漏任务特定的知识约束。
DR-Rubric 的核心洞察是： 构造 rubric 本身就是一个研究问题 。要判断回答是否正确、全面、有洞见，需要先发现、收集和综合相关知识。Deep Research 正好可以承担这个过程。
因此，框架把评分细则的生成拆成两个阶段。第一阶段是信息获取（Information Elicitation），通过多轮智能体检索构建证据轨迹；第二阶段是细则合成（Rubric Synthesis），把证据蒸馏成一组原子化、可独立检查的约束，再用于 GRPO 训练。
核心方法：先搜集证据，再把证据变成奖励
图 1 DR-Rubric 整体框架：证据收集、约束合成、逐条评分与 GRPO 更新。 框架包含三个顺序组件：自动 rubric 生成、基于 rubric 的强化学习，以及自举式 rubric 生成。以「每天推荐摄入多少糖」为例，模型先查找相关建议，厘清不同糖摄入概念及适用范围，再形成准确性、概念区分、实用指导等方面的评价标准。训练阶段对同一个问题采样多个回答，逐条判断是否满足标准，并汇总成奖励。
表 1 论文中的核心符号。 其中，p 表示任务问题，m(gen) 是驱动研究与细则合成的生成模型，S(p) 是证据轨迹，R(p) 是原子约束集合；m(judge) 负责逐条评分，π(θ) 是被训练的策略模型。G 表示同一问题的回答采样数，k 限制研究交互轮数，n(max) 限制约束数量。
第一步：证据收集
给定问题 p、外部工具集 T 和交互预算 k，生成模型通过多轮检索与验证，形成包含领域事实、结构性约束和常见失败模式的证据轨迹：
研究过程持续进行「查询构造 → 证据获取 → 查询精炼」，后续查询基于已有发现继续展开。这里的目标是找出评判这道题需要什么知识，而不是直接生成最终答案。证据轨迹作为一个显式中间表示，把任务问题与评价标准连接起来。
这也是它与普通 RAG 的区别：检索服务于评价需求的发现，多轮探索则帮助补齐遗漏的关键约束。
第二步：约束合成
模型把证据转成不可再分的单一评价标准，组成该问题的 rubric：
每条约束可以是肯定式要求，例如「回答应至少涵盖两种高效注意力方法」，也可以是否定式要求，例如「回答不应声称标准注意力的复杂度为 O(n log n)」。两种形式放在同一个约束集合中，不做类别区分或差异化加权。n(max) 控制规模，避免过多约束带来冗余和噪声。
关键在于，约束可以追溯到证据轨迹中的具体信息，评分标准因而有外部事实支撑。
第三步：把细则变成 GRPO 奖励
裁判模型独立检查每条原子约束。回答满足该约束记 1 分，否则记 0 分，最终奖励取所有约束分数的算术平均：
这样，模型能通过部分满足约束获得部分奖励。反馈具体落在有证据支撑的评价条目上，比一个任务级的二元分数提供更多信息。
训练使用 GRPO：对同一问题采样 G 个回答，用「该回答奖励减去组内平均奖励，再除以组内标准差」得到相对优势。策略更新结合裁剪概率比目标与 KL 惩罚，前者限制更新幅度，后者约束策略不要偏离参考模型过远。
自举：让模型接过评分细则的生成工作
持续调用 GPT-5、Gemini 等外部模型生成 rubric 会带来成本。自举式生成尝试让训练后的策略模型接过研究与细则合成工作，为后续训练产生新的奖励标准：
模型因此同时承担答题者和细则生成者的角色，减少对前沿闭源 rubric 生成模型的依赖。这个闭环仍需要外部检索工具和裁判模型，而后续实验也显示，自举并不意味着每一轮性能都会提高。
实验结果：1000 条数据，关键在奖励质量
实验覆盖六个基准，分为两类：智能体任务包括 ResearchQA、DeepResearchBench 和 LocalSearchBench；专家推理包括 GPQA、MMLU-Pro 和 MMLU。
训练首先在 1000 条 ReAct 格式轨迹上对 Qwen3-8B 做 SFT，得到共享的 Qwen3-8B-SFT 初始化，再用 GRPO 和 rubric 奖励训练。GPT-5 与 Gemini 变体各使用 1000 条 RL 数据，自举每轮使用 1000 条，BS-2、BS-3 按训练轮次累计分别为 2000、3000 条。这里的累计训练量不等于新增了同样数量的独立问题。
主要超参为 G = 4，裁剪范围 ε = 0.28，KL 系数 β = 0.001，学习率 5 × 10(−6)，训练 5 个 epoch，使用 16 张 H800。各变体主要区别在 rubric 来源：基准自带、GPT-5 生成、Gemini 生成或自举生成。检索使用共享的静态文档快照接口以保证可复现，附录另用真实 Web 搜索验证一致性。