登录

让大模型学会向老师提问:UIUC等提出Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」


速读:不同于依赖标准答案或任务成功率评估合成数据的方法,A2D从教师与学生的预测分布出发,直接衡量一道问题能够激发多少可利用的教师监督信号,并通过强化学习优化问题生成器。 近日,来自伊利诺伊大学厄巴纳-香槟分校(UIUC)、香港科技大学和德克萨斯农工大学等机构的研究者提出了Ask-to-Distill(A2D),一种面向在策略蒸馏的合成问题优化框架。 但近期关于On-PolicyDistillation(OPD,在线策略蒸馏)的研究揭示了一个值得关注的现象:即使只使用很少的训练问题,学生模型也有可能从教师模型中获得显著的性能提升。 在大语言模型的训练中,人们通常认为,要让模型变得更聪明,就需要更多高质量数据、更可靠的标准答案,以及更强大的教师模型。 大语言模型的知识蒸馏,通常希望将强教师模型的能力迁移到相对较弱的学生模型中。
2026年11月18日 07:08

一道好问题,可能比一千道普通问题更有价值。

在大语言模型的训练中,人们通常认为,要让模型变得更聪明,就需要更多高质量数据、更可靠的标准答案,以及更强大的教师模型。但近期关于 On-Policy Distillation(OPD,在线策略蒸馏)的研究揭示了一个值得关注的现象:即使只使用很少的训练问题,学生模型也有可能从教师模型中获得显著的性能提升。

这引出了一个新的问题: 如果少量问题就足以带来显著的知识迁移,那么我们是否能够让模型主动学习,生成那些最有利于自身学习的问题? 进一步来说,如果这些问题是模型自己生成的,没有标准答案,也没有外部验证器,又该如何判断哪些问题真正值得用于训练?

近日,来自伊利诺伊大学厄巴纳-香槟分校(UIUC)、香港科技大学和德克萨斯农工大学等机构的研究者提出了 Ask-to-Distill(A2D) ,一种面向在策略蒸馏的合成问题优化框架。不同于依赖标准答案或任务成功率评估合成数据的方法,A2D 从教师与学生的预测分布出发,直接衡量一道问题能够激发多少可利用的教师监督信号,并通过强化学习优化问题生成器。在数学推理、代码生成和智能体任务上的实验表明,A2D 能够在不依赖外部训练问题和正确答案的情况下,生成更有效的蒸馏数据,并在所评估的设置中取得优于多种真实数据及合成数据基线的平均性能。

更有意思的是,研究发现: A2D 生成的问题能够让学生模型的回答长度减少约 20%,同时激发的累计学习信号增加约 28%。 这意味着,真正有价值的训练问题,未必需要让模型进行更长、更复杂的推理,而可能是那些能够精准暴露其知识缺口的问题。

论文标题:Ask to Distill: Learning to Synthesize Data for On-Policy Distillation

论文地址:https://arxiv.org/abs/2610.27450

代码地址:https://github.com/GasolSun36/Ask_to_Distill

模型与数据:https://huggingface.co/collections/gasolsun/ask-to-distill-model-and-data-collection

从「如何回答问题」到「应该提出什么问题」

大语言模型的知识蒸馏,通常希望将强教师模型的能力迁移到相对较弱的学生模型中。传统的监督微调往往采用教师生成的答案作为训练目标。然而,教师生成的轨迹并不一定符合学生模型自身的生成分布,学生在推理时也可能进入训练过程中未曾覆盖的状态。

On-Policy Distillation 提供了另一条路径。在 OPD 中,学生模型首先根据训练问题自主生成回答,教师模型再对学生实际生成的轨迹提供 token 级别的监督。由于训练直接发生在学生自身访问的状态上,这种方法可以减轻固定教师示范带来的分布不匹配问题。

但这里有一个容易被忽视的细节: 虽然知识由教师提供,但决定教师能够在什么位置提供监督的,实际上是训练问题本身。 同样一个教师和学生,面对不同的问题,可能进入完全不同的生成轨迹。有些问题过于简单,学生和教师的预测基本一致,教师没有多少额外知识可以传递。有些问题过于困难,虽然教师和学生存在巨大分歧,但教师倾向的答案可能远远超出学生当前能够有效学习的候选范围。还有一些问题恰好位于两者之间:学生尚未完全掌握,但教师能够在学生已有的候选答案中提供明确的纠正方向。第三种问题,可能才是真正具有较高蒸馏价值的问题。研究团队因此提出一个新的视角:

训练问题不仅是模型需要解决的任务,也可以被视为触发教师监督信号的「分布诱导器」(Distribution Elicitor)。

它的作用不只是要求学生给出答案,而是将学生引导至那些教师能够有效传授知识的状态。这也让合成数据优化从传统的「生成更难的问题」转变为「生成更有学习价值的问题」。

核心方法:不判断答案对错,

如何知道一道题有没有价值?

A2D 的核心思想,是让一个问题生成器不断探索:什么样的问题能够为特定的学生—教师模型组合提供更有效的监督?

整个框架包含三个阶段。

第一阶段:让模型生成问题,并观察教师和学生的分歧

A2D 首先复制初始学生模型的参数,用它初始化一个独立的问题生成器(Synthesizer)。

这个生成器负责提出问题,而不是负责解决问题。针对生成的每一道问题,系统使用冻结的学生模型生成回答,再让冻结的教师模型沿着学生生成的相同轨迹进行预测。由此,在每一个 token 位置,系统都可以获得学生与教师各自的概率分布。这使得 A2D 无需知道问题的正确答案,也能观察两者在哪些位置产生了知识差异。值得注意的是,在整个问题生成器的强化学习训练过程中,教师和用于评分的学生始终保持冻结,只有问题生成器被更新。因此,A2D 优化的并不是学生的解题参数,而是 决定学生接下来会遇到什么问题的数据分布 。

第二阶段:不仅要有分歧,还要保证学生能够学到

教师与学生之间的分歧,可以通过 KL 散度衡量。

直观来说,如果教师和学生对下一个 token 的预测几乎相同,那么这个位置的分歧较小;如果预测差异很大,分歧就更大。然而,A2D 并不直接将 KL 散度作为唯一的学习奖励。原因在于: 分歧很大,并不意味着学生一定能够从中有效学习。 例如,假设学生认为下一个 token 最有可能是 A、B、C,而教师更倾向于 D、E、F。即使双方的差异非常明显,如果当前蒸馏更新主要作用于学生的 Top-K 候选 token,教师的主要概率质量却集中在这些候选之外,那么这些分歧未必能够转化为有效的训练监督。为此,A2D 引入了两个互补的指标:

Disagreement(分歧程度) : 衡量教师和学生在预测分布上的差异,回答「教师有多少不同的知识可以传递」。

Compatibility(兼容程度) : 衡量教师有多少概率质量落在学生的 Top-K 候选 token 上,回答「教师希望传递的知识,有多少位于学生当前的学习范围内」。

A2D 将二者结合,构造每个 token 的学习价值信号:

其中, 表示教师与学生的分布分歧, 表示教师与学生候选集合的兼容程度。

通过这种设计,A2D 更倾向于奖励同时满足两个条件的位置:教师和学生存在足够明显的分歧,而且教师的监督能够覆盖学生当前考虑的候选 token。换句话说,A2D 并不是单纯寻找「学生不会的问题」,而是寻找「 学生尚未掌握,但教师能够提供可利用纠正信号的问题 」。当然,这一奖励仍然是学习价值的代理指标,并不保证每一个高分 token 都必然带来同等幅度的参数更新收益。

第三阶段:用强化学习,让模型越来越会出题

有了 token 级别的信号后,A2D 将其聚合为问题级别的奖励,并使用 Group Relative Policy Optimization(GRPO)训练问题生成器。

不过,直接累计 token 信号容易产生新的问题。例如,生成器可能倾向于提出导致超长回答的问题,仅仅通过增加 token 数量获得更高奖励;也可能反复生成相似问题,通过重复利用少数高奖励模式来提高得分。为避免这些现象,A2D 在奖励中进一步引入长度控制和多样性控制:

其中,第一项衡量问题所诱导的累计学习信号,并通过次线性长度归一化降低超长回答的天然优势;第二项对过长回答进行惩罚;第三项根据生成问题的重复程度给予多样性约束。最终,生成器不仅要学会提出能够激发有效教师监督的问题,还需要避免单纯依靠延长推理或者重复相似问题获得奖励。训练完成后,A2D 使用经过优化的问题生成器批量合成训练问题,再通过格式过滤、词汇去重和语义去重,构建最终的合成问题库。

值得强调的是,这个问题库 只需要保存问题,不需要保存标准答案 。 后续蒸馏阶段从原始学生模型参数重新开始,由学生自主生成回答,再通过冻结教师模型提供 token 级别监督,完成标准的 OPD 训练。整个问题生成器优化过程不需要外部问题数据、人工标注答案或额外奖励模型。独立的 Embedding 模型仅用于问题生成后的语义去重,而不参与强化学习奖励计算。

实验结果:从数学推理到代码生成,

优化问题本身能带来多少收益?

为了验证 A2D 的有效性,研究团队在多个学生—教师模型组合上开展实验,覆盖数学推理、代码生成以及智能体任务。实验不仅与使用真实数据的常规 OPD 进行比较,也考虑了直接使用学生生成的问题、筛选高 KL 分歧的真实问题,以及其他合成数据方法。

数学推理:仅优化训练问题,就能显著缩小师生差距

在数学推理任务中,研究者使用三组不同规模及类型的学生—教师模型,包括 Qwen3 系列与 DeepSeek-R1-Distill 系列,并在 AIME、AMC、BRUMO 和 MATH500 等六个基准上进行评测。

结果显示,在三组学生—教师模型中,A2D 均取得了所有比较方法中最高的六项基准平均得分。

以 Qwen3-1.7B 为例:原始学生模型的平均得分为 25.7,使用真实数学训练数据进行 OPD 后提升至 43.0,而 A2D 进一步达到 46.2。在这一设置中,A2D 恢复了约 90.2% 的师生性能差距 。在 DeepSeek-R1-Distill-Qwen-1.5B 上,A2D 的平均得分达到 51.6,接近教师模型的 51.7,对应的师生差距恢复比例达到  99.9% 。对于规模更大的 DeepSeek-R1-Distill-Qwen-7B,A2D 同样取得了最高的平均成绩,从原始学生的 58.1 提升至 64.5。

这些结果说明,经过专门优化的问题生成器,能够为不同规模的学生模型构建有效的知识蒸馏数据。

代码生成:4B 学生模型也能在部分任务上超过教师

在代码生成任务中,研究团队进一步考察了更复杂的程序生成场景。实验覆盖 LiveCodeBench、MBPP+、APPS 以及 CodeContests 等六个代码基准,并使用 Qwen3 和 Qwen2.5-Coder 系列模型。

其中,一个值得关注的实验,是使用 Qwen3-4B-Instruct-2507 作为教师,对 Qwen3-4B 学生进行蒸馏。

原始学生的六项平均成绩为 28.7;使用真实训练数据的 Vanilla OPD 达到 34.5;A2D 则进一步提升至  39.6 ,对应  82.9% 的师生差距恢复率 。在 LiveCodeBench 上,A2D 将学生成绩从 21.6 提升至 35.9,超过了教师模型自身的参考成绩 33.7。这并不意味着学生模型已经全面超越教师。事实上,在其他代码基准上,学生仍然存在差距。

但这一结果表明,当训练问题能够有效激发学生与教师之间的监督信号时,即使不改变教师模型,也可能在特定任务上取得超越教师参考性能的结果。更进一步地,在更强的 Qwen3-30B-A3B 教师和 Qwen2.5-Coder 模型组合中,A2D 同样取得了最高的平均蒸馏成绩,不过不同模型组合的收益幅度存在明显差异。

这也提示我们: 教师模型越强,不一定意味着蒸馏效果就越好;学生能够通过什么问题获得有效监督,同样重要。

智能体任务:不仅能做数学和代码,也能改善交互式决策

为了检验方法是否适用于传统推理任务之外的场景,研究者进一步在 -Bench 上开展实验,覆盖 Airline、Retail 和 Telecom 三个智能体任务领域。

在这三个任务中,A2D 分别取得 46.3、49.4 和 30.0 的成绩,平均达到  41.9 。相比未经优化的 Student-Generated OPD,平均成绩从 37.3 提升至 41.9,师生性能差距恢复率从 79.2% 提升至  95.2 % 。

这一结果说明,基于教师—学生分布信号的问题优化,并不局限于具有明确标准答案的数学和代码任务,也可以应用于涉及多轮交互和决策的智能体场景。

为什么 A2D 有效?

关键不在题目有多难,而在能否激发有价值的监督

虽然上述实验验证了 A2D 的下游训练效果,但还有一个更根本的问题: 为什么这些合成问题比普通训练问题更有效? 研究团队从具体案例、token 级别信号统计和学习价值相关性等角度,进一步分析了 A2D 的机制。

发现一:更简单的问题,也可能激发更高密度的学习信号

人们往往会直觉地认为,训练问题越复杂,越有利于提升模型的推理能力。但 A2D 的案例分析给出了不同的观察。

论文比较了一道来自 DAPO-17k-Math 的真实数学问题,以及一道 A2D 生成的合成问题。尽管两个问题中学生最终都给出了错误答案,但后者在更短的推理轨迹中激发了更密集的教师监督信号。真实问题对应的学生回答长度为 2,002 tokens,平均 token 学习信号约为 0.117。相比之下,A2D 合成问题只产生了 1,241 tokens,却达到约 0.172 的平均信号强度,相当于前者的约 1.5 倍。这一案例说明,问题表面上的复杂程度,并不能直接反映它在知识蒸馏中的价值。真正重要的,是问题是否让学生在生成过程中不断进入教师能够提供有效纠正的状态。

发现二:回答短了 20%,却获得了 28% 更多的累计信号

为了避免仅通过个别案例得出结论,研究团队进一步比较了 1,000 道真实数学问题与 1,000 道 A2D 合成问题。

结果显示,A2D 合成问题诱导的学生回答,平均长度从约 1,280 tokens 降低到 1,021 tokens,减少约 20%。然而,累计的 support-aware 学习信号却从 141.7 提高至 181.7,增加约 28% 。此外,研究者还将回答划分为多个相对位置区间,分析不同生成阶段的 token 信号。结果发现,A2D 生成的问题在整个回答过程中都维持着更高的平均信号水平,而非仅在少数位置出现高峰。

这意味着,A2D 并不是简单地让学生生成更多 token,从而累计更多监督,而是在更短的轨迹中持续激发更密集的学习信号。从知识蒸馏的角度看,这为提高训练信号的利用效率提供了一个新的方向。

发现三:教师和学生的分歧,真的能够预测学习价值吗?

A2D 的一个核心假设是,教师与学生的分布差异可以用于衡量训练问题的潜在价值。但仅观察到高分歧问题能产生较高奖励,还不足以证明这些问题真正具有训练价值。因此,研究团队开展了额外的实证分析,直接考察分布信号与学生参数更新后收益之间的关系。

在 1,500 道真实数学问题上,研究者分别测量每道问题诱导的平均教师—学生分歧,以及使用该问题进行单步蒸馏更新后的学习收益。这里的学习收益不是题目最终是否答对,而是更新后的学生模型在固定探针问题上的教师—学生 KL 差异下降幅度。

实验发现,平均分歧与单步学习收益的 Spearman 相关系数达到  0.727 。即使控制回答长度、通过率与熵等因素,偏相关系数仍然达到  0.386 。对于结合分歧与兼容性的 support-aware 信号,原始相关系数进一步达到  0.750 ,偏相关系数为  0.399 。当研究者按照该信号大小将问题分成五组后,最高信号组带来的平均探针 KL 下降幅度约为最低组的  2.15 倍 。进一步的固定 token 预算实验也发现,整体上,具有更高分布信号的问题组能够带来更好的下游训练结果,尽管这种关系并非严格单调。

这组实验为 A2D 的核心思想提供了更直接的证据: 即使不知道问题的标准答案,教师和学生在生成过程中的概率分布,也可以为估计一道问题的蒸馏价值提供有效信号。 需要注意的是,相关性并不意味着 KL 散度可以完整预测参数更新收益。研究结果更准确地说明,分布信号可以作为具有预测能力的学习价值代理指标。

消融实验:为什么不能只看 KL 散度?

A2D 的奖励包含多个组成部分:教师与学生的分歧、兼容性、回答长度控制,以及生成问题的多样性。那么,这些设计是否都有必要?

研究团队分别移除 Compatibility、训练时多样性约束和显式长度惩罚,并在 AIME24、AIME25 和 AIME26 上评估最终蒸馏性能。结果发现,完整奖励函数在三个基准上均取得最高成绩,分别为 45.0%、35.8% 和 29.2%。移除任一组件都会导致性能下降。

例如,在 AIME25 上,移除兼容性、多样性或长度惩罚,分别导致 6.2、6.0 和 6.6 个百分点的准确率下降。这表明,优化问题生成并不是简单追求更大的教师—学生 KL 散度。如果不考虑兼容性,生成器可能偏好教师与学生差异很大、却难以转化为当前蒸馏监督的问题;如果缺少长度控制和多样性约束,生成器也可能通过冗长或重复的输出获得奖励。因此,真正有效的问题生成目标,需要同时考虑 有多少知识差异,以及这些差异能够在多大程度上被学生利用 。

更强的模型负责出题,是否就足够了?

还有一个自然的问题:既然教师模型比学生更强,为什么不直接让教师生成训练问题?A2D 进一步比较了从学生和教师初始化问题生成器,以及是否进行针对性强化学习优化的不同组合。

实验发现,直接使用更强教师模型生成问题,并不能在所有基准上取得最好的蒸馏效果。相比之下,针对特定学生—教师组合进行强化学习优化,能够改善两种初始化方式生成的问题质量。其中,基于学生初始化并经过 RL 优化的 A2D,在多个代码基准上表现出较强的竞争力。

这一观察进一步支持了论文的核心观点: 好问题不是由模型能力单独决定的,而是由问题能够为特定学生—教师组合激发多少有效监督决定的。 不同学生的知识边界不同,因此,同一道题对不同学生的蒸馏价值也可能存在差异。这意味着,合成数据生成有必要从追求普遍意义上的高质量数据,转向考虑具体模型能力和学习需求的自适应数据优化。

研究启示:数据的价值,可能取决于它让模型学到了什么

长期以来,大模型合成数据研究的重要方向之一,是如何生成更加正确、复杂和多样化的训练样本。A2D 则提供了另一个视角。对于 On-Policy Distillation,训练问题本身不需要携带标准答案。真正的监督来自教师在学生生成轨迹上的概率分布。这使得问题生成器可以摆脱对答案正确性奖励的依赖,转而优化问题能够激发的监督信号。

从这一角度看,A2D 的研究意义不仅在于提出了一种新的合成问题生成方法,还在于重新审视了大模型训练数据的价值定义: 一条数据是否值得用于训练,可能不仅取决于数据本身有什么内容,还取决于它能为当前模型带来什么样的学习机会。

当然,这一方向也存在尚待解决的问题。例如,随着学生能力不断提升,最有价值的问题分布是否也需要持续更新?基于固定学生—教师组合构建的学习价值指标,能否在不同模型组合之间迁移?当教师本身也存在知识缺陷时,如何进一步区分有价值的监督分歧和不可靠的教师偏好?这些问题都有待进一步研究。

结语

Ask to Distill 将大模型知识蒸馏中的一个关键环节——训练问题的选择与构建——变成了可以直接优化的学习过程。

与传统的合成数据方法不同,A2D 不依赖问题的标准答案,而是利用教师和学生在生成轨迹上的概率分布,识别哪些问题更有可能产生有效的学习信号,再通过强化学习让模型主动生成这些问题。

从数学推理、代码生成到智能体任务,实验表明,经过优化的问题分布能够带来更好的平均蒸馏效果。而更短的回答、更密集的监督信号,以及分布分歧与实际学习收益之间的正相关,也为这一思路提供了进一步支持。

或许,提升模型能力的关键,不只是让它看到更多答案,还在于让它学会提出那些真正值得向教师请教的问题。

主题:问题|教师|模型|训练|学生模型|训练问题|A2D|教师模型