名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
蒸馏的免费午餐，真的好吃吗？
当下的大模型后训练（Post-training）pipeline 中，On-Policy Distillation（OPD）已经成为了明星技术。从 Qwen3、MiMo 到 GLM-5，业界纷纷采用 OPD 并报告了巨大的性能提升。相比于强化学习（RL）稀疏的结果奖励，OPD 提供了密集的 Token 级别监督信号，看起来就像是一顿「 免费的午餐」。
但如果你亲手跑过 OPD，你可能会遇到一个反直觉现象： 为什么我换了一个更强的 Teacher，Student 的性能反而毫无提升，甚至出现了倒退 ？
大模型时代的蒸馏，早就不是简单的「 大力出奇迹」了。
清华大学团队最新的一项研究，系统性地解剖了 On-Policy 蒸馏的黑箱。这篇论文不仅揭示了决定蒸馏成败的两大先决条件，还深挖了 Token 级别的对齐机制，并给出了拯救失败蒸馏的实用配方。
📄 论文链接：https://arxiv.org/abs/2604.13016
💻 代码库：https://github.com/thunlp/OPD
𝕏 Thread https://x.com/HBX_hbx/status/2044464414829777354
现象篇：为什么「 名师」出不了「 高徒」？
在常规认知中，Teacher 模型的分数越高，蒸馏效果应该越好。但研究团队通过严谨的对比实验，发现了控制 OPD 命运的两个核心法则：
法则一：思维模式一致性（Thinking-Pattern Consistency）
研究者让弱 Base 模型 Qwen3-1.7B-Base 向两个能力相近的 Teacher 学习：一个是 Qwen3-4B (Non-thinking) ，另一个是只经过 GRPO 训练的 Qwen3-4B-Base-GRPO。结果发现，由于学生也是 Base 模型，它与经过 GRPO 强化的 Base Teacher 的 thinking pattern 更近（初始 Overlap Ratio 更高），最终的蒸馏效果取得了显著提升。 如果早期思维模式错配，后续很难完全弥补 。
法则二：高分 ≠ 新知识（Higher scores ≠ new knowledge）
如果老师和学生思维模式一致，且老师分数更高，蒸馏就一定管用吗？
研究者在 DeepSeek 和 Qwen 两个 family 里都看到同样的现象：同 pipeline、同 recipe、只是更大一点的 teacher，提升非常有限；反而是经过额外 RL post-training 的 teacher，能恢复更多 teacher-student gap。比如在 DeepSeek family 里，经过 RL 的 Skywork-OR1-Math-7B gap recovery 是 16.9% ，而同 pipeline 的 DeepSeek-R1-Distill-7B 只有 5.3% ；在 Qwen family 里，这个差距甚至达到 58.6% 对 15.6% 。
这说明如果老师只是同一条 pipeline、同一种数据和 recipe 下做得更大，它在学生眼里可能只是「 同一类分布的不同尺度版本」，并不会提供多少新的可迁移信号。
最狠的实验，是把学生「 蒸馏回去」
研究者做了一个堪称极端的「 反向蒸馏」实验：用 RL 后的 JustRL-1.5B 做学生，让它反过来向自己 RL 之前的 checkpoint R1-Distill-1.5B 学习；同时再拿一个更大、分数也更高的同家族 R1-Distill-7B 来做对照。
结果很意外： 向 7B 学习和向 1.5B 学习，效果几乎一样 —— 都让学生的能力倒退回了前 RL 的水平，并且下降曲线非常相近 ！这说明，7B 虽然分数高，但它相较于 1.5B 只是参数规模带来的红利，并没有提供 Student 更多可学习的信息。 OPD 并不是在简单地「 学习高分」，而是在主动提取并复刻老师的思维模式 。
机制篇：Token 级别的显微镜，看到了什么？
当 OPD 成功或失败时，在 Token level 到底发生了什么？
研究者监控了训练全过程的动态指标，发现了一个极为清晰的规律： 成功的蒸馏，是一场高概率 Token 的「 双向奔赴」 。
在成功的 OPD 中，Student 和 Teacher 的前 k 个预测 Token 的重叠率（Overlap Ratio）会从 72% 稳步攀升到 91% 以上，同时两者的熵差距（Entropy Gap）迅速缩小。而在失败的 OPD 中，这些指标从头到尾基本无变化。
更重要的是的发现是： 「 重叠区域」即是全部 。
研究者把蒸馏目标拆开，做了一组剥离实验。他们发现，那些被师生共同看好的高概率 Token 是整个优化的核心引擎，贡献了主要梯度和优势。 如果只对这些 Overlap Token 计算损失，蒸馏性能几乎不打折扣 ！而那些非重叠的 Token 对优化几乎毫无贡献。
处方篇：两招拯救「 无可救药」的蒸馏
如果手头只有思维模式不契合的 teacher，是不是就束手无策了？基于上述现象和机制，研究者给出了两剂「 对症下药」的药方：
1. 教师 Rollout 上进行 Off-Policy 冷启动（Cold Start）
既然一上来就直接 On-Policy Distillation 容易发生思维方式的不匹配，那就先用 Off-Policy 强行对齐。在开始 OPD 之前，先让 Student 在 Teacher 生成的 rollout 上进行一轮轻量级的 SFT。这能直接拉高初始的 Overlap Ratio ，在随后的 OPD 训练就能丝滑启动，最终收敛的性能上限超越纯 OPD baseline。