登录

A2D


描述

A2D的核心思想,是让一个问题生成器不断探索:什么样的问题能够为特定的学生—教师模型组合提供更有效的监督?
文章

分类

生成

更有意思的是,研究发现:A2D生成的问题能够让学生模型的回答长度减少约20%,同时激发的累计学习信号增加约28%。
文章

结果发现,A2D生成的问题在整个回答过程中都维持着更高的平均信号水平,而非仅在少数位置出现高峰。
文章

论文比较了一道来自DAPO-17k-Math的真实数学问题,以及一道A2D生成的合成问题。
文章

有效

为了验证A2D的有效性,研究团队在多个学生—教师模型组合上开展实验,覆盖数学推理、代码生成以及智能体任务。
文章

为什么A2D有效?
文章

优化

因此,A2D优化的并不是学生的解题参数,而是决定学生接下来会遇到什么问题的数据分布。
文章

效果

结果显示,A2D合成问题诱导的学生回答,平均长度从约1,280tokens降低到1,021tokens,减少约20%。
文章

影响

更进一步地,在更强的Qwen3-30B-A3B教师和Qwen2.5-Coder模型组合中,A2D同样取得了最高的平均蒸馏成绩,不过不同模型组合的收益幅度存在明显差异。
文章

其它

为什么A2D有效?
文章