登录

对称


分类

对称

图3:使用Qwen2.5-Math-7B打破样本级别对称性的实验结果。
文章

打破“样本级别对称性”:而现有的那些强调高熵Token或困难样本的方法,则主要是通过根据样本的数据分布重新分配学习信号,打破了样本级别的对称性,将焦点转向不确定或困难区域。
文章

打破样本级别对称:不存在普遍最优的静态难度加权策略,最佳策略取决于具体基准和训练阶段;
文章

样本级别的对称:团队推导出,GRPO分配给单条prompt样本的更新幅度正比于
文章

效果

打破“组级别对称性”:现有的负强化(Negative-reinforcement)和Pass@k导向的方法,本质上都是通过抑制对于正确路径的过度学习,隐式地打破了组级别的对称性,以此来促进模型的探索。
文章