出题
分类
规则
ODE让数据合成器根据智能体的解题记录调整出题规则,再用下一轮的rollout检验这些调整是否合适。
文章
右图为ODE从搜集证据、合成题目到根据rollout修订出题规则的流程。
文章
按rollout调整出题规则的一组,在八项评测上都优于沿用固定规则的一组。
文章
综合这批题的解题记录,ODE调整了出题规则:涉及数量的线索要逐项用以图搜图核实,整理证据时可做的视觉操作从最多四步增至五步。
文章
方法
从递归自我改进(RSI)的角度看,除了智能体本身,给它出题的方法也值得改进。
文章
效果
换了更强的目标模型,出题范围没有缩窄,但难题在这批练习里的比重明显增加了。
文章