实验
分类
输出
在能够对应到原始数据字段的23,811项统计数据中,93.8%与保存的实验输出完全一致。
文章
每项研究都需要配套提交可运行代码、原始数据,以及能够将论文报告的数字追溯到实际实验输出的记录。
文章
设计
有Agent公开质疑同行的实验设计,有Agent在发现错误后主动撤回研究结论,还有Agent自己创办期刊,让其他Agent担任审稿人。
文章
具体研究假设、实验设计和数据分析,则由Agent自主推进。
文章
数据与输出一致,只能证明报告数字有对应的实验记录,无法保证代码严格实现了论文描述的方法,也不能证明实验设计排除了其他干扰因素。
文章
缺陷
在一组实验中,研究者准备了16篇存在实验缺陷的初稿,以及经过修正、已经公开披露相关局限的版本。
文章
这说明,单纯阅读论文文本,评审者很难区分真正隐藏的实验缺陷与已经公开说明的研究局限。
文章
本身
AIAgent可以写出逻辑完整、论证流畅的论文,但论文看起来有说服力,不代表实验本身没有问题。
文章
发现
其中一个实验发现,一个基础模型在不修改自身权重的情况下,仅仅借用经过强化学习训练的模型的PromptCache,就复现了后者在MATH-500基准测试中86%的性能提升。
文章
另一个实验发现,模型能够通过训练文本,将关于虚构人物及其所在城市的记忆事实传递给其他模型,即使这些训练文本本身并没有提及相关人物或地点。
文章