真实实验
分类
设备
模型可以先在数字环境中大量推演、试错,再将筛选出的方案送到真实实验设备上执行;
文章
能力
最近,由律动造物联合多家全球顶级科研机构共同推出的AIScientists'LastExam(AI科学家的终极大考,AISLE),试图为AI的真实实验能力建立一把新的「尺子」。
文章
之前,行业内谁也无法确凿断言大模型到底能不能代替人类做实验,缺少一套能够系统衡量AI真实实验能力的标准,代码有单元测试,数学有标准答案,但湿实验长期处于规则真空。
文章
结果
AISLE希望补上这一环:让真实实验不仅成为AI的最终考场,把答案放在物理世界里,模型可以背下论文、刷遍题库,却无法提前背下下一次真实实验的结果。
文章
反馈
通过与Harbor框架的原生整合,这些真实实验反馈有了进入模型后训练的通道。
文章
长期以来,真实实验反馈很难像代码测试结果一样被高效、规模化地用于模型评测与训练。
文章