科学家使用大型语言模型将“做得更多，质量更差”
科学家使用大型语言模型将“做得更多，质量更差”
一项近日公布于预印本平台arXiv的建模研究显示，科学家若使用大型语言模型（LLM）辅助研究，将花费更少的时间来完善工作，转而快速投入新的项目。
研究称，使用LLM将导致科学家“做得更多，但质量更差，而不是做同样多的工作，但质量更好”。不过，这种人工智能（AI）工具并不是造成上述结果的全部原因。该研究尚未经过同行评审。
研究合著者、美国华盛顿大学的生物学家Carl Bergstrom表示，研究结果反映出科学界存在一个有缺陷的激励机制，即优先考虑论文数量而非质量。他说，科学家被激励去大量发表论文，而LLM帮助他们达到这个不断增长的指标。“LLM本身很少是问题所在，它只是照出了我们已经存在的问题。”
为预测LLM将如何改变科学生产力，作者将研究过程划分为若干阶段。首先是发现阶段，科学家在此阶段集思广益提出假设，并进行初步实验，以评估一个项目的价值。接下来是包含两部分的开发阶段：一是必需工作，如制作图表和撰写论文草稿；二是可自由选择的开发工作，如进行后续实验和润色文字。
作者借鉴最优觅食理论中的方法，来分析科学家在将LLM融入工作后将如何重新分配他们的精力。作者的模型假设LLM以最佳状态运行——成本低、速度快且准确。最优觅食理论即分析动物如何在保存资源的同时最大化能量获取。
模型预测，LLM可以加速科学过程的所有阶段，但这种加速并不会带来论文质量的提升。更快的发现阶段和必需工作阶段意味着研究人员可以比没有LLM帮助时更快地产出论文，而出版压力也使得人们缺乏动力投入额外时间对论文进行润色。
未参与这项研究的美国芝加哥大学的数据科学家和社会学家James Evans表示，已有证据支持预印本中所描述的情景。作为两本期刊的编辑，他注意的投稿数量增加了9倍，其中超过90%是所谓的“AI生成的垃圾”。
但Evans也认为，LLM对科学并非完全有害，它们能够促进不同领域之间的对话，并为发现开辟新的可能性。
其他研究人员也看到了使用LLM的好处。加拿大多伦多大学的经济学家Joshua Gans表示，这些工具使能提高人们的生产效率。他指出，LLM只是研究人员可以选择使用或不使用的工具。尽管外界压力要求研究人员快速发表论文，但他们仍保留了对项目进行细化调整的选择。他补充说，减少工作细节的打磨，对于提高科学产出而言，可能是一种值得的权衡。
Bergstrom表示，随着LLM的出现，科学的激励机制需要改变。他认为，衡量科研人员成就的标准不应是他们发表的论文数量或论文被引用的次数，而应关注其最优秀的工作成果
“当有人申请终身教职时，我不在乎其简历有多长，我想看的是他们排名前五的论文。”Bergstrom说，“如果这是评价方式，那么科研人员就没有动力去大量炮制论文了。”
相关论文信息：https://doi.org/10.48550/arXiv.2607.17397