使用大语言模型的科学家可能“产出更多，质量更差”
本报讯 一项近日公布于预印本平台arXiv的建模研究显示，科学家借助大语言模型（LLM）开展研究时，会减少打磨成果的时间，转而更快投入到新的项目中。
研究指出，使用LLM将使科学家“产出更多但质量更差，而非产出更多但质量更好”。不过，这种人工智能（AI）工具并不是造成该结果的全部原因。
论文合著者、美国华盛顿大学的生物学家Carl Bergstrom表示，研究结论反映出科学界存在一个有缺陷的激励机制——评价体系优先考虑论文数量，而非研究质量。他说，现行机制倒逼科学家大量发表论文，而LLM恰好能帮助他们达成这个不断增长的指标。“LLM本身并不是问题所在，它只是一面镜子，照出我们已经存在的问题。”
为预测LLM如何改变科学生产力，作者将研究过程划分为若干阶段。首先是发现阶段，科学家在此阶段集思广益、提出假设，并进行初步实验，以评估一个项目的价值。接下来是包含两部分的开发阶段：一是必要的工作，如制作图表、撰写论文初稿；二是弹性开发工作，如进行后续实验、润色论文等。
作者借鉴最优觅食理论中的方法，分析了科学家引入LLM后将如何重新分配科研精力。模型假设LLM以最佳状态运行——成本低、速度快且准确。最优觅食理论分析了动物如何在保存资源的同时使能量获取最大化。
模型预测，LLM可以加速科研全流程，但这种加速并不会提升论文的质量。更快的发现阶段和必要工作阶段意味着研究人员可以比没有LLM帮助时更快地产出论文，而出版压力也使得他们缺乏动力投入额外的时间对论文进行润色。
美国芝加哥大学的数据科学家和社会学家James Evans表示，现有证据印证了该预印本中所描述的情景。作为两本期刊的编辑，他注意到，相比过去，目前论文投稿数量大幅增加，但其中超过90%都是所谓的“AI生成的垃圾”。
但Evans同时认为，LLM对科学并非完全有害。这类工具能够促进不同领域之间的对话，并为科研发现创造新的可能性。
其他研究人员也认可使用LLM的好处。加拿大多伦多大学的经济学家Joshua Gans表示，这些工具提高了生产效率。他指出，LLM只是研究人员的工具。即便面临快速发表论文的压力，但科研人员仍保留了对项目进行细化调整的选择权。他补充说，减少对工作细节的打磨，对于提高科学产出而言，可能是值得的。
Bergstrom表示，随着LLM的出现，科学界亟须改变当前的激励机制。他认为，衡量科研人员学术成就的标准不应是论文数量或论文被引用次数，而应是其最优秀的工作成果。
“当有人申请终身教职时，我不在乎简历有多长，我只看他最出色的5篇论文。”Bergstrom说，“如果学界采用这种评价方式，那么科研人员就没有动力去大量炮制论文了。”
（李木子）
相关论文信息：
https://doi.org/10.48550/arXiv.2607.17397