登录

鉴别论文灵感来自AI还是人类,DeepMind科学家找到一种新方法


速读:在一项模拟人机协作写作的实验中,当AI根据人类提供的完整大纲写作时,IdeaLens将文章判定为AI的比例从94.9%降至6.8%; 训练IdeaLens的关键,则是用现有AI检测器提供的标签,训练一个只读取文章大纲的模型。 大纲按照文章内容出现的顺序,记录每部分承担的作用,以及其中表达的具体内容。 AI构思、人类写作,检测器能识别吗? 为了测试IdeaLens,研究团队设计了三组评测数据集IdeaShift、TwiceTold、IdeaShift-X,分别测试人类构思、AI写作,AI构思、人类写作,以及跨语言场景下的检测效果。
2026年10月15日 13:54

AI 正在进入论文写作的各个环节,学术出版机构也在逐步明确相关使用规范。

2026 年 8 月,全球学术出版商 Elsevier 更新了生成式 AI 使用政策,要求作者披露论文准备过程中 AI 工具的使用情况,并对最终内容负责;Springer Nature 的相关政策同样强调使用透明度和人工监督。

对于期刊而言,除了明确规则,还需要判断作者是否遵守了这些要求。Wiley 旗下的 Research Exchange 投稿筛查系统已引入机器生成内容检测工具,用于识别可能存在的未披露 AI 使用情况。不过,Wiley 明确提醒,检测工具存在误报风险,结果不应成为编辑作出决定的主要依据。

目前,现有的 AI 文本检测工具主要分析词语选择、句式结构等语言特征,判断文章是否由 AI 生成。但如果人类负责构思、AI 负责写作,或者 AI 提出想法、人类完成写作,仅凭文字特征就很难判断研究构思的来源。

近日,美国马里兰大学、Google DeepMind、加拿大西蒙弗雷泽大学等机构的研究人员在  arXiv  发布预印本论文 “IdeaLens: Detecting AI Ideas in Long-form Writing”,尝试解决这一问题。 研究团队开发了一套名为 IdeaLens 的检测系统,不再直接分析文章的语言风格,而是将文章转换为内容大纲,尝试判断其中的想法思路来自人类还是 AI。

在一项模拟人机协作写作的实验中,当 AI 根据人类提供的完整大纲写作时,IdeaLens 将文章判定为 AI 的比例从 94.9% 降至 6.8%;而当人类根据 AI 生成的故事大纲重新写作时,IdeaLens 将 68% 的文章判定为 AI,传统检测器 Pangram 4 的这一比例只有 8%。

AI 文本检测公司 Pangram 的首席执行官 Max Spero 在接受  Science  采访时评价,这是一种全新的检测器,其方法具有创新性,也代表了该领域的一项进展。

目前, 研究团队已公开了 IdeaLens 和对照模型 ProseLens 的训练数据及相关评测数据集,供其他研究人员进一步测试。 研究人员也强调,IdeaLens 给出的是模型预测,并不能直接证明某个想法究竟由谁提出。

不分析语言风格,而 是提取文 章大纲

传统 AI 文本检测工具主要判断文章的文字由谁写出。IdeaLens 关注的则是另一个问题:文章表达了什么观点、使用了哪些证据,以及内容是如何组织起来的。

研究团队将这两个维度分别称为文字来源(prose provenance)和思想来源(idea provenance)。前者关注文字由谁写出,后者关注文章中的观点、事件和组织方式来自谁的构思。

为此,研究人员没有让模型直接阅读完整文章, 而是先利用大语言模型提取内容大纲。 大纲按照文章内容出现的顺序,记录每部分承担的作用,以及其中表达的具体内容。

例如,一篇新闻评论可能依次包含事件背景、核心观点、事实证据和最终评价。系统会识别这些部分的作用,并用简短文字概括相应内容。学术文章则可以按照研究问题、方法、结果和结论等内容进行整理。

研究人员还会在训练阶段对提取的大纲进行改写,尽可能去除原文的措辞,同时保留观点和内容结构。这样,模型就不必主要依赖原文的用词和句式来判断来源。

图 | 看想法是谁出的,检测得准不准(来源:上述论文) 图 | 看想法是谁出的,检测得准不准(来源:上述论文) 训练 IdeaLens 的关键, 则是用现有 AI 检测器提供的标签,训练一个只读取文章大纲的模型。

研究团队从 FineWeb 网页文本语料中筛选了约 100 万篇不少于 500 词的英文长文本,涵盖新闻、小说、学术文章、博客等八种文体,并将其整理为 WildOutlines 数据集。

由于缺少大规模、经过核实的思想来源标注,研究人员先使用现有检测器 Pangram 3.3.2 判断文章由人类还是 AI 撰写,再将检测结果作为训练标签。被判断为人机混合写作的文章则被排除。

接下来,研究团队使用大语言模型批量提取文章大纲,并对其进行改写。完成数据处理后,他们以英伟达 Nemotron-3.5-Lightning-30B-A3B 为基础模型,采用 LoRA 方法进行一轮微调。训练时,模型读取经过处理的大纲及其对应的标签,学习判断内容更接近人类还是 AI 的构思。

约 100 万篇文章中,约 84.2 万篇用于训练,约 3 万篇用于验证,约 8 万篇人类文章用于校准检测阈值,另外约 5 万篇用于测试。

为了比较大纲与原文两种输入方式的效果,研究人员还训练了一个名为 ProseLens 的对照模型。两个模型使用相同的基础模型、训练文章和标签,主要区别在于: IdeaLens 阅读文章大纲,ProseLens 直接阅读原文。

AI 构思、人类写作,检测器能识别吗?

为了测试 IdeaLens,研究团队设计了三组评测数据集 IdeaShift、TwiceTold、IdeaShift-X,分别测试人类构思、AI 写作,AI 构思、人类写作,以及跨语言场景下的检测效果。

第一组是 IdeaShift, 模拟人类提出想法、AI 完成写作的过程。

研究人员选取了 500 篇文章,为每篇文章制作不同详细程度的写作提示,再让 AI 根据提示生成新文章。最初,AI 只能获得一个主题;随后,提示逐步增加文章观点、内容安排等信息,最终提供完整大纲,并要求 AI 严格按照大纲写作,不额外添加内容。

结果显示,当 AI 只获得简单主题时,IdeaLens 将 94.9% 的文章判定为 AI;当 AI 根据完整的人类大纲写作时,这一比例降至 6.8%。相比之下,ProseLens 和 Pangram 4 在最后一种情况下,仍分别将 86.5% 和 92.4% 的文章判定为 AI。

研究人员还让 AI 根据 AI 自己生成的大纲写作。无论大纲详细程度如何,IdeaLens 都将超过 96% 的文章判定为 AI 构思。

第二组是 TwiceTold, 测试 AI 提出想法、人类完成写作的情况。

研究团队先让 GPT-5.6 Sol 生成 50 篇约 500 词的故事,再提取故事大纲,交给 17 名计算机科学领域的研究生或教师重新写作。参与者只能看到大纲,不能阅读 AI 生成的原始故事,因此需要自行完成文字表达,但故事的主要情节和内容安排来自 AI。

在这 50 篇人类写作的故事中,IdeaLens 将 68% 判定为 AI;Pangram 4 的这一比例为 8%,ProseLens 则没有将任何一篇判定为 AI。作为对照,研究人员也检测了 AI 生成的原始故事,IdeaLens 识别出了其中的 96%,ProseLens 和 Pangram 4 则均识别出了全部故事。

对于 IdeaLens 未能识别的 16 篇人类重写故事,研究团队发现,其中 12 篇包含推想或奇幻元素。部分参与者在遵循原有大纲的同时,增加了新的事件或世界观细节。

主题:内容|人类|研究人员|文章判定为AI