IdeaLens:检测长文本创意来源而非文字作者的新工具

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

现有AI检测器多判断文字谁写,而新兴AI使用政策更关注创意谁出。IdeaLens专攻创意溯源,将文档转为由语篇角色与内容简述构成的提纲,剥离表层措辞。其基于100万条FineWeb文档及Pangram检测器的银标签训练。测试中,当模型依详尽人类提纲生成时,其AI标记率从95%降至7%,而Pangram 4仍高达92%;对人类按AI提纲写出的50个故事,其标记68%为AI,Pangram 4仅8%。在19项既有基准上,其保持高检出与低误报,跨领域与语言均稳健。团队已公开模型与数据。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把文档转成大纲再判断

IdeaLens 的做法是不直接看文章的字句,而是先把一篇文档改写成大纲。大纲由若干条目组成,每个条目包含一个话语角色,以及对该条内容的一段简短改写描述。经过这样的转换,大纲与原始文本在词语层面的重合被压到很低,模型能利用的表面线索随之减少。研究团队用 100 万篇 FineWeb 文档来训练它,标签来自散文来源检测器 Pangram 给出的银标签。由于大纲里几乎不剩措辞信息,这些标签只能主要靠想法本身去拟合。作者把这一思路概括为判断想法的来源,而不是判断文字由谁写出,并称其为 idea provenance。论文共 53 页,其中正文 9 页,含 7 张图、50 张表,代码、模型与数据以及演示均已公开。

人写计划时误报大幅下降

在一项受控实验中,随着模型依据越来越详细的人类计划来写作,IdeaLens 判定为 AI 的比例从 95% 降到 7%;同一条件下 Pangram 4 仍然给出 92% 的 AI 标记。反过来,当计划本身由 AI 生成时,IdeaLens 的标记率保持在 96% 以上。另一组新数据集包含 50 篇故事,它们由人类作者依据 AI 生成的计划写成,IdeaLens 把其中 68% 标为 AI,而 Pangram 4 只标了 8%。这两组结果指向同一件事:文字由谁落笔与想法由谁提出可以分离,而 IdeaLens 追踪的是后者。对读者而言,这意味着仅凭文风或措辞的检测手段,在人类按 AI 计划写作、或 AI 按人类计划写作的场景下,可能给出与想法来源相反的方向。

跨领域表现与公开资源

研究者在 19 个已有检测基准组成的测试集上评估 IdeaLens,结果显示在较低的误报率下它仍能维持较强的检出能力,作者据此认为想法本身提供了有区分度的信号,并且这种表现在不同领域、格式和语言之间都能保持。团队还查看了 IdeaLens 给出的 9 万条预测,用来刻画人类构思与 AI 构思之间系统性的差异。需要留意的是适用范围与限制:训练所用的标签并非人工逐条标注,而是来自 Pangram 的银标签,因此模型学到的是与该检测器一致的判断;大纲这一中间表示在剥离措辞的同时,也可能丢掉部分与想法相关的细节。模型、带标签数据集、代码与演示均已发布,供后续关于想法来源检测的研究使用。

为什么值得看

从检测“谁写的字”转向“谁出的主意”,直击AI辅助创作政策核心争议,为判定人机协作边界提供新度量。

信源1 家

  1. [1]arXiv cs.AI一手信源IdeaLens: Detecting AI Ideas in Long-form Writing

关键事实

  • IdeaLens将文档表示为提纲形式,剥离表层文字信息以聚焦创意溯源。[1]

  • 模型基于100万条FineWeb文档及Pangram检测器的银标签进行训练。[1]

  • 当模型依详尽人类提纲生成时,IdeaLens的AI标记率从95%降至7%,而Pangram 4仍为92%。[1]

  • 对人类按AI提纲写出的50个故事,IdeaLens标记68%为AI,Pangram 4仅8%。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。