Trakkr 追踪 1285 条 AI 引用统计的溯源路径
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载问题怎么问的
研究通过各助手所属公司的 API 发起调用,统一开启联网搜索并把位置设为美国,每个助手回答 200 个需要给出具体数字的问题,措辞逐字一致。这 200 个问题分两部分:160 个是覆盖 16 个主题的日常问题,另外 40 个是研究方存疑的知名统计数据,两部分的结果分开报告。这样的设计让日常场景与高传播度的统计数字各自成组,便于观察两类问题在引用行为上是否有差别。
引用链怎么追
对每个答案,研究把其中出现的统计数字连同所引页面一并提取出来。随后对每个助手被引用的统计做随机抽样:ChatGPT 的全部纳入,其余每个助手最多取 300 条。对抽中的条目,核查者打开被引页面、在页面中找到该数字,再顺着页面自己标注的来源继续往上追,最多追五层;如果页面只提到来源名称而没有给出链接,则另行检索该来源。这样得到的是一条从答案数字到原始出处的路径,而不是只看答案有没有挂链接。
判定与复核
每条溯源链先由 AI 模型给出判定,再由一个更强的模型对其中 300 条重新判定,两者在结果上的一致率为 82%。在此基础上,研究随机抽取 150 条溯源链做人工核查,凡人工结论与模型结论不一致的,再做第三次核查。计分规则是:人工核查过的链按人工实际发现计入,其余链按模型判定背后人工核查所见的各类结果比例折算。研究说明,区间范围同时包含两个抽样环节带来的不确定性;各助手自身的比率只覆盖它自己的样本,而五助手合计比率按各助手引用的统计条数加权,因此反映的是用户实际看到的那些统计数字的构成。
为什么值得看
想知道 AI 回答里的数字究竟从哪来、经不经得起追溯,这份对引用链的逐层核查给出了可复核的方法与数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
