研究用维基百科游戏评测语言模型信息检索能力
论文AI 评分 66/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一项研究把维基百科游戏当作信息检索任务，测试语言模型在只能通过文章链接跳转的情况下能否抵达目标条目。研究比较了句向量模型与大语言模型，覆盖五种维基百科语言和五个学术文献数据集，并用 OpenAlex 构建了维基百科页面与论文引用的本地大图，附带构建与导航代码，从而不依赖第三方 API。模型与人类及 TF-IDF 基准对比，没有任何模型显著超过人类，表现最好的 GPT-o3 mini、GPT-4o、QwQ:32B 与 DeepSeek-R1:70B 成功率与人类相当。成绩与排名随语言和主题变化。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把检索任务变成游戏
论文关注的是文档集合大到无法建索引时，语言模型如何支持或自动完成信息检索。作者选择维基百科游戏作为这类任务的类比：参与者只能沿着文章之间的链接前进，最终到达指定目标条目。这种设定把检索过程压缩成一系列跳转决策，便于在受控条件下观察模型的导航能力。研究同时指出，当任务需要专业语言或科学知识时，这类检索会变得困难，因此评测覆盖了不同语言与不同学科领域。
本地图与多语言多领域对比
为摆脱对第三方接口的依赖，作者用 OpenAlex 构建了规模很大的本地图，分别对应维基百科页面和论文引用关系，并公开了构建与导航这些图的代码。评测对象包括句向量模型和大语言模型，横跨五种维基百科语言与五个学术文献数据集，同时引入人类和 TF-IDF 作为基准。作者认为，维基百科游戏这一形式能够在技术、语言和领域之间做较为稳健的比较。
模型与人类打平
结果显示，没有任何模型显著优于人类，但表现最好的几个模型成功率与人类相当，包括 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B。模型的表现与排名会随语言和主题发生变化，作者认为这对使用这类技术的从业者有参考意义。论文共 64 页，其中正文 14 页，另有参考文献和 16 个附录，含 17 张图与 10 张表。
为什么值得看
想知道语言模型做链接式检索到底行不行、在哪些语言和领域会掉链子，这篇给出了可复现的对比框架。
DeepSeekGPTAPI论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。