多语言多模态网页浏览智能体基准HyperBrowseComp发布

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

HyperBrowseComp是一个针对网页浏览智能体的压力测试基准,包含423个经人工编写与验证的极难问题,覆盖13种语言。每个问题需定位冷门证据、追踪多步线索或检查视频、扫描件、图片与地图等异构源才能找到可验证答案。为防模型仅靠参数知识作答,已用无网模型过滤掉简单题。研究在通用智能体协议下,用原生搜索与共享外部检索评估多个模型,并辅以人工评测以标定性能与努力程度。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

423道题覆盖13种语言

HyperBrowseComp 是一个面向网页浏览智能体的测试基准,由人工编写并经人工校验的 423 道题目构成,覆盖 13 种语言。出题者为母语者或对该语言有很高熟练度的人。题目被刻意设计得难度很高,每道题都指向一个简短、可在公开渠道核实的答案,但要找到这个答案,需要定位冷门证据、沿着多步线索链推进,或者查看视频、扫描文档、图像、地图这类形态差异很大的来源。为了把相对容易的题目剔除,出题方用无法联网的模型先做了一轮评估,凡是仅凭模型自身参数化知识就能答出的题目会被过滤掉,从而降低题目被记忆性知识直接解决的可能。

统一协议下横向比模型

在评测环节,研究者让若干模型在共同的智能体协议下运行,并分别使用模型提供方自带的搜索能力和一套共享的外部检索装置。这种安排把两类变量区分开来:一类是模型本身的推理与信息整合水平,另一类是检索通道的差异。为了让模型表现和所投入的检索努力有参照,研究者还抽取了部分题目做人工评测。这样一来,分数高低不只看最终答案对不对,也能对照人类在同样题目上需要多少步骤、查阅多少来源。基准的难点并不集中在语言翻译或图像识别单一环节,而在于要在开放网络上发现证据并把它们连接起来。

难点在证据发现与串联

该基准把难度来源明确归结为在开放网络上发现并连接证据,而不是单纯的知识问答。题目要求跨语言、跨证据形态持续检索,答案必须公开可验证且表述简短,这使评测更接近真实的信息搜寻任务。对使用浏览智能体的读者来说,这意味着单靠模型内部知识或一次搜索很难拿到高分,检索路径的规划、对异构来源的判读、以及多步线索的衔接都会直接影响结果。同时,由于题目经过无联网模型的过滤,参数化记忆带来的虚高分数被压低,评测结果更能反映智能体实际动手查找的能力。

为什么值得看

为跨语言、跨模态的开放网页持续信息检索提供高难度测试床,检验智能体发现与串联证据的极限能力。

多模态智能体

信源1 家

  1. [1]arXiv cs.AI一手信源HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

关键事实

  • HyperBrowseComp基准包含423个人工编写与验证的问题,覆盖13种语言[1]

  • 问题设计极具挑战,需定位冷门证据、追踪多步线索或检查视频、扫描件、图片、地图等异构源[1]

  • 通过无互联网访问的模型评估来过滤简单问题,降低仅靠参数知识作答的可能性[1]

  • 在通用智能体协议下,使用原生搜索和共享外部检索工具评估多个模型,并进行人工评测[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。