多语言多模态网页浏览智能体基准HyperBrowseComp发布
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载423道题覆盖13种语言
HyperBrowseComp 是一个面向网页浏览智能体的测试基准,由人工编写并经人工校验的 423 道题目构成,覆盖 13 种语言。出题者为母语者或对该语言有很高熟练度的人。题目被刻意设计得难度很高,每道题都指向一个简短、可在公开渠道核实的答案,但要找到这个答案,需要定位冷门证据、沿着多步线索链推进,或者查看视频、扫描文档、图像、地图这类形态差异很大的来源。为了把相对容易的题目剔除,出题方用无法联网的模型先做了一轮评估,凡是仅凭模型自身参数化知识就能答出的题目会被过滤掉,从而降低题目被记忆性知识直接解决的可能。
统一协议下横向比模型
在评测环节,研究者让若干模型在共同的智能体协议下运行,并分别使用模型提供方自带的搜索能力和一套共享的外部检索装置。这种安排把两类变量区分开来:一类是模型本身的推理与信息整合水平,另一类是检索通道的差异。为了让模型表现和所投入的检索努力有参照,研究者还抽取了部分题目做人工评测。这样一来,分数高低不只看最终答案对不对,也能对照人类在同样题目上需要多少步骤、查阅多少来源。基准的难点并不集中在语言翻译或图像识别单一环节,而在于要在开放网络上发现证据并把它们连接起来。
难点在证据发现与串联
该基准把难度来源明确归结为在开放网络上发现并连接证据,而不是单纯的知识问答。题目要求跨语言、跨证据形态持续检索,答案必须公开可验证且表述简短,这使评测更接近真实的信息搜寻任务。对使用浏览智能体的读者来说,这意味着单靠模型内部知识或一次搜索很难拿到高分,检索路径的规划、对异构来源的判读、以及多步线索的衔接都会直接影响结果。同时,由于题目经过无联网模型的过滤,参数化记忆带来的虚高分数被压低,评测结果更能反映智能体实际动手查找的能力。
为什么值得看
为跨语言、跨模态的开放网页持续信息检索提供高难度测试床,检验智能体发现与串联证据的极限能力。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
