AdaExploreBench 基准发布：考察 LLM 智能体主动探索与测试时…
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究者提出 AdaExploreBench，用于评测 LLM 智能体在陌生且持续变化的环境中主动探索、推断隐藏规则并适应规则漂移的能力。该基准把环境动态设定为隐藏规则，要求智能体主动获取证据并推断规则；在隐式规则漂移下，规则在无提示的情况下改变，智能体需从性能下降中察觉旧知识失效并重新探索。在八个主流 LLM 上的实验显示，GPT-6 Sol 的校准准确率仅为 61.9%；当提供充分证据或移除规则漂移后，平均表现提升接近 10%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准要测什么
现有评测很少考察智能体能否主动弄清环境运作方式、并在环境变化后调整。AdaExploreBench 把环境动态写成隐藏规则，智能体必须自己收集证据再推断规则，而不是被动接收说明。这使评测重点从「拿到信息后能否推理」转向「能否主动找到正确信息」。
规则漂移的设计
基准设置了隐式规则漂移：潜在规则在没有任何提示的情况下改变，智能体只能从自身表现变差察觉先前知识已过期，并重新探索。这一设定对应真实部署中环境悄然变化、旧经验失效的情形，考察的是智能体对自身知识有效性的判断。
八模型实验结果
在八个领先 LLM 上的实验表明，主动且自适应的探索仍很困难：GPT-6 Sol 的校准准确率只有 61.9%。作为对照，当提供足够证据或去掉规则漂移后，平均表现提升接近 10%。结果指向一个瓶颈：模型在有可用证据时往往能有效推理，但主动获取恰当证据、并识别已获证据不再有效，仍是弱项。
为什么值得看
想知道当前智能体在动态环境中的真实短板，以及评测如何设计，可看这篇。
GPT智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。