QREF：通过查询精炼与证据过滤提升 DeepSearch 智能体
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究提出 QREF，一个可插拔的查询精炼器与证据过滤器。查询精炼器依据当前推理意图改写搜索查询，并保证每批搜索的互补覆盖；证据过滤器保留与当前搜索批次及推理目标相关的证据，减少干扰性检索结果。查询精炼器先经监督微调初始化，再基于与真实网络搜索环境的交互用强化学习优化，以减少无效查询。在四个基准上，该方法在不改动架构、不重训推理策略的前提下，使 WebSailor 的 Pass@1 平均相对提升 33.55%，TongyiDeepResearch 提升 11.04%；相比原始骨干，经强化学习训练的精炼器将缺乏判别性检索锚点的查询批次比例降低 95%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
DeepSearch 类智能体依靠多轮搜索与推理完成复杂信息查找任务，但论文指出它们常发出意图不一致、约束不足或重复的搜索查询。这类查询会带来两个后果：证据覆盖不足，以及检索噪声不断累积。QREF 的定位正是针对这两个环节，且被设计为可插拔组件，不需要改动智能体原有架构。
两个组件的分工
QREF 包含查询精炼器与证据过滤器。查询精炼器按当前推理意图重写搜索查询，同时确保同一批搜索之间形成互补覆盖，而不是彼此重复；证据过滤器则保留与当前搜索批次和推理目标都相关的证据，把分散注意力的检索结果剔除。两者一个作用在查询发出前，一个作用在结果返回后。
训练方式
查询精炼器先用监督微调做初始化，随后在与真实网络搜索环境的交互中通过强化学习继续优化，目标是减少无效查询。论文称，相比仅用监督微调训练的精炼器，强化学习版本还降低了基于过滤器的无效查询比例。
量化结果
在四个具有挑战性的基准上，QREF 提升了 DeepSearch 智能体的表现：WebSailor 的 Pass@1 平均相对提升 33.55%，TongyiDeepResearch 提升 11.04%，且未修改架构、未重训其推理策略。与不带 QREF 的原始 DeepSearch 骨干相比，经强化学习训练的精炼器把缺乏判别性检索锚点的查询批次比例降低了 95%。
为什么值得看
不改架构、不重训推理策略即可插拔提升 DeepSearch 智能体检索质量，附四个基准的量化增益。
智能体微调强化学习
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。