注册

RATED：用执行反馈重排工具检索，故障选择率降至2.9%

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

针对AI智能体调用外部工具时只重语义相关、忽略工具运行时可用性的问题，作者提出RATED检索框架：用冻结双编码器加对比微调做语义匹配，再用轻量上下文赌博机模块依据实时执行反馈对候选工具重排，从而在工具故障时快速适应、无需重新训练模型。作者同时发布EcoAgent基准，含5,172个真实工具和逾21万条查询-工具对。实验显示，在真实查询上MRR相对ToolLLM API检索器提升52.2%；在30%失败率的严重API中断场景下，故障选择率从86.2%降至2.9%，额外延迟不到1毫秒。论文被CIKM 2026接收，代码与数据集已公开。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

检索忽略运行时可用性

现有工具检索方法主要围绕语义相关性做优化，即判断用户查询与工具描述在语义上是否匹配，但基本不考虑工具在执行阶段是否真的可用。当外部API出现故障、限流或不可达时，语义上最匹配的工具未必是当下能成功调用的工具，这会让智能体的行为变得不可靠。RATED正是针对这一缺口提出的检索框架，目标是把语义匹配与动态可靠性结合起来。

双编码器加赌博机重排

RATED由两部分组成。第一部分是冻结的双编码器，通过对比微调完成语义匹配，负责从候选工具中召回语义相关的选项。第二部分是轻量的上下文赌博机模块，它根据实时执行反馈对候选工具重新排序，把执行中表现更可靠的候选推到前面。这种设计的关键在于适应运行时工具故障时不需要重新训练大模型，从而避免高昂的再训练成本。

EcoAgent基准与量化结果

作者构建了EcoAgent基准，包含5,172个真实世界工具以及超过21万条查询-工具对，用于离线检索和动态可靠性评估。实验结果显示，在真实查询上，RATED的MRR相对ToolLLM API检索器提升了52.2%。在失败率为30%的严重API中断场景下，故障选择率从86.2%下降到2.9%。同时，相比仅做编码的推理，额外延迟不到1毫秒。

可用性与发表信息

论文被CIKM 2026接收，代码和数据集均已公开，可供复现与后续研究使用。作者为Weiliang Chen与Song Liao，论文于2026年10月9日提交至arXiv，编号arXiv:2610.13889。

为什么值得看

工具调用失败是智能体落地的常见痛点，这里给出了不重训模型、延迟低于1毫秒的可靠性重排方案，并附公开基准。

智能体微调API论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

关键事实

  • RATED由冻结双编码器对比微调做语义匹配，加上轻量上下文赌博机模块按实时执行反馈重排候选工具[1]

  • EcoAgent基准包含5,172个真实工具和超过21万条查询-工具对[1]

  • 真实查询上MRR相对ToolLLM API检索器提升52.2%[1]

  • 30%失败率的严重API中断场景下，故障选择率从86.2%降到2.9%[1]

  • 额外延迟不到1毫秒，论文被CIKM 2026接收，代码与数据集已公开[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论