研究:MCP 工具故障下,模型规模并未带来容错能力
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载故障注入怎么做的
现有 agent 基准默认外部工具会按时正确返回,工具失败下的鲁棒性缺少检验。作者给出的 MCP-Injector 是一个可直接接入的中间件,位于 MCP 工具调用链路上,按永久、瞬时、间歇三种持续性施加故障,并用可设种子的调度保证实验可复现。其故障分布并非凭空设定,而是从 1774 个开源 MCP 仓库的 57240 条 issue 与 pull-request 讨论中统计出的「故障模式 × 持续性」分布校准而来,因此注入的失败形态贴近公开生态里实际出现的问题。
规模没有换来容错
实验为 1350 组,交叉两种骨干规模(20B、120B)、三种 agent 实现(自研多轮 plan-and-execute、OpenAI Agents SDK、LangChain)与三种注入条件。在以永久故障为主的压力配置下,任务完成分从 8.08 跌到 3.23(满分 10),降幅约六成。更关键的是,对测试的两个 gpt-oss 骨干而言,规模并未带来容错:120B 在故障下保留的无故障得分比例不比 20B 更高(p=0.96),其故障下的完成率反而为 91.1%,低于 20B 的 95.6%,差值 4.4 个百分点,95% 置信区间为 [-0.2, 9.3]。
框架差异与评测启示
三种 agent 框架在吸收故障上的表现并不一致,作者据此认为框架层面的错误处理比模型规模更影响故障下的表现。结论指向一个评测缺口:只看能力基准会掩盖运行时的脆弱性,协议感知的故障注入应作为工具调用 agent 的补充评测维度。论文被 NeurIPS 2026 接收为 poster,正文 10 页,另附附录与 NeurIPS checklist,代码与数据已公开存档。
为什么值得看
工具调用 agent 的评测长期假设工具正常响应,这项工作给出可复用的故障注入方法与反直觉结论:换更大模型不等于更稳。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
