研究:MCP 工具故障下,模型规模并未带来容错能力

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇被 NeurIPS 2026 接收的论文提出 MCP-Injector,这是一个协议感知的故障注入中间件,它拦截 MCP 工具调用路径,按永久、瞬时、间歇三种持续性和可复现的调度注入故障。故障模型依据 1774 个开源 MCP 仓库中 57240 条 issue 与 PR 讨论提炼的故障分布校准。在 1350 组实验中,研究者交叉测试 20B 与 120B 两种骨干、三种 agent 框架和三种注入条件,发现以永久故障为主的压力配置使任务完成分从 8.08 降至 3.23(满分 10),降幅约 60%;120B 在故障下保留的无故障得分比例并不高于 20B(p=0.96),完成率反而更低(91.1% 对 95.6%)。不同 agent 框架吸收故障的能力存在差异。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

故障注入怎么做的

现有 agent 基准默认外部工具会按时正确返回,工具失败下的鲁棒性缺少检验。作者给出的 MCP-Injector 是一个可直接接入的中间件,位于 MCP 工具调用链路上,按永久、瞬时、间歇三种持续性施加故障,并用可设种子的调度保证实验可复现。其故障分布并非凭空设定,而是从 1774 个开源 MCP 仓库的 57240 条 issue 与 pull-request 讨论中统计出的「故障模式 × 持续性」分布校准而来,因此注入的失败形态贴近公开生态里实际出现的问题。

规模没有换来容错

实验为 1350 组,交叉两种骨干规模(20B、120B)、三种 agent 实现(自研多轮 plan-and-execute、OpenAI Agents SDK、LangChain)与三种注入条件。在以永久故障为主的压力配置下,任务完成分从 8.08 跌到 3.23(满分 10),降幅约六成。更关键的是,对测试的两个 gpt-oss 骨干而言,规模并未带来容错:120B 在故障下保留的无故障得分比例不比 20B 更高(p=0.96),其故障下的完成率反而为 91.1%,低于 20B 的 95.6%,差值 4.4 个百分点,95% 置信区间为 [-0.2, 9.3]。

框架差异与评测启示

三种 agent 框架在吸收故障上的表现并不一致,作者据此认为框架层面的错误处理比模型规模更影响故障下的表现。结论指向一个评测缺口:只看能力基准会掩盖运行时的脆弱性,协议感知的故障注入应作为工具调用 agent 的补充评测维度。论文被 NeurIPS 2026 接收为 poster,正文 10 页,另附附录与 NeurIPS checklist,代码与数据已公开存档。

为什么值得看

工具调用 agent 的评测长期假设工具正常响应,这项工作给出可复用的故障注入方法与反直觉结论:换更大模型不等于更稳。

Agent 框架MCP论文

信源1 家

  1. [1]arXiv cs.AI一手信源Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance

关键事实

  • MCP-Injector 在 MCP 工具调用路径上注入永久、瞬时、间歇三类故障,调度可设种子复现[1]

  • 故障模型依据 1774 个开源 MCP 仓库的 57240 条 issue 与 PR 讨论校准[1]

  • 实验覆盖 20B 与 120B 两种骨干、三种 agent 框架、三种注入条件,共 1350 组[1]

  • 永久故障为主的压力下任务完成分从 8.08 降到 3.23(满分 10)[1]

  • 120B 在故障下的完成率为 91.1%,低于 20B 的 95.6%,规模未带来容错优势[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。