BLADE:免训练框架审计多智能体信息使用以定位失败责任

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

多智能体协作让失败更难诊断,一个智能体可能误读正确结果,其他智能体继续传递错误。已有方法追踪依赖关系,但知道信息来自哪里不等于知道哪里出错。BLADE(Blame Localization via Audited Dependency Evidence)是一个免训练框架,借助 Jev 做结构化概率判断,用依赖概率选出相关的源决策交接点,检查接收决策是否忠实且符合任务要求地使用来源,从而区分错误引入、传播与修复,并形成考虑全部执行步骤的全局诊断。在五个 Who&When 与 Who&When Pro 子集的 1,228 次失败运行上,无需参考答案,BLADE 在共享 Jev 决策接口下于八种策略中取得最佳或并列最佳的步骤准确率,比 All-at-once 高出 2.2 至 11.1 个百分点。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

多智能体失败归因的难点

大语言模型多智能体系统通过专门角色、工具与工作流之间的协作扩展单个智能体的能力,但协作也让失败更难诊断:一个智能体可能误读正确结果,其他智能体则把错误继续传递下去。失败归因的目标是找出应负责的智能体以及决定性的错误步骤。近期方法会追踪依赖关系,但论文指出,知道信息来自哪里与知道哪里出错并不是一回事。这一区分构成了 BLADE 的出发点:与其只追踪信息流向,不如审计信息在交接点是否被正确使用。

BLADE 的审计机制

BLADE 全称 Blame Localization via Audited Dependency Evidence,是一个免训练框架。它借助 Jev 进行结构化概率判断,利用依赖概率挑选出相关的源决策交接点,再在这些交接点上检查接收决策是否忠实于来源、是否在任务要求范围内使用来源。通过这种检查,框架能够区分三类情况:错误被引入、错误被传播、错误被修复。这些局部发现随后汇入一个全局诊断,该诊断会考虑全部执行步骤,而不是只看单个环节。

评测结果与表现

论文在五个 Who&When 与 Who&When Pro 子集上开展评测,共涉及 1,228 次失败运行。在共享的 Jev 决策接口下,BLADE 与另外八种策略进行比较,在不需要参考答案的条件下取得最佳或并列最佳的步骤准确率,相比 All-at-once 高出 2.2 至 11.1 个百分点。论文共 16 页,含 6 张图与 3 张表,作者为 Xiaoguang Guo、Yaohao Long、Chuxu Zhang,提交于 2026 年 10 月 13 日,编号 arXiv:2610.18780。

对智能体系统的意义

论文认为,把责任证据显式化,有助于构建更可解释、更可靠的智能体系统。对从业者而言,这意味着在多智能体流程出错时,除了知道哪个环节传递了错误信息,还能获得关于该环节是否忠实使用来源的判断依据,从而区分是引入错误、放大错误还是修复错误。该框架免训练的特性也降低了在已有系统上做失败审计的门槛,但其评测范围限于 Who&When 系列子集,适用边界仍需结合具体任务判断。

为什么值得看

多智能体失败归因长期缺乏可解释证据,该工作把责任定位从追踪信息转向审计信息使用,并给出可复现的评测结果。

智能体

信源1 家

  1. [1]arXiv cs.AI一手信源BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems

关键事实

  • BLADE 是一个免训练框架,使用 Jev 进行结构化概率判断,通过依赖概率选择相关的源决策交接点进行审计。[1]

  • BLADE 在交接点检查接收决策是否忠实且符合任务要求地使用来源,区分错误引入、传播与修复。[1]

  • 在五个 Who&When 与 Who&When Pro 子集的 1,228 次失败运行上,BLADE 在八种策略中取得最佳或并列最佳的步骤准确率。[1]

  • BLADE 无需参考答案,比 All-at-once 高出 2.2 至 11.1 个百分点。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。