Maat:多智能体LLM工作流的无模型确定性治理层

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对LLM多智能体系统中单点错误易向下游传播的问题,Maat提出不依赖语言模型的运行时治理层,通过版本化工作流契约验证智能体间交接。在6个领域工作流(6-15个智能体,522次试验)的评估中,注入数据级缺陷并采用七项确定性评分标准。在可归因的配对试验中,5个工作流评分提升7.7%至29.1%(软件开发持平),模型调用成本降低17%至53%。但94次治理中止中有35次为验证器缺陷导致的误报(占37%),若将误报计入失败,6个场景中4个的治理组得分反低于未治理组。结果表明确定性交接验证对契约可表达缺陷有效,但验证器配置与中止归因本身仍需测试,且未证实具备通用正确性或幻觉检测能力。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

校验路径不含语言模型

Maat 是一个运行时的治理层,作用位置在智能体与智能体交接的环节。它的做法是把每一次交接拿去和一份带版本号的工作流契约比对,这份契约在文中也被称作 anchor。关键之处在于,整条校验与打分的路径里没有语言模型参与,判定结果由确定性规则给出,而不是由另一个模型来判断。作者提出的问题是:对于那些能够被契约表达出来的交接缺陷,是否可以用一个确定性的层来拦住,而不必依赖学习型或基于大模型的裁判——后者的裁决本身也是概率性的。论文给出的适用范围也写得很清楚:它针对的是契约可表达的缺陷,并不声称能检测幻觉,也不声称具备与具体模型无关的普适有效性。

六类工作流与注入缺陷

评估在六个受控的领域工作流中进行,每个工作流包含 6 到 15 个智能体,合计 522 次试验。试验方式是向数据层注入缺陷,再用一套确定性的七项检查评分表来打分。作者描述的多智能体系统可靠性问题很具体:某个智能体产生的错误会被下游智能体当作上下文接受,从而在整个工作流里扩散。Maat 要拦的就是这类在交接处可被契约识别的缺陷。论文标注的领域分类包括软件工程、人工智能与多智能体系统,篇幅为 16 页,含 6 张图与 6 张表,并附有基准测试链接与 CrewAI 集成演示链接。

审计推翻部分早期结论

版本 1 曾报告六个工作流全部取得提升。但发表后的审计发现,三个基准打分器把任何一次提前中止都算作成功阻止了一个缺陷。在配对试验中——即受治理的一侧要么完成、要么因可归因于已核实缺陷的发现而中止——评分表的变化在五个工作流中为正,在软件开发这一项上持平;当可归因的中止发生得较早时,模型调用成本下降。作者对所有 94 次受治理一侧的中止做了人工复核,发现其中 35 次是误报,占比 37%,成因是校验器自身的缺陷而非模型行为。若把这些中止计为失败的工作,受治理一侧在六个工作流中有四个的得分低于未受治理的一侧。结论是:校验器的配置与中止的归因本身也必须被测试。

为什么值得看

揭示多智能体系统确定性治理的收益与误报代价,指明验证器自身缺陷是当前方案的核心瓶颈。

智能体幻觉

信源1 家

  1. [1]arXiv cs.AI一手信源Maat: Independent Deterministic Contract-Based Governance for Multi-Agent LLM Workflows

关键事实

  • Maat是一个运行时治理层,通过版本化工作流契约验证智能体间交接,验证与评分路径不包含语言模型。[1]

  • 在6个领域工作流(6-15个智能体,522次试验)中评估,配对试验显示5个工作流评分提升7.7%至29.1%,模型调用成本降17%至53%。[1]

  • 94次治理中止中有35次为验证器缺陷导致的误报(37%),将误报计入失败时,治理组在6个场景中4个得分低于未治理组。[1]

  • 研究结论未证实该方案具备通用正确性、幻觉检测能力或与模型无关的有效性。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。