Maat:多智能体LLM工作流的无模型确定性治理层
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载校验路径不含语言模型
Maat 是一个运行时的治理层,作用位置在智能体与智能体交接的环节。它的做法是把每一次交接拿去和一份带版本号的工作流契约比对,这份契约在文中也被称作 anchor。关键之处在于,整条校验与打分的路径里没有语言模型参与,判定结果由确定性规则给出,而不是由另一个模型来判断。作者提出的问题是:对于那些能够被契约表达出来的交接缺陷,是否可以用一个确定性的层来拦住,而不必依赖学习型或基于大模型的裁判——后者的裁决本身也是概率性的。论文给出的适用范围也写得很清楚:它针对的是契约可表达的缺陷,并不声称能检测幻觉,也不声称具备与具体模型无关的普适有效性。
六类工作流与注入缺陷
评估在六个受控的领域工作流中进行,每个工作流包含 6 到 15 个智能体,合计 522 次试验。试验方式是向数据层注入缺陷,再用一套确定性的七项检查评分表来打分。作者描述的多智能体系统可靠性问题很具体:某个智能体产生的错误会被下游智能体当作上下文接受,从而在整个工作流里扩散。Maat 要拦的就是这类在交接处可被契约识别的缺陷。论文标注的领域分类包括软件工程、人工智能与多智能体系统,篇幅为 16 页,含 6 张图与 6 张表,并附有基准测试链接与 CrewAI 集成演示链接。
审计推翻部分早期结论
版本 1 曾报告六个工作流全部取得提升。但发表后的审计发现,三个基准打分器把任何一次提前中止都算作成功阻止了一个缺陷。在配对试验中——即受治理的一侧要么完成、要么因可归因于已核实缺陷的发现而中止——评分表的变化在五个工作流中为正,在软件开发这一项上持平;当可归因的中止发生得较早时,模型调用成本下降。作者对所有 94 次受治理一侧的中止做了人工复核,发现其中 35 次是误报,占比 37%,成因是校验器自身的缺陷而非模型行为。若把这些中止计为失败的工作,受治理一侧在六个工作流中有四个的得分低于未受治理的一侧。结论是:校验器的配置与中止的归因本身也必须被测试。
为什么值得看
揭示多智能体系统确定性治理的收益与误报代价,指明验证器自身缺陷是当前方案的核心瓶颈。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
