新研究提出RIAG多智能体策略解决动态任务路由问题

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

传统推理协议无法测试智能体在事件流修订任务绑定时的更新传播与历史重构能力。为此,研究提出动态任务路由设定,并将MMLU等6个基准改造为含37万多个时序查询的3万多个动态片段。该设定下,每次事件后重算浪费算力,不加防护复用则产生过期结论。新提出的RIAG策略将确定性时间解析与任务推理分离,按不可变文档身份缓存结果,每个新任务初始给两次未暴露尝试,视情况调用审计与修复,每文档版本最多调用4次。同构RIAG以0.62次/查询的调用率取得54.24%的联合准确率,最强对比方法在18.00次/查询下仅达32.22%;异构RIAG在0.63次/查询下达49.78%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把静态基准改成动态任务

这项研究关注的是动态任务路由:事件流会不断改写任务绑定,系统在回答每个查询之前,必须先判断该时刻哪一版文档是有效的。作者没有另建数据集,而是把 MMLU、MMLU-Pro、MedMCQA、MATH、GPQA 与 HumanEval 这六个常用基准改造成动态片段,共形成三万一千余个动态片段,其中按时间归类的查询超过三十七万条。这样一来,评测对象就不再是固定题目,而变成智能体能否把相关更新传递下去、能否保住未受影响的既有工作、能否重建历史上某一时刻的任务绑定。

重算与复用之间的取舍

这种设定暴露出一个核心矛盾:每当事件到来就从头重算,会浪费大量已经完成的工作;而毫无约束地复用旧结果,又会把已经过时的结论当成有效答案返回。论文把这一矛盾作为动态推理要解决的中心问题提出,并据此设计策略,而不是单纯追求单题正确率。

RIAG 的分层与调用上限

作者提出的方案叫 Revision-Aware Independent Agent Graph,即修订感知的独立智能体图,它是一种有边界的多智能体策略,把确定性的时间解析与任务推理拆开处理。具体做法上,RIAG 按不可变的文档身份缓存解答;每个新任务先给两次不对外暴露的尝试机会;再视情况触发审计与修复,并且对每一版文档最多只发起四次调用。这样既限制了开销,也保留了在必要时纠正错误结论的通道。

同构与异构两种配置

论文给出了同构与异构两种 RIAG 配置的实测表现。同构版本在这批动态片段上取得五成多的联合路由与作答准确率,平均每个查询约零点六二次调用;作为对比,表现最强的对照方法准确率约三成,而每个查询的调用次数高达十八次。异构版本的成绩略低,约为四成九,调用量则与同构版本接近,维持在零点六三次左右。这说明把时间解析与推理分离、并对调用次数设上限,可以在大幅压低调用量的同时提升联合准确率。

为什么值得看

以极低调用率实现动态推理准确率大幅提升,为事件流驱动的多智能体系统提供高效缓存与修复新范式。

智能体算力

信源1 家

  1. [1]arXiv cs.AI一手信源Revision-Aware Independent Agent Graphs for Dynamic Reasoning

关键事实

  • 研究将MMLU、MMLU-Pro、MedMCQA、MATH、GPQA和HumanEval六个基准改造为31119个动态片段,包含373428个时序查询。[1]

  • 同构RIAG在0.62次/查询的调用率下达到54.24%的联合路由与回答准确率,而最强对比方法在18.00次/查询下仅为32.22%。[1]

  • 异构RIAG在0.63次/查询的调用率下达到49.78%的联合准确率。[1]

  • RIAG策略将确定性时间解析与任务推理分离,按不可变文档身份缓存,每个新任务初始两次未暴露尝试,每文档版本最多调用4次。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。