MASCAL:多智能体协作中引入校准置信度传递

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对多跳问答等需跨文档取证的任务,多智能体系统常由上游智能体产出中间答案与证据、下游智能体据此继续推理,但上游答案对错不一且缺少量化信号。论文提出 MASCAL,让每个智能体在强化学习中同时优化任务表现与置信度校准,学会为自身答案输出正确概率,并在交接时传给下游,使下游有量化依据判断是否采信或复核;最终答案同样附带校准概率。训练阶段引入置信度感知加权,提高对上游概率敏感位置的学习权重。在三种协作架构与 Web 检索推理任务上,该方法提升了双方准确率与校准质量,并可扩展到更长协作链与不同模型规模。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题出在交接环节

多跳问答这类任务需要从多份文档中收集证据并跨文档推理,多智能体系统通常把工作拆给专门化的智能体:上游产出中间答案和支撑证据,下游在此基础上继续推进。问题在于上游答案的正确程度参差不齐,而多数系统并不提供关于正确性的量化信号,下游只能凭文本证据自行判断该不该信任或复核收到的内容。这种信息缺失让错误容易沿链条向下传播,也让系统整体输出的可靠性难以被外部量化。

把置信度学进智能体

MASCAL 的做法是让每个智能体学会为自己的答案给出一个正确概率。训练时把任务表现与置信度校准放在同一个强化学习目标里联合优化,使概率既反映真实正确率、又具备可用的校准性质。上游智能体在交接时把这个概率一并传出,下游因此获得一个数值化的判断依据,而不只是阅读文本证据。链条末端的最终答案同样携带校准后的概率,相当于为整个系统输出附上一个可靠性刻度。

让下游学会用这个信号

仅有信号还不够,下游需要学会在决策中真正使用它。论文提出置信度感知加权:在训练中提高那些对上游概率作出响应的位置的学习权重,使智能体更多地从主动使用该信号的决策中学习。这样下游不是被动接收一个数字,而是在训练中被引导去区分何时该直接采信、何时该回头核查。

实验与可迁移性

实验覆盖三种协作架构以及 Web 检索与推理任务,结果显示上下游智能体的任务准确率与校准质量都有改善,并且方法能泛化到更深的协作链和不同的模型规模。干预分析进一步确认上游置信度确实改变了下游的决策行为,而学到的最终置信度可支撑选择性回答与定向复查——即在高置信时直接作答、在低置信时针对性地重新核查。论文以 arXiv 预印本形式发布,作者共十二人。

为什么值得看

多智能体系统里下游如何判断上游答案可信,一直是工程落地的痛点;给出可传递的校准概率是可直接借鉴的设计。

智能体强化学习量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源Learning Calibrated Confidence for Multi-Agent Collaboration

关键事实

  • 论文提出 MASCAL,让每个智能体在强化学习中联合优化任务表现与置信度校准,输出答案正确概率[1]

  • 上游智能体在交接时传递该概率,下游据此决定是否信任或复核[1]

  • 训练中引入置信度感知加权,提高对上游概率敏感位置的学习权重[1]

  • 在三种协作架构、Web 检索与推理任务上,任务准确率与校准质量均有提升,并可泛化到更深协作链与不同模型规模[1]

  • 干预分析显示上游置信度会影响下游决策行为,最终置信度可用于选择性回答与定向复查[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。