MASCAL:多智能体协作中引入校准置信度传递
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载问题出在交接环节
多跳问答这类任务需要从多份文档中收集证据并跨文档推理,多智能体系统通常把工作拆给专门化的智能体:上游产出中间答案和支撑证据,下游在此基础上继续推进。问题在于上游答案的正确程度参差不齐,而多数系统并不提供关于正确性的量化信号,下游只能凭文本证据自行判断该不该信任或复核收到的内容。这种信息缺失让错误容易沿链条向下传播,也让系统整体输出的可靠性难以被外部量化。
把置信度学进智能体
MASCAL 的做法是让每个智能体学会为自己的答案给出一个正确概率。训练时把任务表现与置信度校准放在同一个强化学习目标里联合优化,使概率既反映真实正确率、又具备可用的校准性质。上游智能体在交接时把这个概率一并传出,下游因此获得一个数值化的判断依据,而不只是阅读文本证据。链条末端的最终答案同样携带校准后的概率,相当于为整个系统输出附上一个可靠性刻度。
让下游学会用这个信号
仅有信号还不够,下游需要学会在决策中真正使用它。论文提出置信度感知加权:在训练中提高那些对上游概率作出响应的位置的学习权重,使智能体更多地从主动使用该信号的决策中学习。这样下游不是被动接收一个数字,而是在训练中被引导去区分何时该直接采信、何时该回头核查。
实验与可迁移性
实验覆盖三种协作架构以及 Web 检索与推理任务,结果显示上下游智能体的任务准确率与校准质量都有改善,并且方法能泛化到更深的协作链和不同的模型规模。干预分析进一步确认上游置信度确实改变了下游的决策行为,而学到的最终置信度可支撑选择性回答与定向复查——即在高置信时直接作答、在低置信时针对性地重新核查。论文以 arXiv 预印本形式发布,作者共十二人。
为什么值得看
多智能体系统里下游如何判断上游答案可信,一直是工程落地的痛点;给出可传递的校准概率是可直接借鉴的设计。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
