新框架CRG实现大模型智能体单轨迹置信度估算
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对大模型智能体在关键领域输出可信度难衡量的问题，研究者提出推理时框架CRG。它无需特权模型访问权限或训练数据，仅从单次执行轨迹估算任务完成概率。该框架将任务完成声明拆解为基于轨迹证据的子声明，分别估算后聚合为整体置信度。在三个智能体基准、三种骨干模型与框架下，CRG校准置信度及风险决策能力优于言语化、采样及白盒代理基线。消融实验表明改进源于声明级估算与聚合。CRG还公开支撑置信度的声明与证据，支持决策时审计。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载智能体置信度估算痛点
在关键领域部署大模型智能体时，判断是否信任其输出或需人工干预，依赖于对智能体成功率的校准置信度。然而智能体的成功证据分散在异构且相互依赖的执行步骤中，估算极难。实际部署还面临前沿大模型内部信号访问受限、智能体推演成本高昂以及训练数据缺失或易过时等挑战。
CRG框架核心运作机制
为解决上述难题，研究者提出推理时框架CRG。该框架不将执行过程压缩为单一整体判断，而是从智能体完成任务的声明出发，将其拆解为基于轨迹证据的具体子声明，对末端声明分别估算置信度，最终聚合为整体估算。此过程无需特权模型访问权限与训练数据，仅依赖单次执行轨迹。
实验表现与可审计性
跨三个智能体基准、三种骨干模型及三种智能体框架的测试表明，CRG在校准置信度与风险感知决策上优于言语化、采样及白盒代理基线。研究还发现仅看校准误差具误导性，某白盒代理基线看似校准良好但判别力近于随机。消融实验证实CRG的改进源于声明级估算与聚合。此外，CRG公开支撑估算的声明与证据，使置信度在决策时可被审计。
为什么值得看
无需训练数据与模型内部权限即可审计智能体置信度，解决关键领域部署信任难题。
大模型智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。