注册

论文：智能体决策模型更信任操作记录而非环境观察

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文研究智能体决策模型在动作静默失败时如何取舍信息：记录显示成功，环境却显示未生效。作者在 Android 屏幕轨迹、ALFWorld 和 WebShop 中构造配对状态，分别改变观察、记录动作与显式成功声明。在四个决策模型、三个领域的全部 12 种配置中，记录对是否继续执行的影响平均大于观察；在声称成功但实际失败的步骤之后，模型仍有 53% 到 100% 的情况继续停止、前进或购买。线性探针可从中间隐状态区分成功与失败步骤，AUROC 为 0.77 到 1.00。基于该信号提出的 EVIGATE 中间层否决机制不增加前向计算，带来 0.04% 到 2.0% 的服务延迟，在注入静默失败时把 ALFWorld 实机任务成功率提升 18.7 个百分点，WebShop 提升 5.0，手机模拟器提升 5.1。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

记录与环境冲突时

智能体决策模型通常在单次前向计算中选定动作，输入由环境观测和智能体自身对既往动作的记录共同构成。当某一步动作静默失败时，这两类来源可能给出相反信号：记录显示成功，环境却表明该步骤并未真正生效。论文要回答的问题正是，下一步决策究竟由哪一方主导。研究者在 Android 屏幕轨迹、ALFWorld 与 WebShop 三类场景中构造成对状态，分别独立改变观测、被记录的动作以及一条显式的成功声明，以此观察模型对哪一路信息更敏感。

记录压过观测

在四个决策模型与三个领域组合出的全部十二种配置里，记录对是否继续推进的决定所产生的平均影响都大于观测。面对声称成功但实际失败的步骤，模型仍然选择停止、前进或购买的比例落在材料给出的区间内。这说明模型倾向于采信日志中的成功声明，而不是环境反馈的实际结果，论文把这一现象称为 claim laundering。值得注意的是，相关证据在模型内部往往已有表征：对中间隐藏状态做线性探针，可以在留出的应用、任务与目标上区分成功与失败的步骤，激活修补则显示越靠后的层受记录影响越大。

中间层否决机制

基于上述信号，作者提出 EVIGATE，一种在中间层实施的否决机制。它不需要额外的前向计算，只带来很小的服务延迟开销。在注入静默失败的条件下，EVIGATE 让在线 ALFWorld 智能体的任务成功率提升 18.7 个百分点，WebShop 提升 5.0，手机模拟器提升 5.1；在 WebShop 与模拟器中，它还优于同等比例的随机否决。该机制的效果依赖有代表性的校准状态：用离线反事实状态校准出的门控，无法可靠迁移到在线智能体的真实轨迹上，这是它适用范围上的主要限制。

为什么值得看

揭示智能体把日志当真相的失效模式，并给出低开销的中间层纠正手段，对做 Agent 可靠性的人直接相关。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Claim Laundering: When Agent Decision Models Trust Records Over Reality

关键事实

  • 研究覆盖 Android 屏幕轨迹、ALFWorld、WebShop 三个领域，四个决策模型共 12 种配置[1]

  • 在声称成功但实际失败的步骤后，模型仍有 53% 到 100% 的情况继续停止、前进或购买[1]

  • 线性探针在留出的应用、任务与目标上区分成功与失败步骤，AUROC 为 0.77 到 1.00[1]

  • EVIGATE 不增加前向计算，服务延迟增加 0.04% 到 2.0%[1]

  • 注入静默失败时，EVIGATE 在 ALFWorld 实机提升 18.7 个百分点，WebShop 提升 5.0，手机模拟器提升 5.1[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论