研究提出评估LLM智能体认知谦逊的ISE框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载认知谦逊如何被定义
论文关注一个具体场景：当检索到的证据与智能体原有信念相矛盾时，智能体会修正答案、承认不确定，还是坚持错误结论。作者认为，现有对智能体系统的评测主要看任务是否成功，难以反映智能体如何处理这类冲突。为此，论文提出评估智能体的认知谦逊，即智能体在任务执行过程中是否愿意识别、处理并表达不确定性，并将其操作化为Identify、Solve、Escalate三个轨迹级行为维度。这一框架把评测对象从最终答案扩展到整个执行轨迹。
两种冲突场景与对照设计
评测通过知识冲突来构造场景，即骨干语言模型的参数化知识与它遇到的证据相矛盾，或两个上下文来源彼此不一致。论文设置了两类冲突：一是受控冲突，二是多步智能体执行过程中自然发生的冲突。每一类冲突都配有匹配的无冲突对照组，以便对比智能体在有冲突与无冲突条件下的行为差异。评测覆盖四个智能体。
准确率与谦逊并不一致
结果显示，更高的任务准确率并不必然意味着更强的认知谦逊。部分高准确率配置能够在执行过程中识别出冲突，但在最终给出错误答案时，并没有把尚未解决的不确定性传达出来。轨迹层面的分析进一步表明，智能体经常在执行早期步骤就检测到冲突，却无法在后续步骤中维持或解决这些冲突。这说明冲突识别与冲突处理、表达之间存在断层。
干预的代价与来源
论文还测试了模型层面的干预，发现这类干预可以改善认知谦逊，但往往以牺牲任务准确率为代价。作者据此提出，认知谦逊并非单一模型属性，而是骨干模型、智能体框架与评测环境三者交互的产物。该论文已被EMNLP 2026接收。
为什么值得看
揭示准确率之外智能体处理知识冲突的行为盲区，为评测与改进提供新维度。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。