研究评估 LLM 解释与行为的一致性
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载解释一致性的评估框架
该研究针对 LLM 在智能体工作流中提供的解释进行评估，这些解释通常包含影响决策的命名因素。操作员依赖这些因素来监控系统、诊断错误或决定是否升级输出。研究假设解释应与组件的可观察决策行为一致，并据此提出了两种解释定义：“必要性”指改变该因素会改变输出，“充分性”指保留该因素并移除其他可变信息能维持输出。通过控制黑盒干预，研究测量了改变因素时输出变化的频率以计算必要性评分，以及保留因素时输出维持的频率以计算充分性评分。
多模型实验结果分析
实验在推荐顾问和判断提示词有害性或风险两个合成用例中进行，涉及来自 Claude、GPT 和 Gemini 家族的 8 个模型。模型在返回输出的同时列出影响最大的前三个因素。结果显示，在推荐顾问场景中，引用排名与必要性、充分性评分的平均 Spearman 相关系数分别为 0.349 和 0.354；在提示词监控场景中，这两个系数分别为 0.431 和 0.580。这表明模型引用的因素排名与实际测得的影响力排名之间相关性较弱。
解释的局限性与应用
进一步的数据分析揭示了解释的局限性。在推荐顾问场景中，有 57.6% 的响应在必要性指标下，以及 58.1% 在充分性指标下，出现未被引用的因素评分高于被引用因素中最低分的情况。在提示词监控场景中，这一比例分别为 25.8% 和 8.9%。这表明，虽然模型引用的前三个因素包含有用信息，但它们并不能可靠地识别出在必要性或充分性上具有最强测量影响力的三个因素。该框架为智能体监督中使用的解释提供了一种黑盒可靠性检查手段，且仅限于单个 LLM 决策的范围内。
为什么值得看
揭示 LLM 自我解释与实际决策逻辑存在偏差，为智能体监控提供可靠性检查方法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。