注册

研究指出现有机制可解释性电路无法充分解释模型错误

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

机制可解释性领域常通过消融其余部分来验证紧凑子网络（电路）以解释模型行为。该论文指出，此类验证方式下的电路虽能高度复现模型正确决策，却遗漏大部分错误。在GPT-2 small的间接对象识别任务中，采用均值消融时，人工及自动化电路对正确提示的复现率达97.3%至99.5%，但对错误的复现率仅11.4%至41.7%。案例研究表明，恢复被省略的注意力头可将错误复现率从14.2%提升至75.1%，且正确复现率仅微降0.41个百分点。因此，精确复现错误应成为评估电路解释力的必要测试。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

电路验证方式的局限

机械可解释性试图通过拆解模型内部运算来说明其行为，其中一类做法是找出紧凑子网络作为电路解释，并用消融模型其余部分的方式来验证。这篇论文指出，按这种方式通过验证的电路，可能并没有真正还原模型行为背后的机制：它们能很好地复现模型答对的那些决策，却无法解释模型的大部分错误。作者认为，对模型行为的解释应当同时覆盖它特定的错误与成功，而不能只对齐成功案例。

分开衡量成功与失败

为检验这一要求，作者把精确答案一致性拆成两部分分别测量，一部分针对模型答对的样本，另一部分针对模型答错的样本，并在不同电路规模与不同消融设置下比较。评测覆盖 IOI、Docstring，以及 Mechanistic Interpretability Benchmark 中的六个模型-任务组合。结果显示，许多被测试的电路在正确行为上高度贴合，却漏掉了模型的大部分错误。

IOI 上的具体表现

在 GPT-2 small 的间接宾语识别任务上，采用均值消融时，人工设计的电路以及被测试的自动化电路，其中包括一个针对模型完整输出分布训练的电路，在模型答对的提示上与模型的一致率很高，但在模型出错的提示上一致率明显偏低。作者还做了 IOI 案例研究：把此前被省略的注意力头恢复回去后，在另一份留出集上错误复现率大幅提升，而正确一致率只出现极小下降，效果超过随机扩展和带标量偏置的对照设置。干预轨迹进一步显示，被省略的计算如何在一部分可复现的错误上产生特定的错误答案。

错误复现作为检验

这些发现说明，电路可以在保留任务成功率的同时，未能充分解释模型的失败。作者据此提出，精确的错误复现应当被视为电路类解释的一项必要但不充分的检验标准。对读者而言，这意味着仅凭消融后仍能复现正确答案，并不足以判断一个电路是否抓住了模型真正的内部机制；在评估可解释性方法时，需要把模型出错的那部分行为单独拿出来考察。

为什么值得看

揭示现有电路评估重大缺陷：仅看正确率会掩盖对模型失效机制的解释缺失，为可解释性研究提供新评估标准。

GPT论文

信源1 家

  1. [1]arXiv cs.AI一手信源Rethinking Circuit Evaluation: Do Circuits Explain Model Errors?

关键事实

  • 现有通过消融验证的电路能复现模型正确决策，但无法解释大部分错误。[1]

  • 在GPT-2 small的IOI任务均值消融下，电路对正确提示复现率为97.3%-99.5%，对错误仅11.4%-41.7%。[1]

  • 恢复被省略的注意力头可将错误复现率从14.2%提升至75.1%，正确复现率仅降0.41个百分点。[1]

  • 精确复现错误是评估电路对模型行为解释力的必要但非充分测试。[1]

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

11月6日 周五·AI 72

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

11月5日 周四·AI 68

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

11月5日 周四·AI 78

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%

11月5日 周四·AI 82

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论