研究：任务上下文改变语言模型共享注意力头的角色
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用图事实做跨任务比较
这项研究把同一批模型组件放到不同任务里对照，做法是让每个任务都使用内容一致的图事实，也就是用语句说明哪些有向连接是存在的。作者关注的不是哪些注意力头被复用，而是这些被复用的头在不同任务中各自承担了什么。衡量方式分两条线：一条看干预之后注意力头以及后续层激活状态受到多大影响，称为影响；另一条看最终答案是否改变，称为重要性。通过这种拆分，可以把共享组件在任务切换前后的行为差异分别落到影响和重要性两个维度上观察。
任务切换重分配影响
在五个开放权重模型上，任务变化会重新分配影响，这些模型横跨四个家族，参数规模从十五亿到一百四十亿。在 Gemma-2-9B 与 Qwen3-14B 中，一次激活编辑会改动一个较早的内部激活向量，从而切换模型读取的是哪一条事实，而写出的指令保持不变。随后，同一批注意力头会对不同的图事实作出反应，并对后续组件产生不同的影响。这说明任务语境既改变了共享组件响应哪些图事实，也改变了它们的输出如何作用于后面的计算。
线性响应图的预测效果
针对每个提示，作者构建了两张线性响应图，一张在编辑之前，一张在编辑之后。每张图都根据较早注意力头上测得的改变，去预测较晚注意力头的响应。在另一项事实干预中，与相应条件匹配的那张图，相比两张图的平均，把均方预测误差在 Gemma 中降低了 53.6%，在 Qwen 中降低了 5.0%。这一对比说明，按条件选取响应图能更准确地刻画后续头的反应，而不是把两种状态混在一起平均。
适用范围与读者意义
论文共 9 页、含 5 张图，归入计算与语言以及人工智能方向。作者提出，用网络视角看待语言模型计算，可能有助于解释模型如何借助共享参数完成不同运算。对任务相关影响的测量，也可能为干预提供参考，使改动某一行为的同时尽量保留其他行为。需要注意的是，上述结论建立在所比较的固定组件、图事实与所测模型范围内，响应图的预测优势也随模型不同而幅度有别。
为什么值得看
揭示共享参数如何随任务承担不同计算，为定向干预模型行为提供可测量线索。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。