SVD-Attention：诊断Transformer注意力头秩冗余的分析方法
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 SVD-Attention，对预训练 Transformer 每个注意力头的 query-key 交互矩阵做奇异值分解，并用奇异值的谱幅度与校准集上的激活方差共同给每个奇异模式打分，保留头能放大且真实数据会激活的模式，其余丢弃，保留部分为精确分解且无需微调。在七个预训练模型、五类任务上，冗余分布随任务变化：情感与图像分类及生成任务集中在前中层，稠密预测与抽取式问答集中在后层。按该诊断裁剪被标记层最多损失 1.75 F1，而在同模型其他位置裁同样层数最多损失 50 F1。作者定位其为分析工具而非压缩方法，单独使用降低 0.8%–1.5% 推理 FLOPs，与权重剪枝组合降 8%–11%，任务质量变化 0%–4%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载按奇异模态打分筛选
该方法把每个注意力头的交互矩阵拆成若干奇异模态，再对每个模态做两件事：看它的谱幅度有多大，以及在少量校准集上统计它跨 token 的激活方差有多高。两项都通过的模态被保留，其余被丢弃。作者强调，保留部分的分解是精确的，整个过程不需要微调，属于事后处理，即模型训练完成后直接对已有权重做分析，不改变训练流程。
冗余层位置随任务变化
在七个预训练模型、五类任务上跑这套诊断，得到的规律与任务有关：情感分类、图像分类和生成任务中，冗余集中在靠前到中间的那些层；稠密预测和抽取式问答则把冗余放在靠后的层。这说明哪些头真正用满了秩预算，并不能一概而论，要看模型在做什么任务。
截断位置的代价差异
诊断结果带有预测性。把被标记出来的层做截断，最多损失 1.75 个 F1；而在同一个模型里对同样数量的其他层做截断，损失可以高到 50 个 F1。两个数字放在一起，说明标记位置选得准不准，直接决定截断是否可接受。
定位为分析工具
作者明确把这套方法当作分析工具，而不是压缩手段。单独按它操作，推理 FLOPs 的下降幅度有限；与权重剪枝组合使用时，降幅会更大，任务质量的变化则在一个较小的区间内。对读者而言，它的用处更偏向于先弄清哪些注意力头在真实数据上确实吃满了秩预算，再决定后续压缩动作落在哪里，而不是把它当成独立的加速方案。
为什么值得看
给出按任务定位注意力冗余层的方法，裁剪代价差异悬殊，对模型压缩与结构分析有直接参考价值。
微调论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。