研究质疑语言子空间干预：准确率提升或牺牲回复语言
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三个待验证的问题
论文围绕语言子空间干预提出三问：估计出的子空间是否捕捉到翻译相关的变化；将其投影剔除后语言信息是否真的消失；准确率提升是否以回复语言为代价。实验覆盖 MATH 与 MGSM 两个数学推理数据集，对象为四个开放权重模型。子空间构建采用两条路线，一条是已有的 Mean-SVD，另一条是作者提出的 DiffPCA。结果显示两种方法都能捕捉到可观的翻译相关变化，并且在不同模型深度上表现出相近的分布模式，这为后续干预实验提供了共同起点。
语言信息未被真正移除
针对第二个问题，作者把每个子空间从激活中投影剔除，再用投影后的激活训练线性探针做语言分类。探针依然几乎能完美判断语言，说明无论 Mean-SVD 还是 DiffPCA 构建的子空间，都没有穷尽式地包含语言信息。这一结果直接动摇了「剔除语言子空间就等于移除语言能力」的假设：被抑制的成分只是语言信号的一部分，剩余激活中仍保留足够可分的语言特征。对使用此类干预的实践者而言，这意味着干预效果需要更细的验证手段，而不能只凭子空间构造方式推断。
准确率与语言保真度的取舍
第三个问题在 Qwen2.5-7B 上展开，作者改变子空间创建方法与干预算子，评测多种配置。提升 MGSM 准确率最多的那种干预，同时牺牲了回复语言保真度，即模型可能给出正确数值却不再用目标语言作答。只有一种干预让联合准确率——答案既正确又使用目标语言——略有提高，幅度为 1.60 分。作者还发现，仅对提示词做细微改动就能复现相近的准确率增益，但语言保真度受损明显。据此作者主张，因果干预的评估不能只看准确率，需要把语言替换带来的权衡一并计入。
为什么值得看
做多语言推理与激活干预的团队可据此重新设计评测：只看准确率会掩盖语言替换的代价。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。