论文：上下文压缩会削弱模型的拒答对齐
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于 arXiv 的论文研究上下文压缩是否影响拒答对齐。作者发现，基于编码器的压缩虽然重建保真度高，却会系统性地削弱指令微调模型的拒答行为，这一现象在不同模型家族和压缩架构上都存在。机制分析显示，压缩会减弱解码器已学到的拒答方向上的激活。作者提出 Memory Steering，一种推理时的轻量干预，无需重新训练，完全在压缩表示空间中运行，可把拒答率恢复到接近基线水平。结论是语义保留不等于行为保留。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载压缩与对齐的冲突
论文关注的问题是：上下文压缩把输入编码成紧凑表示以降低推理成本，通常以语义内容是否保留作为质量判据。作者检验语义保留是否足以维持拒答对齐这类下游行为，结论是否定的。基于编码器的压缩在重建保真度很高的情况下，仍会系统性地削弱指令微调模型的拒答行为，而且这一现象并非某一模型或某一压缩结构的特例，在不同模型家族和不同压缩架构上都能复现。这意味着以重建相似度为核心的压缩评测，可能漏掉行为层面的退化。
机制与补救手段
为解释这一现象，作者做了机制层面的分析，指出压缩会减弱解码器已学到的拒答方向上的激活强度，即压缩表示中与拒答相关的特征被削弱。针对这一点，作者提出 Memory Steering：一种推理阶段的轻量干预，不需要重新训练模型，全部操作在压缩表示空间内完成，可把拒答率拉回接近未压缩基线的水平。由于不涉及权重更新，这一方法对已部署的压缩管线具有较低的改造成本。
对压缩系统的启示
论文的核心主张是语义保留并不保证行为保留，因此在设计压缩感知系统时，需要显式地保留与对齐相关的特征，而不能只以语义重建质量作为优化目标。对使用压缩表示做推理加速的工程实践而言，这提示在评测环节加入行为层面的检查项，并考虑在推理时引入类似 Memory Steering 的干预作为兜底。论文被 Canadian AI 2026 接收，编号 arXiv:2611.06380。
为什么值得看
做压缩、KV cache 或推理加速的团队需要知道：省成本的同时可能丢掉安全对齐行为，且已有低成本补救手段。
微调对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。