论文提出 GOAL 框架缓解安全对齐模型的过度拒答
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载过度拒答的机制观察
论文关注的是安全对齐带来的副作用：本身无害、只是表面上带风险的提问被模型误判为需要拒绝。作者认为，现有缓解手段虽然有效，但在安全监督本身正确的前提下，模型为何仍会拒绝无害提问，这一点缺少足够解释。为此，作者从表征与优化两条线索切入。表征层面，有害样本与过度拒答样本在部分中间层还能被区分开，但越往深层，两者的表征越趋于重叠，模型维持清晰边界的难度随之上升。优化层面，有害样本的梯度在类内高度相似，并集中在低秩子空间里；在过度拒答提示上，这些梯度与拒答目标梯度的对齐程度高于与正确有用目标梯度的对齐程度。这种不均衡的梯度耦合会把过度拒答样本的优化推向拒答一侧。
GOAL 的两个组件
针对上述两点，作者提出 GOAL 框架，即梯度正交化结合对比学习，用于缓解过度拒答的安全对齐训练。第一个组件处理梯度耦合问题：先从有害样本梯度中提取低秩的拒答子空间，再把过度拒答样本的梯度对该子空间做正交化，避免不均衡的梯度耦合把过度拒答样本的优化方向拉向拒答。第二个组件处理表征重叠问题：引入对比学习目标，显式增强有害表征与过度拒答表征之间的分离度，让模型在深层也能维持两类样本的边界。两个组件分别对应作者观察到的两类现象，一个作用于优化方向，一个作用于表征空间。
实验结论与适用范围
作者在多个模型和多个基准上做了实验，结果显示 GOAL 在缓解过度拒答的同时，安全性能和通用能力都得以保留。论文摘要没有给出具体的模型名称、基准名称与量化提升幅度，也没有说明代码或数据是否公开，因此这些细节需要查看原文才能确认。对从事安全对齐训练的读者而言，这项工作的价值在于把过度拒答拆成可观测的梯度与表征现象，并给出对应的训练侧干预手段，而不是只在输出层面做拒答比例的调参。
为什么值得看
过度拒答直接影响安全对齐模型的实际可用性，该工作给出机制解释与可操作的训练侧改法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。