论文提出零阶对齐方法 ComPO
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从偏好对中取方向信息
这篇论文关注的是大模型偏好对齐中直接偏好优化方法的一个具体问题：当偏好对之间的似然差距很小时，似然位移会让这类方法难以稳定地从数据中取得有效信息。作者提出的 ComPO 走的是零阶路线，把偏好对当作比较信号来用，从成对比较中提取方向性信息，而不是在这些偏好对上直接优化一个可微的偏好损失函数。换句话说，它绕开了对偏好损失求梯度这一环，改由比较结果指示模型该往哪个方向调整。论文给出了离线基础方案的收敛性保证，所依赖的条件包括平滑性、梯度稀疏性，以及比较信号与某个潜在目标之间的相容性。这些条件界定了方法成立的前提，也说明其保证并非无条件适用。
在线版本加入参考策略约束
在离线比较机制之上，作者进一步给出在线版本的 ComPO。该版本保留原有的比较方式，同时引入策略自身生成的无标注样本，用它们对参考策略做反向 KL 控制，使模型在利用自身生成内容时仍与参考策略保持距离。针对一个基础约束方案，论文在局部覆盖与分布内成对奖励准确率两项条件下建立了性能保证。这里的覆盖视角延续了偏好微调研究中对数据覆盖范围的讨论，而成对奖励准确率则刻画比较信号在分布内的可靠程度。两项条件共同构成在线方案性能保证的适用范围，超出这一范围时保证不再成立。
多模型实验与诊断证据
实验覆盖 Mistral、Llama、Gemma-2、Qwen3 与 Gemma-3 等模型，结果显示 ComPO 相对现有直接对齐方法取得提升，评价指标中包含长度控制的胜率。论文还给出配对层面的诊断结果，作者认为这些证据与似然位移得到缓解这一判断相一致。对关注偏好对齐实现的读者而言，这项工作的意义在于提供了一条不依赖偏好损失梯度的对齐路径，并附带收敛与性能两方面的理论说明；同时，其结论建立在平滑性、梯度稀疏性、相容性、局部覆盖与分布内成对奖励准确率等前提之上，实际采用时需要先核对这些条件是否满足。
为什么值得看
提供了一种无需梯度计算的新对齐范式，在多个主流模型上验证了有效性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。