独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法流程与复现范围
DNO 的思路是把语言模型对齐到一个通用偏好函数，做法是近似两人偏好博弈的纳什均衡。其可落地版本 DNO-Prct 循环执行四步：对当前策略做 on-policy 采样，由 LLM 对样本连同教师给出的金标回复一起打分，按大间隔挑选偏好对，再做 DPO 式对比更新。作者没有沿用原实现的代码，而是独立重写，并选了两个开放权重的指令模型作为起点——Llama 3.1 8B Instruct 和 Mistral 7B Instruct v0.1，标注者分别用 GPT-4o 或同系列更大的开放权重模型。论文说明实验在 2024 年用当时可用的模型与 API 完成，全部结果为单次运行。
胜率变化与跨规模对比
评测采用 AlpacaEval 2.0，评审为 GPT-4o，指标是长度控制（LC）胜率。三轮迭代后，Llama 从 31.7% 升到 45.3%，Mistral 从 6.8% 升到 18.4%。更值得注意的是规模对比：经过这套流程调优的 8B 模型，在论文报告的所有胜率上都高于 Llama 3.1 70B Instruct。也就是说，对齐流程带来的提升在这一设定下超过了单纯放大参数量的效果。作者同时提示，GPT-4o 既是教师又是评审，这种同一模型兼任两角的安排会影响对增益的解读，论文对此做了讨论。
标注者替换与消融结果
为验证评分环节是否必须依赖闭源模型，作者把标注者换成同系列的开放权重模型。结果显示，相对 GPT-4o 标注时的 LC 增益，Llama 保留 62%、Mistral 保留 82%，说明用开放权重模型打分仍能拿到大部分收益。消融部分对比了几种删减：去掉金标回复、去掉数据回看、只接受教师更偏好的样本对，这三种变体都比完整流程低 6 到 10 个 LC 点，属于影响较大的设计选择。相比之下，每个提示的 on-policy 采样数在 1 到 7 之间变化，LC 胜率波动最多 2.1 点；在另一条流水线上做 margin 扫描（1 到 5），波动最多 2.4 点，这两项超参并不敏感。
成本与理论差距
论文还报告了整条流水线的开销，并指出实用算法与其所近似的理论之间在哪些地方出现偏离。全文共 19 页、2 张图、9 张表，属于实验记录较完整的复现研究。对打算采用这类偏好优化流程的团队而言，可据这些消融判断资源该投在哪：金标回复与数据回看这类结构性设计比采样数量和 margin 更值得投入，而标注者若能接受一定增益折损，可换成同系列开放权重模型以降低成本。
为什么值得看
想复现或改造偏好对齐流程的团队，可据此判断哪些环节真正决定收益、哪些超参不敏感。
信源1 家
关键事实
论文独立复现 DNO-Prct，在 Llama 3.1 8B Instruct 与 Mistral 7B Instruct v0.1 上实验[1]
AlpacaEval 2.0 以 GPT-4o 为评审，三轮迭代后 Llama 的 LC 胜率由 31.7% 升至 45.3%，Mistral 由 6.8% 升至 18.4%[1]
调优后的 8B 模型在所有报告的胜率上超过 Llama 3.1 70B Instruct[1]
改用同系列开放权重标注者，仍保留 62%（Llama）与 82%（Mistral）的 LC 增益[1]
去掉金标回复、去掉数据回看或只接受教师偏好对，比完整流程低 6 到 10 个 LC 点[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。