研究复现五种事实性对齐方法均未完全复现
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载复现了哪些方法
论文针对大模型在预训练与监督微调后对齐人类偏好、但常规 RLHF 等强化学习对齐并不聚焦事实性、可能生成不实信息的问题，梳理了文献中一批声称能提升事实性的对齐方法。作者选取其中五种做首次独立复现，覆盖两条技术路线：在策略强化学习一侧是 PPO、GRPO 与 Dr. GRPO，离线偏好优化一侧是 DPO 与 KTO。此前这些方法各自使用不同的基座模型、训练数据、评测集、评判模型与指标，彼此之间无法直接比较，也没有被独立复现过。作者的做法是把它们放到同一基准、同一套评测指标下对照，从而让不同路线的结果具备可比性。
复现结果与原因
结果显示，五种方法没有一种能被完整复现；在共同基准上，也没有任何一种方法显著超过基座模型。作者进一步检查发现，训练中的奖励实际上在优化格式、长度或简短程度，而不是事实性与相关性。也就是说，模型学到的可能是让输出更符合某种形式偏好，而非更贴近事实。作者还指出，在策略训练与离线偏好优化之间的选择对结果影响很小，这条常被视为关键的分野在复现中并未体现出明显差别。
评测环节的问题
作者认为问题不只在训练方法，评测指标与基准同样是成因之一。现有指标没有衡量文本与提示之间的相关性，而提示本身又没有标准答案，因此验证只能依赖 LLM 评判与检索，这让评测结果较为脆弱。这一判断意味着，即便某个方法在自有基准上报告了提升，也可能来自评测口径而非事实性本身的改善。对于依赖这类基准做选型的团队，这一结论提示需要重新审视评测设计。
公开产物与适用人群
作者公开了代码、数据和检查点，便于他人复核与在此基础上继续比较。论文提交于 2026 年 10 月 13 日，编号 arXiv:2610.18415，归入 cs.CL 与 cs.AI 分类。对从事对齐训练、事实性评测与基准设计的读者，这份工作的价值在于它把分散在不同设置下的方法拉到同一条件下检验，并给出了复现失败与评测失效的具体线索，而不是再增加一个在自有基准上刷高的结果。
为什么值得看
对做对齐与事实性评测的团队，这是一次少见的独立复现，直接质疑现有方法的有效性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。