arXiv 论文：DPO 超参数随模型规模变化，且无法跨数据集迁移
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文用密集超参数网格，在同一模型家族的不同规模上系统考察 DPO 的调参规律。结论是：最优学习率随模型规模变化；超参数在不同训练数据集之间不可迁移；验证损失与下游基准的最优超参数仅弱相关，因此不适合作为调参代理指标。作者建议针对目标模型、数据集和评测目标单独调参，并指出用短程候选训练可显著降低选择成本。全部训练配置与评测结果已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实验怎么做的
作者围绕 DPO 后训练展开大规模调参实验，关注学习率与参考策略正则系数 β 这两类关键超参数。做法是在同一模型家族的不同规模上铺开密集超参数网格，从而观察最优点如何随模型大小和更新步数移动。实验还引入中间检查点，把它当作低成本信号来加速超参数搜索过程。评测侧同时使用静态与动态两类基准，用来判断哪一类基准对超参数选择更有区分度。此外，作者比较了多种主流超参数优化策略在这一设定下的表现。
三个反直觉结论
第一，最优学习率并非固定值，它随模型规模改变，这意味着把小模型上调好的学习率直接搬到大模型上并不可靠。第二，超参数不能跨训练数据集迁移，换数据就得重新调。第三，验证损失是不合格的代理指标：让验证损失最小的那组超参数，与让下游基准表现最好的超参数之间只有弱相关。因此按验证损失挑配置，很可能选不到真正适合目标任务的那一组。
对实际调参的意义
作者给出的实践指向是：DPO 超参数必须针对目标模型、目标数据集和具体评测目标分别调，不能照搬公开配置。同时，短程候选训练能明显压低这一选择过程的成本，也就是先用少量更新步数筛掉大部分候选，再对少数候选投入完整训练。为支持复现，作者公开了全部训练配置与评测结果，便于他人核对选择质量与训练开销之间的关系。
为什么值得看
做 DPO 后训练时，直接沿用别处的超参数或只看验证损失都可能选错，这篇给出了可复现的调参依据。
论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。