T⁵方法优化强化中间训练，性能提升7.8%且训练耗时骤降
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载双评论家校准词元优势
这项工作针对的是强化中期训练里的一个具体难点：语言模型要从没有标注的文本中习得内部思考，而词元级别的信用分配效率一直不高。已有的组相对方法需要反复生成，代价偏高；而学习得到的评论家虽然只需单次 rollout 就能给出反馈，但仅靠准确的回报预测，并不足以保证策略更新可靠。作者的分析指出，训练与推理之间的不匹配，加上 PPO 的裁剪机制，会让优势估计中一个共同的偏移量无法相互抵消，从而带来额外的更新漂移。为此提出的方法采用双评论家结构，从单条生成轨迹中校准词元级优势。
预热与留出资格筛选
方法在流程上先经过预热，再做留出集上的资格筛选，之后由两个评论家分别给出优势估计。这两个估计并非简单平均，而是通过动作相关的权重进行组合，权重来自一个条件矩鞍点目标的学习过程。该目标的作用是把每个前缀处的平均优势推向零，同时用一项信号保留约束，避免这种校正把原本的学习信号抹掉。另一个设计是在不同文本位置之间共享信息，这样就不必对每个前缀重复采样。理论部分刻画了在信号保留约束下的最优混合方式，并给出了残差均值所诱导漂移的上界。
与无评论家方案的差别
与当前表现最好的无评论家方法相比，该方法在基准测试的平均表现上有提升，同时把训练步骤的平均耗时最多降低到原来的一个较小比例。这里的对比对象是无需评论家的路线，其代价在于要反复生成；而本方法依靠单次轨迹加双评论家校准，把重复采样这一环省去。需要留意的是，摘要给出的收益是平均值口径，且耗时下降是相对于该对比方法而言，具体幅度会随任务与实现变化。方法本身面向的是强化中期训练这一阶段，依赖预热与留出筛选来保证评论家可用，这些前置条件也构成它的适用范围。
为什么值得看
大幅降低强化学习训练耗时并提升性能，对优化大模型RLHF训练效率极具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。