PACT：面向扩散语言模型的强化学习后训练新方法

10月13日周二 02:22论文AI 评分 72/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

针对扩散语言模型难以套用主流强化学习后训练方法的问题，研究者提出 PACT（Potential-Anchored Consistency of Transitions）。该方法指出，扩散模型通过多步去噪生成答案，每一步都要决定揭示哪些掩码位置、填入什么 token，而现有方法要么近似难以计算的序列似然，要么对每个去噪步骤赋予相同优势值，没有区分中间状态对期望奖励的影响。PACT 联合学习策略与一个标量势函数，为每个中间状态打分并以终端奖励为锚，通过一致性损失让被揭示 token 的策略与参考分布对数概率比匹配势函数的变化，无需序列似然估计，也不需要重要性比率裁剪。在四项任务上，PACT 使 LLaDA-8B-Instruct 在 GSM8K 提升 9.9 分、MATH500 提升 12.0 分、Countdown 提升 55.7 分、Sudoku 提升 72.6 分，四项平均准确率为该模…

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

扩散语言模型的RL适配难题

扩散语言模型被视为自回归模型之外更高效的替代方案，但多数强化学习后训练技术难以直接迁移。论文指出一个关键障碍：这类模型通过大量中间状态生成答案，每一步都要决定揭示哪些被掩码的位置、以及在这些位置填入哪些 token。现有用于该场景的 RL 方法要么去近似难以计算的序列似然，要么把相同的优势值赋予每一个去噪步骤，没有显式区分去噪轨迹中不同中间状态对期望奖励的影响。作者把这一缺陷称为轨迹盲区，PACT 正是为处理该问题而设计。

PACT的做法与训练开销

PACT 全称 Potential-Anchored Consistency of Transitions，其动机来自带奖励倾斜的参考分布。方法上，PACT 同时学习策略和一个标量势函数，由该势函数为每个中间状态打分，并以终端奖励作为锚点。对每一个采样得到的去噪转移，一致性损失负责让被揭示 token 的策略与参考分布对数概率比，与势函数的变化相匹配。这一形式化带来两点直接好处：既不需要估计序列似然，也不需要做重要性比率裁剪。论文还报告了算力层面的对比，在 GSM8K 上，PACT 达到 AGRPO 基线最佳准确率所消耗的训练算力约为后者的一半。

四项任务上的量化结果

论文在四个任务上评估了 PACT 对 LLaDA-8B-Instruct 的改进效果：GSM8K 提升 9.9 分，MATH500 提升 12.0 分，Countdown 提升 55.7 分，Sudoku 提升 72.6 分。四项任务的平均准确率达到该模型已报告结果中的最佳水平，比次优方法高出 3.7 分。论文共 9 页、含 6 张图，提交于 2026 年 10 月 12 日，作者为 Vaibhav Singh 与 Eugene Belilovsky，编号 arXiv:2610.17266。

为什么值得看

扩散语言模型的 RL 后训练一直缺少适配方法，这篇给出了不依赖序列似然的新思路，并附四项任务的量化提升。

强化学习算力论文

信源1 家

[1]arXiv cs.AI一手信源RL Post-Training Diffusion Language Models Along Their Own Generation Paths

关键事实

论文提出 PACT，联合学习策略与标量势函数，以终端奖励为锚为去噪中间状态打分[1]
该方法不需要序列似然估计，也不使用重要性比率裁剪[1]
在 GSM8K、MATH500、Countdown、Sudoku 四项任务上，LLaDA-8B-Instruct 分别提升 9.9、12.0、55.7、72.6 分[1]
四项任务平均准确率比次优方法高 3.7 分[1]
在 GSM8K 上达到 AGRPO 最佳准确率所需训练算力约为其一半[1]

PACT：面向扩散语言模型的强化学习后训练新方法

全文梳理

扩散语言模型的RL适配难题

PACT的做法与训练开销

四项任务上的量化结果

为什么值得看

信源1 家

关键事实

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为