LP-SMC 改进扩散语言模型推理解码，覆盖率最高提升 25.6 分
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载重采样环节的问题
掩码扩散语言模型可以在不进行后训练的情况下，通过推理阶段的序贯蒙特卡洛解码提升推理准确率：按奖励对一批部分生成结果重采样。效果好坏取决于重采样这一步，它既要让算力集中在有希望的候选上，又要保留足够多样性去探索其他推理路径。奖励可以是内部的，即解码器对已确定前缀的置信度；也可以是外部的，即过程奖励模型对该前缀的打分。两种奖励下，多项式重采样都可能打破这一平衡：复制高权重粒子，丢弃仍可能到达正确解的谱系。有效样本量指标察觉不到这种损失，因为多项式重采样会把它重置到最大值，即便不同谱系已经消失。
LP-SMC 的做法
为保留这些谱系，作者提出保谱系 SMC（LP-SMC），把 Chopthin 重采样与输入权重下限结合起来。与把权重拉平不同，Chopthin 限制其返回权重中最大值与最小值的比值，并把不等的权重继续传递下去。权重下限则限制重采样前权重相对最大值可以低到什么程度，使早期权重偏低的谱系仍保有恢复的机会。这两处改动都作用在重采样环节，不涉及对基座模型的再训练。
基准上的收益
在两个基座模型的数学推理与代码生成基准上，LP-SMC 在每一种设置中都提高了 oracle 覆盖率，即至少有一个粒子正确的问题所占比例，提升幅度为 1.8 至 25.6 分。在统一奖励模型选择器下，十二个设置中有十一个的端到端准确率上升，LLaDA-1.5 上最高提升 7.9 分，Dream-7B 上最高提升 18.3 分。换用外部奖励模型后，覆盖率增益依然存在，作者据此认为保多样性的重采样与引导信号对推理时搜索的贡献是分开的。
为什么值得看
不重新训练即可提升扩散语言模型推理准确率，给出了重采样环节的具体改法与量化收益。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。