研究改进连续扩散模型处理离散约束任务
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对数独等全局约束离散任务，标准扩散采样易保留早期错误。研究对比发现，直接从模型的清晰预测采样，无需重新训练即可将数独有效性从 31% 提升至 95%。此外，引入自校正训练以减少训练与推理的分布不匹配，能显著提升标准采样器的性能。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载标准采样在离散任务中的局限
去噪扩散概率模型通常通过从噪声开始并反复去噪来生成样本，同时保持每次更新接近当前的噪声状态。这种方法在连续域效果显著，但在数独、图连通性、拉丁方阵和 N 皇后等具有全局约束的离散任务中，其作用尚不明确。在这些场景下，早期的离散错误往往难以撤销，导致标准扩散采样可能会保留早期错误，即便模型的清晰预测本身包含有效信息。
直接采样带来的性能提升
研究人员将标准采样器与直接从模型的清晰预测中采样的方法进行了对比。结果显示，无需进行任何重新训练，仅改变采样策略这一项调整，就能带来显著收益。具体而言，该方法将数独生成的有效性从 31% 提升到了 95%，并且在其他离散任务中也观察到了一致的性能增益。
自校正训练与分布对齐
研究假设，保持接近当前噪声状态之所以有害，是因为反向轨迹可能会偏离模型训练时所用的前向加噪分布。为了减少这种训练与测试之间的不匹配，研究进一步引入了自校正训练。这种训练方式让模型接触其自身的预测，从而提高模型对推理过程中产生的错误的鲁棒性。这一改进显著提升了标准采样器的性能。
结论与启示
研究结果表明，连续扩散模型确实能够学习非平凡的全局约束，但离散推理任务需要更好的训练与推理对齐。这可以通过两种途径实现：要么使用减少对早期决策承诺的采样器，要么通过训练教会模型纠正其自身的推理时错误。该成果于 2026 年 9 月提交至 arXiv。
为什么值得看
揭示了扩散模型在离散推理任务中的局限与改进方向，大幅提升生成有效性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。