arXiv 论文提出二元离散扩散，用候选集表示部分不确定性

10月21日周三 01:11论文AI 评分 68/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文提出 Binary Discrete Diffusion，把每个位置的噪声状态表示为一组候选 token 的二元成员向量，通过增删候选逐步丢失和恢复信息。作者指出，掩码扩散和均匀扩散在一次破坏事件中抹掉 token 身份，无法显式表达多个备选仍可能成立的部分不确定性。在 Sudoku-Extreme、Boxoban 和图着色任务上，对称形式的二元扩散在架构、训练、采样与调参预算受控的条件下优于调优良好的掩码与均匀基线，最难实例上增益最大；在 Text8、TinyStories、OpenWebText 语言建模上保持竞争力。论文 42 页、7 图、12 表。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

候选集替代单点破坏

论文关注离散扩散模型在推理、规划以及代码和数学等受约束生成任务上的应用。这类模型通过反复去噪类别数据序列实现任意顺序生成，并具备自我纠正与填充能力。作者指出，掩码扩散与均匀扩散的局限在于破坏步骤一次就把某个 token 的身份抹掉，噪声状态因此无法表达“若干候选仍然都可能成立”这种部分已解的不确定性。二元离散扩散把每个位置的噪声状态设为一组候选 token，用二元成员向量编码，破坏过程改为对候选做添加与移除，信息可以逐步丢失再逐步恢复，扩散状态本身就承载了部分不确定性。

三类任务上的对比结果

实验覆盖 Sudoku-Extreme、Boxoban 与图着色三个逻辑与规划类任务。作者在架构相同、训练与采样及调参预算受控的条件下，将二元扩散的对称形式与经过充分调优的掩码、均匀基线比较，结果显示对称形式在这三个任务上稳定占优，且难度越高的实例上领先幅度越大。作者同时把方法放到语言建模场景检验，在 Text8、TinyStories、OpenWebText 上保持与基线相当的水平，说明候选集表示并未以牺牲通用语言建模能力为代价换取推理任务收益。

破坏核影响反向模型学到的计算

论文的结论落在两点：候选集可以作为迭代推理的有效中间表示；破坏核的选择会实质改变反向模型所学到的计算，而不只是影响训练难度。这一观察对设计离散扩散的噪声过程有直接含义——改变候选集的增删方式，等价于改变模型需要学习的目标结构。论文篇幅为 42 页，含 7 幅图与 12 张表，属于方法加多任务实证的研究，未涉及产品发布或商用计划。

为什么值得看

对做扩散语言模型与约束推理的研究者，它给出一种新的破坏核与中间表示，并附逻辑与规划任务的对比结果。

论文

信源1 家

[1]arXiv cs.AI一手信源Binary Discrete Diffusion: Candidate-Set Diffusion for Logic and Planning Tasks

关键事实

论文提出 Binary Discrete Diffusion，噪声状态为每个位置的候选 token 集合，用二元成员向量表示[1]
作者称掩码与均匀扩散在单次破坏事件中抹去 token 身份，无法显式表达部分不确定性[1]
在 Sudoku-Extreme、Boxoban 与图着色任务上，对称形式在匹配架构与受控预算下优于掩码和均匀基线，最难实例增益最大[1]
在 Text8、TinyStories、OpenWebText 语言建模上保持竞争力[1]
论文 42 页、7 幅图、12 张表，提交于 2026 年 10 月 20 日[1]

arXiv 论文提出二元离散扩散，用候选集表示部分不确定性

全文梳理

候选集替代单点破坏

三类任务上的对比结果

破坏核影响反向模型学到的计算

为什么值得看

信源1 家

关键事实

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

Pixel-UMI：从传感器化人类演示学习全身操作策略