研究揭示离散扩散模型置信度局限
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载逐步写入多位置的机制
离散扩散模型在生成序列时，会在单步内同时写入多个 token 位置。具体做法是：先为每个位置算出一个分布，再依据这些分布决定哪些位置被写入，写入的值也从同一批分布中抽取。remasking 采样器与 uniform-state 采样器都属于这一类。论文把关注点放在这种并行写入的合理性上：一步生成要成立，被写入的位置在已固定 token 的条件下必须彼此条件独立。作者由此展开论证，指出当 token 之间存在真实依赖时，这种逐步并行写入的前提并不自动满足。
独立假设为何不成立
论文给出两层结论。其一，只要一组位置在给定已固定 token 后存在依赖关系，任何由各位置单独分布相乘得到的联合分布都无法与这个依赖组匹配。其二，仅看每个位置的边缘分布，无法判断一组位置是否依赖：两个联合分布可以拥有完全相同的逐位置边缘分布，却在哪些取值组合会出现上截然不同。这意味着，按逐位置置信度排序来挑选写入位置的做法，缺少判断依赖关系所需的信息，置信度高低并不能说明被选中的位置组是否满足条件独立。
合成任务上的量化验证
作者构造了 ScanAndAdd 这一合成任务，其联合分布可以写成闭式形式，因此能够直接比对生成分布与真实分布。在这个任务上，置信度排序所写入的每一组两个及以上未定位置，经核验都是依赖的。测量结果显示，生成分布与目标分布之间的总变差达到采样噪声下限的 29 倍；与此同时，逐样本指标仍显示为 1.0。两组数字的落差说明，单样本层面的指标看不出问题，而分布层面的偏差已经相当明显，评估口径不同会得到完全不同的判断。
对使用者的实际含义
这项工作的适用范围是像素、音素、词等 token 之间存在固有依赖的领域，也就是离散扩散常见的应用场景。它限制的是依赖逐位置分布做并行写入与位置挑选的那类采样方案，并不针对所有生成方式。对读者而言，直接的含义有两点：一是逐位置置信度不足以作为并行写入位置的可靠依据；二是只看逐样本指标可能掩盖分布层面的偏离，需要引入能反映联合分布差异的度量。论文给出的判断条件是条件独立，这为检查具体采样器是否适用提供了一个可操作的检验点。
为什么值得看
揭示了扩散模型在处理依赖关系时的理论局限，对模型评估与改进有参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。