像素扩散Transformer参数化新方法MFlow提出，并配套ConvRef…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载参数化选择的再审视
像素空间扩散近期重新受到关注，原因在于它绕开了有损的潜空间瓶颈和单独训练的自编码器。此前JiT的做法是把常用的速度预测换成干净图像预测，从而让普通扩散Transformer直接在像素空间生成。这篇论文对这一选择提出疑问：两种预测方式未必只能二选一。作者提出的MFlow让模型在数据的主方向上学习两种预测之间的插值比例，该比例不是人工设定，而是与扩散训练一起端到端学出来。论文给出的观察是，哪种参数化更合适并非固定结论，它会随数据表示形式和模型容量发生系统性偏移，容量越大越偏向速度预测。这一发现意味着，像素扩散的设计空间比此前单点方案更宽。
多场景评测结果
作者把MFlow放到三类任务上检验：ImageNet图像生成、UCF-101视频生成，以及大规模文生图。论文的表述是在这些不同设置下取得相当或更好的生成表现，覆盖静态图像、视频与文本条件生成三类场景。对读者而言，值得关注的是这套自适应参数化没有绑定在单一数据模态或单一规模上，而是在差异较大的任务中都能用。论文同时给出33页、23张图、15张表的篇幅，说明评测覆盖面较广，具体数值需查阅原文表格。
高频缺失与ConvRefiner
论文另一个独立发现是：像素扩散Transformer不管采用哪种参数化，生成的图像相对真实图像都存在持续的高频成分不足。这不是参数化选择能解决的问题，因此作者单独设计了ConvRefiner——一个轻量卷积模块。它的训练方式是在扩散主干完全冻结的前提下，用对抗损失做后置训练，只增加少量训练量。效果上，ConvRefiner恢复了生成图像的高频统计特性，同时FID保持不变。这一做法的意义在于把「主干生成质量」与「高频细节补足」拆成两步，避免为修补细节而重新训练整个扩散模型。
为什么值得看
想了解像素空间扩散能否替代潜空间方案、以及参数化选择如何随模型规模变化，这篇给出了可复现的设计取舍与补救模块。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。