新方法利用模型感知调度优化扩散模型生成
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把调度曲线当作可优化对象
扩散模型与流匹配在训练和采样时，都依赖一组信号系数与噪声系数，把数据与噪声沿仿射概率路径混合起来。既有做法通常把这条系数路径的动能作为目标，用最优传输的思路去解释强基线为何有效，但这条路径本身与具体模型无关，预测误差没有被纳入考量。作者提出的改法是把模型自身的预测表现引入调度构造：在概率路径上固定某一时刻与某一状态，所有能给出相同混合结果的信号与噪声拆分方式构成一个仿射纤维，于是可以在纤维内部比较真实拆分与预测器所诱导拆分之间的传输代价，并对其取平均，得到一个纤维级预测风险。这个风险与系数路径动能结合后，在给定系数曲线的前提下可以解出闭式的最优时间分配，从而把原本固定的调度变成随模型调整的调度。该构造还能推广到一般的线性预测目标，风险剖面则可以从一个早期基线检查点估计出来，不必等到完整训练结束。
38.6% 这个数字怎么来的
作者在 DDPM 与流匹配两类框架上做了对照实验，覆盖不同的预测目标、训练配置、用于估计风险的检查点、数据集与网络结构。评价指标采用 FID，并在固定函数评估次数的条件下比较采样质量。在 CIFAR-10 上，流匹配配合模型感知调度、函数评估次数为 16 时，相对强基线取得 38.6% 的 FID 下降。这一数字对应的是同等采样预算下的相对改善，而不是增加计算量换来的提升；函数评估次数被固定，说明变化来自时间分配方式本身。实验还显示，每个与模型无关的动能基线都会确定自己的动能参考坐标，把独立训练、设置各异的模型给出的纤维级风险剖面归一化到单位面积后，这些剖面在各自坐标下彼此接近，训练中实际使用的调度形变也呈现同样的对齐现象。作者据此提出在所评估的模型与设置范围内存在经验上的普适性，并用预训练检查点诊断把这种归一化风险的一致性延伸到规模更大的条件潜空间扩散模型与 2-RF 模型上。
冻结模板省去逐模型拟合
在适用范围上，这套方法要求能够访问模型或至少一个早期检查点，以便估计纤维级风险剖面；风险估计的质量会随检查点不同而变化，作者把检查点选择列为实验变量之一。与需要针对每个模型重新拟合并重新估计风险的完整流程相比，作者还给出一种更轻的用法：使用一份冻结的解析分配模板，不再做额外的风险估计，也不做模型特定的拟合，仍能保留模型感知调度的大部分改进。对读者而言，这意味着调度不再只是训练前一次性设定的超参数，而可以依据模型自身的预测误差来重新分配各时刻的计算；同时，归一化风险剖面的对齐现象提示，跨模型迁移一份调度模板在实践中是可行的，代价是放弃一部分由逐模型估计带来的收益。
为什么值得看
无需额外训练即可显著提升扩散模型生成质量，揭示了模型调度的普遍规律。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。