研究揭示单步生成模型中深度即时间现象并实现16.6倍参数压缩
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载单步生成里的去噪轨迹
多步扩散模型依靠反复采样来逐步去除噪声，而近期出现的一步生成模型通过蒸馏或学习到的流映射，把这条多步轨迹压缩进一次前向传播。研究者提出的问题是：当生成被压缩为单次前向计算后，原本分布在多个采样步骤上的去噪过程去了哪里。他们给出的经验性观察被称为“深度即时间”，即多步扩散在采样步骤上完成的去噪计算，似乎沿着单次前向传播的网络深度展开，并且可以用模型自身的输出头对中间层进行解码来还原。这一观察意味着，一步生成并没有让去噪计算消失，而是把它从时间维度转移到了网络层数这一维度上。
流映射任务决定层内行为
研究进一步显示，这种沿深度展开的计算与流映射被训练去解决的具体传输任务有关。最引人注意的情形是 MeanFlow：当探测较短的传输区间时，可以在单次网络评估中同时观察到去噪与重新加噪两种过程。作为对照，那些没有经过带时间索引的传输任务训练的生成器，例如 drifting 模型，并不表现出同样的逐层去噪特征。作者还针对这种“先去噪再加噪”的行为给出了解释，并说明当把逐层计算显式地当作一个流来处理时，可以训练单个带时间条件的模块在层与层之间完成去噪。
压缩倍数的来源与边界
上述现象带来一个可量化的结果：表现出逐层去噪的模型在层间计算上更容易被压缩。具体而言，一个 MeanFlow 的 SiT-L/2 模型可以在参数规模上被压缩 16.6 倍，收缩为单个带时间条件的模块。这个倍数来自把逐层计算视为流并训练单模块去噪的做法，而不是来自对模型结构的其他改动。需要留意的是，这一结论建立在特定训练方式之上——只有经过带时间索引传输任务训练的生成器才呈现该现象，未采用此类任务的模型不具备同样的可压缩性。对读者而言，这意味着一步生成模型内部仍保留着可被解读和利用的时间性结构，其压缩空间取决于训练时采用的传输任务类型。
为什么值得看
揭示单步生成模型内部机制，提供基于层计算流的新压缩路径，对模型轻量化有直接启发。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。