CorrFlow 提出自校正流匹配框架,复用中间特征修正采样

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

arXiv 论文提出 CorrFlow,一种自校正流匹配框架。在 rectified-flow 插值下,单步干净预测的误差等于实际速度残差乘以噪声水平;据此,轻量 refiner 从基座模型的干净预测、条件、噪声水平和同一次前向的隐藏状态中学习预测残差修正,并在每次采样更新前把修正加到基座速度上,使后续预测基于修正后的状态。该做法不增加基座模型评估次数,每步只多一次轻量 refiner 评估。理论分析给出特征复用优于原始输入仿射预测器的条件,以及在同等训练算力下 refiner 训练比继续训练基座模型带来更大残差风险下降。在类条件图像生成、文生视频、图生视频任务上均相对对应基座模型有一致提升,包括视觉质量与物理一致性。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

修正从哪来

CorrFlow 的出发点是:流匹配模型靠迭代预测速度来生成样本,但通常不会回头利用产生这些预测的中间表示。作者在 rectified-flow 插值设定下给出一个关系:单步干净预测的误差,等于实际速度残差按噪声水平缩放后的结果。基于这个等式,框架引入一个轻量 refiner,它的输入包括基座模型的干净预测、条件信息、当前噪声水平,以及同一次前向产生的隐藏状态,输出的是对速度的残差修正。修正并非替换基座输出,而是在每次采样更新之前叠加到基座速度上,因此下一步预测从修正后的状态继续推进。

开销与理论条件

在计算开销上,该方案不额外调用基座模型,每一步只增加一次轻量 refiner 的前向评估,这是它区别于「再训一个更大模型」或「多次采样再筛选」的地方。论文的理论部分给出两类结论:其一,说明在什么条件下复用隐藏特征会比直接用原始输入做仿射预测更有效;其二,在训练算力对齐的前提下,训练 refiner 带来的残差风险下降幅度大于继续训练基座模型。这两条为「把算力花在修正器上」提供了依据,而不只是实验层面的经验观察。

实验覆盖的任务

验证覆盖三类生成任务:类条件图像生成、文本到视频生成、图像到视频生成。结果是对应基座模型在各项任务上都有一致改善,作者点明提升体现在视觉质量与物理一致性两方面。物理一致性对视频生成尤为关键,说明修正不仅让画面更清晰,也影响运动与场景演化的合理程度。论文同时给出项目页面链接,代码与可视化结果可据此查阅。由于材料只提供摘要层面的信息,具体基座模型、数据规模与量化提升幅度未在摘要中列出,需要看全文确认。

为什么值得看

给出不增加基座模型推理开销的采样修正思路,并附理论条件与多任务实验,对扩散/流匹配方向的研究者有直接参考价值。

文生视频算力论文

信源1 家

  1. [1]arXiv cs.AI一手信源CorrFlow: Self-Correcting Flow Matching

关键事实

  • CorrFlow 通过轻量 refiner 复用基座模型同一次前向中的干净预测、条件、噪声水平与隐藏状态来预测残差修正[1]

  • 修正被加到基座速度上再执行采样更新,不增加基座模型评估,每步仅多一次轻量 refiner 评估[1]

  • 理论分析给出特征复用优于原始输入仿射预测器的条件,以及同等训练算力下 refiner 训练比继续训练基座模型带来更大残差风险下降[1]

  • 在类条件图像生成、文生视频与图生视频任务上相对对应基座模型取得一致提升,涉及视觉质量与物理一致性[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。