研究揭示扩散模型在固定预算训练下呈特征选择性崩溃
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Hanna Malet与Gabriel Turinici发表论文探讨扩散模型在合成数据上的崩溃机制。针对完全替换真实数据导致崩溃、而混合累积数据可避免崩溃的矛盾结论，研究引入有限预算中间机制：保留全部历史与真实数据，但每代仅从不断扩大的池中抽取固定规模样本训练，导致真实数据占比自然趋零。二维螺旋及MNIST等图像基准实验表明，完全替换使数据集迅速退化，而固定预算仅致部分退化并保留部分特征。随机递推分析证实，两种协议下均有脆弱特征易丢失，但固定预算能使鲁棒特征在近乎无界代数内得以保留。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型崩溃的两种协议对比
当生成模型使用早期模型产生的合成数据进行迭代训练时，会发生模型崩溃现象。过往研究存在看似矛盾的结论：用合成数据完全替换真实数据会引发崩溃，而将真实数据与合成数据累积混合则能避免崩溃。本文针对扩散模型，研究了一种介于两者之间、典型有限预算计算管线的机制。在该机制下，所有过往数据集与真实数据均被保留，但由于每代新模型仅从不断扩大的总数据池中抽取固定规模的样本进行训练，真实数据的比例在无任何数据被删除的情况下自然趋近于零。
实验观测与理论推导
研究在二维螺旋数据集以及MNIST、Fashion-MNIST和CIFAR-10等图像基准上进行了实验。结果显示，完全替换协议会导致数据集如文献所述般迅速退化；而固定预算协议仅产生部分退化，某些特征得以幸免。通过随机递推对多代参数动态的线性响应模型进行分析，研究从理论上证实了两种协议的差异：无论哪种协议，部分脆弱特征都会在少数几代内丢失；但在固定预算协议下，部分鲁棒特征能够在几乎无界的代数范围内被保留下来。
为什么值得看
厘清了合成数据迭代时模型崩溃的微观机制，为有限算力下设计多代生成模型训练管线提供了关键理论依据。
论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。