LLaCO提出竞争感知语义调度，8B连续扩散模型对标离散扩散
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载轨迹错位与虚假超越
论文关注连续扩散模型在连续嵌入空间做文本生成时的轨迹问题。沿连续轨迹，残余 token 的身份直接决定去噪目标，但几何轨迹与时间进程并不一致，导致严重的时间压缩。作者给出的解释是嵌入范数衰减：范数缩小会让欧氏距离出现虚假的超越现象，看起来某个候选 token 超过了源 token，实际并非如此。因此判断 token 竞争必须带方向性——只有当有效噪声幅度超过两者的语义间隔时，候选才算真正超越源 token。作者把这组成对动态整理为竞争阈值理论（CTT）。
高维噪声与调度方案
在 CTT 框架下，高维空间中的超越需要极端噪声水平，标准轨迹因此把身份衰减挤到靠近噪声端点的狭窄窗口里。为缓解这一点，作者提出语义保留调度（SRS），让时间分配跟随身份衰减的推进节奏，而不是均匀铺开。论文还指出，现有的 token 身份指标本质上就是这些成对超越事件的统计聚合，这一视角把评价指标与轨迹动力学联系了起来。
LLaCO 的模型构造
LLaCO 是一个由竞争感知语义调度驱动的生成框架。它用嵌入方向适配器和时间步条件调制，把预训练骨干网络适配到连续表示上。为了在方向空间中运作，LLaCO 采用球面加噪过程，把它写成朝带掩码偏置端点进行的测地线插值，这样既避免范数衰减，又保留准确的 token 竞争关系。在 SRS 的引导下，去噪轨迹按对数秩衰减的比例重新分配。模型以 8B 规模实例化，实验结果显示它超过此前的连续扩散基线，并与同规模离散扩散模型处于同一水平。
为什么值得看
连续扩散做文本生成的理论难点被具体拆解，8B 规模结果可与离散扩散对比，值得关注非自回归路线的人细看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。