ReLF 用整流流做并行文本生成，少步数下速度超自回归模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法的核心设计
ReLF 属于连续状态流与扩散模型路线，目标是用并行生成替代逐 token 的自回归解码。它把噪声搬运到 token 嵌入空间完成文本生成，并叠加三项设计：用 Hellinger-SVD 构造固定的 token 嵌入；自条件引导以交叉熵为训练目标；正则化 reflow 用于压缩采样步数。论文还提出 singular logits，由两部分相加构成，一部分是解析计算项，在噪声消退时推动结果落到合法的 token 嵌入上，另一部分是有界神经残差，用来学习上下文相关的 token 偏好。
评测结果与速度
实验在 OpenWebText 上进行，覆盖三种模型规模。在 64 次函数评估的预算下，ReLF 的生成困惑度低于自回归基线，同时保持多样性对齐，并且在该设定下优于此前的连续流方法。经过两轮 reflow 后，即使把函数评估次数压到 16 次，它仍然优于自回归基线；在 batch size 1 的条件下生成 1024 token 序列，速度是后者的 15 到 19 倍。这些数字说明少步采样并未以明显质量损失为代价。
适用场景与限制
材料给出的对比集中在困惑度与生成速度两项，评测语料为 OpenWebText，序列长度为 1024 token，速度数据取自 batch size 1。论文未在摘要中说明更大批量、更长序列或其他语料上的表现，也未给出与自回归模型在具体下游任务上的对照。对关注推理成本与并行解码的读者，函数评估次数与加速倍数的对应关系是判断可用性的关键信息。
为什么值得看
连续流语言模型在质量上追平自回归模型的证据，附具体加速倍数与评估预算，值得关注并行生成路线的人细看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。