Lafa：8B 参数连续流语言模型，吞吐量达自回归模型 2.54 倍
论文AI 评分 82/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究提出 Lafa，一种按块组织的连续流语言模型，规模做到 8B 参数。它在每个块内使用双向异步流，前缀部分使用因果注意力，因此可以基于预训练自回归模型改造训练，并用前缀缓存和块级并行解码加速推理。团队在 0.5B、7B、8B 三个规模上训练，每个规模使用的 token 少于 30B，比此前的扩散模型更省数据。在指令跟随、推理和编码任务上，流模型的质量与自回归模型持平或更好，还能蒸馏成 flow map 做一步或少步生成。借助多 token 预测效应，流训练保留甚至提升了预训练自回归能力；配合自推测解码，在质量相当的情况下吞吐量达到自回归模型的 2.54 倍，优于多 token 预测和离散扩散方法。代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载块式流结构怎么设计
Lafa 没有采用离散扩散的逐步去噪路线，而是把序列切成块：块与块之间保持因果注意力，保证前缀信息只能单向流动；块内部则允许双向、异步的连续流更新。这样的结构让模型在训练时可以直接改造已有的自回归模型权重，而不必从零搭建。推理阶段，前缀缓存复用已算好的上下文，块内多个位置并行解码，从而绕开逐 token 串行生成的瓶颈。论文强调，这一设计同时服务于训练效率和推理速度两个目标。
数据效率与规模验证
团队在 0.5B、7B、8B 三个参数量级上完成训练，每个规模消耗的 token 都少于 30B，作者称这比此前的扩散模型更省数据。评测覆盖指令跟随、推理和编码三类任务，流模型的表现与自回归基线持平或更好。更关键的是，流训练没有破坏预训练自回归能力，反而因多 token 预测效应有所保留甚至提升，这为「在现有模型上继续训练」的路径提供了依据。
自推测解码带来的吞吐提升
作者利用上述多 token 预测效应设计自推测解码：由流部分生成草稿，再由同一模型内的自回归部分验证，无需额外草稿模型。在质量相当的前提下，该方案吞吐量达到自回归模型的 2.54 倍，并优于多 token 预测与离散扩散方法。此外，学到的流可蒸馏成 flow map，支持一步或少步生成，为低延迟场景留出调节空间。代码已随论文公开，便于复现与二次开发。
为什么值得看
连续流语言模型首次在 8B 规模上验证可扩展性，并给出 2.54 倍吞吐的实测结果，为并行生成路线提供了可复现的工程方…
蒸馏
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。