arXiv 论文提出 CoRAL 混合框架,用扩散规划器搭配自回归执行器
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载要解决的两个问题
论文把自回归模型在推理上的短板称为「顺序性瓶颈」:token 逐个生成,推理链条被串行展开。扩散语言模型能并行生成,但语义连贯性不足。CoRAL 的设计目标就是同时缓解这两点,而不是在两者之间二选一。作者把这一框架定位为混合方案,即让扩散模型负责发散、自回归模型负责收敛。
规划器与执行器如何分工
架构被命名为非对称 Planner-Executor(APE)。Planner 一侧是扩散语言模型,一次并行产出 K 条不同的推理轨迹,相当于先铺开多条候选路径;Executor 一侧是规模更大的自回归模型,负责在这些候选里挑出最优计划,并据此合成最终答案。两侧模型规模与职责并不对等,这也是「非对称」的含义。论文没有在摘要中给出 K 的具体取值与两侧模型的参数规模。
用结果奖励引导去噪
为了让 Planner 生成的轨迹不是随机发散而是朝目标推进,作者提出 Reward-Guided Denoising for CoT(RDC),把基于最终结果的奖励信号接入扩散去噪过程。这样 Planner 在训练阶段就能获得方向性,而不必等 Executor 筛选后才间接得到反馈。摘要未披露奖励的具体形式与训练数据规模。
实验结论与边界
在视觉语言基准上,CoRAL 相比此前的扩散类方法有明显优势,与强自回归模型对比时也达到有竞争力的水平,作者称其在效率与质量两方面同时占优。需要说明的是,材料只提供了摘要层面的结论,没有给出具体基准名称、分数、加速比或消融结果,这些细节需查阅论文全文。
为什么值得看
把扩散并行生成与自回归执行结合,为多模态推理效率提供了一条可复现的架构思路,值得关注推理加速方向的人一看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
