CopyLoop：免训练解码让循环 Transformer 提速最高 10.7…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法怎么运作
循环 Transformer 通过反复调用共享块来提升计算容量，但循环深度带来的代价是解码变慢：常规做法要走完整个深度才能产出一个 token。已有的投机式流水线靠在不同深度上处理相邻 token 位置来加速，却受制于顺序解码的开销。CopyLoop 换了个思路：它不逐 token 生成，而是从重复出现的上下文里直接提出多 token 的后缀候选，再把这些候选放到较浅的循环深度上提前评估，快速剔除错误分支。与此同时，较新的块不必等待前面的块走完全深度验证，可以并行推进。整个流程不需要训练，只依赖轻量的模型校准。
实测提速与对比
作者选取 Ouro、Raven、Huginn 三个系列的六个模型检查点作为评测对象，任务覆盖代码生成和多步数学推理两类。相对全深度自回归解码，Base 模型上的解码提速为 2.98 倍到 10.70 倍，Thinking 模型上为 2.74 倍到 3.52 倍。在各评测任务中，CopyLoop 要么超过所有对比基线，要么与之接近。两类模型的倍数区间不同，说明收益随模型类型变化，Thinking 模型的加速空间相对更窄。
协同效应与适用条件
消融实验给出的结论是：浅层筛选与连续调度单独使用都不如组合起来，两者之间存在较强的协同。分析部分还指出两点限制与适用范围：一是方法只需要轻量的模型校准，不涉及重新训练；二是当生成序列较长、且上下文存在可复用内容时，提速幅度会更大。换言之，短生成或上下文难以复用的场景，收益会相应缩小。
为什么值得看
循环 Transformer 的深度解码开销大，这里给出免训练、只需轻量校准的加速路径，并附六个检查点的实测倍数。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。