注册

论文比较循环层模型：仅 0.8B 规模优于基线

论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文研究在已训练模型上追加循环层是否值得付出推理算力。循环让每个 token 多次经过同一组层，参数、磁盘占用、显存和训练成本不变，但重复 m 层会使每个 token 的推理开销约为 (N+m)/N 倍。作者用 Qwen3 与 Qwen3.5 的 0.8B 至 9B 模型，与两个基线对比：同参数但不加循环的模型，以及同等推理 FLOPs 下最优的无循环用法。结果显示只有 0.8B 循环模型同时胜过两个基线；4B 和 9B 的循环模型连第一个基线都赢不了。作者指出，这并非基准太简单，因为无循环 9B 在同一基准上仍比 4B 高最多 13 分。结论是：在参数预算固定时，给预训练模型加循环只对小模型划算。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

循环层的成本结构

论文讨论的做法是在已训练模型中重新施加一组层，让每个 token 不止一次通过该层块。这种做法吸引人的地方在于不改变参数数量，因此磁盘体积、内存占用和训练开销都保持原样。但代价落在推理侧：若在 N 层中重复 m 层，每个生成 token 的计算量大约变为原来的 (N+m)/N 倍。作者把问题限定在一个具体判断上——预训练阶段学到的循环能抵偿这笔开销，而预训练之后人为追加的循环是否同样划算，此前并不清楚。

两组对照基线

为回答这个问题，作者设置了两类比较对象。第一类是同参数基线：结构与循环模型相同、训练方式一致，但不加循环，用来检验循环本身是否带来增益。第二类是等算力基线：在相同推理浮点运算量下，寻找同一模型不加循环时的最佳用法，用来检验把算力花在循环上是否比花在别处更值。实验覆盖 Qwen3 与 Qwen3.5 两个系列、0.8B 至 9B 的多个规模。

小模型之外不划算

结果呈现明显的规模分界。只有 0.8B 的循环模型同时超过同参数基线和等算力基线；到 4B 和 9B，循环模型连第一个基线都无法胜过，也就是不如同样训练但不加循环的版本。作者排除了基准过于简单的解释：在同一批基准上，无循环的 9B 模型比 4B 模型最多高出 13 分，说明分数上限远未触及，大模型仍有充足提升余地。由此得出的结论是，在参数预算固定的前提下，给预训练完成的模型追加循环只在较小模型上能收回推理成本。

为什么值得看

给已训练模型加循环看似零成本，论文用实测说明它只在 0.8B 这类小模型上回本，为推理算力分配提供了可复用的对照方法。

Qwen算力论文

信源1 家

  1. [1]arXiv cs.AI一手信源There Is No Free Loop: When Does Looping a Trained Model Pay for Its Inference Compute?

关键事实

  • 循环让每个 token 多次经过同一组层，参数数量、磁盘大小、显存占用与训练成本均不变[1]

  • 重复 m 层会使每个 token 的推理开销约为 (N+m)/N 倍[1]

  • 实验覆盖 Qwen3 与 Qwen3.5 的 0.8B 到 9B 模型，对比同参数无循环模型与同等推理 FLOPs 的最优无循环用法[1]

  • 只有 0.8B 循环模型同时胜过两个基线，4B 与 9B 循环模型未胜过同参数无循环模型[1]

  • 同一基准上无循环 9B 比 4B 高最多 13 分，说明基准仍有提升空间[1]

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

ID-WM 分层世界模型提出，长程任务性能提升 135%

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论