阿里布局循环Transformer技术，解决模型计算冗余问题
模型AI 评分 75/100量子位
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
GPT-6 Astra发布后，循环Transformer技术引发关注。阿里早在11个月前就发表相关论文，提出MeSH和SpiralFormer解决方案，针对循环内部信息管理和计算精度问题。实验显示，MeSH使模型减少33%非嵌入参数的同时，准确率提升1.06个百分点，额外计算开销仅0.014%。研究团队发现循环模型存在'计算无分化'和'信息过载'问题，导致后续循环计算效率低下。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载循环深度复用同一组层
GPT-6 Astra 采用循环深度技术，让同一组 Transformer 层反复运行。这种做法不增加同等规模的参数，却能加深计算。例如，8 层参数跑 3 遍，就能完成 24 层深度的计算。循环架构因此可以减少需要存储的参数，用计算深度换取参数规模。此前 Claude Mythos 曾带火循环架构，但官方未说明是否采用。
循环模型表示趋于单一
在 GraphWalks BFS 256K 至 1M 测试中，Mythos Preview 得 80.0%，同测试 GPT-5.4 得 21.4%，Opus 4.6 得 38.7%。然而，循环模型后续轮次的 hidden state 变化幅度迅速缩小，相邻循环轮次的 hidden state 高度接近。循环后模型表示逐渐挤进低维空间，表达变单一。
MeSH 路由器缓解空转
阿里团队论文 MeSH 已被 ICLR 2026 接收，首版 2025 年 10 月公开。在 Pythia-1.4B 实验中，循环结构经权重共享减少约 33% 非嵌入参数。加入 MeSH 后，零样本下游平均准确率从 49.50% 升至 50.56%。MeSH 路由器参数约为普通 Transformer 非嵌入参数的 0.005%，相较基础循环模型额外计算开销约 0.014%。团队诊断循环空转源于计算无分化和信息过载。
为什么值得看
循环Transformer可能成为下一代高效大模型架构，阿里研究为解决其技术瓶颈提供新思路。
阿里GPT论文
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。