注册

Orthros 提出相位感知异构注意力，预填充提速 21.9 倍

论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿 NeurIPS 2026 的预印本提出 Orthros 注意力机制，把效率优化的思路从按层分配结构改为按序列处理阶段解耦。该模块在序列处理的不同阶段动态切换计算模式，预填充阶段为线性复杂度，解码阶段使用完整注意力。作者称在预填充重、解码轻的长上下文场景下，其渐近复杂度低于原始 Transformer。实验显示，相比 Transformer 预填充提速 21.9 倍，端到端推理也有收益，128K 大海捞针测试接近满分，真实上下文召回任务达到 Transformer 水平；通过数据高效的 Transformer 到 Orthros 转换，性能可超过原模型。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

从结构分配转向阶段解耦

线性注意力与滑动窗口注意力能把 Transformer 的计算复杂度从平方降到线性，但上下文召回能力下降，通常需要穿插完整注意力层，长上下文处理中的平方瓶颈因此没有被真正解决。Orthros 的做法是不再按层分配注意力类型，而是让同一个模块在序列处理的不同阶段切换计算模式：预填充阶段走线性复杂度，解码阶段用完整注意力。作者给出的判断是，在预填充重、解码轻这类常见长上下文场景中，该设计的渐近复杂度低于原始 Transformer。论文同时给出了理论形式化与复杂度分析。

语言建模与转换可行性

除理论分析外，论文做了多维度实验。基础语言建模能力方面，作者验证了模型在不同规模下的可扩展性，并在综合架构对比中表现出竞争力。转换方面，Orthros 支持从 Transformer 做数据高效转换，转换后的性能甚至可以超过原始 Transformer，这一点关系到已有模型能否低成本迁移到该架构，而不必从头训练。

长上下文与推理提速数据

效率数据上，论文报告 Orthros 相比 Transformer 预填充提速 21.9 倍，并带来端到端推理收益，同时保留长上下文能力：128K 大海捞针测试结果接近满分，真实世界上下文召回任务上达到 Transformer 级别表现。作者把高性能、灵活性与效率三点作为其有望在工业应用中接替 Transformer 的理由。该文为 NeurIPS 2026 投稿的预印本，采用实验室模板，编号 arXiv:2610.13735。

为什么值得看

长上下文推理的预填充开销一直是部署瓶颈，该方案给出线性预填充加完整解码的新路径，并附转换与提速数据。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers

关键事实

  • 论文提出 Orthros 注意力，按序列处理阶段动态切换计算模式，预填充为线性复杂度、解码为完整注意力[1]

  • 作者称在预填充重、解码轻的长上下文场景下，Orthros 的渐近复杂度低于原始 Transformer[1]

  • 相比 Transformer，Orthros 预填充提速 21.9 倍，并带来端到端推理收益[1]

  • 128K 大海捞针结果接近满分，真实上下文召回任务达到 Transformer 水平[1]

  • 通过数据高效的 Transformer 到 Orthros 转换，性能可超过原始 Transformer[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论