arXiv 论文比较 Transformer 与状态空间模型的长上下文位置偏差
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实验怎么做的
研究团队设计了一个受控设置：把唯一包含答案的文档放进固定的一组九个干扰文档中，只改变它的位置，然后观察模型能否取用这份证据。比较对象覆盖三类序列混合方式——Transformer、状态空间模型以及混合 Mamba。这样做的目的是把「证据在提示中的位置」单独拎出来，看不同架构对位置的敏感程度是否不同。作者强调这是探索性研究，结论限定在所评测的模型范围内。
两类架构的偏差差异
在所评测的 Transformer 上，证据靠近提示开头时更容易被用上，形成开头优势；所评测的状态空间模型没有这一现象。但两类模型都更偏好靠近末尾的证据。纯 Mamba 与混合 Mamba 的对照指向同一方向，只是统计上还不够确定。作者指出，这种家族差异只在能够完成任务的模型之间才显现；在合成检索任务里，状态空间模型准确率触顶，无法进行家族间比较，而 Transformer 的开头优势再次出现。
语料与提示词的影响
在同一个状态空间架构内更换语料，总体准确率会变化，但位置-准确率曲线的形状没有可检测的改变。提示词的变化则能制造出开头优势，也能几乎把它消除。这说明有效上下文利用不只由序列混合器决定，还和任务、提示形式以及模型能力有关。作者据此没有把架构认定为唯一原因。
可解码性与注意力线索
论文还报告，位置信息在不同架构中都可以被解码出来，即便各架构的响应曲线并不相同。在所测试的 Transformer 家族里，初始 token 附近的注意力集中程度与开头敏感性呈同向变化，为理解开头优势提供了一个可观察的内部线索。作者将整项工作定位为探索性结果，代码已公开。
为什么值得看
长上下文模型「开头记得住、中间易丢失」的偏差是否由架构决定，这篇对比给出了可复现的实验线索。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。