arXiv 论文质疑长上下文必要性，提出语义状态空间模型
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇提交至 arXiv 的论文指出，生成靠后的 token 比靠前的 token 更贵，在开源权重的前沿模型上，这种成本差距最高可达 7 倍。作者在多种长程与长输入任务上采用频繁压缩（compaction）维持短上下文，发现前沿语言模型的任务准确率几乎没有损失。论文还显示，在长程软件工程任务中，即使每个上下文只执行一个动作，模型性能也不会崩溃，并据此提出语义状态空间模型（SSSM）的概念。作者由此对长上下文语言模型的必要性提出疑问。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载成本随位置上升
论文的出发点是生成成本与 token 位置相关：越靠后的 token 越贵。在前沿开源权重模型上，这种前后差距最高可到 7 倍。这意味着长上下文不仅占用更多显存，生成阶段的开销也随位置推移而放大，长上下文方案的实际代价高于按平均单价估算的结果。
压缩替代长上下文
作者没有改造模型结构，而是在使用方式上做文章：通过频繁压缩（compaction）把上下文维持在较短长度，再在多种长程任务与长输入任务上测试。结果显示，前沿语言模型在这种短上下文模式下，任务准确率几乎没有下降。这一结论直接指向一个实践问题——为长上下文付出的成本是否换来了对应的收益。
单动作上下文实验
论文进一步给出更激进的设定：在长程软件工程任务中，每个上下文最多只执行一个动作，模型性能依然没有崩溃。这说明任务推进所依赖的信息可以被反复压缩、重建，而不必全程驻留在上下文窗口内。该实验是作者提出语义状态空间模型（SSSM）概念的依据。
对长上下文的疑问
基于上述结果，作者对长上下文语言模型的必要性提出质疑，并把 SSSM 作为一条替代思路提出。论文为技术报告形式，共 31 页、8 张图。需要注意，结论建立在作者选定的任务范围与压缩策略之上，是否适用于其他任务类型，材料未作说明。
为什么值得看
如果短上下文加频繁压缩就能保住准确率，长上下文模型的成本假设需要重新审视。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。