研究提出KV-streams策略，提升智能体RL训练吞吐量最高5倍
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
扩展智能体大模型的时间跨度受限于GPU显存无法容纳过长的上下文轨迹。现有上下文压缩机制需多次预填充，拖慢训练速度。为此，研究提出KV-streams即插即用策略，通过向前流式传输KV缓存而非压缩后清空，兼容任意压缩方法。该策略让三种压缩策略的训练墙钟速度提升2.6至5倍，且未损害性能。流式KV缓存还能作为循环状态传递已脱离上下文的信息，实验表明仅靠RL便可使该行为涌现。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载长上下文训练的内存瓶颈
智能体大模型要拉长任务跨度，就得把越来越长的上下文轨迹塞进 GPU 显存，显存容量因此成为限制因素。上下文压缩被当作缓解这一问题的常用手段，它能让给定轨迹占用的显存保持恒定。但论文指出，多数压缩方案需要反复对模型上下文做预填充，训练吞吐因此被拖慢。作者把这一矛盾概括为：显存虽然被压住了，代价却转移到了重复计算上。
把 KV 缓存向前流式传递
针对上述瓶颈，作者提出 KV-streams。它是一种即插即用的策略，可以与任意压缩策略搭配使用，目标是显著提升吞吐，同时没有观察到性能受损的迹象。其做法是不再在每次压缩后把 KV 缓存清空，而是让缓存持续向前流式传递，从而让压缩过程具备可扩展性。论文用三种不同的压缩策略验证了这一机制，训练墙钟时间获得 2.6 到 5 倍的加速。
流式缓存充当循环状态
除效率之外，作者还观察到流式传递的 KV 缓存可以充当一种循环状态，把早已从上下文中消失的信息继续携带下去。论文在一个受控设定中说明，与先前工作不同，仅靠强化学习本身就能让这种行为涌现出来，不需要额外机制。作者据此把 KV-streams 定位为后训练流程中轻量、高效的即插即用补充。该论文提交于 2026 年 9 月 28 日，最新版本为 9 月 29 日的 v2，编号 arXiv:2609.35750，归入 cs.LG 与 cs.AI 分类。
为什么值得看
解决智能体长上下文训练显存与速度瓶颈，提供即插即用、最高5倍加速的KV缓存流式方案。
大模型智能体GPU
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。