ICML 2026论文提出ARM：可学习稀疏控制的KV缓存新结构
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定容量记忆槽
ARM 的核心是一套容量固定的记忆结构，其组织方式为分层路由器。与依赖不断增长的键值缓存不同，这套记忆不随上下文变长而膨胀，槽位数量在设定后保持不变。写入与读取都通过可微的方式完成，因此整个选择过程能够参与梯度回传，而不必依赖离散的取舍规则。作者用 Gumbel-Softmax 让模型在槽位之间做选择，使选择动作保持可学习；更新环节则采用 sigmoid 门控，把新到的信息与已存内容做软性混合。这种软混合意味着旧内容不会被整块丢弃，而是按门控权重被部分保留或覆盖，从而避开硬性淘汰带来的信息损失。
推理时按需取用
在记忆访问量上，ARM 进一步训练了一个策略网络，让模型在推理阶段自行决定调用多少记忆。面对简单上下文时，访问量可以压得较低；遇到需要多步推理的输入时，则放开更多槽位。这一设计把“用多少记忆”从固定超参数变成了随输入变化的决策，使同一套结构能覆盖短上下文与长上下文两类场景。相较之下，选择性丢弃词元与剪枝这类做法通常在缓存增长到一定程度后按规则删减，删掉的内容无法找回；ARM 的软更新与可变访问量则试图在控制占用规模的同时保留可回溯的信息路径。
评测与对比结果
论文在常见的常识类基准与长上下文推理基准上做了实验，报告的结果显示 ARM 在效果与效率两方面都优于固定键值缓存的方案，并且在内存占用与生成延迟上保持可扩展。需要说明的是，材料给出的是整体性结论，未列出具体基准名称、分值或延迟数值，因此无法在此展开逐项对比。该工作已被第四十三届国际机器学习会议（ICML 2026）接收，两位作者贡献相同；预印本于 2026 年 9 月 21 日提交至 arXiv，编号为 2609.24417，属机器学习与人工智能分类。
适用边界与读者关切
从材料看，ARM 的定位是替代或补充现有键值缓存管理方式，适用于需要长上下文稳定计算、又不希望缓存无界增长的推理场景。其限制在于：分层路由器与策略网络都需要额外训练，槽位规模是预设的固定值，材料未说明该规模如何随任务调整，也未给出不同规模下的表现曲线。对关注长上下文部署的读者而言，这项工作的意义在于提供了一条“容量固定、访问量可变”的思路，把记忆管理从规则式删减转为可学习的选择；但具体收益幅度仍需参照论文中的实验细节，材料本身未提供可引用的量化指标。
为什么值得看
解决LLM长上下文推理中KV缓存硬驱逐丢信息痛点，实现动态可微的稀疏记忆控制，兼顾性能与推理效率。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。