arXiv 论文提出把检索当作地址空间遍历的记忆方案
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
这篇论文关注长上下文模型反复解决相近检索问题、每次前向都要重新搜索的浪费。作者把记忆内容与地址分离，用「检索所揭示的信息」定义价值，几何只决定到达成本，由此给出带成本正则的索引目标，让互补记忆可共同检索、冗余记忆不因各自有用而挤进同一检索集。作为原理验证，只在 MiniGrid Memory 上测了最简单的固定几何实例：五 token 上下文下，持久局部遍历头在 0.59M 训练步达到 0.95 平均回报，高斯绝对寻址需 0.94M，类别绝对寻址超过 2M。作者说明实验未测试学习到的几何与重复检索，完整方法仍需更多实验。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出，长上下文模型会反复处理彼此相近的检索问题。注意力机制或全局检索能够保留大量记忆，但每次前向传播都要重新搜索哪些内容重要；循环压缩虽然省去这次搜索，代价是必须提前决定保留什么。两种机制都没有利用一个事实：相邻检索步骤中有用的记忆可能大幅重叠。作者据此提出把检索看作在地址空间中进行的持久局部遍历，而不是每次从头做一次全局搜索。
内容与地址分离
方法的核心是把记忆的内容和它的地址分开。一条记忆的效用由检索该内容所揭示的信息来定义，几何结构只决定这份信息能被多便宜地取到。由此形成一个带成本正则的索引目标：在局部邻域内保留信息价值，同时对每一条被变得局部可访问的记忆计费。写成边际价值形式后，该目标同时带来吸引压力和排斥压力——当互补记忆带来的额外价值超过检索成本时，它们应当可以被一起检索；而冗余记忆不应仅仅因为各自有用就占据同一个检索集合。
原理验证结果
作者只把最简单的固定几何实例放到 MiniGrid Memory 上做验证。在五 token 上下文的条件下，持久局部遍历头经过 0.59M 训练步达到 0.95 的平均回报；作为对照，高斯绝对寻址需要 0.94M 训练步，类别绝对寻址则超过 2M。论文明确说明，该实验没有测试学习到的几何，也没有测试重复检索，因此结果只是原理性验证，用来支持「有状态检索可能比无状态检索更容易学习」这一假设，完整方法还需要进一步实验。
为什么值得看
把长上下文检索从每次重搜改为持久局部遍历，并给出训练步数对比，对做记忆与长上下文智能体的研究者有参考价值。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。