论文提出用信息价值统一解决强化学习记忆的检索与信用分配
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被 CoRL 2026 机器人基础模型记忆研讨会接收的论文提出，强化学习中的记忆存在两个问题：注意力机制需要给整个存储打分才能找到相关条目，在机器人的延迟与能耗限制下代价高昂；检索到的记忆产生收益后，获取该记忆的信用需要跨越整个序列回传。作者认为这两件事都由同一个量——信息价值——支配，并提出用学习到的世界模型从存档的 rollout 中估计它。在观测处读取该量，可得到获取动作最优值的可证下界，从而为其 TD 目标设定下限，并把这份下限归因到带来收益的观测上；在决策处读取，则可定义最优检索集合。一个将用该信号训练和改进的试点检索系统在缩减的上下文中完成了记忆任务。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两个问题共用一个量
论文把强化学习中的记忆拆成两个具体痛点。其一是检索：注意力机制要对整个存储逐项打分才能定位相关条目，在机器人受延迟和能耗约束的场景里代价过高。其二是信用分配：当某条被检索到的记忆最终带来收益时，获取这条记忆的功劳需要跨越整条序列回传，路径长且信号稀薄。作者的主张是这两件事并非彼此独立，而是由同一个量——信息价值——所支配，因此可以用一套估计去同时服务检索与归因。
从存档数据估计信息价值
估计手段是用一个学习到的世界模型，从已经存档的 rollout 中推算信息价值，而不需要额外在线交互。这个量在不同位置读取会给出不同用途：在观测处读取时，它给出获取动作最优值的一个可证下界，该下界为这个动作的 TD 目标提供下限，同时把这份下限归因到真正带来收益的那条观测上，从而绕开跨越整条序列的信用回传；在决策处读取时，它直接刻画最优检索集合，即哪些条目值得被取回。
试点系统与适用范围
作者搭建了一个试点检索系统，计划用上述信号继续训练和改进。该系统在上下文被缩减的条件下完成了一项记忆任务，说明按信息价值筛选检索内容可以在更小的上下文中维持任务表现。论文共 11 页、含 1 张图，被 CoRL 2026 机器人基础模型记忆研讨会接收，归类为 cs.AI 与 cs.LG。材料未给出具体任务类型、缩减比例或与基线方法的量化对比，这些细节需查阅原文。
为什么值得看
把记忆检索成本与信用分配归到同一个可估计量上，并给出可证下界，对做机器人长序列记忆的研究者有直接参考价值。
强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。