新方法用显著性监督训练轻量级机器人记忆
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把视觉语言模型搬到训练阶段
这项工作的核心思路是调整视觉语言模型在机器人策略中的介入时机。以往让策略具备记忆能力的常见做法，是在部署运行时反复调用视觉语言模型，由它筛选历史信息中与任务相关的部分，再交给策略使用。这种在环查询的代价是推理开销随任务时长增长。作者提出的替代方案把这类计算密集的查询整体前移到训练阶段，在训练时完成筛选与提炼，部署时只保留一个可被轻量查询的隐式记忆表示。这样，运行时不再需要视觉语言模型参与推理，策略仍能拿到完成任务所需的历史线索。
工作区令牌的两步训练
作者把学到的表示命名为工作区令牌。它的训练分两步走：先用视觉语言模型判断完成当前任务需要哪些当下信息与历史信息，相当于由模型给出一个与任务相关的信息集合；再借助集合重建解码器的损失，把这些信息蒸馏进工作区令牌。也就是说，令牌并非直接拟合原始观测序列，而是被要求能够重建出经筛选的关键内容。这一监督方式使令牌承载的是任务显著的信息，而非全部历史。论文在仿真环境与真实硬件上都做了验证，说明该表示不只停留在模拟层面。
部署时替代原始观测
在部署阶段，工作区令牌可以直接替换观测输入，作为策略的条件信号使用，属于即插即用的替换方式。由此，策略能够处理对记忆要求较高的操作任务，而运行过程中不需要视觉语言模型做推理。与在环查询方案相比，这一路径把重计算留在训练侧，部署侧只承担查询轻量隐式记忆的成本。作者还报告了一个反直觉的结果：工作区令牌不仅更轻量，策略的最终表现也更好。论文给出的解释线索是，直接以完整历史作为条件容易让策略学到虚假相关，从而拖累性能，而经过显著信息筛选的令牌缓解了这一问题。
适用范围与阅读提示
从材料看，这套方法的适用对象是需要长期记忆的复杂机器人操作任务，验证覆盖仿真与硬件两类场景。其限制在于训练阶段仍依赖视觉语言模型来界定何为任务相关信息，令牌质量与这一筛选步骤绑定；部署侧省去的是推理调用，而非训练成本。对关注机器人策略记忆设计的读者而言，这项工作的意义在于提供了一种把昂贵模型能力固化进轻量表示的思路：把智能放在训练时，把效率留给运行时。论文共 26 页，含 11 幅图，收录于 CoRL 2026，编号 arXiv:2609.20820，当前版本为 v3。
为什么值得看
降低机器人推理成本，提升长时任务执行效率。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。