UniWALM：把视频、动作、语言放进同一骨干的机器人控制模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三模态共享一套表征
UniWALM 把视频、动作与语言放进同一个共享表征里学习，三种模态既是条件信号，也是监督目标。研究团队提出的问题是：让模型同时生成语言，能否反过来充实这套共享表征，从而改善操作表现并支撑依赖记忆的行为。与把推理模型或视觉语言模型挂在视频-动作主干上、分阶段运行的做法不同，UniWALM 将三种模态统一在单个 mixture-of-transformers 主干内部，各模态的扩散头同步去噪，子任务与文本记忆和动作在同一趟解码中产出，不需要独立的规划阶段。生成的语言会在下一步被重新读取，形成以语言为记忆的闭环，无需外部规划器或记忆库。
动作流靠校正目标稳住
在更丰富的训练目标下，动作流的可靠性由 Flow Matching with Correction（FMC）来保障。这一训练目标让模型学会从被扰动的动作轨迹中恢复，且在推理阶段不带来额外开销。评测方面，UniWALM 在组合式取放任务 MolmoSpaces 上稳定优于同主干基线（如 FastWAM）；在 RMBench 中依赖记忆的子集上，它在没有任何预训练语言或推理模型的情况下达到 34.5%，并且只用单个锚点帧就超过了配备关键帧的 Mem-0 设置（28.5%）。
真实任务上的记忆增益
在真实世界的 Find-the-Item 任务中，生成文本记忆把成功率从 11.1% 提升到 61.1%，而当前先进的 VLA 方法停留在随机水平或以下（不超过 33.3%）。这组对比说明，语言在这里不只是输出，而是被当作可复用的记忆参与下一步决策。对关注具身机器人控制的读者而言，这意味着规划与记忆可以收进单一模型的一次解码过程，而不必外挂独立模块；同时也要注意，上述结果分别来自组合式取放基准、依赖记忆的基准子集以及一项真实任务，适用范围仍以这些评测设定为界。
为什么值得看
它把语言生成直接当作机器人的记忆与规划手段，并用同一骨干完成，给出了可对照的成功率数字。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。