CausalWAM 提出稀疏路由路径,分离世界动作模型中的动作成因
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
论文指出,世界动作模型(WAM)从观测中学习隐变量,并用这些隐变量预测场景演化、生成动作;但预测需要覆盖整个场景,而真正引发动作的只是场景的一部分。仅靠示范数据拟合的 WAM 无法保证只依据动作相关隐变量生成动作,可能把无关变量混入其中。作者在稀疏约束下证明:用于生成动作的隐变量是动作相关隐变量的可逆函数,真实结构可被识别到隐变量置换的程度;该结论不要求足够的时间依赖,也不对未观测状态的演化方式作假设,即使动作相关隐变量与其余部分统计相关也成立。据此提出 CWAM,在预训练 WAM 的动作头上加一条稀疏路由路径来引入该约束,世界建模目标保持不变。合成数据与真实机器人实验验证了理论,并显示闭环成功率效率提升。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载问题:预测整场景,动作只由局部引起
世界动作模型从观测中学习隐变量,再用这些隐变量同时完成两件事:预测场景如何演化,以及生成动作。矛盾在于,预测必须覆盖整个场景,而真正引发动作的只是场景中的一部分。作者指出,仅用示范数据拟合的模型并不能保证动作只由示范动作的潜在成因产生——模型完全可能一边模仿,一边把与动作相关的隐变量和无关的干扰变量纠缠在一起。这种纠缠在闭环执行中会放大误差,因此需要把「引起动作的因素」与「预测所依赖的因素」分开处理。
理论:稀疏约束下的可识别性
作者在稀疏约束下给出证明:用于生成动作的隐变量是动作相关隐变量的可逆函数,真实结构可以被识别到隐变量置换的程度。这一结论的条件相对宽松——既不需要足够的时间依赖,也不对未观测状态如何演化作任何假设,并且即使动作相关隐变量与其余部分存在统计相关也依然成立。换言之,识别动作成因不依赖对数据生成过程的强假设,这降低了方法在真实机器人场景中落地时的前提负担。
方法:给动作头加一条稀疏路由
基于上述结论,作者提出 CWAM。做法不是重新训练一个世界模型,而是在预训练 WAM 的动作头上增加一条稀疏路由路径,把稀疏约束嵌入原有结构,世界建模目标保持原样不变。这样改造的代价较小,可以直接复用已有预训练模型的能力,同时让动作生成路径倾向于只经过与动作相关的隐变量。论文在合成数据与真实机器人两类实验中验证了理论结论,并报告闭环任务成功效率有所提升。
为什么值得看
把因果识别引入世界动作模型,给出可证明的隐变量分离条件,并用轻量路由改造现有模型,对机器人策略学习有直接参考价值。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
