PhysiCalWorld 用上下文提示校准世界模型物理参数
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载要解决的问题
现有世界模型通常只依据当前视觉帧或很窄的历史窗口来理解场景。这类观测往往无法暴露决定状态转移的物理属性,例如物体的质量分布、关节阻尼或表面摩擦。缺少对这些物理因素的校准,模型预测会向经验先验回退,在新测试场景中产生严重漂移。论文把这一现象作为核心动机,指出问题不在于模型容量,而在于观测里没有可用于区分实例物理差异的信息。
校准怎么做
PhysiCalWorld 的做法是在测试场景内先采集一段探索性交互片段,再把它编码成一个紧凑的物理描述符 token。这个 token 作为上下文提示,把后续的动作条件预测锚定在该场景实际的物理行为上。整个流程不微调模型参数,也不做解析式的物理建模。训练端到端进行,监督信号只有潜空间预测损失,不需要任何物理标签,因此不依赖带物理标注的数据集。
推理开销与复用
在推理阶段,描述符 token 只需提取一次,之后可在同一场景的多次 rollout 中反复使用,带来的额外计算开销可以忽略。这意味着校准成本主要集中在一段短交互上,而不是每次预测都重新估计物理参数。对于需要长时滚动预测的视觉规划任务,这种一次提取、多次复用的方式避免了逐帧重复校准。
评测与泛化
作者在四个环境上评测,覆盖多种物理变化。结果显示 rollout 预测准确率和视觉规划成功率都有明显提升。论文还报告,学到的描述符在潜空间中呈现出与物理相关的结构,并且能够泛化到训练阶段未见过的物理参数范围。这一泛化结论针对的是物理属性区间,而非全新的任务类型,具体适用范围仍以论文实验设置为准。
为什么值得看
世界模型在换场景后容易漂移,这篇给出免微调、免物理标注的在线校准思路,做机器人操控与视觉规划的人可关注。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
