PhysiCalWorld 用上下文提示校准世界模型物理参数

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

arXiv 收录论文 PhysiCalWorld,针对动作条件世界模型在测试场景中物理属性不可见、预测漂移的问题,提出用上下文提示做实例级校准,无需微调或解析物理建模。方法把测试场景内采集的一段探索性交互片段编码成紧凑的物理描述符 token,让后续预测锚定该场景真实物理行为;训练只用潜空间预测损失,不需要物理标签。推理时描述符只提取一次,可在多次 rollout 中复用,算力开销可忽略。作者在覆盖多种物理变化的四个环境中评测,称 rollout 预测精度与视觉规划成功率均有明显提升,学到的描述符形成有物理结构的潜空间,并能泛化到训练时未见过的物理范围。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

现有世界模型通常只依据当前视觉帧或很窄的历史窗口来理解场景。这类观测往往无法暴露决定状态转移的物理属性,例如物体的质量分布、关节阻尼或表面摩擦。缺少对这些物理因素的校准,模型预测会向经验先验回退,在新测试场景中产生严重漂移。论文把这一现象作为核心动机,指出问题不在于模型容量,而在于观测里没有可用于区分实例物理差异的信息。

校准怎么做

PhysiCalWorld 的做法是在测试场景内先采集一段探索性交互片段,再把它编码成一个紧凑的物理描述符 token。这个 token 作为上下文提示,把后续的动作条件预测锚定在该场景实际的物理行为上。整个流程不微调模型参数,也不做解析式的物理建模。训练端到端进行,监督信号只有潜空间预测损失,不需要任何物理标签,因此不依赖带物理标注的数据集。

推理开销与复用

在推理阶段,描述符 token 只需提取一次,之后可在同一场景的多次 rollout 中反复使用,带来的额外计算开销可以忽略。这意味着校准成本主要集中在一段短交互上,而不是每次预测都重新估计物理参数。对于需要长时滚动预测的视觉规划任务,这种一次提取、多次复用的方式避免了逐帧重复校准。

评测与泛化

作者在四个环境上评测,覆盖多种物理变化。结果显示 rollout 预测准确率和视觉规划成功率都有明显提升。论文还报告,学到的描述符在潜空间中呈现出与物理相关的结构,并且能够泛化到训练阶段未见过的物理参数范围。这一泛化结论针对的是物理属性区间,而非全新的任务类型,具体适用范围仍以论文实验设置为准。

为什么值得看

世界模型在换场景后容易漂移,这篇给出免微调、免物理标注的在线校准思路,做机器人操控与视觉规划的人可关注。

微调算力论文

信源1 家

  1. [1]arXiv cs.AI一手信源PhysiCalWorld: In-Context Physics Calibration for World Models

关键事实

  • 论文提交于 2026 年 10 月 21 日,arXiv 编号 2610.30125,属 cs.RO,交叉 cs.AI 与 cs.CV[1]

  • 方法把测试场景内采集的探索性交互片段编码为紧凑的物理描述符 token,用于锚定后续预测[1]

  • 训练仅使用潜空间预测损失,不依赖物理标签,也不需要微调或解析物理建模[1]

  • 推理阶段描述符只提取一次,可在多次 rollout 中复用,额外算力开销可忽略[1]

  • 在覆盖多种物理变化的四个环境中评测,rollout 预测精度与视觉规划成功率均有提升,且能泛化到训练未见过的物理范围[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。