SceneRig 用单张图像重建可直接用于仿真的三维场景

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

SceneRig 是一个 agentic 系统,能把单张图像转成可编辑、可直接用于仿真的三维场景。它把几何、视觉与物理工具结合起来重建场景,再由 agent 在物理仿真器内反复执行编辑与验证循环,使场景达到物理稳定。相比依赖事后物理沉降的做法,SceneRig 在实例分割、以物体为中心的外观和三维摆放上都有改善,同时保持场景物理稳定。在下游机器人任务中,它预测真实机器人策略结果比基线方法更准,也能更可靠地支持已录制操作的回放而无需调整轨迹。该工作已被 CoRL 2026 Agentic Robotics Workshop 接收。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从单图到可仿真场景

SceneRig 要解决的问题是:机器人仿真需要大量多样且可直接使用的场景,而规模化搭建这类场景并不容易。从单张图像重建是一条可行路径,但仅有视觉相似度并不够——场景中的物体必须被识别出来、摆到正确位置,并且具备物理上的合理性。论文指出,依赖事后物理沉降的现有方法常把物体放错位置,得到的场景外观正确,但在被操作时表现很差。SceneRig 的思路是把几何、视觉和物理三类工具组合起来,先重建出忠实于输入的三维场景,再让 agent 在物理仿真器内部反复执行编辑与验证,直到场景达到物理稳定。

效果与机器人下游验证

在多种输入下,SceneRig 改善了实例分割、以物体为中心的外观以及三维摆放,同时让重建场景保持物理稳定。更关键的是下游机器人方面的验证:SceneRig 生成的场景在预测真实机器人策略执行结果时比基线方法更准确,并且能更可靠地支持对已录制操作的回放,而不需要为回放调整轨迹。这两点说明该系统的价值不止于视觉还原,还体现在场景能否支撑策略评估与操作复现这类实际用途上。

发表情况

该论文被 CoRL 2026 Agentic Robotics Workshop 接收,作者为 Rundong Luo、Yunong Liu、Di Cao、Matthew Tancik、Shyamal Buch、Colton Stearns、Wenqi Xian 共七人,主题归类涉及机器人学、人工智能与计算机视觉。材料未披露模型规模、训练数据量、推理耗时或代码与权重的开放安排,因此这些方面暂无法判断。

为什么值得看

单图重建从「看起来像」推进到「能稳定交互」,并给出真机策略预测与操作回放的验证,对机器人仿真数据生产有直接参考价值。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images

关键事实

  • SceneRig 把单张图像转成可编辑、可直接用于仿真的三维场景[1]

  • 系统由 agent 在物理仿真器内执行编辑与验证循环,以获得物理稳定性[1]

  • 在实例分割、以物体为中心的外观与三维摆放上均有改善,并保持物理稳定[1]

  • 其场景预测真实机器人策略结果比基线方法更准确,并支持已录制操作回放而无需轨迹调整[1]

  • 论文被 CoRL 2026 Agentic Robotics Workshop 接收[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。