HSImul3R框架实现人-场景交互物理仿真重建
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把仿真器变成监督者
HSImul3R 的核心做法是把物理仿真器从最后的验收环节挪到重建过程内部，形成物理闭环的双向优化。正向一侧用面向场景的强化学习调整人体运动，在跟踪原始观测之外加入人体关键接触点与物体表面的空间约束，使动作既符合动力学，又保持与当前场景的正确接触；反向一侧用直接仿真奖励优化，把交互后的仿真反馈回传去修正三维场景本身。这样处理的原因是仿真失败未必源于人体动作有误，场景结构缺失同样会导致交互无法成立，单向优化只能修补其中一头。与传统先重建、再用仿真器检验的流程相比，这一框架把重力稳定性、真实接触与交互稳定性直接写进优化目标，评价标准从画面是否对齐转向结果能否在仿真中稳定运行。
三档任务与穿模数据
团队同时构建了面向人–场景交互的 HSIBench，用来直接检验重建结果能否在物理仿真中稳定交互，并按 Easy、Medium、Hard 划分任务难度。在这三档任务上，HSImul3R 的交互稳定率分别为 53.68%、30.56% 和 13.92%，对照方法 HSfM 的对应数值是 10.52%、4.50% 和 2.66%；人–场景三维穿模率则从 69.51% 降到 22.90%。这组数字的来龙去脉在于评价口径的变化：过去主要看人和场景重建得像不像、是否对齐，视觉上可信的结果进入仿真器后可能因椅子结构缺失而站不住，或人体与椅面严重穿插；新口径把能否稳定交互作为判据，因此稳定率随难度上升而明显下降，也说明高难度场景仍是薄弱环节。
输入条件与链路终点
该框架面向非标定稀疏视角输入，并进一步支持单目视频，团队将其定义为首个实现稳定可仿真人–场景交互重建的框架，成果已被 ECCV 2026 接收。链路末端，优化后的人体动作被迁移至 Unitree G1 人形机器人，串起从日常图像或视频，到三维人–场景交互重建，再到物理仿真优化、人形机器人动作迁移与真实机器人执行的完整路径。对读者而言，这意味着普通人拍摄的交互视频有望不再只是视觉素材，而能转化为可仿真、可学习、可执行的机器人技能资产；限制也很清楚，稳定率在较难任务上仍偏低，重建结果能否稳定进入仿真依旧取决于场景结构与接触关系是否被正确恢复。
为什么值得看
首个实现物理可仿真的人-场景交互重建，打通视频到机器人技能迁移链路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。