PhySGA:物理空间智能体框架实现可交互3D组合

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

arXiv 2026年10月14日收录的论文提出 PhySGA,一个在物理空间中运行的智能体框架,用于刚性、铰接与可变形物体的通用交互式3D组装。作者指出,此前方法或让大语言模型直接预测物体坐标,或用扩散先验合成图像做视觉对齐,都依赖数字空间中的静态先验,难以处理精确悬挂、重力驱动沉降和隐藏容纳等复杂组合。PhySGA 采用前馈-反馈协作架构:Assembly Agent 负责几何与运动学推理,做全局步骤规划与粗调;Critic Agent 基于接触动力学诊断仿真器状态并做细粒度闭环修正。Action Router 把语义规划映射为仿真器中的可执行物理原语,任务专属的自进化技能库将历史试错反馈蒸馏为可复用经验。在 Isaac Sim 中的实验显示,该方法在关系保真度、物理合理性与视觉质量上明显优于已有方法。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

论文把3D物体组合定位为数字内容创作与机器人仿真的关键环节,同时是检验基础模型物理智能的测试平台。作者认为已有路线存在共同短板:一类做法让大语言模型直接输出物体坐标,另一类借助生成式扩散先验合成组合图像做视觉对齐,两者都建立在数字空间的静态先验之上。这种依赖导致它们在精确悬挂、重力驱动沉降、隐藏容纳等任务上表现不佳,因为这类组合需要包含全局规划、细粒度对齐和物理仿真的交互式构建过程,而非一次性坐标预测。

双智能体协作架构

PhySGA 的核心是前馈与反馈结合的协作架构。Assembly Agent 承担几何与运动学层面的推理,负责全局步骤规划和粗略调整;Critic Agent 则针对接触动力学进行推理,用于诊断仿真器当前状态并执行细粒度的闭环修正。作者指出,直接把通用大语言模型或视觉语言模型套用到该任务上并不够,因为现有模型本身缺少落地的物理理解和交互式构建经验,因此需要把规划与纠错拆成两个角色分工完成。

动作路由与技能库

在智能体推理之外,框架通过 Action Router 把语义层面的规划与分析结果映射为仿真器内可执行的物理原语,使语言输出能真正作用到物理环境中。同时,任务专属的自进化技能库把历史试错中产生的反馈蒸馏成可复用的经验,用于提高成功率并减少探索次数。这一设计针对的是交互式组装中反复试错成本高的问题,让系统在多次任务之间积累可迁移的操作经验。

实验与结论

论文在 Isaac Sim 中开展了大量实验,结果显示 PhySGA 在关系保真度、物理合理性和视觉质量三个维度上明显超过现有方法。作者将贡献概括为通过智能体探索与物理仿真实现3D组合,并强调其支持刚性、铰接与可变形物体的通用交互式组装。论文提供了项目页面链接,主题归类为人工智能(cs.AI)。

为什么值得看

把LLM/VLM的规划能力接到物理仿真闭环上,为3D内容生成与机器人仿真提供可交互组装思路。

智能体蒸馏对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源PhySGA: A Physics-Space Grounded Agentic Framework for Generalizable and Interactive 3D Composition

关键事实

  • 论文于2026年10月14日提交至arXiv cs.AI,作者为Weichen Lyu、Chong Xia、Mingyu Dong、Long Xu、Shengjun Zhang、Yueqi Duan。[1]

  • PhySGA面向刚性、铰接和可变形物体的通用交互式组装,支持精确悬挂、重力驱动沉降与隐藏容纳等复杂组合。[1]

  • 框架包含Assembly Agent与Critic Agent的协作前馈-反馈架构,前者做全局规划与粗调,后者基于接触动力学做闭环修正。[1]

  • Action Router将语义规划与分析映射为仿真器内可执行的物理原语,自进化技能库把历史试错反馈蒸馏为可复用经验。[1]

  • 在Isaac Sim中的实验表明,PhySGA在关系保真度、物理合理性和视觉质量上超过现有方法。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。