FAMOS 模型实现稀疏观测 3D 铰接建模

论文AI 评分 65/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

FAMOS 是一种前馈模型,能够从稀疏、无序的部分点云集合中预测可动部件分割和关节参数。该模型通过多状态铰接 Transformer 聚合观测线索,支持可变数量的输入。为解决数据规模限制,研究团队提出了程序化数据生成器。在 PartNet-Mobility 等数据集上的实验显示,该方法优于前馈和基于优化的基线方法。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从稀疏点云直接预测

FAMOS 要解决的问题是:只给少量单目视角时,物体每个部分只露出局部几何与运动线索,难以还原可动结构。多数前馈方法只凭一次观测推断关节,因而高度依赖学到的类别级形状先验。FAMOS 改为接收一组稀疏、无序的部分点云,直接输出可动部件的分割结果与关节参数,把多视角证据放在同一个模型里一起处理。输入数量可以变化,单张视角也能运行,这使它在观测不完整时仍能给出结果,而不必先补齐完整网格。

交替注意力聚合线索

为把分散在各次观测里的关节线索汇总起来,作者设计了 Multi-state Articulation Transformer,在状态维度与全局范围之间交替施加注意力。配套提出的 observed articulation span 目标,用来监督每个部件在输入观测中呈现出的运动幅度,促使模型用满整组观测而不是只盯住其中一帧。这两处设计针对的是同一件事:让稀疏、无序的输入在推理时被真正利用起来,而不是退化成单帧推断。与依赖类别先验的单观测前馈方案相比,它的信息来源从一次观测扩展到一组观测。

合成数据补足训练

现有数据集在规模和多样性上都有限,作者因此引入一个程序化数据生成器,在训练过程中合成自带标注的资产,用这些合成样本来扩充训练信号。评测在 PartNet-Mobility、ACD 与 ArtiCraft-10K 三个数据集上进行,结果显示该方法相对前馈类与基于优化的基线都取得了一致提升。这说明合成数据与多观测聚合的组合,在真实标注稀缺的条件下仍能支撑关节建模。

适用范围与限制

从材料给出的信息看,FAMOS 的输入是稀疏、无序的部分点云集合,输出是可动部件分割与关节参数,属于前馈式的一次推理,不需要针对单个物体做逐例优化。它的适用前提是观测能覆盖到部件及其运动,观测越少、遮挡越多,可用的运动证据就越薄;span 目标正是为缓解这一点而设。对需要从少量视角快速得到关节结构的场景,这意味着不必先重建完整几何再拟合关节;但材料未给出推理耗时、精度数值与失败案例,具体边界仍需看论文全文与项目页。

为什么值得看

解决了从稀疏视角推断物体运动结构的难题,提升了机器人对环境的理解能力。

数据集

信源1 家

  1. [1]arXiv cs.AI一手信源FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations

关键事实

  • FAMOS 模型从稀疏、无序的部分点云预测可动部件分割和关节参数。[1]

  • 引入多状态铰接 Transformer 聚合跨观测的铰接线索。[1]

  • 提出程序化数据生成器以合成训练用的自标注资产。[1]

  • 在 PartNet-Mobility、ACD 和 ArtiCraft-10K 数据集上表现优于基线。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。