GoDeep 实现无标注开放词汇 3D 场景理解
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把视觉语言模型当翻译器
GoDeep 的做法与常见的开放词汇三维语义分割路线不同。后者通常把 CLIP 特征提升到三维空间，让点云落在视觉与语言共享的嵌入空间里；GoDeep 不这样做，它只把视觉语言模型当作一个翻译器使用。模型对每一张带位姿的图像生成结构化的、实体级别的文字描述，这些描述随后被定位、投影并聚合到一个通用的、纯语言的嵌入空间中。整条流程不需要三维训练语料，也不需要为每个领域单独训练三维编码器。由于中间表示始终是离散文本，预测结果可以在点级别上被解释，读者能追溯到某个点为何被归入某一类。
两个基准上的表现
在 ScanNet++ 上，这套流程与在 ScanNet 上训练过的、表现较强的无标注基线相比具有竞争力。研究团队还在一个由 5 栋建筑构成的文化遗产基准上做了测试：原始分数起初更偏向基于 CLIP 的变体，但做一次系统性的词表修正后，排名发生反转；在另一个类别上做的第二次独立修正也确认了这一效果。作者据此认为，语言空间嵌入对物理内容的跟踪更忠实。这种忠实性还体现在 ScanNet++ 上真正超出词表的物体上：语言空间嵌入区分“存在”与“不存在”物体的锐度明显高于 CLIP 嵌入，并且 GoDeep 能在场景中定位这些词表外物体，全程不需要任何二维或三维标注。
聚合策略与适用边界
GoDeep 还提出一种聚合策略作为概念验证：它利用一种启发式加权，让精确但未必高频的观测获得更高权重，而不是单纯奖励出现次数多的观测；同时借助前述可解释性，把权重落到更细的要素上，从而偏向更精细的定位结果。需要留意的是，材料把这一聚合策略定位为概念验证，并未给出它在各基准上的独立收益数据；词表修正带来的排名变化也说明，纯语言嵌入的分数对词表构造方式敏感，使用前需要做系统性校正。对读者而言，这条路线意味着开放词汇三维理解可以绕开三维训练语料与领域专用编码器，代价是把相当一部分工作转移到图像描述质量与词表设计上。
为什么值得看
摆脱对 3D 训练数据和标注的依赖，提升了开放词汇场景理解的泛化能力。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。