GeoLatent提出新空間推理架構，刷新兩項3D基準成績
論文AI 評分 65/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
針對從二維圖像進行三維空間推理的難題，GeoLatent框架引入CR-GEO與路由優化機制。該機制將共享與殘差教師幾何分離，聯合訓練幾何與語言，並臨時通過潛變量引導視覺答案學習。實驗顯示，CR-GEO將幾何有效秩從1.00提升至3.87；在瓶頸處阻斷潛變量讀取會使128個固定問題的方向準確率從89.1%驟降至25.8%。恢復後，模型保留分化幾何表徵與潛變量視覺路徑。GeoLatent在SPAR-Bench達73.0%，SPBench達72.1%，均超越此前已報告方法。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載空間推理痛點與解法
現有視覺語言模型從二維圖像推導三維空間關係存在侷限。基於文本的方法用離散標記描述中間幾何，限制了連續空間關係的保真度；而連續潛變量雖表徵更豐富，但單一類型無法顯式分離不同空間任務所需的線索。分解空間潛變量雖能在幾何監督下分別表徵位置、方向和全局幾何，但仍面臨幾何表徵向單一主導方向坍縮，以及無約束注意力導致潛變量在答案學習時未被充分利用的問題。GeoLatent通過結合通用-殘差幾何對齊（CR-GEO）與路由優化來應對這些挑戰。
CR-GEO與路由優化機制
CR-GEO機制將共享的教師幾何與殘差教師幾何進行分離。路由優化則聯合訓練幾何與語言模組，在訓練期間臨時通過潛變量引導視覺答案學習路徑，隨後在幾何監督下恢復全注意力機制。實驗驗證了該機制的有效性：CR-GEO將幾何有效秩從1.00提升至3.87，有效緩解了表徵坍縮。同時，消融實驗表明，在瓶頸處阻斷潛變量讀取會導致128個固定問題的方向準確率從89.1%大幅降至25.8%，證明了潛變量介導路徑的關鍵作用。恢復全注意力後，分化的幾何表徵與潛變量視覺路徑仍可保留使用。
基準測試表現
在三維空間推理基準測試中，GeoLatent框架取得了實質性突破。該模型在SPAR-Bench上達到73.0%的準確率，在SPBench上達到72.1%的準確率。這兩項成績均超越了此前已報告的所有方法，確立了新的最優性能水平，展示了其在處理複雜三維空間推理任務上的優越性。
為什麼值得看
解決連續潛變量表徵空間關係易坍縮難題，顯著提升3D空間推理準確率並刷新基準。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。