Long-WAM框架實現機器人長上下文實時控制
論文AI 評分 82/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
Long-WAM框架通過自迴歸影片預訓練擴展世界-動作模型上下文，解決實時控制延遲問題。在RoboCasa GR-1上，上下文從0秒增至19.2秒，成功率由63.3%升至78.7%，雙向預訓練則無此收益。結合流式編碼與異步執行，在RTX 5090上單步動作耗時107.4毫秒。在動態疊杯任務中達95%成功率，Pi0.5與Fast-WAM均20次全敗。該框架在LIBERO-Long等基準亦居首，並可作為記憶執行器補充高層規劃。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載自迴歸預訓練保留歷史結構
實時機器人控制需充足視覺歷史推斷運動與任務進度，但處理歷史易致動作延遲。Long-WAM核心發現為獲取歷史不等於有效利用歷史：當影片基礎模型採用自迴歸方式預訓練時，更長曆史收益遠大於雙向預訓練。該框架先在無動作標籤的機器人與第一人稱影片上學習因果預測，隨後在世界-動作適配階段保留此歷史到未來的結構。實驗顯示，雙向預訓練初始化在擴展上下文時無淨收益，而機器人領域自迴歸預訓練進一步提升了GR-1與LIBERO-Long的峰值成功率。
流式編碼與異步加速部署
為實現實時控制，Long-WAM採用流式觀測編碼、異步執行及硬件特定加速，使其能在RTX 5090、DGX Spark與Jetson AGX Thor上部署且不丟棄未來預測。在RTX 5090上，包含未來影片潛變量預測的每個動作塊耗時107.4毫秒。該系統在Unitree G1與YAM上實現實時部署，支持動態與長程操作。在動態疊杯任務中，Long-WAM達95%成功率，而Pi0.5與Fast-WAM在20次試驗中均未成功。此外，作為受記憶啟發的執行器，它還能在複合任務中補充高層規劃。
為什麼值得看
突破機器人長時視覺歷史依賴與實時性矛盾，動態長程任務成功率大幅超越已有方案。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。