arXiv 論文提出 PhysRSI-eval,用五軸指標衡量視覺語言模型的物…
本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理,非原文轉載五軸指標怎麼量
論文的核心產出是 PhysRSI-eval,它把「物理遞歸自我改進」這一較抽象的概念拆成五個可測維度:首次嘗試表現、效率、成功率、預算、從失敗中改進。評測在固定交互預算下進行,覆蓋 18 個操作任務,對象是多個不同的視覺語言模型。固定預算這一設定意味着各系統在相同交互成本下比較,避免用更多試錯換取成績。作者指出,這五個維度能區分公開基準平均分非常接近的系統,也就是說,單看榜單均分看不出差異的模型,在改進節奏上可能明顯不同;同時,高分並不必然意味着更早取得進展或更高效地取得進展。
能力瓶頸假說
基於實驗結果,作者提出 Physical Barrel Hypothesis:不同能力可能分別卡住改進過程的不同環節,類似短板效應,整體改進速度受制於當前最緊的那一環。這一假說解釋了為何某些系統在單項能力上表現突出,卻難以在連續交互中快速爬升。論文據此把問題從「誰的均分更高」轉向「誰的瓶頸在哪、改進能走多快多遠」,這也是標題所問「物理 RSI 能力從哪來」的直接回應。
觀測式擴展的兩條路徑
論文從兩個角度研究觀測式擴展規律:一是用模型的公開能力預測其作為智能體時的相對錶現,二是用早期物理反饋預測後續進展。兩者共同回答的問題是:智能體改進的速度有多快、上限有多遠。這類預測如果成立,就能在長週期交互開始前,依據已有公開資訊對系統做出大致判斷,減少反覆實測的成本。
工作區干預的發現
作者還做了工作區干預實驗,觀察改進過程留下了什麼。結果顯示:移除歷史會降低後期輪次的成功率;被凍結的工作區在未見過的佈局上依然有用;三個跨任務案例中出現了更早取得成功的情況。作者由此認為,針對具體場景的適配與可複用的經驗可以並存,而非互相排斥。這一結論對具身智能體如何儲存和遷移交互經驗具有參考意義。
為什麼值得看
把「智能體能否自我改進」拆成可測量的五個維度,並給出預測擴展規律的方法,對做具身智能體評測的團隊有直接參考價值。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。
