arXiv 論文提出 PhysRSI-eval,用五軸指標衡量視覺語言模型的物…

論文AI 評分 72/100arXiv cs.AI待覆核
AI 聚合

本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。

一篇 arXiv 論文系統考察物理遞歸自我改進(physical RSI)的機制、擴展行為與泛化性,並提出 PhysRSI-eval 評測框架,用五個維度量化該能力:首次嘗試表現、效率、成功率、預算與從失敗中改進。研究在固定交互預算下,用 18 個操作任務評測不同視覺語言模型,據此提出「Physical Barrel Hypothesis」,即不同能力可能制約改進的不同環節。五軸指標還能區分公開基準均分接近的系統,並顯示高分未必伴隨早期或高效增益。研究還從兩個角度考察觀測式擴展:由公開能力預測 VLM 智能體的相對錶現,以及由早期物理反饋預測後續進展。

全文梳理

AI 摘要依據下方信源原文自動整理,非原文轉載

五軸指標怎麼量

論文的核心產出是 PhysRSI-eval,它把「物理遞歸自我改進」這一較抽象的概念拆成五個可測維度:首次嘗試表現、效率、成功率、預算、從失敗中改進。評測在固定交互預算下進行,覆蓋 18 個操作任務,對象是多個不同的視覺語言模型。固定預算這一設定意味着各系統在相同交互成本下比較,避免用更多試錯換取成績。作者指出,這五個維度能區分公開基準平均分非常接近的系統,也就是說,單看榜單均分看不出差異的模型,在改進節奏上可能明顯不同;同時,高分並不必然意味着更早取得進展或更高效地取得進展。

能力瓶頸假說

基於實驗結果,作者提出 Physical Barrel Hypothesis:不同能力可能分別卡住改進過程的不同環節,類似短板效應,整體改進速度受制於當前最緊的那一環。這一假說解釋了為何某些系統在單項能力上表現突出,卻難以在連續交互中快速爬升。論文據此把問題從「誰的均分更高」轉向「誰的瓶頸在哪、改進能走多快多遠」,這也是標題所問「物理 RSI 能力從哪來」的直接回應。

觀測式擴展的兩條路徑

論文從兩個角度研究觀測式擴展規律:一是用模型的公開能力預測其作為智能體時的相對錶現,二是用早期物理反饋預測後續進展。兩者共同回答的問題是:智能體改進的速度有多快、上限有多遠。這類預測如果成立,就能在長週期交互開始前,依據已有公開資訊對系統做出大致判斷,減少反覆實測的成本。

工作區干預的發現

作者還做了工作區干預實驗,觀察改進過程留下了什麼。結果顯示:移除歷史會降低後期輪次的成功率;被凍結的工作區在未見過的佈局上依然有用;三個跨任務案例中出現了更早取得成功的情況。作者由此認為,針對具體場景的適配與可複用的經驗可以並存,而非互相排斥。這一結論對具身智能體如何儲存和遷移交互經驗具有參考意義。

為什麼值得看

把「智能體能否自我改進」拆成可測量的五個維度,並給出預測擴展規律的方法,對做具身智能體評測的團隊有直接參考價值。

智能體量化論文

信源1 家

  1. [1]arXiv cs.AI一手信源Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy

關鍵事實

  • 論文提出 PhysRSI-eval,用首次嘗試表現、效率、成功率、預算、從失敗中改進五個維度量化物理 RSI[1]

  • 評測在固定交互預算下覆蓋 18 個操作任務,對象為不同視覺語言模型[1]

  • 論文提出 Physical Barrel Hypothesis,認為不同能力可能制約改進的不同部分[1]

  • 五軸指標可區分公開基準平均分接近的系統,高分不一定帶來早期或高效增益[1]

  • 工作區干預實驗顯示:移除歷史會降低後期成功率,凍結工作區在未見佈局上仍有效,三個跨任務案例更早取得成功[1]

相關 · 論文

本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。