注册

arXiv 论文提出 PhysRSI-eval，用五轴指标衡量视觉语言模型的物…

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文系统考察物理递归自我改进（physical RSI）的机制、扩展行为与泛化性，并提出 PhysRSI-eval 评测框架，用五个维度量化该能力：首次尝试表现、效率、成功率、预算与从失败中改进。研究在固定交互预算下，用 18 个操作任务评测不同视觉语言模型，据此提出「Physical Barrel Hypothesis」，即不同能力可能制约改进的不同环节。五轴指标还能区分公开基准均分接近的系统，并显示高分未必伴随早期或高效增益。研究还从两个角度考察观测式扩展：由公开能力预测 VLM 智能体的相对表现，以及由早期物理反馈预测后续进展。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

五轴指标怎么量

论文的核心产出是 PhysRSI-eval，它把「物理递归自我改进」这一较抽象的概念拆成五个可测维度：首次尝试表现、效率、成功率、预算、从失败中改进。评测在固定交互预算下进行，覆盖 18 个操作任务，对象是多个不同的视觉语言模型。固定预算这一设定意味着各系统在相同交互成本下比较，避免用更多试错换取成绩。作者指出，这五个维度能区分公开基准平均分非常接近的系统，也就是说，单看榜单均分看不出差异的模型，在改进节奏上可能明显不同；同时，高分并不必然意味着更早取得进展或更高效地取得进展。

能力瓶颈假说

基于实验结果，作者提出 Physical Barrel Hypothesis：不同能力可能分别卡住改进过程的不同环节，类似短板效应，整体改进速度受制于当前最紧的那一环。这一假说解释了为何某些系统在单项能力上表现突出，却难以在连续交互中快速爬升。论文据此把问题从「谁的均分更高」转向「谁的瓶颈在哪、改进能走多快多远」，这也是标题所问「物理 RSI 能力从哪来」的直接回应。

观测式扩展的两条路径

论文从两个角度研究观测式扩展规律：一是用模型的公开能力预测其作为智能体时的相对表现，二是用早期物理反馈预测后续进展。两者共同回答的问题是：智能体改进的速度有多快、上限有多远。这类预测如果成立，就能在长周期交互开始前，依据已有公开信息对系统做出大致判断，减少反复实测的成本。

工作区干预的发现

作者还做了工作区干预实验，观察改进过程留下了什么。结果显示：移除历史会降低后期轮次的成功率；被冻结的工作区在未见过的布局上依然有用；三个跨任务案例中出现了更早取得成功的情况。作者由此认为，针对具体场景的适配与可复用的经验可以并存，而非互相排斥。这一结论对具身智能体如何保存和迁移交互经验具有参考意义。

为什么值得看

把「智能体能否自我改进」拆成可测量的五个维度，并给出预测扩展规律的方法，对做具身智能体评测的团队有直接参考价值。

智能体量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy

关键事实

  • 论文提出 PhysRSI-eval，用首次尝试表现、效率、成功率、预算、从失败中改进五个维度量化物理 RSI[1]

  • 评测在固定交互预算下覆盖 18 个操作任务，对象为不同视觉语言模型[1]

  • 论文提出 Physical Barrel Hypothesis，认为不同能力可能制约改进的不同部分[1]

  • 五轴指标可区分公开基准平均分接近的系统，高分不一定带来早期或高效增益[1]

  • 工作区干预实验显示：移除历史会降低后期成功率，冻结工作区在未见布局上仍有效，三个跨任务案例更早取得成功[1]

相关 · 论文

OpenVLHarness 用多模态记忆提升视觉智能体工具调用

10月20日 周二·AI 78

arXiv 论文提出 VAG 门控方法，改进多模态强化学习中的自蒸馏

10月20日 周二·AI 68

CoopUQ：用不确定性感知协同预测提升多机器人社交导航

10月20日 周二·AI 68

WeAct 将 LoRA 适配器选择纳入智能体动作空间

10月20日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论