LIBERO-RIG 基准发布:只扰动机器人硬件,评测 VLA 模型鲁棒性

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究者提出 LIBERO-RIG,一个在保持 LIBERO 任务不变的前提下,只改变机器人硬件与搭建条件的鲁棒性基准。它覆盖十一个扰动维度,包括相机安装与光学、相机与机械臂标定、驱动增益、控制频率、本体感知噪声、底座位姿、桌面高度和夹爪垫片,每个维度分五档严重程度,在四个 LIBERO 套件上共形成 210 种条件。团队用每种条件 500 个回合评测了九个近期视觉-语言-动作模型,并做统计检验。综合成功率从中等严重程度的 0.932 降至 0.767,最高严重程度降至 0.509;不同扰动维度和动作接口的退化差异明显,仅用视觉扰动训练无法缓解相机图像不变的故障。基准与逐回合固定扰动参数清单一并公开。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

只动硬件,不动任务

现有机器人策略评测通常固定硬件,只换任务或场景。LIBERO-RIG 反过来:LIBERO 的每一项任务都原样保留,被改动的只有机器人自身和它的搭建方式。论文列举的现实诱因包括相机被碰歪后重新安装、标定随时间漂移、控制器以不同频率运行、末端执行器垫片磨损。基准把这些诱因拆成十一个扰动维度,涵盖相机安装与光学、相机到机械臂的标定、驱动增益、控制频率、本体感知噪声、底座位姿、桌面高度以及夹爪垫片。每个维度设五档严重程度,在四个 LIBERO 套件上组合出 210 种条件。这种设计让「同一任务、不同机器」成为可对照的实验变量,而不是只能事后归因的现场故障。

评测规模与统计处理

作者用该基准评测了九个近期的视觉-语言-动作模型。每种条件跑 500 个回合,这个量级让成功率差异不至于被随机波动淹没,论文也对每项结论配了统计检验。结果层面,综合成功率在中等严重程度下由 0.932 降到 0.767,最高严重程度进一步降到 0.509。更值得注意的是退化并不均匀:不同扰动维度之间、不同动作接口之间,性能下降幅度差别很大。这意味着单一的平均分不足以描述一个策略的硬件耐受性,需要按维度拆开看。

视觉训练救不了非视觉故障

论文给出的一条结论针对当前常见的应对手段:用视觉扰动做数据增强。作者发现,对于那些不改变相机图像的故障,例如驱动增益变化、控制频率差异、本体感知噪声,仅靠视觉扰动训练并不能缓解性能下降。换句话说,问题出在相机看不到的环节,扩充图像分布覆盖不到它们。这对做策略训练和部署的人是一个直接的提示:鲁棒性投入需要按故障类型分配,而不是默认堆视觉多样性。

公开内容与适用范围

随基准一起发布的还有清单文件,逐回合写明固定的扰动参数,便于他人复现或按需筛选条件。论文共 30 页,其中正文 4 页,其余为附录,含 15 张图和 18 张表,归入机器人学与人工智能分类。需要说明的是,该工作聚焦硬件与搭建层面的扰动,评测对象是视觉-语言-动作模型在 LIBERO 任务上的表现,并不涉及真实产线部署或硬件成本等议题。

为什么值得看

把「换台机器就失灵」量化成可复现的评测,做机器人策略落地的人能直接对照自己的硬件风险点。

信源1 家

  1. [1]arXiv cs.AI一手信源LIBERO-RIG: A Hardware-Setup Robustness Benchmark for Vision-Language-Action Models

关键事实

  • 基准只扰动机器人硬件与搭建条件,LIBERO 任务本身保持不变[1]

  • 覆盖十一个扰动维度,每维五档严重程度,四个 LIBERO 套件共 210 种条件[1]

  • 评测九个近期视觉-语言-动作模型,每种条件 500 个回合,并配统计检验[1]

  • 综合成功率从中等严重程度的 0.932 降到 0.767,最高严重程度降到 0.509[1]

  • 仅靠视觉扰动训练,无法缓解那些不改变相机图像的故障[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。