研究分析VLA模型在摄像头故障下的物理失效模式
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
该研究分析了视觉-语言-动作（VLA）模型在图像黑屏与画面冻结两种输入故障下的行为差异。画面冻结引发更极端的关节运动，而夹爪闭合后的黑屏更易导致物体掉落，尤其在缺乏本体感觉时。本体感觉可部分补偿缺失的机器人表征并减少非目标接触，但无法仅靠场景视角弥补腕部物体信息的缺失。评估的两种缓解方法在特定条件下提升了任务成功率，却增加了意外接触。真实机器人试验表明，即使任务成功也可能伴随意外物理交互，需设计能利用故障下可用信息限制危险运动的VLA策略。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载视觉故障引发差异行为
针对视觉-语言-动作模型在不可靠视觉输入下的安全风险，研究对比了图像黑屏与画面冻结两种摄像头故障。即便两者的任务成功率同样处于低位，引发的物理失效模式却截然不同。画面冻结状态下，机器人倾向于产生更为极端的关节运动；而在夹爪闭合后发生黑屏，则更容易造成物体掉落，这种掉落现象在缺少本体感觉输入时表现得尤为显著。
本体感觉的补偿与局限
选择性干预实验表明，本体感觉（即当前机器人状态）能够在机器人视觉表征被移除时发挥部分补偿作用，有助于减少与非目标物体的接触。然而，当腕部视角的物体信息被移除时，仅凭本体感觉和剩余的场景视角，仍无法充分恢复任务成功率，凸显了腕部局部视觉对精细操作的不可替代性。
缓解方法评估与真实试验
研究评估了两种应对视觉故障的缓解途径：在训练中引入摄像头黑屏数据，以及无需训练的故障视觉嵌入替换法。这两种方法在特定条件下改善了任务成功率，但副作用是增加了对周围物体的意外接触或干扰。真实机器人试验进一步证实，即便在摄像头故障下任务被判定为成功执行，过程中依然可能存在未预期的物理交互，因此亟需设计能充分利用故障下剩余可用信息的VLA策略以限制危险动作。
为什么值得看
揭示VLA模型在视觉故障下的具体物理风险与缓解方法局限，对提升机器人安全性至关重要。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。