arXiv 论文:双臂工具使用中的故障诊断与恢复

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿到 arXiv 的论文研究双臂机器人使用工具时的故障诊断。现有诊断器多为视觉语言模型,训练和评测都基于单臂故障,即扰动成功演示得到的数据;双臂场景还包含工具仍被握着却从插槽滑脱、两个正确动作时序错开、一次尝试同时因两个原因失败等类型。作者在仿真双臂工具任务上,按记录轨迹读取失败原因,测量各传感通道能让诊断器判断出什么:工具滑脱在工具手上读取;哪只手晚了需双臂信息,单手上的传感器只能读本手延迟和另一手部分延迟;工具手晚时,被动传感无法判断该次尝试是否同时推力不足。诊断器无法确定原因时升级处理,两次尝试内可修复与已知真实原因时同样多的失败。VLM 内部状态几乎完美编码晚的那只手,但答案是否报告取决于提问措辞。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

双臂场景的新故障类型

论文指出,机器人操作故障诊断器越来越多采用视觉语言模型,但这类模型的训练与评测数据来自单臂场景:通过扰动一次成功演示来制造失败。双臂工具使用引入了单臂数据里没有的失败形态,包括工具仍被握着却从插槽中滑脱、两个本身正确的动作在时间上错开、以及一次尝试同时因两个原因失败。作者在仿真双臂工具任务上开展测量,失败原因直接从记录轨迹中读取,而不是依赖人工标注。

各传感通道能读出什么

论文逐一测量不同传感通道能让诊断器判断出哪些信息。工具滑脱这一现象在工具手上被读取;判断哪只手动作晚了,需要同时使用两条手臂的信息,而只装在一只手上的传感器只能读出本手的延迟,对另一只手的延迟至多读到一部分。当工具手本身动作偏晚时,仅靠被动传感无法判断这次尝试是否还同时存在推力不足的问题,即两个原因叠加的情形在该条件下不可辨识。

升级策略与 VLM 内部状态

针对原因不可辨识的情况,作者采用一种在诊断器无法确定原因时升级处理的修复策略,结果显示在两次尝试之内,它能修复的失败数量与直接告知真实原因时相当。论文还考察了视觉语言模型的内部状态:晚的那只手在内部表征中几乎可以被完美读出,但这一方向与模型答案所读取的方向并不比随机方向更接近;模型最终是否在回答中报告这一信息,取决于问题的措辞。

为什么值得看

揭示双臂机器人故障诊断中传感通道的信息边界,以及 VLM 内部状态与输出不一致的问题,对做机器人失败恢复的研究者有直接…

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Which Hand Was Late? Diagnosis for Robot Failure Recovery in Bimanual Tool Use

关键事实

  • 论文研究双臂工具使用场景下的机器人故障诊断与恢复[1]

  • 现有诊断器多为视觉语言模型,训练和评测基于单臂故障[1]

  • 工具滑脱可在工具手上读取,哪只手晚了需要双臂信息[1]

  • 诊断器无法确定原因时升级处理,两次尝试内可修复与已知真实原因时同样多的失败[1]

  • VLM 内部状态几乎完美编码晚的那只手,但是否在答案中报告取决于提问措辞[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。