RESCUE:用反事实分支评估机器人运行时监控告警是否值得干预

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 RESCUE 框架,用于评估机器人策略的运行时故障监控器:告警是否真的能带来有用的干预,而不只是能否区分成功与失败。方法是在执行检查点恢复模拟器与策略状态,比较不同动作,找出满足恢复标准的最晚检查点,并判断按告警行动能否降低任务完成成本。作者用 OpenVLA-OFT 与 π0.5 在 LIBERO-Spatial 和 LIBERO-Plus 上跑了 128,340 条反事实分支。结果显示可恢复性取决于状态与干预的组合,而非仅取决于机器人状态;在 τ=0.5 时,66 个 OpenVLA-OFT/LIBERO-Plus 失败中 14 个在继续执行下存在可恢复检查点,若允许继续或脚本化恢复则为 34 个,而在其他条件下恢复反而降低可恢复性。在主要强策略条件下,检测分数好并不代表干预成本更低;在评估所用的停止并重置模型下,即便理想检测器也只能承受 2.0–3.3%…

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

告警准不等于干预值

论文的出发点是:机器人策略的运行时故障监控器通常只按区分失败与成功执行的准确率来评价。但作者指出两个被忽略的问题——准确的告警可能来得太晚,已经无法挽回;而不必要的干预可能打断本来会成功的执行。因此监控器的价值不能只看检测指标,还要看它触发的动作是否划算。RESCUE 就是为回答“这个告警值不值得行动”而设计的评估框架。

反事实分支怎么跑

RESCUE 的做法是在执行的检查点处恢复模拟器与策略状态,从同一状态出发比较不同的替代动作,找出满足给定恢复标准的最晚检查点,再判断按告警行动是否降低预期的任务完成成本。作者用 OpenVLA-OFT 与 π0.5 两个策略,在 LIBERO-Spatial 与 LIBERO-Plus 两个环境上展开评估,共生成 128,340 条反事实分支,用这些分支来量化干预带来的收益与代价。

可恢复性取决于干预

结果之一是可恢复性并不只由机器人状态决定,而是由状态与干预的组合决定。在 τ=0.5 时,66 个 OpenVLA-OFT/LIBERO-Plus 失败中有 14 个在继续执行的情况下存在可恢复检查点;如果把继续执行或脚本化恢复都算进来,这个数字上升到 34 个。而在另一些条件下,恢复动作反而会降低可恢复性,说明干预本身可能把可救的局面变成不可救。

误报率的天花板

在主要的强策略条件下,作者发现良好的检测分数并不能保证更低的干预成本。以评估中采用的停止并重置模型为例,即便使用理想化的检测器,误报率也只能容忍在 2.0–3.3% 之间,超过这个范围,不必要的重置带来的损失就会超过提前终止失败所节省的成本。论文由此得出结论:监控器的价值同时取决于可用的干预方式以及它被部署的工作负载。

为什么值得看

它把机器人故障监控的评价标准从“检测准不准”换成“干预划不划算”,并给出误报率上限,做 VLA 与机器人部署的团队可据…

论文

信源1 家

  1. [1]arXiv cs.AI一手信源RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

关键事实

  • 论文提出 RESCUE,一个反事实框架,用于评估监控器告警能否支持有用的干预。[1]

  • 方法在执行检查点恢复模拟器与策略状态,比较替代动作,找出满足恢复标准的最晚检查点。[1]

  • 实验使用 OpenVLA-OFT 与 π0.5,在 LIBERO-Spatial 和 LIBERO-Plus 上共 128,340 条反事实分支。[1]

  • τ=0.5 时,66 个 OpenVLA-OFT/LIBERO-Plus 失败中 14 个在继续执行下含可恢复检查点,允许继续或脚本化恢复时为 34 个。[1]

  • 在评估的停止并重置模型下,理想检测器也只能承受 2.0–3.3% 的误报率。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。