注册

MART-GRPO 用 VLM 截断失败反馈，改进 VLA 强化学习

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

这篇论文指出，GRPO 把整条轨迹的单一优势值分配给所有动作，导致失败轨迹中本可用于恢复的尝试也被一并惩罚。作者用成功概率与策略得分的鞅刻画理想的失败反馈停止点，在这些点截断后，被移除的梯度贡献在给定保留信息下条件期望为零，因此截断保持参考 GRPO 组梯度估计的期望，并可能降低其协方差。据此提出 MART-GRPO：用 LoRA 微调的视觉语言模型在完整 rollout 视频中定位最后一个未见恢复的可见错误，保留该错误区间内的失败反馈、其后移除，同时保留成功轨迹损失项与原有损失归一化。在 RoboTwin 2.0 上用 OpenVLA-OFT 实验，多任务成功率高于全轨迹 GRPO。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

问题出在优势分配

论文针对的是视觉-语言-动作（VLA）模型在强化学习中的信用分配问题。在组相对策略优化（GRPO）里，一条 rollout 只得到一个轨迹级优势，这个值被统一贴到该轨迹的每个动作上。作者指出这种做法的副作用：一次失败的 rollout 并不代表每个动作都导致失败，那些试图纠错的恢复性动作会和真正的错误一起被惩罚。这会让模型在失败后放弃本可能有效的补救行为。

用鞅确定截断点

作者用成功概率与策略得分的鞅来刻画失败反馈的理想停止条件。在这些停止点上，被移除的那部分梯度贡献在给定保留信息后的条件期望为零，因此截断不会改变参考 GRPO 组梯度估计的期望，还可能降低其协方差。其中一类停止点出现在条件成功概率为零时，这为选取候选反馈边界提供了依据，也引出用错误与恢复线索来划定区间。

VLM 定位错误区间

具体实现 MART-GRPO 时，作者引入一个视觉语言模型做事件引导的截断。该 VLM 用低秩适配（LoRA）在自建标注训练集上微调，推理时保持冻结，在完整 rollout 视频中定位最后一个「可见错误且其后未见恢复」的位置。失败反馈只保留到选定的错误区间为止，区间之后的部分被移除；成功 rollout 的损失项和原有损失归一化方式都不改动。对于回溯式边界，作者还分析了期望与方差的变化，用来衡量偏离理想停止的程度。

实验与篇幅

实验在 RoboTwin 2.0 上使用 OpenVLA-OFT 进行，结果显示 MART-GRPO 在多个任务上的成功率高于全轨迹 GRPO。论文共 31 页、9 张图，摘要未给出具体任务数量、成功率数值或提升幅度，也未说明训练与推理的算力开销，这些需要查看正文才能确认。

为什么值得看

把「哪些动作该被惩罚」变成可定位的截断问题，给出保持梯度期望的理论条件，对做 VLA 强化学习的人有直接参考价值。

微调强化学习论文

信源1 家

  1. [1]arXiv cs.AI一手信源When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning

关键事实

  • GRPO 将单一轨迹级优势分配给 rollout 中的所有动作，可能连带惩罚本可恢复的尝试[1]

  • 作者用成功概率与策略得分鞅刻画失败反馈的理想停止条件，截断后移除的梯度贡献条件期望为零[1]

  • MART-GRPO 用 LoRA 微调的 VLM 在完整 rollout 视频中定位最后一个未见恢复的可见错误[1]

  • 方法保留成功轨迹损失项与原有损失归一化，仅移除错误区间之后的失败反馈[1]

  • 在 RoboTwin 2.0 上以 OpenVLA-OFT 实验，多任务成功率高于全轨迹 GRPO[1]

相关 · 论文

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

Pixel 全栈机器人系统：软硬件协同设计实现通用移动操作

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论