VLA预训练质量感知研究：提出AXIS-Bench基准并比较三种策略
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载质量信息如何介入预训练
这项研究关注的问题很具体：在视觉-语言-动作模型的预训练阶段，演示数据的质量信息应当以何种方式被使用，才能让模型在随后针对目标任务做微调时表现更好。作者把可选做法归为三类，分别是加权、过滤与条件化，并在多种奖励定义和标签粒度下逐一比较。实验使用了五千条天然带有次优特征的人类演示，以及二十四个目标任务。为了保证比较公平，在每一个视觉-语言-动作模型内部，演示数量与训练预算都被对齐，避免因数据量或算力差异造成干扰。研究还额外考察了预训练数据规模的影响，以及质量标签在微调阶段和推理阶段各自扮演的角色。
三类做法的比较结果
在三个视觉-语言-动作模型上，作者得到了一组并不完全一致的结论。首先，感知具体做法的回合级条件化，相比普通的行为克隆，能够提升平均成功率。其次，条件化与过滤这两种思路各有偏好：平均来看，条件化更适合回合级标签，过滤更适合块级标签，但这一倾向会随模型不同而出现反转，说明并不存在放之四海皆准的单一选择。第三，在已经用条件化方式完成预训练之后，采用恒定标签进行微调，无论推理时是否带标签，都能提高平均成功率。这些发现共同指向一点：质量信息的使用方式需要与标签粒度、模型特性相匹配，而非简单套用。
AXIS-Bench 与真实实验
为支撑上述受控比较，作者提出了 AXIS-Bench。该基准建立在众包仿真演示之上，记录了物体状态与接触状态，使得研究者可以在同一批轨迹上重新计算质量标签，而不必更换数据。其中的轨迹可被回放，从而支持与工作空间对齐的渲染，并允许使用者自定义真实世界中的目标任务。在真实世界实验中，作者观察到仿真预训练带来了成功率的提升。此外，论文还给出了项目页面与项目网站链接，供读者查看更完整的信息。整体而言，这项工作把演示质量从一种模糊的先验，变成了可以在预训练流程中被显式设计和验证的变量。
为什么值得看
为VLA预训练中如何利用次优演示质量提供了受控对比与可复现基准，并给出真实世界成功率提升数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。