EgoLAP框架通过语言动作推理实现人类经验向机器人控制迁移
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载用语言动作链打通人机
EgoLAP 的核心做法是把人类与机器人的轨迹放在同一个预训练框架里联合学习,中间的桥梁是一套共享的、以语言表达的动作思维链。研究者的判断是:底层动作本身依附于具体身体形态,人手的动作和机械臂的动作无法直接对应,但动作背后的运动意图可以承载与任务相关的结构,这种结构能在人和机器人之间迁移。因此框架不把原始人类轨迹当作控制层的监督目标,而是先把运动意图写成结构化、在时间上做了抽象的语言动作,再让这些语言动作与运动层面的推理配对,推理的依据包括场景几何、物理规律以及物体的可供性。这样人类数据提供的是意图与推理层面的经验,机器人数据提供的是可执行的控制信号,两者在语言这一层对齐。
80.1%与2.3倍的来历
论文给出的量化结果集中在真实世界任务进度上:EgoLAP 达到 80.1% 的平均真实世界任务进度,相比其他动作表示方式取得 2.3 倍的性能提升。这两个数字来自真实世界与仿真两类实验的广泛测试,比较对象是替代性的动作表示方案,也就是说差距并非来自模型规模或数据量的堆叠,而是来自把运动意图表达成语言动作这一表示选择本身。另一组对比发生在推理格式之间:以场景几何、物理和物体可供性为基础的运动层面推理,表现优于一种复合推理格式,后者把子任务、物体框和视觉轨迹三类推理拼在一起。这说明把推理落在运动层面,比把多种线索简单叠加更有效。
适用边界与读者意义
从适用范围看,EgoLAP 面向的是视觉-语言-动作模型的预训练阶段,输入需要人类的第一视角数据与机器人轨迹两类来源,输出服务于机器人控制。它的限制也写在方法设定里:低层动作被明确视为与身体形态绑定,因此框架并不试图直接复制人类动作,而是绕道语言动作与运动推理来传递经验,这意味着可迁移的是任务相关结构而非具体动作数值。对关注机器人学习的人来说,这项工作的意义在于给出了一条降低对昂贵机器人演示依赖的路径,同时把评估重点放在真实世界任务进度这一指标上,并用与替代动作表示的对比来支撑表示选择的合理性。论文编号为 arXiv:2610.08726,提交时间为 2026 年 10 月 6 日,作者包括 Lihan Zha 等十人。
为什么值得看
提供低成本人类数据替代昂贵机器人演示的新路径,2.3倍性能提升验证了跨具身迁移有效性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
