Dynin-Robotics 发布全模态扩散机器人模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载共享轨迹模型的做法
这项工作的核心是把视觉目标预测与动力学预测一并纳入动作生成与选择，并用一个共享的轨迹模型把两类预测串起来。具体实现落在名为 Dynin-Omni 的全模态掩码扩散骨干上，语言、视觉观测、目标与动作都被表示成离散 token。训练时通过改变条件片段与目标片段，同一个模型可以承担四种任务：预测动作、在给定动作的条件下预测下一帧观测、预测最终目标状态，以及从轨迹反推指令。这种设计让不同任务共用一套参数与解码结构，而不是为每种能力单独训练一个模块。作者把这一形式化称为 Dynin-Robotics，其思路是让目标预测提供“要去哪里”，让动力学预测提供“动作会怎样改变场景”，两者共同服务于控制。
预训练数据与适配方式
模型先在约 133 万条轨迹上做持续预训练，这些轨迹来自 48 个 Open X-Embodiment 数据集，随后再分别适配到不同的下游领域。在 VLABench 的两个任务上，经过机器人数据预训练的模型在固定的第二阶段步数预算内表现出更好的适配效果；在同样使用耦合解码器的条件下，完整的目标组合相比只用策略做后训练，在指令发生偏移时成功率更高。作者还比较了不同的预测组合方式：把目标引导与动作—下一状态联合去噪结合起来，比只解码动作在偏移指令下更有效，但这种收益取决于预测之间如何拼接，并非任意组合都能带来提升。
测试时扩展与性能表现
由于模型同时具备目标预测与动作条件预测能力，它可以在测试阶段做扩展：先预测目标，再评估候选动作，或者对动作与未来状态做联合细化。在 LIBERO 与零样本 LIBERO-Plus 上，该模型取得了有竞争力的结果；在 Franka Research 3 机器人上，四种操作条件下的平均成功率为 78.4%。工程实现方面，一个经过优化的块并行版本在作者报告的 profiling 设置下，把模型侧的动作解码加速到基础实现的 29.2 倍。对关注机器人策略的读者而言，这意味着目标预测与动力学预测不必作为独立模块外挂，而可以成为控制回路中可组合、可扩展的组成部分，其代价是需要仔细设计预测的拼接方式。
为什么值得看
统一多模态预测接口，显著提升机器人任务成功率与推理速度。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。