Tactile-JEPA：面向分布式触觉传感器的自监督预训练方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从零训练触觉编码器的局限
机器人做接触密集的灵巧操作时，触觉是重要感知通道，视觉被遮挡时尤其如此。图像编码器在机器人学习流程中通常先预训练再使用，触觉编码器却多是从原始且带噪声的信号直接训练，论文认为这会限制其表达能力。已有的自监督学习方法主要面向基于视觉的触觉传感器，对分布式电子皮肤覆盖不足。这类传感器的感应单元稀疏且排列不规则，直接套用视觉自监督方法并不理想。Tactile-JEPA 针对的正是这一空缺：利用传感器在表面的空间排布，让编码器在预训练阶段就学到带拓扑信息的表征。
用连接图引导掩码预测
方法的核心是掩码建模：把一部分感应单元遮住，让模型根据未遮住的部分去预测被遮住单元的嵌入表示。与随机遮挡不同，空间掩码由传感器连接图引导，使遮挡方式贴合感应单元的实际相邻关系。论文还采用双尺度掩码，因为有效的触觉表征既要抓住局部接触细节，也要把握整个触觉表面的全局状态，单一尺度难以兼顾。这一设计把传感器排布本身当作先验，而不是把触觉信号当成一张规则网格图像来处理。
三类数据集上的误差变化
验证覆盖三个数据集，涉及磁性与压阻两类传感器、不同机器人形态，以及单传感器与成对传感器配置。与先前的最优方案相比，Tactile-JEPA 把力估计误差降低 6.3%，手内姿态朝向误差降低 20.8%，在策略学习等其他下游任务上也有一致提升。这些数字来自预训练编码器质量的差异，而非下游任务本身的改动。论文由此提出，触觉感知能带来多少收益，很大程度上取决于编码器预训练的好坏，这正是该方法直接处理的问题。代码已随论文公开。
为什么值得看
解决触觉编码器从零训练的局限，为电子皮肤提供适配其拓扑结构的自监督预训练方案，显著降低力与朝向估计误差。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。