LISSI团队提出神经符号分层意图预测方法

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究提出一种神经符号分层意图预测方法,通过连接分层规划解码器与冻结的识别编码器,在四个本体层级上预测后续动作及高层意图。该方法在包含15002个多模态片段的基准测试中表现优异,随着预测步长增加,优势从第1步的1.7个百分点扩大至第3步的7.3个百分点。在组合泛化场景下,第1步优势提升至4.9个百分点。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把预判拆成目标推断

这篇论文把辅助型自主系统需要做的事重新界定了一遍:在人的行为尚未结束时,先推断其目标。作者没有把预判当作精确的动作轨迹外推,而是拆成两件事,一是从只被部分观测到的多模态片段里推断目标,二是对余下行为做结构化预测。围绕这一界定,论文提出在冻结的神经符号识别编码器之上外挂一个紧凑的分层规划解码器(HPD),由该解码器在四个本体层级上给出预测结果,包括下一步动作、剩余活动与低层意图,以及整个片段的高层意图(HLI)。编码器保持不动、只训练解码器,是这套设计在工程上的关键取舍。

软正则与硬掩码配合

训练阶段,解码器接受一种软性的神经符号正则化,它由两部分损失组合而成,一部分约束状态转移的前后一致,另一部分约束层级之间的连续。推理阶段则改用硬性的可达性掩码进行解码,用掩码把不符合本体论约束的输出排除掉。论文给出的结果显示,单靠软逻辑项,高层意图可达性违规就出现了相对幅度的下降,随后硬掩码把这类违规彻底消除。作者由此把两种机制的分工讲得很清楚:神经部分负责给出预测排序,符号部分负责保证本体论意义上的合法性,两者叠加才得到连贯的分层预判。

基准与随步长扩大的优势

实验建立在一个四层组合式基准上,共 15,002 个多模态片段,特征取自 NTU RGB+D 120。与最强的序列基线相比,优势随预判步长增加而扩大:第 1 步领先 1.7 个百分点,到第 3 步扩大到 7.3 个百分点,指标为 top-5。在组合泛化设定下,即对每个多父低层意图保留其中一个父关联不参与训练,第 1 步的领先幅度变为 4.9 个百分点。片段层面的结果是,96.8% 的预判轨迹满足联合逻辑约束,高于最强基线的 88.1%,也高于真值本身的 73.9%。

适用边界与未解问题

这套方法面向的是需要在行为完成前就做出判断的辅助型自主系统,其输出形式是分层的行为与意图预测,而不是逐帧的电机级预测。限制也被作者写明:组合式的目标泛化仍存在困难,无序集合的预测同样没有解决。真值轨迹满足联合逻辑约束的比例低于方法输出这一现象,说明约束满足率并不能单独当作正确性的度量。对关注该方向的读者而言,这篇工作的价值在于给出了一种可复用的组合方式,即冻结的识别编码器加轻量解码器,再以软正则训练、以硬掩码推理,同时它也把组合泛化留作后续需要处理的问题。

为什么值得看

结合神经生成与符号约束,显著提升了行为预测的逻辑一致性与泛化能力。

多模态基准测试

信源1 家

  1. [1]arXiv cs.AI一手信源Neuro-Symbolic Hierarchical Intention Anticipation in Human Behavior

关键事实

  • 方法在四个本体层级预测后续动作、剩余活动及高层意图。[1]

  • 在15002个多模态片段基准上,预测优势随步长从1.7点增至7.3点。[1]

  • 组合泛化测试中,第1步优势扩大至4.9个百分点。[1]

  • 96.8%的预测轨迹满足联合逻辑约束,优于最强基线的88.1%。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。