PlanGuard:面向具身智能体的多步计划安全护栏
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载先看整条计划再执行
具身智能体在接到任务后,通常由规划器拆解出多步计划,再逐步交给执行环节。问题在于,子任务之间存在依赖关系,每一步又会与所处环境发生交互,这些叠加起来可能形成物理层面的风险。已有的防护手段没有覆盖这种组合式风险:通用护栏主要判断语义层面的有害内容,而具身安全检测器则把每个子任务单独拿出来评估,看不到整条计划串起来之后的效果。PlanGuard 的定位是执行前的检测器,在计划尚未落地时,就针对当前环境评估一整条多步计划的物理安全性。作者称这是首个面向完整多步计划、在执行前做物理安全判定的方案。它的输入不是单步动作,而是包含依赖关系的计划整体,以及计划将要运行的环境信息。
数据从配对任务造起
为了让模型学会判断整条计划的安全性,研究团队构建了 Multi-Step Plan Safety 数据集,简称 MSP-Safe。构建过程分三步:先做配对式任务构造,再让多种不同的规划器生成计划,最后由三名评判者对计划做安全标注。这种流程同时提供了任务、计划与安全标签三类信息,使训练和评估都有统一依据。在 MSP-Safe 上做面向任务的监督微调,可以让模型获得基础的计划安全评估能力。但作者指出,适合实时部署的紧凑模型与能力更强、成本更高的大模型之间仍存在明显差距,这一差距正是后续方法要解决的问题。
强教师按轨迹补偿
为缩小上述差距,作者提出 Strong-Teacher Adaptive Compensation for On-Policy Distillation,即 STAC-OPD。它的做法是在紧凑模型自身的同策略轨迹上,提供来自强教师模型的自适应监督。具体包含两部分:一是从经过微调的强教师那里做词元级别的分布迁移;二是按概率路由的序列级补偿。补偿的规则是,当学生模型倾向于参考的安全判定时,保留学生自己生成的目标;否则改用教师重建的目标。这样既保留了学生自身的输出,又在关键判断上引入教师信号。论文给出的结果是,PlanGuard-2B 在所有测试子集上平均达到 87.15% 的准确率和 87.21% 的 F1 值,说明在紧凑模型规模下也能完成整条计划的物理风险检测。
适用范围与后续
从论文描述看,PlanGuard 的作用范围限定在执行前的计划评估,针对的是多步计划因依赖与环境交互而产生的物理风险,并不处理执行过程中的实时干预,也不涉及语义层面的有害内容判断。它的评估依赖当前环境信息,因此环境描述是否准确会影响判定结果。对关注具身智能体落地的人来说,这意味着安全把关可以前移到计划阶段,而不必等到动作已经发出。作者表示代码与数据集将公开释放,具体获取方式与许可条件尚未在摘要中说明。论文提交于 2026 年 9 月 26 日,编号为 arXiv:2609.32801,属于 cs.AI,同时标注了 cs.CR、cs.CV 与 cs.RO 分类。
为什么值得看
解决具身智能体多步计划组合性物理风险盲区,用2B小模型实现全计划安全检测,对实时部署意义重大。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
