ENCP提升视觉语言导航不确定性估计

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对视觉语言导航(VLN)任务中标准保序预测无法在依赖步骤上提供覆盖保证的问题,研究者提出了 ENCP 方法。该方法通过策略剩余置信度重归一化非一致性分数,并在每个片段校准一个最大分数。实验表明,在 R2R 和 REVERIE 数据集上,ENCP 在未见环境评估中达到了所有经验步骤覆盖目标,能够提供模型无关的不确定性估计。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把校准单位换成整条轨迹

视觉语言导航(VLN)智能体执行任务时并非单步决策,而是连续走出一串动作,步与步之间彼此牵连,长度也随场景变化。传统共形预测在固定样本上做校准,把每个预测点当作独立个体处理,这套做法搬到 VLN 上就难以兑现其覆盖承诺。ENCP 的调整思路是把校准的粒度从单步上移到整条 episode:对每条轨迹只校准一个最大分数,再把这个分数用于该轨迹内部的各个步骤。这样一来,同一 episode 内各步之间的相关性不再被当作需要消除的干扰,而是被纳入构造之中。论文给出的条件是校准 episode 与测试 episode 可交换,在此前提下,构造出的预测集合在每一步都以不低于 1 减 α 的概率覆盖真实答案。这个保证针对的是整条轨迹而非孤立的一帧,正好对应导航任务的实际形态。

用残差置信度重标定分数

ENCP 的另一处改动落在非一致性分数的计算上。它没有直接沿用原始分数,而是按策略自身的残差置信度对该分数做缩放,使不同 episode 的分数落在可比较的尺度上。论文在 R2R 与 REVERIE 两个数据集上,配合四种 VLN 策略和三种非一致性分数进行了组合测试,覆盖从已见环境到未见环境的评估设定。结果显示,ENCP 在所有报告的步级覆盖目标上都达到了预期。这一结果的意义在于方法不绑定特定模型:四种策略、三种分数都能跑通,说明该构造对策略与分数形式保持通用,而不是只对某一种网络结构有效。对使用方而言,这意味着可以在不改动导航模型本身的情况下,在输出端附加一层不确定性刻画。

覆盖率的适用边界

需要留意的是,ENCP 的覆盖保证建立在校准 episode 与测试 episode 可交换这一前提上,并且它允许一条 episode 内部各步之间存在依赖。换言之,保证的对象是逐步覆盖真实答案的概率下界,而不是对整条轨迹是否成功的直接承诺。论文的验证集中在 R2R 与 REVERIE 的已见转未见评估,报告的是经验步级覆盖率是否达标。方法本身被描述为与模型无关的不确定性估计,其用途指向判断智能体何时应当把决策交给更强的预测器,其中也包括请求人工协助。对于部署方,这提供的是一个可挂在现有策略外部的信号源;至于该信号在更复杂环境中的表现,材料未作展开。

为什么值得看

解决了VLN任务中长序列依赖下的不确定性校准难题,提升导航安全性。

数据集

信源1 家

  1. [1]arXiv cs.AI一手信源ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

关键事实

  • ENCP 通过策略剩余置信度重归一化非一致性分数,每个片段校准一个最大分数。[1]

  • 该方法在 R2R 和 REVERIE 数据集上,针对四种策略和三种非一致性分数达到了经验步骤覆盖目标。[1]

  • ENCP 提供模型无关的不确定性估计,可用于决定何时委托给人类或其他预测器。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。