论文审计世界动作模型的测试时搜索:价值选择器反而不如随机

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文对 Cosmos Policy 与 RoboCasa 上的测试时搜索做了预注册审计。在干净数据上,学习到的价值选择器比随机选择差 1.66 个百分点;事后最优选择(hindsight oracle)只高出 1.40 个百分点,且其置信区间跨零;82% 的状态下候选结果完全相同,选择空间有限。token 剪枝把单次前向 FLOPs 最多削减 47%,但在部署路径上端到端加速最多 1.15 倍,低于 1.5 倍目标。作者还发现并修复了一处静默渲染损坏,并放出检测器、修复与脚本。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

审计的三个前提

论文把测试时扩展拆成一条前提链:候选之间必须带有可利用的决策信号,名义上的算力节省必须转化为真实加速,评测本身必须可靠。作者在 Cosmos Policy 与 RoboCasa 上按预注册方法逐项核查,结论限定在受测配置范围内。这一框架的意义在于,它把「成功率涨了」拆成可分别验证的环节,而不是只看最终指标。

选择信号几乎不存在

在干净数据上,学习到的价值选择器比随机挑选还差 1.66 个百分点;即便给出事后最优选择,也只多出 1.40 个百分点,且 episode 级区间跨零。原因在候选本身:82% 的状态下不同候选产生相同结果,可供挑选的差异很小。也就是说,额外推理算力花在挑选上,未必有可挑之物。

加速未达目标

token 剪枝把单次前向的 FLOPs 最多削减 47%,但在实际部署路径上测得的端到端加速最多 1.15 倍,排除解码环节的路径为 1.25 倍,均低于 1.5 倍目标。自适应分配实验在统计功效门槛下没有得出确定结论。这说明名义算力下降与用户可感知的提速之间存在明显损耗。

评测完整性缺口

作者定位到一处不报错的渲染损坏,其出现频率在算力密集的规划路径上明显上升,而官方直接策略的结果不受影响。团队放出检测器、修复方案与脚本,供他人复核。这一项与前述两项共同支撑论文主张:测试时扩展应按决策信号、实际效率、评测完整性逐环审计,而非只看成功率。

为什么值得看

测试时搜索常被默认有效,这篇审计用数据说明选择信号与加速收益都可能落空,并给出可复用的核查方法。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源When Does Test-Time Search Help World Action Models? An Empirical Audit of Candidate Selection and Simulator Integrity

关键事实

  • 学习到的价值选择器在干净数据上比随机选择差 1.66 个百分点[1]

  • 事后最优选择仅提升 1.40 个百分点,其 episode 级区间跨零[1]

  • 82% 的状态下候选结果完全相同[1]

  • token 剪枝使单次前向 FLOPs 最多减少 47%,部署路径端到端加速最多 1.15 倍[1]

  • 作者发现并修复一处静默渲染损坏,并发布检测器、修复与脚本[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。