论文审计世界动作模型的测试时搜索:价值选择器反而不如随机
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
一篇 arXiv 论文对 Cosmos Policy 与 RoboCasa 上的测试时搜索做了预注册审计。在干净数据上,学习到的价值选择器比随机选择差 1.66 个百分点;事后最优选择(hindsight oracle)只高出 1.40 个百分点,且其置信区间跨零;82% 的状态下候选结果完全相同,选择空间有限。token 剪枝把单次前向 FLOPs 最多削减 47%,但在部署路径上端到端加速最多 1.15 倍,低于 1.5 倍目标。作者还发现并修复了一处静默渲染损坏,并放出检测器、修复与脚本。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载审计的三个前提
论文把测试时扩展拆成一条前提链:候选之间必须带有可利用的决策信号,名义上的算力节省必须转化为真实加速,评测本身必须可靠。作者在 Cosmos Policy 与 RoboCasa 上按预注册方法逐项核查,结论限定在受测配置范围内。这一框架的意义在于,它把「成功率涨了」拆成可分别验证的环节,而不是只看最终指标。
选择信号几乎不存在
在干净数据上,学习到的价值选择器比随机挑选还差 1.66 个百分点;即便给出事后最优选择,也只多出 1.40 个百分点,且 episode 级区间跨零。原因在候选本身:82% 的状态下不同候选产生相同结果,可供挑选的差异很小。也就是说,额外推理算力花在挑选上,未必有可挑之物。
加速未达目标
token 剪枝把单次前向的 FLOPs 最多削减 47%,但在实际部署路径上测得的端到端加速最多 1.15 倍,排除解码环节的路径为 1.25 倍,均低于 1.5 倍目标。自适应分配实验在统计功效门槛下没有得出确定结论。这说明名义算力下降与用户可感知的提速之间存在明显损耗。
评测完整性缺口
作者定位到一处不报错的渲染损坏,其出现频率在算力密集的规划路径上明显上升,而官方直接策略的结果不受影响。团队放出检测器、修复方案与脚本,供他人复核。这一项与前述两项共同支撑论文主张:测试时扩展应按决策信号、实际效率、评测完整性逐环审计,而非只看成功率。
为什么值得看
测试时搜索常被默认有效,这篇审计用数据说明选择信号与加速收益都可能落空,并给出可复用的核查方法。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
