VeriFine框架实现具身推理验证规模化的自我改进
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定评判者的瓶颈
自我改进的策略在训练中会不断暴露新的失败模式，这意味着负责打分的评判者需要能够识别的东西也在持续变化。论文指出，当前固定不变的评判者同时限制了两件事：一是优化过程中反馈信号的质量，二是对有用训练样本的发现能力，从而让进一步的自我改进受阻。在具身推理场景下，这个问题更突出，因为可靠的评估必须同时考虑空间定位、因果推理以及安全相关的决策。VeriFine 被提出作为一套智能体框架，核心思路是让策略、训练课程与评判者三者共同演化，从而把验证能力本身也变成可以扩展的对象。
策略改进循环怎么跑
VeriFine 的第一个环节是策略改进循环。它使用一个基于评分量规的评判者来诊断反复出现的失败，据此构建自适应课程，再对策略进行优化。当进展进入平台期、验证环节成为瓶颈时，流程切换到评判者改进循环：针对信息量较大的失败案例，有选择地向人类寻求指导，并通过协同校准来改进评判者。所谓协同校准，是让人类与智能体共同处理分歧，逐步向物理推理的客观量规收敛。改进后的评判者随后用于指导下一阶段的数据筛选与策略优化，形成一轮接一轮的衔接。
两类任务上的验证
论文在驾驶和机器人导航任务上开展了实验，结果显示策略能力与评判者能力在强化学习和监督微调两种方式下都能持续自我改进。这些结果说明，当策略的失败模式不断演变时，扩展验证能力可以支撑持续的自我改进。论文提交于 2026 年 10 月 6 日，编号为 arXiv:2610.08761，属于 cs.AI 与 cs.RO 分类，作者包括 Zewei Zhou、Rachel Luo、Yulong Cao、Chaowei Xiao、Chensheng Peng、Boyi Li、Thomas Tian、Zheng Lian、Yan Wang、Jiaqi Ma、Boris Ivanovic、Marco Pavone、Wenhao Ding，并提供了项目网站。
为什么值得看
解决具身智能体自我改进中验证瓶颈，通过人机协同校准实现策略与评判器持续进化，对长线训练极具参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。