MC-EvoBench:审计Minecraft智能体的经验驱动自我改进

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究者构建了MC-EvoBench,一个受控的Minecraft基准,用于检验具身智能体能否把交互历史转化为可跨世界迁移的能力。基准包含19条注册演化链,其中12条主评测链、7条校准或探针链,并设三个图对齐的配对探针族用于迁移测试。任务被表示为任务状态图,配有阶段级环境验证器,源与目标角色匹配,目标世界重置,仅允许声明的智能体产物跨越源-目标边界。每个探针在匹配的环境步数预算和五个随机种子下评测无先验、相关、无关与打乱源条件,报告TSR、WGP、VMP并保留溯源记录。结果显示控制器与规划器变体间存在稳定的直接能力差距,而相关经验未带来稳定迁移。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

基准要解决什么

论文关注具身递归自我改进中的一个核心难题:智能体能否把交互历史转化为不局限于单一世界、并能迁移到后续任务的能力。作者指出,保存的记忆或某次成功的最终动作,本身并不能证明智能体获得了可复用的能力。因此评测必须把能力变化与携带过来的资源、源条件暴露不均、以及早期执行失败区分开。MC-EvoBench 就是为这种受控审计而搭建的 Minecraft 基准。

基准如何构造

该基准包含一个固定的注册演化链目录,共19条链,其中12条用于主评测,7条用于校准或探针。此外还有三个图对齐的配对探针族,用于考察迁移。每个任务被表示成任务状态图,并定义了阶段级的环境验证器;源角色与目标角色经过匹配,目标世界会被重置,只有被声明的智能体产物才允许跨越源与目标的边界。

评测协议与指标

对每个探针,评测在匹配的环境步数预算和五个随机种子下进行,覆盖无先验、相关、无关和打乱源四种条件。报告指标包括 TSR、WGP 和 VMP,同时保留溯源记录,以便区分能力变化与资源携带等因素。

主要发现

结果显示,控制器与规划器支持的变体之间存在一致的直接能力差距。相关经验没有带来稳定迁移:它没有改善任何一个工具探针,木材种类上的小幅增益依赖单个种子,且所有区间都包含零。阶段审计还表明,早期的木材采集与合成瓶颈常常使后续能力无法被观测到。

为什么值得看

它把「智能体是否真的学会了可迁移能力」拆成可审计的受控实验,对做具身智能评测的人有直接参考价值。

智能体对齐

信源1 家

  1. [1]arXiv cs.AI一手信源MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents

关键事实

  • 基准包含19条注册演化链,其中12条主评测链、7条校准或探针链。[1]

  • 任务被表示为任务状态图,并配有阶段级环境验证器。[1]

  • 每个探针在匹配环境步数预算和五个种子下评测无先验、相关、无关与打乱源条件。[1]

  • 评测报告TSR、WGP、VMP并保留溯源记录。[1]

  • 相关经验未带来稳定迁移,工具探针均未改善,木材种类的小幅增益依赖单个种子。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。