Embodied-BenchForge 框架自动化构建具身基准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把构建拆成闭环
Embodied-BenchForge 把具身基准的构建过程重新组织成一个闭环：先按用户给出的评测意图正向生成各类产物，再对产物做反向核验，核验不通过就回到出错环节修复。作者把这一流程称为 Closed-Loop Benchmark Synthesis，即闭环基准合成。与之相对，已有的智能体方案大多只覆盖构建链条中的某几个孤立阶段，或者被限定在预先设定的环境和任务族里，换一个场景就难以复用。这套框架的出发点是让构建流程从意图出发一路走到完整基准，而不是停留在半成品阶段。
技能编排与依赖图
在正向合成一侧，框架采用 Skill-Orchestrated Artifact Synthesis，把带类型标注、可重复使用的技能组合成可执行的工作流。构建过程中产生的中间输出由一张产物依赖图统一记录，图中保留每个中间产物以及它们之间的依赖关系。这样做的直接效果是，后续环节能明确知道某个产物来自哪一步、被哪些下游环节使用。作者指出，多步构建会生成彼此依赖的中间产物，这些产物往往未经针对性的检查就被传给下游，局部缺陷因此一路传导进最终基准；依赖图正是为后续的定点核验和回退提供依据。
按产物类型分别核验
反向一侧是 Requirement-Guided Verification and Repair：在整个构建过程中施加与具体产物类型相匹配的契约，而不是只在末端做一次总检。一旦某项核验失败，框架借助来源信息判断问题出在哪一环，触发局部重新执行，或者向上游回滚到更早的步骤。这种做法的意义在于把修复范围压到最小，避免因为一处缺陷推翻整条构建链。作者通过修复分析与技能复用分析说明，局部恢复是高效的，技能也能在不同基准之间重复使用。
已构建的基准与验证
作者用这套框架在 Offline EQA Track 中构建了六个覆盖不同具身场景的基准，并在 Interactive Embodied Track 中构建了一个包含 220 个可执行任务的交互式基准。对代表性多模态大模型与具身智能体的评测显示，这些基准能够区分模型在基于观察的理解和闭环执行两方面的能力差异。质量评估与消融实验验证了基准本身的质量以及核验修复环节的作用。对读者而言，这套流程提供的是一套可复用的构建与自检机制，其适用范围受限于材料所述的具身评测场景与任务类型。
为什么值得看
自动化构建高质量具身基准，解决多步骤构建中的缺陷传播问题。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。