AceAction-5M 数据集发布：用分层目标学习跨 3D 游戏通用动作
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队发布 AceAction 数据集，采集人类在多个 3D 游戏中的操作演示，用于学习技能组合与子目标切换。数据以完整任务为单位组织，把整体指令、有序子目标和局部技能指令，与时间对齐的视觉观测及键鼠动作关联起来。标注由视觉语言模型流程生成：依据目标或交互对象的变化切分子目标，把导航目标锚定到可识别的路标，再把相邻子目标组合成任务指令。演示覆盖导航、侦察、战斗、交互与恢复，并带有明确的阶段边界。对 500 条轨迹的审核显示，独立评审通过率为 95.8%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载数据集的组织方式
AceAction 以完整任务为单位组织演示，而不是零散片段。每条演示把三层语言信息串起来：描述整局目标的总体指令、按顺序排列的子目标、以及每个阶段内部的局部技能指令。这三层都与时间对齐的视觉观测和键盘鼠标操作绑定，使任务推进过程能对应到细粒度控制。作者指出，已有数据集受限于覆盖游戏有限、语言监督稀疏，或时间层级划分未必反映任务目标变化，这套组织方式正是针对这些限制设计的。
标注如何生成
标注由一条视觉语言模型流程完成。流程从目标变化或交互对象变化中识别子目标边界，把导航类目标锚定到画面上可识别的路标，再把相邻子目标组合成任务级指令。这样得到的演示覆盖导航、侦察、战斗、交互与恢复几类行为，并保留显式阶段边界，把任务进度与具体操作衔接起来。作者用模型校验加人工检查评估标注质量，500 条轨迹的独立评审通过率为 95.8%。
用途与定位
作者把 AceAction 定位为数据基础，用于研究智能体在动态游戏环境中如何执行、组合并切换技能以遵循复杂指令。游戏场景的价值在于采集视觉-语言-动作数据的成本低于真实物理环境。材料未给出数据集规模、游戏数量、模型训练结果或开放获取方式等细节。
为什么值得看
想用游戏数据训练 VLA 智能体的人，可以关注这套带分层子目标标注、且标注质量经过抽检的数据组织方式。
对齐数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。