注册

EgoOmniWorld 基准发布：2.4 万组问答评测第一视角视频理解

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿 arXiv 的论文提出 EgoOmniWorld，用「自我—动作—世界」交互回路统一第一视角视频理解。基准按 Node、Edge、Chain、Loop 四种交互结构组织，配套的数据流程从第一视角视频中抽取结构化交互，并以视觉与听觉证据为依据生成问题，模态与单轮/多轮格式由证据和依赖关系决定。数据集共 24,166 组问答，其中训练 20,284 组、测试 3,882 组。对多个开源与闭源多模态大模型的实验显示，它们在不同交互结构上的能力差距明显且不均衡；在 EgoOmniWorld 上训练的模型提升了域内交互理解，并能泛化到已有第一视角基准。数据、代码与模型将公开。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

用交互回路统一评测

论文的出发点是：第一视角视频理解涉及多种能力、模态和评测格式，现实中它们彼此紧密耦合，但研究时往往被分开处理。作者把「佩戴者感知世界、形成目标、采取行动、改变世界、再借反馈指导后续行为」这一过程抽象为 Ego-Action-World 交互回路，并以此作为统一原则。围绕它，基准被划分为四种互补的交互结构：Node 描述自我、动作与世界各自的状态；Edge 描述三者之间的有向关系；Chain 描述彼此链接的依赖；Loop 描述反馈闭环的交互。这种划分方式让评测不再停留在单一任务上，而是按交互的复杂程度分层考察模型能力。

数据流程与规模

配套的数据流程强调「交互优先、证据落地」：先从第一视角视频中抽取结构化的交互，再把这些交互锚定到视觉与听觉证据上，最后依据交互结构生成问题。问题需要哪些模态、采用单轮还是多轮形式，都由支撑它的证据和依赖关系自然决定，而不是预先设定。按此流程构建的 EgoOmniWorld 共包含 24,166 组问答，其中 20,284 组用于训练，3,882 组用于测试。论文表示数据、代码与模型都将公开，这意味着后续团队可以复现流程并在同一套结构上做对比。

模型表现与泛化

作者在若干有代表性的开源与闭源多模态大模型上做了实验，结果显示这些模型在四种交互结构上的局限既明显又不均衡——也就是说，能力短板并非均匀分布，不同结构之间的难度差异被暴露出来。另一方面，在 EgoOmniWorld 上训练的模型不仅提升了域内的交互理解，还能泛化到已有的第一视角基准上。论文的定位是：为评测和推进第一视角视频理解提供一个统一的基础，而不是只增加一个孤立的数据集。

为什么值得看

第一视角视频理解首次被拆成可量化的四种交互结构，并给出两万余组问答与模型短板分布，做具身与可穿戴视觉的团队可直接对照评…

大模型多模态论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions

关键事实

  • 论文提出以「自我—动作—世界」交互回路作为统一第一视角视频理解的原则[1]

  • 基准围绕 Node、Edge、Chain、Loop 四种互补的交互结构组织[1]

  • EgoOmniWorld 含 24,166 组问答，训练 20,284 组、测试 3,882 组[1]

  • 实验显示开源与闭源多模态大模型在各交互结构上的局限明显且不均衡[1]

  • 在 EgoOmniWorld 上训练的模型提升域内理解并可泛化到已有第一视角基准[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论