注册

DeltaStreamer：面向流式视频理解的智能体框架发布

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者提出 DeltaStreamer，一个受人类观察、记忆与探究方式启发的流式视频理解智能体框架。针对现有方法在压缩视频历史时模糊事件转折、遗漏细节且无法找回缺失视觉证据的问题，该框架把变化感知记忆与查询驱动规划、定向证据收集与回放结合起来：查询到来前持续观察流并显式记录视觉变化，查询到来后由规划器定位所需证据并引导记忆检索与定向回放，从而恢复观察阶段被省略的画面细节。在 OVO-Bench 与 StreamingBench 上，整体得分分别为 66.07% 和 59.53%，优于代表性流式视频理解方法。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

流式视频理解的取证难题

流式视频理解要求系统在尚不知道未来会问什么的情况下，先把证据保留下来。现有做法在压缩视频历史时，往往把事件之间的转折变得模糊，也会丢掉一些相关细节，而且一旦细节被丢弃，就无法再找回缺失的视觉证据。DeltaStreamer 正是针对这三点限制提出的：它不把历史压缩成一份只描述「当前有什么」的摘要，而是试图保留事件如何一步步展开的过程，并让系统在需要时能够回到原始画面重新取证。

先记录变化，再按问题回放

该框架把连续观察与主动调查连接起来。在查询到来之前，它持续观察视频流，并把视觉变化显式写入结构化记忆，因此记忆里保存的是事件演变的轨迹，而不只是某一时刻的画面状态。当查询到来时，一个由查询驱动的规划器会判断回答这个问题需要哪些证据，再据此引导记忆检索和有针对性的回放。通过重新访问历史帧，智能体可以恢复在观察阶段被省略的视觉细节，让最终答案建立在被找回的证据之上，而不局限于此前保留下来的描述。

基准上的量化结果

论文在 OVO-Bench 和 StreamingBench 两个流式视频理解基准上进行了实验，报告的整体得分分别为 66.07% 和 59.53%，相比代表性的流式视频理解方法有所提升。这两个数字是该工作目前给出的主要效果证据，说明「变化感知记忆 + 查询驱动规划 + 定向回放」的组合在整体评测上带来了可测量的改进。论文同时提供了项目页面，并归入计算机视觉、人工智能与人机交互等方向。

为什么值得看

流式视频理解长期受困于历史压缩丢细节，该工作用「先记录变化、再按问题回放取证」的思路给出可量化结果，值得关注其记忆与规…

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

关键事实

  • 论文提出 DeltaStreamer，一个受人类观察、记忆、探究方式启发的流式视频理解智能体框架[1]

  • 框架结合变化感知记忆、查询驱动规划，以及带回放的定向证据收集[1]

  • 查询到来前持续观察流并显式记录视觉变化，保留事件如何展开而非仅记录当前存在什么[1]

  • 查询到来后由规划器识别所需证据，引导记忆检索与定向回放，恢复观察时被省略的视觉细节[1]

  • 在 OVO-Bench 与 StreamingBench 上整体得分分别为 66.07% 和 59.53%[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论