openJiuwen AgentMemory 上线 OmniMem-Lens …

工具AI 评分 78/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

openJiuwen AgentMemory 在 0.2.0 版本中上线 OmniMem-Lens,用视觉与听觉两条线索判断视频中的真实事件边界,替代按固定时间窗口切分的做法,并按三层结构组织记忆。团队称该能力在 EgoLife-QA 上召回精度最高提升 45.7%,在 LVbench 上在线问答时延从 34.5 秒降到 1.72 秒,降幅最高 97%。L1、L2 记忆单元已文本化与向量化,可接入主流向量数据库。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

固定切分带来的两个问题

现有 Agent 处理超长视频时,通行做法是按固定时间窗口把视频切成小段分别记忆。材料把这种做法比作盲人摸象,指出两个后果:一是连贯内容被从中间切断,前后段分开存储,提问时只能取到半截证据,容易产生幻觉;二是一个几秒的关键动作会和前后数分钟无关画面打包在一起,检索时关键信息被噪音淹没,召回精度明显下降。材料认为根源在于 Agent 按秒记视频,而人按事件理解视频。

视听双线索定事件边界

OmniMem-Lens 同时使用画面与语音两条轨迹。画面切换时判断内容变化并标记;画面不动但说话人换了话题时,通过 ASR 语音转录分辨出来。两条证据交叉确认后,切分点落在真实事件边界上。材料强调,多数视频事件分割方案只依赖单一模态,只看画面在长时间静止时会漏掉议题变化,只听语音在没有台词时拿不到线索。

三层记忆与离线建库

记忆按颗粒度分三层:L1 提供大纲,L2 定位到具体片段,L0 保留原始视频帧供回溯核对。L1 与 L2 完全文本化与向量化,可无缝接入主流向量数据库,已有 RAG 或 Agent 技术栈的开发者几乎不用改造。检索时用户问题先与 L1、L2 做语义匹配,快速定位精炼记忆;只有需要视觉细节验证时才调取 L0 的精确帧。繁重的记忆整理在离线阶段完成,在线只做查询,因此响应更快。

评测集上的精度与时延

团队在三个长视频问答评测集上,把 OmniMem-Lens 配合 Qwen3-VL-8B 与直接使用 Qwen3-VL-8B 回答视频问题做对比。召回精度方面,通用长视频基准 Video-MME-L 提升 8%,长视频理解基准 LVbench 提升 6.4%,以第一人称记录一整天日常的 EgoLife-QA 提升 45.7%,材料称该场景事件密集、细节琐碎,最能体现按事件组织记忆的价值。时延方面,LVbench 上直答需 34.5 秒,OmniMem-Lens 为 1.72 秒,快约 20 倍,整体在线问答时延最高降低 97%。

为什么值得看

长视频记忆是 Agent 落地的实际瓶颈,这里给出了事件级切分、分层存储与离线建库的具体做法和量化结果。

Qwen多模态量化语音

信源1 家

  1. [1]量子位让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落

关键事实

  • OmniMem-Lens 在 openJiuwen AgentMemory 0.2.0 版本上线,定位为视频多模态记忆处理能力[1]

  • 该能力通过视觉画面变化与 ASR 语音话题切换两条线索交叉判断事件边界[1]

  • 记忆分三层组织,L1 与 L2 单元文本化、向量化,可接入主流向量数据库[1]

  • 配合 Qwen3-VL-8B 对比直答,EgoLife-QA 召回精度提升 45.7%,Video-MME-L 提升 8%,LVbench 提升 6.4%[1]

  • LVbench 上在线问答时延由 34.5 秒降至 1.72 秒,最高降低 97%[1]

相关 · 工具

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。