openJiuwen AgentMemory 上线 OmniMem-Lens …
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载固定切分带来的两个问题
现有 Agent 处理超长视频时,通行做法是按固定时间窗口把视频切成小段分别记忆。材料把这种做法比作盲人摸象,指出两个后果:一是连贯内容被从中间切断,前后段分开存储,提问时只能取到半截证据,容易产生幻觉;二是一个几秒的关键动作会和前后数分钟无关画面打包在一起,检索时关键信息被噪音淹没,召回精度明显下降。材料认为根源在于 Agent 按秒记视频,而人按事件理解视频。
视听双线索定事件边界
OmniMem-Lens 同时使用画面与语音两条轨迹。画面切换时判断内容变化并标记;画面不动但说话人换了话题时,通过 ASR 语音转录分辨出来。两条证据交叉确认后,切分点落在真实事件边界上。材料强调,多数视频事件分割方案只依赖单一模态,只看画面在长时间静止时会漏掉议题变化,只听语音在没有台词时拿不到线索。
三层记忆与离线建库
记忆按颗粒度分三层:L1 提供大纲,L2 定位到具体片段,L0 保留原始视频帧供回溯核对。L1 与 L2 完全文本化与向量化,可无缝接入主流向量数据库,已有 RAG 或 Agent 技术栈的开发者几乎不用改造。检索时用户问题先与 L1、L2 做语义匹配,快速定位精炼记忆;只有需要视觉细节验证时才调取 L0 的精确帧。繁重的记忆整理在离线阶段完成,在线只做查询,因此响应更快。
评测集上的精度与时延
团队在三个长视频问答评测集上,把 OmniMem-Lens 配合 Qwen3-VL-8B 与直接使用 Qwen3-VL-8B 回答视频问题做对比。召回精度方面,通用长视频基准 Video-MME-L 提升 8%,长视频理解基准 LVbench 提升 6.4%,以第一人称记录一整天日常的 EgoLife-QA 提升 45.7%,材料称该场景事件密集、细节琐碎,最能体现按事件组织记忆的价值。时延方面,LVbench 上直答需 34.5 秒,OmniMem-Lens 为 1.72 秒,快约 20 倍,整体在线问答时延最高降低 97%。
为什么值得看
长视频记忆是 Agent 落地的实际瓶颈,这里给出了事件级切分、分层存储与离线建库的具体做法和量化结果。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
