MemLife系统解决长视频记忆检索难题,无需训练提升4.6-12.0%

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对第一人称长视频查询重算成本过高及记忆检索失效问题,MemLife系统将视频压缩为实体锚定文本片段,并用时间索引智能读取器检索。无需训练或查询时访问视频,它在四个长线基准上较最强免训练基线提升4.6-12.0%。其配套强化学习框架MemOpt优化记忆写入器,使MemLife在不同分布上再提升2.7-5.0%,且泛化至不同骨干网络与记忆系统。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

长时视频记忆的难题

第一人称视角的长期视频,能让个性化助手理解使用者的日常生活。但当视频积累到数百小时、跨越数月乃至数年之后,每次提问都重新处理原始片段,在算力上变得难以承受。记忆系统提供了一条可扩展的路径,把视频压缩成文本表示;不过在实际基准上这类方案常常失效,原因有两类:一是记忆没有保留关键证据,二是随着检索空间不断变大,检索器因为竞争而找不到相关条目。

实体锚定的文本片段

MemLife 是一个多模态记忆系统,它构建以实体为锚、采用第一人称叙述的文本片段,再通过带时间索引的智能体式读取器把这些片段取回。它的特点在于既不需要训练,也不需要在提问时访问视频。在四个长时程基准上,它的表现超过了最强的免训练基线。作者还提出 MemOpt,一个强化学习框架,用来优化记忆写入器,使其产出的记忆忠实、信息量足且便于检索。MemOpt 在不同视频与问题分布上都能稳定提升 MemLife,这种增益可以跨写入器与读取器的骨干模型、以及不同的记忆系统泛化。

论文的基本信息

该论文提交于 2026 年 9 月 30 日,作者包括 Guangzhi Xiong、Xinyuan Zhang、Xiao Yang、Hyokun Yun、Kai Zhang、Shiun-Zu Kuo、Hyeonjeong Ha、Xilun Chen、Kai Sun、Lucas Liang、Guangqiang Dong、Ejaz Ahmed、Ahmed A Aly、Anuj Kumar、Raffay Hamid、Aidong Zhang 与 Xin Luna Dong,共十七人。论文归入计算机视觉与模式识别、人工智能、计算与语言等分类,编号为 arXiv:2609.40195,并提供 HTML 实验版本与 PDF 全文链接。

为什么值得看

为个性化AI助手处理数百小时长视频提供免训练、可扩展的记忆构建与检索新范式。

强化学习

信源1 家

  1. [1]arXiv cs.AI一手信源MemLife: Curating and Reasoning over Long-Term Egocentric Video Memories

关键事实

  • MemLife将长视频构建为实体锚定的第一人称文本片段,并通过时间索引智能读取器检索[1]

  • 无需训练或查询时访问视频,MemLife在四个长线基准上较最强免训练基线提升4.6-12.0%[1]

  • MemOpt强化学习框架优化记忆写入器,使MemLife在不同分布上再提升2.7-5.0%[1]

  • MemOpt的提升可泛化至不同的写入器、读取器骨干网络及记忆系统[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。