VideoTapestry免训练多智能体框架提升长视频理解精度
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三层记忆的预构建
VideoTapestry 把长视频内容预先组织成三个层级的记忆结构。最上层承载整体叙事脉络，中间层刻画事件层面的时间组织方式，最下层则保存细粒度的关联证据。这种分层并非在提问之后才临时生成，而是在处理查询之前就已搭好，因此后续的检索与补充都发生在各自对应的尺度范围内，不会相互干扰。框架为每一个层级单独配置了一个专门的智能体，让每个智能体只在自己负责的尺度上完成定位与观察，避免跨尺度操作带来的混乱。整套流程不需要额外训练，属于免训练的多智能体框架。
由粗到细的查询驱动
在收到具体问题后，各层智能体按照由粗到细的顺序展开工作。它们会重新回到视频中与问题相关的区域，用有针对性的多模态观察去充实本层的记忆内容。粗粒度环节先确定大致范围，细粒度环节再在该范围内补充细节，从而降低定位出错的风险。与只依赖查询驱动的探索方式相比，这种做法的敏感度更低；与完全与查询无关的记忆构建方式相比，它又不会遗漏问题所特有的细节。各层的补充结果最终依照原本的层级关系重新组装，形成一份随查询而调整的复合记忆。
复合记忆的取舍
组装后的复合记忆在形态上做了取舍：整体语境以紧凑的方式保留下来，而查询所涉及的支线上则继续保留细粒度证据，供最后的推理环节使用。这样既维持了对全局的把握，又不会让无关细节挤占空间。该框架的适用范围集中在长视频理解任务上，回答问题时往往需要跨越大段时间跨度去取回分散的信息，这正是它试图应对的场景。其限制也来自这一设计：记忆在查询到来前已经构建完成，后续的调整依赖各层智能体对相关区域的重新访问。
准确率提升幅度
在与直接使用 GPT-5.5 推理的对比中，VideoTapestry 在四个评测集上取得了绝对准确率提升：LVBench 上为 17.2%，LongVideoBench（Long）上为 14.9%，Video-MME（Long）上为 9.8%，EgoSchema 上为 7.0%。论文称其在所有对比方案中达到了当前最优结果。对读者而言，这意味着在不重新训练模型的前提下，通过分层记忆与多智能体协作，长视频问答的准确率可以获得可观的改善，且提升幅度在不同评测集上并不一致。
为什么值得看
无需训练即可在四大长视频基准上大幅超越GPT-5.5直接推理，为长视频理解提供高效记忆优化新范式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。