研究团队提出SBS框架提升视频字幕生成性能
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载弱监督下的定位与描述
这项研究面向弱监督密集视频描述任务：训练时每段未剪辑视频只配有一组按顺序排列的事件级描述，模型需要自行判断每个事件在时间轴上的起止位置，并为各段生成文字说明。此前的一种思路是借助大语言模型合成过渡性描述，为画面与语言之间补充对齐信号。该做法的问题在于，合成出来的文字没有视觉依据，而且被固定安放在相邻事件之间的同一位置、同一时长上，与实际画面中事件切换发生的地方未必吻合。
先看画面再生成文字
作者提出的框架名为 Seeing Before Synthesizing，思路是先观察再合成。具体做法是用视觉语言模型对相邻事件之间的间隔逐帧生成叙述，再比较这些叙述在语义上的变化，据此判断该间隔内是否真的存在一次转场。只有被判定存在转场的间隔才会获得语言引导，其余间隔不再强行附加描述，从而避免向缺乏依据的位置注入文本信号。
掩码位置与宽度的确定
对已识别出的转场，方法进一步调整事件间隔的时间掩码：把相邻事件时间区间的中点与语义变化发生的位置混合，作为掩码的中心，再在若干候选宽度中挑选使视觉与语言对齐程度最高的那一个。这样掩码既参考了事件边界给出的先验，也吸收了逐帧叙述所反映的实际变化点，位置和跨度都不再是固定值。
数据集表现与适用边界
在 ActivityNet Captions 与 YouCook2 两个数据集上，该方法在描述生成与时间定位两项指标上都取得了当前最佳结果，论文已被 EMNLP 2026 主会长文接收。就适用范围而言，它依赖视觉语言模型逐帧产出叙述，因此计算开销与间隔数量相关；转场检测的准确性取决于语义变化是否足够明显，画面变化平缓的间隔可能难以被判定。对使用弱标注数据训练视频描述系统的读者来说，这意味着辅助文本可以按需生成，不必对每处间隔一视同仁。
为什么值得看
改进视频事件定位和描述方法，提升AI对视频内容的理解能力
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。