AVC-Reward：面向音视频一致性的可训练奖励模型与评测基准
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系等复杂场景，现有评测多沿用早期单向任务的指标、把整段音视频当作整体并依赖简单预设关系。该工作提出以事件为中心的评测框架：在事件层面拆解音频与视觉事件、逐个分析并做跨模态关系交叉验证，再汇总为粗到细的三级一致性指标，覆盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标被实例化为可训练的奖励模型 AVC-Reward，并配套构建 AVC-Benchmark，样本主要来自多类音视频生成模型产出的正负例。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的评测缺口
联合音视频生成模型的能力提升后，生成的场景出现三类复杂度：多事件组合、多层音频混合，以及非对称的跨模态关系。现有评测大多沿用更早、更简单且单向任务的指标，通常把一段音视频当作整体来打分，并依赖简单的预设关系。这种做法的前提是场景单一、模态间关系固定，因此难以适配上述复杂场景，也无法指出具体是哪一段、哪一层出了问题。
事件级拆解与三级指标
作者提出的框架把音频事件与视觉事件在事件层面拆开，对每个事件单独分析，再跨模态交叉验证事件之间的关系，最后把各项判断汇总成一个由粗到细的三级一致性指标。三级分别对应全局叙事是否和谐、事件层面的时间是否同步、以及细粒度属性是否对齐。论文称这一形式化方式可通用于不同生成设置与不同跨模态关系，而不局限于某一种生成范式。
奖励模型与基准
该指标被实例化为 AVC-Reward，一个可训练的音频视频奖励模型。为检验自动判断与人类感知在不同生成范式和不同关系复杂度下是否一致，作者构建了 AVC-Benchmark，其样本主要来自多种类型音视频生成模型产出的正例与负例。论文报告 AVC-Reward 在自动方法中与人类判断的对齐达到最优，并能给出可解释的理由来定位失败之处；当作为在线强化学习信号使用时，可提升某个联合生成模型的音视频一致性。
为什么值得看
音视频联合生成缺少细粒度评测手段，该工作给出可训练奖励模型与配套基准，并可用作在线强化学习信号。
对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。