研究提出 ARP-CD:免训练缓解视频大模型幻觉

论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿于 arXiv 的论文提出 ARP-CD,一种免训练框架,用于在表示空间直接构造对比解码所需的负样本。该方法利用答案预测位置上分配给视觉 token 的注意力质量,引导对语言模型输入视觉隐状态做有界梯度更新,从而降低视觉注意力并生成负输入,再与原始分支的预测在生成全程做对比。作者在四个视频大模型和四个基准上测试,称 ARP-CD 在多数模型—基准组合中优于代表性的免训练基线,在减少幻觉的同时改善通用视频理解。分析显示,注意力引导的扰动方向提升了负样本质量,这些负样本能作为有效的对比参考来纠正原始预测。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

实验与结论

论文提出的 ARP-CD 全称为 Attention-guided Representation Perturbation for Contrastive Decoding,是一个免训练框架,直接在表示空间构造对比负样本。具体做法是:取答案预测位置上分配给视觉 token 的注意力质量,用它来引导对语言模型输入视觉隐状态做有界梯度更新。更新后的状态视觉注意力被压低,形成负输入,其预测在整段生成过程中与原始分支的预测做对比。

实验与结论

作者在四个视频大模型和四个基准上做了实验,结果显示 ARP-CD 在多数模型—基准组合中超过代表性的免训练基线,既减少幻觉,也提升通用视频理解。进一步分析指出,注意力引导的扰动方向能改善负样本质量,而这些负样本为纠正原始预测提供了有效的对比参考。论文提交于 2026 年 10 月 14 日,编号 arXiv:2610.19728,归类于计算机视觉与模式识别,同时涉及人工智能与计算语言方向。

为什么值得看

免训练、可直接套用到现有视频大模型,关注多模态幻觉抑制的从业者可看其负样本构造思路。

大模型幻觉论文

信源1 家

  1. [1]arXiv cs.AI一手信源Mitigating Video Hallucinations via Attention-Guided Representation Perturbation

关键事实

  • 论文提出 ARP-CD,一个在表示空间构造对比负样本的免训练框架[1]

  • 该方法用答案预测位置上视觉 token 的注意力质量引导对视觉隐状态的有界梯度更新[1]

  • 在四个视频大模型和四个基准上,ARP-CD 在多数模型—基准组合中优于代表性免训练基线[1]

  • 分析显示注意力引导的扰动方向提升了负样本质量,可作为纠正原始预测的对比参考[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。