论文提出候选集视觉定位任务CSVG与基准CandVG
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把候选集当作任务目标
这篇论文提出了一项名为 Candidate Set Visual Grounding 的任务，简称 CSVG。它的目标不是从画面里锁定某一个对象，而是估计出与当前对话上下文相符的一组对象。作者指出，真实交互里一句含糊的话往往需要超出单句的语境才能理解；当这句话指向视觉场景中的物体时，随着上下文不断累积，系统需要持续维护并更新那组可能的指代对象，而不能预先假定已有信息足以确定唯一目标。此前关于交互式视觉定位的研究，关注点在于等对话上下文足够充分之后找出唯一的那个物体。CSVG 正是针对这一空缺提出的，它把“可能指哪些”的集合本身作为要估计的对象。
CandVG 看多轮变化
为配合这一任务，作者还给出了 CandVG 这一基准，用来评估候选集合在对话各轮之间如何变化。也就是说，评测关注的不只是某一轮的结果，而是集合随轮次推进的演变过程。论文对视觉语言模型做了评估，结果显示：视觉定位能力更强，并不必然带来更好的 CSVG 表现。模型在预测完整候选集合时尤其吃力，原因一方面在于候选生成本身存在困难，另一方面在于模型在对话早期就过早地收敛到一小组候选上。作者同时发现，对受评估的大规模模型而言，如果使用专门为 CSVG 设计的指令，这一局限能够被部分缓解。
数据与代码一并公开
论文提供了数据与代码的链接，便于复现与后续使用。从学科分类看，该工作同时归入计算与语言、人工智能以及计算机视觉与模式识别等方向。作者为 Shun Inadumi、Lee Sangmyeong 与 Koichiro Yoshino。对关注对话系统与视觉定位的读者来说，这项工作的意义在于把评价口径从“是否找对唯一目标”转向“候选集合是否完整、是否随语境合理变化”，并提示视觉定位强并不等于候选集合估计好，早期过早收敛是常见失分点，而针对性的指令设计可以在一定程度上改善大规模模型的表现。
为什么值得看
指出视觉定位强不等于能处理对话歧义，并给出可复用的评测基准与缓解思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。