Self-RefineVQA:免训练自纠错框架提升表格VQA
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
论文提出 Self-RefineVQA,一个无需训练、在推理阶段自我纠错的表格视觉问答框架,不需要额外标注数据,也不需要更新模型参数。方法让单个视觉语言模型在生成、批评、精炼三种角色间循环,通过提示引导的重新评估修正推理错误。在表格 VQA 基准上,单语与跨语言理解均取得稳定准确率提升,对 2B-7B 参数的小模型提升尤为明显,使其接近更大模型的表现。作者还给出复杂度对比:推理成本线性增加,但省去人工标注环节,数据效率更高、累计成本更低。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载要解决的问题
材料指出,视觉语言模型在视觉问答上进步明显,但面对表格这类结构化内容时推理仍不稳定,常见问题是空间错位与逻辑幻觉。已有改进路线多依赖改动模型结构,或进行代价高昂的监督微调,需要大规模专家标注数据和大量算力,门槛较高。作者把这一现状作为出发点,希望找到一条不依赖标注、不改动模型权重的替代路径。
方法怎么运作
Self-RefineVQA 的思路来自人的修改行为:同一个视觉语言模型在推理阶段依次承担生成、批评、精炼三种角色,形成闭合的自我反馈回路,通过提示引导的重新评估来纠正常见推理错误。整个过程不需要额外标注数据,也不更新模型参数,属于推理期的自纠错框架,因此部署时不必准备训练管线。
实验结果与成本
在表格 VQA 基准上,该方法在单语和跨语言理解两种设定下都带来稳定的准确率提升,其中对 2B-7B 参数的小模型增益最明显,使轻量模型能够接近体量更大的对手。作者同时做了复杂度对比:迭代使推理成本线性上升,但由于免去了微调所需的人工标注瓶颈,数据效率更好,累计成本反而更低。
为什么值得看
不训练、不加标注就能提升表格推理,小模型受益最大,对受限于算力与标注预算的团队有直接参考价值。
大模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
