Self-RefineVQA:免训练自纠错框架提升表格VQA

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

论文提出 Self-RefineVQA,一个无需训练、在推理阶段自我纠错的表格视觉问答框架,不需要额外标注数据,也不需要更新模型参数。方法让单个视觉语言模型在生成、批评、精炼三种角色间循环,通过提示引导的重新评估修正推理错误。在表格 VQA 基准上,单语与跨语言理解均取得稳定准确率提升,对 2B-7B 参数的小模型提升尤为明显,使其接近更大模型的表现。作者还给出复杂度对比:推理成本线性增加,但省去人工标注环节,数据效率更高、累计成本更低。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

材料指出,视觉语言模型在视觉问答上进步明显,但面对表格这类结构化内容时推理仍不稳定,常见问题是空间错位与逻辑幻觉。已有改进路线多依赖改动模型结构,或进行代价高昂的监督微调,需要大规模专家标注数据和大量算力,门槛较高。作者把这一现状作为出发点,希望找到一条不依赖标注、不改动模型权重的替代路径。

方法怎么运作

Self-RefineVQA 的思路来自人的修改行为:同一个视觉语言模型在推理阶段依次承担生成、批评、精炼三种角色,形成闭合的自我反馈回路,通过提示引导的重新评估来纠正常见推理错误。整个过程不需要额外标注数据,也不更新模型参数,属于推理期的自纠错框架,因此部署时不必准备训练管线。

实验结果与成本

在表格 VQA 基准上,该方法在单语和跨语言理解两种设定下都带来稳定的准确率提升,其中对 2B-7B 参数的小模型增益最明显,使轻量模型能够接近体量更大的对手。作者同时做了复杂度对比:迭代使推理成本线性上升,但由于免去了微调所需的人工标注瓶颈,数据效率更好,累计成本反而更低。

为什么值得看

不训练、不加标注就能提升表格推理,小模型受益最大,对受限于算力与标注预算的团队有直接参考价值。

大模型论文

信源1 家

  1. [1]arXiv cs.AI一手信源Cycle-of-Thought: Self-Evaluative Iterative Reasoning for Table Visual Question Answering in Document Images

关键事实

  • 论文提出 Self-RefineVQA,一个免训练、推理阶段自我纠错的表格 VQA 框架[1]

  • 方法让单个视觉语言模型循环扮演生成者、批评者与精炼者,形成自反馈闭环[1]

  • 在表格 VQA 基准上,单语与跨语言理解均获得稳定准确率提升[1]

  • 2B-7B 参数的轻量模型提升尤为显著,可接近更大模型的表现[1]

  • 推理成本随迭代线性增加,但省去人工标注,数据效率更高、累计成本更低[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。