arXiv 论文提出让数据智能体在推理中主动画图的方法

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 预印本探讨图表能否作为数据智能体推理循环中的内部认知动作。作者先构建包含 200 个受控任务的测试集,在四种匹配的接口条件下发现:智能体从自己生成的图表中读取信息的效果与从数值输出中读取相当,但仅仅提供绘图能力并不能让它们稳定使用图表。任务切片显示,图表在时间、模式与异常推理上占优,文本在精确读取与条件验证上占优。作者随后提出一种方法,从条件化轨迹采样中蒸馏两类经验:一类记录如何选择与验证分析操作,另一类记录何时调用文本、图表或两者兼用;轨迹评判器为结果打分并标注中间步骤,验证门只接纳能提升留出集表现的经验。在三个留出基准与四个 LLM 主干上,该方法提升了分析准确率与视觉证据质量,从未画过图的主干也开始使用图表,且不修改模型参数。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

图表能否进入推理循环

论文关注的问题是:基于 ReAct 式循环的数据智能体已经能对结构化数据执行复杂分析流程,但中间推理几乎全部以文本进行;人类分析师则在数字、表格与图表之间切换,借助视觉证据发现文本摘要容易遗漏的趋势与异常。作者据此提出,图表是否可以成为智能体推理循环内部的认知动作,以及如何教会智能体使用图表。为回答第一个问题,他们构建了包含 200 个受控任务的测试集,在四种匹配的接口条件下观察智能体的行为。

能读不等于会用

实验揭示出一个持续存在的落差:智能体能够读取的内容与它们实际选择使用的内容并不一致。智能体从自己生成的图表中获得的表现,与从数值输出中获得的表现相当,但仅仅开放绘图能力,并不能转化为稳定的图表使用行为。按任务类型切分后可以看到分工差异:图表在时间、模式与异常推理上占优,文本则在精确读取与条件验证上占优。这说明问题不在于智能体读不懂图,而在于它们不会在合适的时机主动选择图表。

用经验蒸馏教何时画图

针对上述落差,作者提出一种不修改模型参数的方法,从条件化轨迹采样中蒸馏两类经验。第一类记录如何选择与验证分析操作,第二类记录何时调用文本、图表或两者兼用。训练流程中,轨迹评判器对结果打分并标注中间步骤,验证门只接纳那些能提升留出集表现的经验,从而过滤掉无效或有害的经验。这一设计把「何时画图」从工具接口问题转化为可学习、可筛选的经验问题。

跨主干与基准的效果

在三个留出基准与四个 LLM 主干上,该方法相对匹配基线提升了分析准确率与视觉证据质量;原本从不画图的主干模型也开始使用图表,而整个过程没有触碰模型参数。论文共 23 页,含 5 幅图与 9 张表,以预印本形式发布在 arXiv 的 cs.AI 分类下。

为什么值得看

它把「何时该画图」变成可训练的经验,而非仅提供工具接口,对做数据分析智能体的人有直接参考价值。

智能体蒸馏论文

信源1 家

  1. [1]arXiv cs.AI一手信源Charts as Epistemic Actions for Experience-Driven Agentic Data Analysis

关键事实

  • 作者构建了包含 200 个受控任务的测试集,覆盖四种匹配的接口条件[1]

  • 实验发现智能体从自生成图表读取的效果与从数值输出读取相当,但仅提供绘图能力不等于稳定使用[1]

  • 任务切片显示图表在时间、模式与异常推理上领先,文本在精确读取与条件验证上领先[1]

  • 方法从条件化轨迹采样中蒸馏两类经验,并用轨迹评判器打分、验证门筛选[1]

  • 在三个留出基准与四个 LLM 主干上,该方法提升分析准确率与视觉证据质量,且不修改模型参数[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。