arXiv 论文提出衡量模型好奇心的分类法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文把模型主动提出能揭示知识空白、假设与替代方案的问题称为“模型好奇心”,并给出一个基于理论的分类法,用来区分好奇心导向的问题与一般性提问。作者在四个对话数据集上统计发现,好奇心导向的问题占比仅 17% 到 28%,但这类问题往往伴随用户更偏探索、信息更丰富的后续回应,且不同数据集上的模式存在差异。作者还开展了人类研究评估这类提问的实用性,发现它在建议、创意与研究场景中更能激发探索。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把提问当作一种能力

这篇论文把模型在对话中主动提出的问题单独拿出来考察,关注的是那些指向知识空白、隐含假设与替代方案的发问,作者将其称为模型的好奇心。研究没有停留在泛泛讨论提问频率,而是先建立了一套有理论依据的分类框架,用来把带有好奇性质的问题与模型日常生成的普通问句区分开。这一区分是后续测量的前提:只有先界定什么算好奇式提问,才能统计它在真实对话中占多大比例,也才能判断这类提问出现之后对话走向是否发生变化。

四份对话数据里的占比

作者在四个对话数据集上做了统计,结果显示带有好奇取向的问题在所有问题中仍属少数,占比区间为 17-28%,且不同数据集之间的分布形态并不一致。这一区间说明,模型在多数情况下仍以直接作答为主,主动追问并非默认行为。研究同时观察到,这类问题出现之后,用户随后的回应往往更具探索性,信息含量也更丰富。需要说明的是,材料给出的是关联层面的观察,并未声称提问与后续回应之间存在因果。

人工评估看使用场景

除数据统计外,研究还开展了一项人工评估,用来判断模型的好奇心在实际使用中是否有价值。评估结论是这类提问能够推动用户展开探索,在建议类、创意类与研究类语境中表现得尤为明显。也就是说,追问的价值并非在所有场景中均等,它与任务本身是否需要发散思考有关。这一结果与前面的语料观察相互呼应:好奇式提问稀少,但在合适的情境下能带来更丰富的对话内容。

对构建模型的启示

论文给出的落点在于如何让模型更有选择地发问,以支撑更深入的探索和人机协作。由于好奇式提问在语料中占比有限,而它又与更具探索性的用户回应相伴出现,作者认为这为改进模型的提问策略提供了依据。材料没有给出具体的训练方法或系统实现,也没有披露评估所用的样本规模与评分细则,因此这里能确认的只是研究指向:模型不只需要会回答,还需要在恰当的时机提出恰当的问题。

为什么值得看

给出了“模型该不该多问”的可量化框架与占比数据,对做对话产品与提问策略的人有直接参考。

论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源What Makes a Question Curious? Measuring Model Curiosity in Human-LLM Interactions

关键事实

  • 论文提出一个基于理论的分类法,用于区分好奇心导向的问题与一般性模型提问[1]

  • 在四个对话数据集中,好奇心导向的问题仅占全部问题的 17% 到 28%[1]

  • 这类问题与用户更偏探索、信息更丰富的后续回应相关,且不同数据集上模式不同[1]

  • 人类研究显示,模型好奇心在建议、创意与研究场景中更能鼓励探索[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。