研究：给模型配工具后，换一种问法仍会改变模型排名
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出匹配协议，把从问题到被评分答案之间的环节拆开：答案读出、推理、是否调用工具的决定、工具返回的答案，以及不调用工具时给出的报告。作者用该协议在五个领域、五种问法下测试六个开源模型，发现工具在由程序作答的问题上提高了准确率，却让许多两两比较对措辞更敏感；敏感度扩大的程度与模型调用工具的频率有关，而调用频率是否随措辞变化因模型而异。研究还发现，改用原生工具调用接口并更换第二份工具描述后，在分子领域未检测到敏感度扩大；当工具返回中间结果时，敏感度仍然存在。作者建议在准确率之外，同时报告调用频率和多种措辞下的比较稳定性。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么要拆开工具环节
论文关注的问题是：现有问答基准通常只用一种措辞提问，而换一种问法就可能让两个模型的排名反转。给模型配上工具后，比较是否会变得更稳定，无法靠准确率提升来回答，因为工具会同时改变从问题到被评分答案之间的多个步骤。作者因此设计了一套匹配协议，把这些步骤分开考察：答案读出、推理过程、是否决定调用工具、工具返回的答案，以及不调用工具时模型自己给出的报告。这样可以把准确率变化归因到具体环节，而不是笼统地归因于“用了工具”。
实验设置与主要发现
实验覆盖六个开源模型、五个领域和五种措辞。结果显示，当问题由程序来作答时，工具确实提升了准确率；但与此同时，许多模型两两之间的比较对措辞变得更敏感，也就是换一种问法更容易改变谁高谁低。敏感度扩大的程度与模型调用工具的频率相关，而调用频率是否随措辞变化，在不同模型上表现不一致：有些模型的调用频率跟着措辞走，有些则不是。这说明工具带来的稳定性不能一概而论。
接口与描述会改变结论
研究进一步发现，敏感度还受接口和指令影响。改用原生工具调用接口，并更换第二份工具描述后，在分子领域没有检测到敏感度扩大；而当工具返回的是中间结果时，敏感度依然存在。作者据此指出，确定性的工具报告并不保证比较结果稳定。对做评测的人来说，这意味着单次措辞下的排名可能掩盖不稳定性，报告准确率时应同时给出调用频率，以及多种措辞下的比较稳定性。
为什么值得看
做模型评测和选型的人需要知道：加入工具后，单次措辞下的排名可能不可靠，应补充稳定性指标。
开源模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。