研究：工具输出改为检索读取后，GPT 模型准确率下降最多 11.3 分
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实验怎么做的
论文选取美国地质调查局广泛使用的地球化学模拟器 PHREEQC 作为真实科学工具，其单次报告长度可达 84.68 万字符，且输出具有确定性，每个打印值都可追溯。智能体需要借助该工具回答 158 道经执行验证的选择题。研究对比两种上下文管理方式：一种把工具输出直接放进上下文，另一种把长输出留在文件里、由智能体通过章节索引检索或按需读取。作者还重跑了日志中全部 11,007 次模拟器调用，逐项核对智能体是否真的算出了关键值，从而把「算错」与「看错证据」两类失败分开。
准确率丢在哪里
结果显示，在检索读取条件下，GPT-5.1 与 GPT-5.2 的准确率分别下降 11.3 和 7.9 个百分点，而 Claude Opus 4.6 和 Claude Sonnet 4.6 没有可检测到的损失。重跑调用记录表明，两个 GPT 模型算出关键值的频率与之前差不多，真正的变化是它们答题时所依据的证据：它们经常跳过模拟器报告，改用自己生成的高精度输出文件作答，并因舍入错误落到相邻选项上，作者把这一现象称为证据替换。把模拟结果固定不变后，检索仍让 GPT-5.2 损失 9.4 个百分点。对 GPT-5.4 而言，更频繁的正确模拟掩盖了约十点的证据使用损失，最终净变化与零难以区分。
哪些干预有效
论文测试了几种补救方式。为三个 GPT 模型明确标出权威输出，可在普通检索基础上带来 6.3 至 7.9 个百分点的提升；对 GPT-5.1 和 GPT-5.2，把长度放得下的输出直接内联进上下文，效果与指明权威输出相当；而仅仅要求模型正确舍入，并没有带来改善。作者据此提出，评估智能体框架的上下文管理选择时，不应只看最终准确率，还要定位准确率究竟在哪一步流失，因为相同的最终分数可能对应完全不同的失败机制。
为什么值得看
上下文管理策略不能只看最终准确率，还要看准确率在哪一步流失；做智能体工具调用的人值得一读。
信源1 家
关键事实
测试使用 USGS 的地球化学模拟器 PHREEQC，其报告长度达 846.8k 字符，共 158 道执行验证的选择题[1]
改为通过章节索引检索读取报告后，GPT-5.1 和 GPT-5.2 准确率分别下降 11.3 和 7.9 个百分点，Claude Opus 4.6 与 Sonnet 4.6 无可检测损失[1]
重跑 11,007 次模拟调用显示，两个 GPT 模型算出关键值的频率与之前相近，变化在于答题所依据的证据[1]
模拟结果固定不变时，检索仍使 GPT-5.2 损失 9.4 个百分点；GPT-5.4 的净变化与零无异[1]
指明权威输出可使三个 GPT 模型提升 6.3 至 7.9 个百分点，要求正确舍入则无效[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。