研究：语义查询引擎在温度0下多次执行结果仍会变化
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载重复执行带来的差异
论文关注的是语义查询引擎的稳定性问题。这类引擎让大语言模型逐行判断，而现有基准通常只在温度 0 下比较少数几次执行的质量。作者换了一个角度：再执行一次会改变多少。他们用 SemBench、LRO-Bench 和 UDA-Bench 各自的测试框架重新运行文本与表格任务，把 120 万次模型调用全部记录下来，同时重新分析了 SemBench 已发布的执行结果。结果显示，即使在温度 0 下，五次执行中仍有 0.07% 到 10.2% 的行会改变算子输出，具体比例取决于所用模型，某个任务上这一比例最高达到 24.0%。
计划放大与答案层面
变化并不止于单行。论文指出，计划会按答案暴露的行数把这些变化呈指数放大，这与一种可能世界模型的预测一致。在 UDA-Bench 上，只有几个百分点的抽取值发生变化，但约三分之二的答案发生了变化。也就是说，行级的小幅波动在最终答案层面被显著放大。在 SemBench 已发布的结果中，21% 的文本结果在多次执行之间质量发生变化，其中还包括那些计划本身是确定性的引擎。这意味着部分基准结论并不稳固：若干逐查询的系统比较，以及 LRO-Bench 实现建议的 28 项测试中的 16 项，都无法由基准实际运行的执行结果来定论。
变化行的特征与缓解
作者进一步刻画了哪些行容易变化。会变化的行正是模型之间彼此不一致的行；同一次执行内部的相同请求，其不一致频率与跨执行时相当。此外，单次执行的决策边际或推理长度可以预测哪些行会变化。在缓解手段上，投票可以降低方差，但不能将其消除；校准级联在返回行发生变化的同时仍能保持其保证。基于这些观察，论文给出了面向基准的报告规则和面向引擎的设计规则，并公开了代码与数据。
为什么值得看
基准分数可能因重复执行而不可复现，做语义查询与 LLM 评测的人需要重新审视报告方式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。