研究审计Text-to-SQL置信度评分设计，提出改进规则并在Spider上预…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载被审计的置信度评分
论文针对的是一类生产级对话分析系统：用户用自然语言向分散在多个系统中的数据提问，系统给出答案，并为每个答案附上置信度分数，据此决定直接展示、带警告展示还是不予展示。该分数的权重、上限和阈值都是按设计设定的。作者要审计的正是这套设计是否真的能判断答案对错。实验在BIRD dev的1534个问题上进行，由GPT-5.1配合适配基准的生产提示作答，每题生成五个采样。结果显示，设计好的分数区分正确与错误答案的能力偏弱，AUROC仅为0.624，置信区间为0.595至0.652，同时它会扣留35.7%的正确答案——也就是说，相当一部分本来正确的回答被系统拦下。
信号来源与丢失
作者进一步拆解了分数的构成，发现其排序能力几乎全部来自多个采样之间的一致性：如果多次作答彼此吻合，答案更可能正确。问题出在一致性与其他检查的结合方式上。原设计把一致性与一份清单取最小值，而这份清单只要遇到任何缺乏支撑的断言就会归零，连评论性内容中的断言也算在内。这样一来，原本来自一致性的排序信号在结合过程中大部分被抹掉，导致分数既难以区分对错，又大量扣留正确答案。这一发现指向的不是采样策略本身，而是分数聚合方式的设计缺陷。
冻结规则与预注册验证
基于上述审计，作者冻结了一条新规则：把与所展示答案的一致性直接作为分数，确定性检查不再参与打分，只充当否决与上限的角色。为避免事后调整，他们在Spider dev上预注册了测试，时间点早于任何Spider答案的产生。主要假设得到支持：AUROC从0.566提升到0.725，配对差为+0.159，置信区间+0.097至+0.221；被扣留的正确答案从49.0%降到8.8%，PASS准确率为95.7%。作者还指出，在某种匹配策略下，选用哪种一致性统计量影响不大，真正的增益来自一致性进入分数的方式。
适用范围与未决问题
论文也划出了结论的边界。增加检查是否有帮助，取决于正确性如何定义，而这些检查总会牺牲无条件的覆盖率，即系统能不加保留地给出答案的比例。一项预注册的空结果检查未能在Spider上达到预设的效应量标准。此外，文中的正确性指的是核心答案，标签由模型判定而非人工标注，一项双人盲审尚未完成，结果将在修订版中报告。论文共23页，含4幅图和9张表，代码、冻结的评分器、预注册材料与数据均已公开。
为什么值得看
Text-to-SQL答案可信度直接影响对话式分析能否落地，该文用预注册实验量化了置信度评分的失效点与改进幅度。
信源1 家
关键事实
在BIRD dev的1534个问题上，用GPT-5.1配合适配基准的生产提示、每题五个采样作答，原设计评分区分对错的AUROC为0.624（95% CI 0.595-0.652），并扣留了35.7%的正确答案。[1]
原评分的排序信号几乎全部来自多次采样之间的一致性，当一致性通过与清单取最小值结合时大部分信号丢失。[1]
作者冻结的新规则以与所展示答案的一致性作为分数，确定性检查只作为否决与上限，并在Spider dev上预注册测试。[1]
在Spider上主要假设成立：AUROC从0.566升至0.725（配对差+0.159，95% CI +0.097至+0.221），被扣留的正确答案从49.0%降至8.8%，PASS准确率为95.7%。[1]
一项预注册的空结果检查未在Spider上达到效应量标准；正确性指核心答案，标签由模型判定，尚未完成的双人盲审将在修订版报告。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。