CoSQ框架通过自问机制降低大模型错误率
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载让模型先自问再决定答不答
这篇论文提出一种名为 Chain-of-Self-Questioning（CoSQ）的方法，其核心思路是把“是否给出答案”变成一个需要显式判断的步骤：模型在作答之前，先对回答该问题所需的信息做一次评估，再根据评估结果决定是直接给出答案，还是选择不作答。该方法只依赖提示词实现，不涉及对模型参数的任何改动，因此可以直接套用到现有模型上。作者据此设计了三个变体，分别对应不同的作答倾向，并在多个模型家族上做了对照实验，观察它们在“答”与“不答”之间的取舍如何影响最终结果的可靠性。
错误作答率从13.1%降到8.9%
实验在 TruthfulQA 多项选择验证集上展开，该验证集包含 817 道题，覆盖十七种条件，涉及十一个开放权重与托管模型家族。在最终采用的均衡选项协议下，Grounded-CoSQ 在阈值取 0.90 时，把平均无条件错误作答率从思维链提示下的 13.1% 压低到 8.9%，相对降幅为 32.1%；与此同时，已作答部分的准确率从 86.9% 升到 89.7%，实际作答比例为 87.6%。作者指出，这两项改善在全部十一个模型以及每一个被评估的阈值上都成立，说明效果并非只在个别设置下出现。
三个变体给出不同取舍点
除 Grounded-CoSQ 外，另外两个变体提供了相邻的操作点：Critical-CoSQ 的覆盖率为 88.6%，Adaptive-CoSQ 为 86.5%，两者在可靠性上仍优于基线。覆盖率与准确率之间的这种此消彼长，意味着使用者可以按自身场景对“少答但更准”或“多答但风险略高”的偏好来选择变体与阈值。作者还在 Natural Questions 短答案任务上做了一次补充评估，得到的开放式证据与前述结论方向一致，说明该机制并非只对选择题形式有效。
适用于错答代价高的场景
从适用范围看，这套方法面向的是这样一种情形：模型给出缺乏事实支撑的流畅回答，其代价高于把问题转交人工或退回复核。此时，把作答承诺建立在显式自评之上，可以让“答或不答”成为可调可控的决策，而不是模型一味输出。需要留意的是，该方法本身不引入外部检索或验证，判断依据来自模型对所需信息的自我评估；论文给出的效果也限定在上述数据集、模型集合与阈值范围内，超出这些条件的表现并未在材料中说明。对读者而言，这意味着在不改动模型的前提下，多了一层可配置的风险开关。
为什么值得看
无需训练即可提升模型可靠性，降低幻觉风险。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。