研究提出训练方法让LLM依据证据结案
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载结案判断是独立能力
事故、缺陷与停机的调查最终要落到一个普通问答不会遇到的选择上：手上掌握的材料是否已经足够支撑结案。论文把这一动作交给大模型调查员来做，它们需要从案卷中索取证据、修正自己的假设，然后要么给出有据可依的结论并结案，要么保持开放并指出还缺什么。研究给出的关键观察是，这种判断力并不随能力自动到来。一个未经训练的 9B 模型在 97% 的回答里夸大了自己掌握的证据；而一个能在 84% 的案例中找对原因的前沿模型，仍有 91% 的回答存在夸大，并且在官方结论为“原因未确定”的 41 个案例里，有 17 个被它关掉了。这说明识别正确原因与判断证据是否充分是两回事。
衡量结案并不容易
要度量这种判断本身就存在障碍。案例的来源在很大程度上能预测它的标签，一条只看来源、不读内容的规则在测试案例上就能达到 83.0 的平衡准确率。因此论文没有采用单一指标，而是设计了三项测试：结案准确率，同时对照上述规则并分来源统计；证据依赖性，即抽掉结论所依据的材料，看模型是否会停止结案；以及结论与缺口质量，用清单式评判检查模型断言了什么、又说缺了什么。支撑这些测试的是 Nautil，一个由 731 个经审核案例构成的数据集，覆盖航空、铁路、海事、化工安全、车辆缺陷报告以及生产服务器事故，并配有教师轨迹、一个分布外测试集和反事实证据版本。
微调让结案跟随证据
在 Nautil 的轨迹上微调一个 9B 模型，可以让它的结案行为跟着证据走。与匹配的对照组相比，移除结论依据后其结案率下降 26 个百分点；夸大陈述的比例从 97% 降到 35%；正确且未夸大的结论从 3% 提升到 43%。论文随后尝试了只对结案决策给予奖励的强化学习，把平衡准确率从 69.2 提高到 83.3，与教师模型持平，来源内准确率从 60.4 提升到 74.1，代价是证据依赖性有所损失。对使用这类模型的读者而言，这意味着结案与否可以被单独训练和检验，但准确率提升与对证据的敏感度之间存在取舍，需要按场景权衡。
为什么值得看
解决LLM在调查任务中证据不足仍强行结案的缺陷，提供数据集与训练范式，对高容错领域具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。