研究者提出 KLM 规范,让 AI 推理记录可查证据
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载规范要解决什么
论文的出发点是:AI 回答仅看起来正确还不够,审阅者需要查看回答所依据的记录。KLM 因此被设计成一份开放、不绑定具体实现的推理记录规范,记录内容包括带版本的认识论评估、证据关系以及显式标注的未知项。作者把 Nage AI OS 的知识与证据架构 SEDIM 作为参考实现,并指向 KLM v0.3(仓库标签 v0.3.0)。论文共 47 页、1 张图、14 张表,属于 cs.AI 与 cs.CL 交叉方向。
实验与负面结果
论文的实证材料由若干独立内部实验构成,作者明确说明这些不是端到端验证。历史平台域路由基准在 15 个类别上给出 137/150 的分类结果,即 91.3%,名义 95% Wilson 区间为 85.7-94.9%;但分子是从四舍五入的汇总中还原的,历史样本的类别归属未经核实。原生模型权重路径配置在修正的双源测试中成功回答为 0/15。容量增长对比因旧评分器存在缺陷且原始输出缺失,无法确立可靠效应。词法与范围诊断对静默与矛盾样本的 AUC 均为 0.008,远低于注册的 0.65 下限。旧版打包在 221 个选中案例中丢失含金标文本 118 例,修复后的打包在 221/221 中保留,不过这只衡量文本是否存在,不衡量回答质量。
边界与后续工作
作者对结论的适用范围做了限定:证据可见并不能证明回答正确、不能证明模型因果依赖该证据,也不等同于安全或合规。Python 与 TypeScript 验证器据报告在每个合成样本的六项检查上一致,但另一项生产环境披露未被接受。恢复、重新推导、人工评分标准支持、边界隔离与有界响应评估仍处于提议阶段。论文把历史观察与后续复现区分开来,并指出独立复现与完整的公开审计包仍是未来工作。
为什么值得看
它给出一种可审计的 AI 输出记录规范,并公开多项负面结果,适合关注可解释性与评测的人参考。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
