研究者提出 KLM 规范,让 AI 推理记录可查证据

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出知识层模型(KLM),这是一份开放、不绑定具体实现的推理记录规范,包含带版本的认识论评估、证据关系和显式未知项。Nage AI OS 的知识与证据架构 SEDIM 是其参考实现,对应 KLM v0.3(仓库标签 v0.3.0)。论文中的实证来自若干独立内部实验,并非端到端验证:历史平台域路由基准在 15 个类别上得到 137/150 分类(91.3%);原生模型权重路径配置在修正的双源测试中成功回答 0/15;词法与范围诊断对静默与矛盾样本的 AUC 均为 0.008,低于预设的 0.65 下限;旧版打包在 221 个选中案例中丢失含金标文本 118 例,修复后 221/221 保留。作者强调证据可见不等于正确性、因果依赖、安全或合规。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

规范要解决什么

论文的出发点是:AI 回答仅看起来正确还不够,审阅者需要查看回答所依据的记录。KLM 因此被设计成一份开放、不绑定具体实现的推理记录规范,记录内容包括带版本的认识论评估、证据关系以及显式标注的未知项。作者把 Nage AI OS 的知识与证据架构 SEDIM 作为参考实现,并指向 KLM v0.3(仓库标签 v0.3.0)。论文共 47 页、1 张图、14 张表,属于 cs.AI 与 cs.CL 交叉方向。

实验与负面结果

论文的实证材料由若干独立内部实验构成,作者明确说明这些不是端到端验证。历史平台域路由基准在 15 个类别上给出 137/150 的分类结果,即 91.3%,名义 95% Wilson 区间为 85.7-94.9%;但分子是从四舍五入的汇总中还原的,历史样本的类别归属未经核实。原生模型权重路径配置在修正的双源测试中成功回答为 0/15。容量增长对比因旧评分器存在缺陷且原始输出缺失,无法确立可靠效应。词法与范围诊断对静默与矛盾样本的 AUC 均为 0.008,远低于注册的 0.65 下限。旧版打包在 221 个选中案例中丢失含金标文本 118 例,修复后的打包在 221/221 中保留,不过这只衡量文本是否存在,不衡量回答质量。

边界与后续工作

作者对结论的适用范围做了限定:证据可见并不能证明回答正确、不能证明模型因果依赖该证据,也不等同于安全或合规。Python 与 TypeScript 验证器据报告在每个合成样本的六项检查上一致,但另一项生产环境披露未被接受。恢复、重新推导、人工评分标准支持、边界隔离与有界响应评估仍处于提议阶段。论文把历史观察与后续复现区分开来,并指出独立复现与完整的公开审计包仍是未来工作。

为什么值得看

它给出一种可审计的 AI 输出记录规范,并公开多项负面结果,适合关注可解释性与评测的人参考。

安全论文

信源1 家

  1. [1]arXiv cs.AI一手信源The Knowledge Layer Model (KLM): Evidence-Visible AI Output, Routing Diagnostics, and Negative Results

关键事实

  • 论文提出 KLM,一份开放、实现中立的推理记录规范,含版本化认识论评估、证据关系与显式未知项。[1]

  • SEDIM 是 Nage AI OS 的知识与证据架构,作为 KLM 的参考实现,对应 KLM v0.3(仓库标签 v0.3.0)。[1]

  • 历史平台域路由基准在 15 个类别上报告 137/150 分类,即 91.3%,名义 95% Wilson 区间为 85.7-94.9%。[1]

  • 词法与范围诊断对静默与矛盾样本的 AUC 均为 0.008,低于注册的 0.65 最低要求。[1]

  • 旧版打包在 221 个选中案例中丢失含金标文本 118 例,修复后的打包在 221/221 中保留。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。