研究团队用语言模型代理构建带原文引证的知识图谱
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载问题与约束规则
论文关注的是医院采购软件时的信息需求:这类采购成本高、难以撤回且可能影响患者护理,买方因此想确认哪些同类机构已在使用某产品、该产品又与哪些系统对接。这类证据公开但分散在厂商网站、新闻稿和第三方页面上。语言模型代理能以较低成本收集这些信息,但抽取出的说法是否正确难以确认,错误列出的客户可能误导买方并错误描述相关机构。为此,流程设定一条硬性规则:知识图谱中的每条边都必须有来源页面的逐字引文作为依据。
流水线如何运作
页面获取分两路:一路对每家厂商站点做确定性爬取,另一路用带预算的 ReAct 代理检索网络其余部分。抽取环节采取宽松策略,先提出带引文的关系候选,再由分层 grounding 阶段筛选。该阶段在引文只提到关系一方时启动指代步骤,通读整页补全另一方;同时执行确定性检查,并由五次模型调用组成的小组按九项标准投票决定去留。论文还讨论了如何用范围受限的模型调用、字符串匹配证据和投票来应对长上下文性能下降与多次运行间的波动。
评测结果与置信度
在 61 家厂商上,流程针对其抽取器提出的 6,428 条候选关系,与一份页面级标注对照,取得 0.94 精确率和 0.71 召回率;该标注的判定由其中一个模型起草、另一个模型复核。与市场方自带的精选清单这一黄金参考相比,流程得分更低,但它保留而参考清单未收录的关系中,有 89% 确实在某个页面上被明确陈述。此外,由小组投票构建的置信度评分在相同精确率下比固定规则保留更多正确关系,并在 0.90 召回率时达到 0.90 精确率。
为什么值得看
展示了用引文约束与多模型投票控制知识图谱抽取错误的具体做法,对做信息抽取与代理流水线的人有参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
