CQ4OE基准发布，评估大语言模型从能力问题生成本体
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对大语言模型从能力问题生成本体评估碎片化、指标混淆等局限，CQ4OE基准构建了显式溯源的黄金标准OWL本体。其定义两项互补任务：针对99个CQ的词汇级预测评估CQ2Term，以及针对118个CQ的本体级结构评估CQ2Onto。对九个大语言模型在零样本、迭代及多智能体策略下的测试表明，模型恢复显式词汇项的可靠性远高于构建完整本体，尤其在属性建模与公理生成上表现薄弱。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载现有评估体系的局限
利用大语言模型从能力问题自动生成本体，是本体工程中极具潜力的自动化方向，但当前评估方式存在明显缺陷。任务定义缺乏统一标准，黄金标准往往未提供细粒度的能力问题溯源信息。此外，评估指标常将词汇重叠与结构及逻辑的合理性混为一谈，且参考本体并非始终围绕评估所用的能力问题进行显式设计，导致评估结果难以系统复现。
CQ4OE基准与评估任务
为解决上述问题，CQ4OE基准为每个本体构建了由能力问题驱动的黄金标准OWL本体，明确将每个能力问题与回答它所需的类、属性及公理建立溯源联系。基于此，基准定义了两项互补任务：CQ2Term针对99个能力问题，执行词汇级别的类与属性预测评估；CQ2Onto针对118个能力问题，执行本体级别的评估，涵盖层次结构、属性建模及公理级结构。
九模型实验与核心发现
研究使用九个大语言模型，在零样本、迭代和多智能体三种生成策略下进行了实验演示。结果表明，大语言模型在恢复显式词汇项方面表现相对可靠，但在创建完整本体时表现不佳。特别是在属性建模、层次结构构建以及公理生成等深层结构逻辑任务上，模型的生成能力显著薄弱，揭示了当前大语言模型在本体工程深层构建上的真实瓶颈。
为什么值得看
为LLM自动化本体工程提供首个具备细粒度溯源与结构逻辑评估的基准，揭示当前模型在深层本体构建上的真实短板。
智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。