LG-Bench 发布：用图结构评测生命科学大模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么改用图结构
论文指出，生命科学的知识本身高度互联，而传统评测基准把知识压平成一份份题目清单，丢掉了知识之间的拓扑关系。LG-Bench 的做法是把题目当作节点，用双向匹配和语义相似度算法计算题目之间的语义接近程度，并把它作为边的权重，从而得到一张加权评测图。这样一来，模型在哪些相邻概念上表现一致、在哪些区域集中出错，都能在图上呈现出来，而不只是一个总分。论文称这是生命科学领域首个图结构基准，覆盖医学、生物学、化学，题目规模在一万道以上，均为多项选择题。
两个新指标怎么用
在图的拓扑之上，作者定义了两项评测指标。全局一致性分数（GCS）考察模型在语义相关邻域内的回答是否自洽：如果模型对一组彼此接近的题目给出互相矛盾的判断，这个分数就会反映出来。知识平衡分数（KBS）则看错误在整张图上如何分布，用来发现概念盲区——错误是零散随机出现，还是集中在某一片知识区域。论文表示，这两个指标能让不同大模型在概念一致性和知识组织方式上的差异显现出来，从而支持更细粒度的模型对比。
评测范式的转向
作者把这项工作定位为评测范式的转变：从扁平的准确率指标，转向结构感知的分析。对使用者而言，这意味着同一份题目集不仅能给出答对比例，还能指出模型的知识组织在哪里断裂、盲区落在哪个方向，为后续诊断和改进提供线索。论文同时给出了 arXiv 编号 2610.26787，提交时间为 2026 年 10 月 19 日，全文与 HTML 版本已公开。材料未披露各模型在该基准上的具体得分，也未说明基准的开放与维护方式。
为什么值得看
生命科学评测从单题正确率转向知识结构诊断，关注模型概念盲区与一致性，对做领域模型评测的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。