ImplicitHop 基准发布：上下文知识推理优于权重内化知识
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 上提交的论文 ImplicitHop 提出两个自然语言基准，用于按推理深度评估大模型的演绎推理能力：一个形式图基准可覆盖多种图拓扑与整合任务，另一个基于真实知识图谱的知识组合基准。作者用这两个基准在无思维链条件下隐式评测多个开放模型，比较信息来自上下文与来自预训练权重两种情形。结果显示，随着组合长度增加，两种来源的准确率都明显下降；但上下文提供的信息在推理表现上明显好于编码在权重中的信息。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两个基准怎么设计
论文提出两个互补的自然语言基准，目标是把演绎推理按推理深度做大规模评估。第一个是形式图基准，特点是可以在多种图拓扑和不同整合任务上做受控评测，便于观察结构变化对推理的影响。第二个是知识组合基准，建立在真实世界知识图谱之上，用真实知识而非人造结构来考察模型能否把分散事实组合起来。两者一个偏可控、一个偏真实，共同覆盖信息整合的不同侧面。
上下文与权重的对比
作者用这两个基准比较两种信息来源：一种是在上下文里给出的信息，另一种是预训练阶段编码进模型权重的信息。评测对象是一组开放模型，采用隐式方式、不使用思维链，即不让模型显式写出中间步骤。这样测的是模型直接给出结论的能力，而不是依赖外部推理脚手架后的表现。
衰减规律与差距
结果显示，无论知识来自预训练权重还是来自上下文，准确率都会随着组合长度增加而急剧下降，说明长链推理是当前模型的共同短板。同时，上下文提供的信息在演绎上的表现明显好于编码在权重中的信息。作者认为这量化了现有模型的一项基础性限制，对用提示控制智能体行为、以及持续学习策略都有直接含义，并为改进训练、提示与整合方法提供了评测基础。
为什么值得看
量化了模型长链推理随深度衰减、且上下文知识优于权重知识的局限，对提示控制与持续学习有直接参考。
大模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。