研究揭示模型记忆事实不等于能检索提取
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两种提问方式引出差异
同一件事实，用不同的措辞去问，模型的表现可能完全不同。论文举了一个例子：如果训练语料里反复出现“X 的首都是 Y”这样的句子，模型在遇到“X 的首都是”时能接出“Y”，但换成“X 的首都：”这种写法就可能答不出来。作者把这类指向同一事实的不同问法称为 request forms，也就是请求形式。研究的出发点正是要把“学到事实”和“学会按某种形式把事实取出来”这两件事拆开看，因为从表面上看，模型答不出并不一定意味着它没记住，也可能只是没学会在这种问法下把答案调出来。为了验证这一点，作者设计了两阶段的训练流程，让两组模型在事实内容上最终接受完全相同的训练，只在早期接触的请求形式上产生差别，再观察这种差别会留下什么后果。
两阶段训练的设计
第一阶段叫请求形式训练。一组模型看到的每条事实都同时以五种不同形式出现，另一组模型看到的是同样的事实，但只以陈述句形式出现。第二阶段叫目标事实训练，两组模型在这一阶段接受完全一致的训练，新的事实全部以陈述句形式给出。训练结束后，两组模型从陈述句里取出这些新事实的表现几乎一样好，说明它们对事实本身的掌握程度相当。但在其他请求形式下，两组模型的差距非常明显。这个结果说明，模型可以先学会某种请求形式下的检索方式，之后才去学具体的事实内容；早期接触过的问法会一直影响它后来怎么把新学的事实取出来，而这种影响并不体现在陈述句这一种问法上。
上下文状态的作用
作者进一步观察答案出现前那一刻的隐藏状态，把它称为 context state，也就是上下文状态。当同一个事实被两种不同请求形式问到时，第一阶段见过五种形式的模型所产生的上下文状态，比只见过陈述句的模型所产生的状态更为接近。在检索时改动这个状态，可以让一个已经学会的事实被取出来，也可以让它取不出来；同样的效果还能迁移到其他事实以及首都、货币这类不同的事实关系上。为了检验它在学习过程中的作用，作者只在目标事实训练阶段改动上下文状态，测试阶段不做任何干预，结果后续的检索表现依然被改变。这些结果指向同一个结论：后来的检索能力既取决于更早的请求形式经验，也取决于学习事实时那一刻的上下文状态。
为什么值得看
揭示大模型知识记忆与检索提取的脱节，对理解及改进RAG与知识召回有直接启发。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。