研究揭示LLM内部知识检索与使用机制
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载在问题末尾做逐层干预
这项研究把观察点放在问题文本结束处那个位置的隐藏状态上，通过逐层干预来观察模型在作答过程中对两类信息的依赖如何变化：一类是用于判断该问哪个对象的请求方向信息，另一类是已经存在于参数中的目标知识。研究在 Qwen、Llama、Gemma 三个模型上展开，把国家—大洲类问题与名词、形容词、代码三类答案放在一起比较，同时让若干拟合出来的测量量彼此保持区分，避免不同指标互相混淆。作者区分了两种请求方向：一种针对自然表述的单国问题，刻画模型在问的是哪个国家；另一种是全局请求方向，用于成对问题中区分先问的国家与后问的国家。此外还设置了独立的选择候选，用来检验模型在隐藏状态里已有内容之间如何做取舍。整套实验共 53 页、13 幅图，含附录。
因果窗口何时打开
对冻结的 Qwen 自然问题状态做诊断性再分析后可以看到，针对成对条件的请求方向在干预真正改变后续拟合知识之前就已经增强，也就是说，这个因果窗口是在支撑答案的内容仍在成形的阶段打开的。这说明方向信息的可读性、它在自然状态下的强度、它对后续计算的因果牵引力，以及后段对内容的依赖，是几件可以分开的事情，不能用一个指标笼统概括。三个模型在成对协议下的轨迹并不一致：Gemma 呈现出部分重叠的中层路由—内容分布，而 Llama 在同样的门控条件下没有出现持续存在的路由效应窗口。这一差异提示，同一套干预方法在不同模型上得到的结论不能直接互相套用。
请求与内容的操作交接
在成对协议中，从较早的固定层组到较晚的层组，模型对全局请求方向的依赖逐步下降，而对拟合内容的依赖则一直延续。作者用一组匹配的 Qwen 对照说明，成对条件方向在较晚阶段仍然保留效应，因此这种操作层面的交接只涉及全局拟合方向，并不覆盖全部请求信息。换句话说，模型并非在某一层之后彻底不再关心问的是谁，而是把一部分路由职责交给了内容表征。对读者而言，这意味着判断模型是否已经知道答案，需要区分它是在读取问题结构还是在调用参数中的知识；对需要定位模型内部知识调用环节的工程实践来说，逐层干预提供了一种可操作的观测手段，但其结论受模型结构差异限制。
为什么值得看
深入理解大模型内部知识检索机制，有助于优化模型架构与推理过程。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。