论文提出用激活碎片化几何检测LLM被抑制的知识
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿 arXiv 的论文提出用「anon-vectors」衡量概念查询与匿名化改写之间隐藏状态的差异：真实掌握的概念会形成低熵的紧密簇，而未知概念则表现为几何碎片化。作者在来自三个模型家族的十个指令微调模型上测试，碎片化指标都能区分已知与未知概念；在遗忘学习之后，碎片化几何与四类攻击、五种遗忘算法下的对抗恢复相关，但相关方向取决于攻击方法。逐层分析显示不同对抗机制在不同深度利用这一几何，行为评测看不到这些相关性。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法：用隐藏状态差异度量
论文关注的问题是：模型拒绝回答时，是否仍保留可恢复的知识，而输出层面的行为指标无法区分这两种情况。作者构造 anon-vectors，即同一概念的具体查询与其匿名化改写之间隐藏状态的差值，并测量这些向量的几何一致性。核心观察是：真正掌握的概念会聚成紧密、低熵的簇；而模型不了解的概念则使这些向量在几何上散开，形成碎片化。据此，碎片化程度被当作判断模型是否真正知道某概念的信号，而不依赖模型最终输出的答案。
实验范围与遗忘场景
验证覆盖来自三个模型家族的十个指令微调模型，所有碎片化指标在这些模型上都能把已知概念与未知概念分开。作者进一步把这一框架用于遗忘学习：在四种攻击类型与五种遗忘算法的组合下，碎片化几何与对抗恢复之间存在相关性，但相关方向随攻击方法不同而变化，说明该几何并非单向预测遗忘效果。逐层分析还显示，不同对抗机制在模型不同深度上利用这一几何，这些层级的强相关在行为评测中看不到。
定位与可用性
作者把这一框架定位为单阶段、无需发起攻击的遗忘稳健性代理指标，能够捕捉输出层面指标触及不到的参数化知识侧面。论文被 EMNLP Findings 2026 接收，并公开了参考实现，便于其他研究者在自有模型与遗忘流程上复现碎片化度量。材料未给出具体数值结果、模型名称或实现细节。
为什么值得看
提供一种不依赖输出行为、也无需发起攻击的单阶段指标，用来评估模型是否真的知道某个概念以及遗忘是否稳固。
微调论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。