研究：LLM 智能体跨客户目标表征泄漏于 KV 缓存
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被 NeurIPS 2026 两个研讨会接收的论文测试了 OLMo-3-7B-Instruct 在双客户环境下的表现：20 个市场场景中两位客户目标相反，共享对话记忆时模型在 22% 的合格决策上偏离当前客户目标。线性探针显示客户目标归属信息在中层高度可恢复，并集中在特定注意力头上。在这些位置消融竞争对手的缓存目标表征后，模型决策转向当前客户；按探针识别的头消融效果大于随机头，消融目标 token 的效果大于同一客户匹配的非目标 token。作者据此提出持久化 LLM 智能体需要按关系隔离状态。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载共享记忆下的目标串扰
论文关注的是 LLM 智能体同时服务多个客户时的状态隔离问题。当智能体在不同互动之间保留共享的推理状态，属于某一段关系的信息可能影响它为另一段关系做出的判断。作者构建了一个受控的双客户环境，包含 20 个市场场景，两位客户被赋予彼此对立的目标，并以 OLMo-3-7B-Instruct 作为被测模型。结果显示，在共享对话记忆的条件下，模型有 22% 的合格决策偏离了当前客户的目标，也就是把另一位客户的目标带入了当前判断。
目标表征藏在哪一层
为了弄清这种偏离从何而来，作者检查了模型的 KV 缓存。线性探针的结果表明，客户目标的归属信息在中层变得高度可恢复，并且并非均匀分布，而是集中在特定的注意力头上。这一发现把抽象的「目标泄漏」落到了具体的缓存位置，也为后续干预提供了坐标：既然目标归属可以被探针定位，就有可能在这些位置直接修改缓存内容，观察模型决策是否随之改变。
消融验证因果关系
作者随后在探针指出的位置消融竞争对手的缓存目标表征，模型决策随之向当前客户偏移。这一效果具有选择性：按探针识别的注意力头做消融，效果大于随机挑选的头；消融目标 token 的效果，也大于消融同一客户中匹配的非目标 token。两组对照说明，缓存中的客户目标表征不只是与决策相关，而是对为其他客户做出的决策产生了因果影响。作者由此强调，持久化运行的 LLM 智能体需要按关系隔离状态。
为什么值得看
揭示多客户智能体的目标串扰机制，并给出可干预的缓存位置，对做智能体记忆隔离的团队有直接参考价值。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。