论文探讨 LLM 激活引导编辑何时应依赖输入
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定与判断依据
论文关注激活引导编辑在什么条件下应当随输入变化。作者给出的判据是：当目标在查询所请求的类别内部发生变化时，编辑就应依赖输入；并且这一条件在拟合或应用任何规则之前就能测量。对比式激活加法为每个输入加上同一个固定方向，该方向取类别均值之差。按请求类别做条件化，只能解释所需位移在类间的差异，类内差异仍未被处理；只读取源状态的规则无法表达这种依赖。
从均值差到按查询检索
作者把输入依赖程度作为变量，从均值之差逐步走向按查询检索目标：在请求类别内取距查询最近的 k 个已存状态的均值。两个基线成为同一谱系的端点——当 k 等于类别规模时，检索规则就等同于按类别条件化的均值差。这样就把固定方向与完全检索放在同一框架下比较，而不是彼此割裂的两种方法。
语料与基准上的结果
测量覆盖六个替换语料，这些语料在编辑改变一个词还是改变一个子句上有所不同，另加一个外部基准。结果显示，当目标在类别内部变化时，输入依赖式引导优于固定方向引导；检索在两个模型的每个替换语料的每一层都胜出。所需输入依赖的程度决定应用方式：词级编辑适合在网络前十分之一、用少量近邻完成；子句级编辑可在任意深度使用类别均值。若类别本身已决定答案，类别均值就足够，检索只能与之持平，但固定方向在该情形下仍然失败。
可识别的适用区间
论文提出，仅从状态计算出的四个量就能识别编辑应采用的区间，从而在应用前判断该用固定方向、类别均值还是按查询检索。这一判断不依赖额外标注或事后拟合，为选择引导策略提供了可操作的依据。材料未给出这四个量的具体定义与取值方式。
为什么值得看
给出判断引导编辑是否需要输入依赖的可测量依据，并说明词级与子句级编辑在层级和近邻数上的不同做法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。