论文提出正交化与参数化多属性激活引导方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文针对大模型推理阶段的激活引导提出改进:先为每个引导向量找出最易引导的区间并据此重设引导幅度,使引导信号强度更稳定;再用参数化引导替代沿方向推动激活的做法,直接把激活设定到目标特质强度,使引导强度有统一可解释的含义。作者发现多特质引导时简单叠加向量会相互干扰,于是提出向量正交化方法解耦各特质,使模型可单独表现某一行为而不触发其他行为,从而同时引导多个特质。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

引导强度为何难解释

论文关注激活引导在推理阶段修改大模型行为的实际困难:引导信号强度能否保持稳定,以及引导强度数值能否在不同场景下有统一含义,此前并不清楚。作者的做法是先对每个引导向量定位最易引导的区间,再按该区间重新缩放引导范围,使施加的引导落在信号更有效的幅度内,而不是在任意尺度上盲目加大或减小。

从推到设定

在此基础上,论文提出参数化引导。它与传统做法把激活沿某个方向推动不同,改为直接把激活设定到期望的特质强度水平。这一改动让引导强度的含义更接近可读的刻度,而非依赖方向与步长的相对量,便于在不同特质之间比较引导幅度。

多特质互相干扰

论文进一步考察同时引导多个特质的情形,发现把多个引导向量简单叠加会让它们彼此干扰,一个特质的引导会牵连出其他行为。为此作者提出对向量做正交化处理,将各特质解耦,使模型能够表现某一行为而不诱发其余行为,从而支持多个特质同时被引导。

适用范围与限制

材料仅给出方法层面的描述,未提供实验设置、评测基准或具体效果数据,因此该方法在不同模型与任务上的实际收益尚无法从现有信息判断。论文归入机器学习与人工智能方向,提交时间为 2026 年 10 月 27 日,编号 arXiv:2610.37517,可通过 PDF 与实验性 HTML 版本查看全文。

为什么值得看

关注推理时行为控制与多属性对齐的研究者,可从中看到引导强度可解释化与多特质解耦的具体做法。

大模型论文

信源1 家

  1. [1]arXiv cs.AI一手信源Orthogonal and Parametrized Multi-Attribute Steering of LLMs

关键事实

  • 论文提出参数化引导,不再沿方向推动激活,而是把激活设定到期望的特质强度[1]

  • 作者为每个引导向量识别最易引导的区间,并据此重新缩放引导范围[1]

  • 多特质引导中直接组合向量会相互干扰,论文用正交化方法解耦各特质[1]

  • 论文提交于 2026 年 10 月 27 日,编号 arXiv:2610.37517,归入 cs.LG 与 cs.AI[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。