研究者提出 MAEM：把残差流方向反演为可验证文本样例
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Maximally-Activating Example Metamodels（MAEM），用语言模型把目标模型的残差流方向映射为能强烈激活该方向的文本样例，训练目标是无标签强化学习，最大化给定方向与生成文本激活之间的余弦相似度。作者称，一个基于 Qwen3.6-27B 的 MAEM 在反演留出激活上优于语料检索和自然语言自编码器（NLA），在多数留出语言与领域上超过 1000 万 token 的语料检索，并激活了 89% 的留出 SAE 特征；它识别引导向量背后概念的水平与 NLA 接近，恢复 LoRA 后门载荷的频率高于语料检索，还能用语言表述部分模型工作区的内部独白。与其他元模型不同，MAEM 生成的样例可在目标模型上通过一次前向传播验证。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法：用生成替代检索
解读残差流中的某个方向，常见做法是在语料里找能强烈激活它的文本，但结果受限于语料本身包含的内容。MAEM 换了个思路：训练一个语言模型，输入是目标模型的残差流方向，输出是能强烈激活该方向的文本样例。训练信号不依赖人工标签，而是用强化学习直接优化一个可计算的目标——让给定方向与生成文本在目标模型上产生的激活之间的余弦相似度尽量高。作者称这种无标签目标便于把元模型扩展到来源多样的残差流方向上。
实测对比与覆盖范围
论文给出的对比对象是语料检索和自然语言自编码器（NLA）。基于 Qwen3.6-27B 的 MAEM 在留出激活的反演上表现更好，在多数留出语言与领域上超过了使用 1000 万 token 的语料检索，并激活了 89% 的留出 SAE 特征。在下游用途上，它识别引导向量背后概念的水平与 NLA 大致相当，恢复 LoRA 后门载荷的频率高于语料检索，还能用语言表述部分模型工作区的内部独白。
可验证性带来的差别
作者强调 MAEM 与其他元模型的一个关键区别：NLA 一类方法给出的解释难以直接核对，而 MAEM 生成的样例可以放回目标模型做一次前向传播，看它是否真的强烈激活对应方向。这让训练目标建立在可核查的信号上，作者据此认为它是扩展元模型训练的一种有依据的替代方案。论文同时标注 Euan Ong 与 Jiahai Feng 为共同指导。
为什么值得看
把不可读的激活方向转成可前向验证的文本，为机制可解释性提供了可扩展且可核查的训练目标。
MetaQwen强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。