ConSDL 用逐样本稀疏编码提升字典一致性，超越 SAE 基线
论文AI 评分 66/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
稀疏自编码器（SAE）把基础模型的激活分解为学习到的字典原子的稀疏组合，但不同训练轮次得到的字典会变化，影响分析的可复现性。作者提出 Consistent Sparse Dictionary Learning（ConSDL），用逐样本稀疏编码替代标准线性编码器；其动机来自合成分析：单次线性编码器前向得到的系数不如逐样本优化得到的系数。在 16 组合成设置中，ConSDL 的字典与系数恢复接近完美；在四个视觉与语言设置上，其跨随机种子一致性达到当前最优，字典一致性和系数一致性分别比六个 SAE 基线的平均值高 17.6% 和 35.9%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载SAE 字典不稳定的问题
稀疏自编码器是解释基础模型表征的常用手段：它把激活拆成一组学习到的字典原子的稀疏组合。问题在于，这些字典在不同训练轮次之间会发生变化，同一套分析换一次随机种子就可能得到不同的原子划分，使基于 SAE 的结论难以复现。论文把这一可靠性问题作为出发点，目标是让概念发现的结果在不同训练运行之间保持一致。
逐样本稀疏编码的做法
ConSDL 的改动落在编码器上：不再使用标准的线性编码器，而是对每个样本单独做稀疏编码。作者用合成分析支撑这一选择：只经过一次线性编码器前向得到的系数，与逐样本优化得到的系数相比并不理想，因此逐样本优化更适合作为字典学习机制。在 16 组合成设置中，该方法对字典和系数的恢复都接近完美，说明这一替换在受控条件下本身是有效的。
跨种子一致性的量化结果
在四个视觉与语言设置上，ConSDL 的跨随机种子一致性达到当前最优：字典一致性比六个 SAE 基线的平均值高 17.6%，系数一致性高 35.9%。这两个指标分别对应「学到的原子是否稳定」和「同一输入得到的编码是否稳定」，正是 SAE 分析可复现性的关键环节。对使用 SAE 做概念发现的研究者而言，这意味着同一分析在不同训练轮次之间更可能得到可比的结论。
为什么值得看
关注可解释性与 SAE 方向的研究者可以看：它直接针对 SAE 字典跨训练轮次不稳定的问题，并给出量化的一致性提升。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。