注册

arXiv 论文提出 RC-DS 坐标方法，改善稀疏自编码器特征恢复

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文研究读出缩放对稀疏自编码器（SAE）学习内容的影响，并提出读出规范化决策空间（RC-DS）坐标，用于去除奇异值增益同时保留决策信息。在条件数为 100 的受控实验中，当因子在读出缩放之前生成时，RC-DS 将平均稀疏因子恢复率从 0.506 提升至 0.913，对比对象为相同预算下的 centered-logit 训练。作者还给出一个精确包装器，可在数值精度上复现 RC-DS 训练，从而隔离训练几何本身的影响。在三个固定语言模型检查点上，RC-DS 在全部 18 种任务-稀疏度设置中取得更高的无增益平均重建，而 centered-logit SAE 在 17 种设置中更好地重建输出 logits。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法出发点

论文关注读出缩放如何改变稀疏自编码器学到的东西。作者使用读出规范化决策空间（RC-DS）坐标，在去掉奇异值增益的同时保留被保留的决策信息。这样做的目的是把训练几何本身的影响单独拿出来看，而不是引入额外信息。作者还提供了一个精确包装器，能在数值精度上复现 RC-DS 训练，从而支持这一隔离。

受控实验的量化结果

在固定读出条件数的情况下，改变生成分布会反转哪组训练坐标恢复已知因子最好。在坐标匹配的受控研究中，当训练恢复因子被生成时所在的空间，恢复效果最高。当因子在读出缩放之前生成时，RC-DS 在条件数 100 下把平均稀疏因子恢复率从 0.506 提升到 0.913，对照是相同预算下的 centered-logit 训练。

语言模型与策略上的表现

在神经策略中，RC-DS 在测试预算下改善了平均 logit 重建。在三个固定语言模型检查点上，RC-DS 在全部 18 种任务-稀疏度设置中都有更高的无增益平均重建；而 centered-logit SAE 在 17 种设置中更好地重建输出 logits。小标签头对照表明，训练时间更长会把重建差距从 0.0198 降到 0.0016。

结论与边界

作者总结，读出缩放、数据分布与训练方式共同塑造稀疏学习，RC-DS 提供了一种保留信息的方法来研究和控制读出的贡献。论文还通过分开的标签检测与引导测试，把上述重建效果与任务特定特征的有用性区分开来。论文提交于 2026 年 10 月 13 日，编号 arXiv:2610.18462，属于 cs.LG，并交叉列出 cs.AI 与 cs.CL。

为什么值得看

可解释性研究中 SAE 特征恢复的坐标选择问题，给出了可复现的对照实验与量化提升。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Readout Scaling Shapes Sparse Feature Recovery

关键事实

  • 论文提出读出规范化决策空间（RC-DS）坐标，用于去除奇异值增益并保留决策信息。[1]

  • 在条件数 100 下，当因子在读出缩放前生成时，RC-DS 将平均稀疏因子恢复率从 0.506 提升到 0.913。[1]

  • 在三个固定语言模型检查点的全部 18 种任务-稀疏度设置中，RC-DS 的无增益平均重建更高。[1]

  • centered-logit SAE 在 17 种设置中输出 logits 重建更好。[1]

  • 小标签头对照显示，更长训练将重建差距从 0.0198 缩小到 0.0016。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论