论文提出用信息论度量学习到的等变性
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于 arXiv 的论文提出用信息论方法衡量神经网络从数据增强中学到的对称性。作者指出，数据增强虽可替代架构层面的等变设计，却不能保证网络真正遵守这些对称性，而中间表示的群作用未定义，使度量尤为困难。在有限离散设定下，等变性要求原始输入与变换输入的表示能互相精确确定，据此给出基于归一化互信息（NMI）的检验；对高维激活则采用中心化核对齐（CKA）作为可扩展检验，并在正交特征变换下给出精确保证。跨架构与任务的实验显示，数据增强通常提升变换一致性，说明可直接从表示探测学习到的等变性，无需还原隐藏的变换规则。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文关注的是：通过数据增强让网络学习对称性，是架构层面等变设计之外的另一条路径，但这种方式并不能保证网络真的尊重这些对称性。度量学习到的等变性因此成为问题，尤其是对中间表示而言，其群作用并未被明确指定，缺少可对照的变换规则，使度量更加困难。作者提出的思路是不去还原隐藏的变换规则，而是直接从表示本身探测等变性。
信息论检验方法
在有限离散设定下，作者证明等变性等价于原始输入与变换输入的表示能够互相精确确定，由此得到一个基于归一化互信息（NMI）的检验。针对高维激活，直接计算不可行，于是改用中心化核对齐（CKA）作为可扩展的检验手段，并在正交特征变换的情形下给出精确保证。这一组合让检验既能保持理论上的对应关系，又能在实际规模的高维表示上运行。
实验观察与意义
作者在多种架构与任务上进行了检验，结果显示数据增强通常会提升变换一致性。这意味着学习到的等变性可以直接从表示中被探测出来，而不必先恢复那些把表示联系起来的隐藏变换规则。对于研究对称性建模与数据增强效果的研究者，这一方法提供了一条不依赖架构等变假设的度量途径。
为什么值得看
给出一种不依赖还原隐藏变换规则、可直接从中间表示检验等变性的可扩展方法，对做数据增强与对称性建模的研究者有参考价值。
对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。