脑微观架构表征学习研究分解数据规模三维度
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把数据规模拆成三条轴
这项研究提出，以往衡量训练数据规模时往往只用一个样本总数来概括，但对于具有层级结构和空间结构的数据来说，同样的样本数量可能来自很少或很多个来源，在底层空间上的分布方式也各不相同。作者因此把数据规模重新表述为一个分配问题，将其拆分为三个彼此独立的维度：不重复样本的数量、来源的多样性，以及空间覆盖范围。研究选取的场景是全脑显微组织学图像，其中每一个来源对应一个单独的人脑，每一个样本则对应某个具体空间位置上的一幅图像块。这样的设定使得样本数量、来源数量和空间位置三者可以被分别控制和观察，从而检验它们各自对模型表现的作用。
九十三次预训练实验
作者围绕一个对比学习模型展开了九十三次受控的预训练运行，该模型利用空间上的邻近关系来构造监督信号。实验使用的数据是来自二十一个人类大脑、总量为一千一百六十万幅带有空间锚定的图像块。在这些运行中，研究者系统性地改变数据的分配方式、可用的计算量以及模型的容量。结果显示，当不重复样本增多、空间覆盖变广、计算资源增加、模型容量变大时，模型的表现都会随之提升。也就是说，这四个因素各自都能带来正向效果，而它们并非同一件事的不同说法。
来源增多并不自动加分
一个值得注意的发现出现在样本总数被固定的情形下。当把同样数量的样本分散到从一到十八个受试者身上时，模型表现没有出现可被检测到的改善。与此同时，表征对预训练阶段已经见过的受试者确实泛化得明显更好。这说明受试者之间的个体差异对泛化能力有很强的影响，但在样本预算固定的前提下，仅仅增加来源数量并不能带来额外收益。换句话说，把有限的样本摊薄到更多个体上，并不会自动让模型学到更多有用的东西。
对使用者的实际含义
这项工作的结论是，样本数量、来源多样性和空间覆盖应当被视为空间结构化表征学习中彼此不同的数据规模维度，而不是可以互相替代的指标。对于需要在具有空间或层级结构的数据上做预训练的人而言，这意味着单纯统计样本条数不足以描述数据规模，也不能据此推断增加来源一定有益。在样本总量受限时，把数据集中投放在较少来源上，与分散到更多来源上，效果可能并无差别；而扩大空间覆盖、增加不重复样本、投入更多计算或使用更大模型，则各自对应着不同的提升路径。研究同时提示，模型对训练中出现过的个体泛化更好这一现象，与来源数量本身带来的收益是两回事。
为什么值得看
揭示空间结构化学习中数据扩展的无效路径，为生物医学等层级数据的算力与样本预算分配提供实证依据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。