新研究证明泛化信号不等于模型选择信号
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
计算生物学常在训练域内取验证集选模型，但部署常在域外。该研究测试用网络几何属性替代验证集排名，引入受Hessian范数启发的前向代理，在分子属性、蛋白质适应度及药物反应任务上实验。结果发现，随验证Spearman相关性恶化，几何属性并未更有用：补充验证对部分偏移有益但严重损害其他。更反直觉的是，即便Hessian迹与最大特征值关系微弱或反转，该代理仍与泛化差距相关，却无法可靠识别部署最优模型。低几何分数甚至偏向坍缩预测器，证实泛化信号非模型选择信号。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载域外部署的选模困境
在计算生物学领域，挑选模型通常依赖从训练分布中抽取的验证集。然而，模型的实际部署往往处于训练分布之外的域外环境。当验证集无法保持对最优模型的区分能力时，一种自然的替代思路是利用已训练网络自身的属性来对候选模型进行排序，以期在缺乏可靠验证信号时找到泛化最好的模型。
几何属性选模的实验反例
研究团队在分子属性预测、蛋白质适应度及药物反应三类任务上，测试了基于网络几何属性的选模方法，包括常见的Hessian指标以及一种受Hessian范数启发的新型前向代理。实验结果与假设相悖：随着验证Spearman相关性的恶化，几何属性并未展现出更大的效用。将几何属性作为验证的补充对某些分布偏移有帮助，但对其他偏移却造成了显著损害。
泛化与选模信号的脱节
更反直觉的发现是，即便Hessian迹和最大特征值的关系微弱甚至反转，该前向代理在多数任务上依然与泛化差距存在相关性。然而，这种泛化信号并不能可靠地识别出在部署时表现最好的模型。曲率界限无法保持跨模型的排名，低几何分数甚至会偏向于已坍缩的预测器。这从根本上证明了，一个指标即便能反映泛化差距，也未必能作为有效的模型选择信号。
为什么值得看
挑战用网络几何属性替代域外验证集选模型的传统思路，揭示泛化指标与实际选模的脱节。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。