arXiv 论文重新评估表格深度回归的目标函数与全局早停局限
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载目标函数对比的动机
表格数据的深度学习模型近年受到较多研究关注，但回归任务中目标函数的选择仍是一个研究不足的自由度。已有若干研究方向提出了标准均方误差之外的替代目标，然而由于所用数据集、骨干网络和评估协议各不相同，这些替代方案的实际收益难以直接比较。该论文针对这一空白，在广泛的既有表格数据集和多种神经网络骨干上，对回归目标进行了系统性的重新评估，试图给出一个可横向对照的实证图景。
对比结果与分位数损失
重新评估的结果显示，许多被提出的目标相对经过恰当调优的 MSE 基线，带来的提升有限或者并不稳定。与之相对，分位数损失在所测试的各个骨干上，相对 MSE 取得了一致的整体改进。这一结论意味着，在表格深度回归场景中，目标函数的收益需要放在统一的数据集、骨干与评估协议下衡量，否则容易高估某些替代目标的价值。
全局早停的局限
论文进一步指出，即便采用分位数损失这一表现较强的目标，仍存在一个限制：目标噪声水平不同的区域，会在不同的训练轮次达到各自的最佳预测性能。因此，单一的全局早停检查点不得不在不同不确定性区域之间做出折中，即使该目标函数本身能够表示异方差的目标分布，这种折中依然会限制最终效果。
异方差感知的改进
针对上述限制，作者提出了分位数损失的异方差感知扩展，采用依赖输入的标签平滑作为潜在的补救手段，并在若干骨干网络上取得了优于分位数损失的表现。论文整体给出了表格深度学习中回归目标的现代实证图景，同时说明不同不确定性区域之间最优停止时间的差异，会如何限制全局早停的有效性。代码已在论文中给出链接。
为什么值得看
表格回归的目标函数选择长期缺乏统一对比，该工作给出跨数据集与骨干的实证结论，并指出全局早停的固有局限。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。