Tab-Loop 用循环共享权重替代逐层参数，表格基础模型参数减 62%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用循环块替换独立层
这项研究关注表格基础模型在上下文学习阶段的参数组织方式。作者提出 Tab-Loop，做法是把 TabICLv2 中原本各自独立参数的十二个上下文学习块，换成四个共享权重的块，并让这四个块重复执行若干次，其余部分保持不变。编码器、解码器、合成先验以及训练配方都与一个未共享参数的基线模型相同，两者在相同算力下训练。作者要回答的问题是：这一阶段是否真的需要每一层都拥有独立参数，还是只需要足够的深度即可。
同等算力下的参数对比
在与基线相同的预训练算力和相同的推理算力条件下，Tab-Loop 的参数规模明显更小，却取得了与基线相当的表现。论文给出的对比包括：留出集上的对数损失、在两百个 TALENT 数据集上的平均准确率，以及在三十八个 TabArena 数据集上的 Elo 分数，三项指标均与未共享参数的基线接近。作为对照，作者还训练了一个同样只有四个块但参数不共享的模型，它的参数量与 Tab-Loop 相当，在相同算力下能见到更多训练表格，但两项指标都落后于 Tab-Loop 和完整基线。
深度变成推理时的选择
由于权重被共享，模型的深度不再由参数数量固定，而是在推理阶段自行决定循环次数。论文报告，准确率会随着循环次数增加而上升，在训练覆盖的范围内如此，超出该范围后仍能保持。若在训练时使用更深的循环，可用的循环范围还会进一步扩展，从而在消耗更多推理算力的情况下逼近基线第二阶段的表现。作者由此得出的结论是：在这一规模上，表格基础模型的上下文学习阶段更需要深度，而不是每层各自独立的参数。
为什么值得看
表格基础模型的 ICL 阶段或许只需深度而非逐层独立参数，直接影响参数预算与推理算力分配。
信源1 家
关键事实
Tab-Loop 将 TabICLv2 的 12 个不共享 ICL 块替换为 4 个共享块重复应用 k 次，其余组件与训练配方不变。[1]
在 18.2 EFLOP 预训练算力与 12 次块应用的推理算力下，Tab-Loop 参数为 10.4M，基线为 27.6M，减少 62%。[1]
留出集对数损失为 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率为 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 为 1409 对 1396。[1]
参数规模相同但 4 块不共享的对照模型在同等算力下多训练 32% 的表格，准确率 83.46%、Elo 1343，低于 Tab-Loop 与基线。[1]
权重共享使深度成为推理时的选择，准确率随循环次数上升并在训练范围外保持，加深循环继续训练可扩展有效范围，在 4 至 5 倍推理算力时达到基线第二阶段成绩。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。