Best-of-Depth：循环 Transformer 按深度训练提升解覆盖率
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Best-of-Depth（BoD），把循环 Transformer 的推理轨迹当作候选集，通过最小化各深度的预测损失来训练，无需改动架构，也不需要按深度标注。在 N-Queens 补全任务上，BoD 的解覆盖率达到 91.03%，而只训练最终深度的做法为 45.75%；在图着色任务上，BoD 同样优于最终深度训练和中间监督目标。实验还显示，模型能发现超出训练深度的解，并在熟悉输入上找回教师池中被保留的解。用 BoD 微调预训练循环语言模型后，在固定深度分别生成程序时，代码生成的成功率高于最终深度训练。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载训练目标怎么改
循环 Transformer 靠反复更新隐状态来延长推理期计算，但只在最终深度上训练，并不会促使中间各层产生有价值的备选解。BoD 的做法是把整条循环轨迹当成一个候选集合，对各个深度分别计算预测损失并加以最小化。这样一来，不同的有效目标可以在不同深度上被匹配，既不需要改动模型架构，也不需要为每个深度单独准备标签。论文还给出一个精确匹配分析，把该目标与解的覆盖范围联系起来。
组合任务上的覆盖率
在 N-Queens 补全与图着色两类任务上，BoD 的解覆盖率都超过了最终深度训练和中间监督目标。其中 N-Queens 的覆盖率是 91.03%，对照的最终深度训练为 45.75%。除覆盖率外，实验还观察到两类现象：模型能发现超出训练深度的解；对熟悉的输入，模型能找回教师池中被刻意保留、未用于训练的解法。
语言模型上的验证
作者进一步把 BoD 用于微调一个预训练的循环语言模型。在评测时于各个固定深度分别生成程序，BoD 的汇总代码生成成功率高于最终深度训练。这一结果说明，针对循环计算沿轨迹进行解发现训练的思路，在语言模型场景下同样成立。
为什么值得看
循环 Transformer 的推理期算力如何转化为可用的候选解，这篇给出了可量化的训练目标与覆盖率对比。
微调代码生成论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。