注册

研究对比学习优化器调度中状态耦合的乘性与加性差异

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿至 NeurIPS OPT-ML 2026 Workshop 的论文，研究通过展开经典求解器并反向传播，为 MAX-CUT 的连续惩罚松弛学习调度。状态盲调度可泛化到远大于训练规模的实例；状态自适应双线性调度同样能分布外泛化，在 15 个随机种子上优于其未训练基线（t=4.1）。输入与输出头相同的加性消融模型在分布内与双线性模型统计上无法区分，但分布外表现差于自身基线（t=-11.7）。该差异在无正则化时出现，并在 30 轮权重衰减扫描中持续存在。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

论文研究的问题

论文关注学习型优化器调度中求解器状态的接入方式。作者针对 MAX-CUT 的连续惩罚松弛学习调度，训练信号来自对展开的经典求解器的反向传播。实验设置了两类调度：一类不看求解器状态，另一类根据状态自适应调整，后者采用双线性形式。论文还构造了输入和输出头完全相同的加性消融版本，用来把“状态是否自适应”与“状态以何种方式进入调度”这两个因素分开考察。

泛化表现的对比

状态盲调度虽然不使用状态信息，却能泛化到比训练实例大得多的规模。双线性调度同样表现出分布外泛化能力，在 15 个随机种子上相对未训练基线取得统计显著优势（t=4.1）。加性消融在分布内的表现与双线性模型无法区分，但到了分布外反而差于自己的基线（t=-11.7）。也就是说，两种耦合方式在训练分布内看不出差别，差距只在分布外暴露。

差异的稳健性

这种分离不依赖正则化：在不加正则化时就已经出现。作者进一步做了 30 轮权重衰减扫描，双线性模型的优势在每一个测试取值上都保持显著，加性模型则始终没有恢复。论文据此把与分布外迁移相关的架构区别，归结为求解器状态以何种方式进入调度，而不是单纯的状态自适应与否。该工作被 NeurIPS OPT-ML 2026 Workshop 接收。

为什么值得看

对做学习型优化器与组合优化的人来说，这篇论文指出：决定分布外迁移的是求解器状态如何进入调度，而非状态自适应本身。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules

关键事实

  • 论文题为《Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules》，提交于 2026 年 10 月 23 日，编号 arXiv:2610.3280…[1]

  • 方法是对 MAX-CUT 的连续惩罚松弛学习调度，做法是让梯度穿过展开的经典求解器进行反向传播。[1]

  • 状态盲调度可泛化到显著大于训练所用规模的实例。[1]

  • 双线性调度在 15 个种子上优于未训练基线（t=4.1）；加性消融在分布外差于自身基线（t=-11.7）。[1]

  • 差异在无正则化下出现，并在 30 轮权重衰减扫描的每个取值上都保持。[1]

相关 · 论文

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

ALPS：分层规划让LLM模拟学生保持长期行为一致

11月1日 周日·AI 62

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论