arXiv 论文提出 Taylor 修正惰性牛顿法,改进有限和优化复杂度

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文研究光滑凸有限和优化的随机二阶 oracle 复杂度。在个体光滑性与凸性假设下,作者给出下界 Ω(n + n^{5/7} ε^{-2/7}),并借助新的二阶自约束不等式设计 Taylor 修正惰性牛顿法,配合 Monteiro-Svaiter 加速达到 Õ(n + n^{5/7} ε^{-2/7}),与下界仅差对数因子。相比此前平均光滑性下的最优复杂度,该结果在更强假设下进一步加速。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定与已有结果

论文关注的是光滑凸有限和优化问题,目标函数由 n 个分量组成,衡量标准是随机二阶 oracle 复杂度。材料提到,Tsedenov 与 Kovalev 在 2026 年的工作中,在平均光滑性与凸性假设下建立了几乎匹配的上下界,得到 Θ̃(n + n^{6/7} ε^{-2/7}) 的极小极大最优复杂度。本文的出发点是把假设收紧为每个分量各自的个体光滑性与凸性,考察这种更强的结构信息能否带来可证明的进一步加速。

上下界与算法构造

在个体光滑性假设下,作者先给出下界 Ω(n + n^{5/7} ε^{-2/7}),说明任何算法都无法做得更好。随后通过建立一个新的二阶自约束不等式,设计出 Taylor 修正惰性牛顿法,并应用最优的 Monteiro-Svaiter 加速,使复杂度达到 Õ(n + n^{5/7} ε^{-2/7})。该上界与下界只相差对数因子,因此在这一假设下接近最优。与平均光滑性下的结果相比,ε 的指数从 -2/7 保持不变,而 n 的指数由 6/7 降到 5/7。

适用范围与阅读提示

这是一篇理论分析工作,结论建立在个体光滑性与凸性的假设之上,材料未给出实验验证或实际实现细节。论文归类于 math.OC,同时标注 cs.AI 与 stat.ML。对读者而言,其价值在于明确了更强假设下二阶方法的复杂度边界,以及 Taylor 修正惰性牛顿法这一算法构造;是否适用于具体训练或优化场景,材料中没有涉及。

为什么值得看

关心二阶优化理论边界的读者可看:个体光滑性假设带来新的复杂度上下界与算法构造。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Near-Optimal Second-Order Convex Finite-Sum Optimization under Individual Smoothness

关键事实

  • 论文研究含 n 个分量的光滑凸有限和优化的随机二阶 oracle 复杂度[1]

  • 在个体光滑性与凸性假设下,作者给出的下界为 Ω(n + n^{5/7} ε^{-2/7})[1]

  • 作者建立新的二阶自约束不等式,并设计 Taylor 修正惰性牛顿法[1]

  • 结合 Monteiro-Svaiter 加速后复杂度为 Õ(n + n^{5/7} ε^{-2/7}),与下界仅差对数因子[1]

  • 此前 Tsedenov & Kovalev(2026)在平均光滑性下给出的最优复杂度为 Θ̃(n + n^{6/7} ε^{-2/7})[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。