arXiv 论文提出隐私预算分配新方法 PB-AMD
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 收录一篇论文，研究在差分隐私随机梯度下降中如何把固定隐私预算分配到各次迭代。作者把完整的高斯噪声方差调度建模为组合零集中差分隐私约束下的开环控制，并证明在期望二次终端跟踪目标下，每个局部极小点都会耗尽认证预算，从而得到精确预算的单纯形形式。论文提出 Privacy-Budget Adjoint Mirror Descent（PB-AMD），把路径伴随梯度与熵更新结合，保持正值、计费下限与预算约束。在线性二次简化下，论文给出显式的平方根分配律。实验显示，该方法在跟踪效果上优于若干分配规则，在统一分配上具有预测优势；在相同平稳性容差下，调度优化耗时低于投影梯度下降。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定
差分隐私随机梯度下降的隐私会计只能给出累计隐私成本的上界，却没有说明在固定预算下应当如何把噪声分配到各次迭代。论文把完整的高斯噪声方差调度作为决策变量，在组合零集中差分隐私约束下将其表述为开环控制问题，并把调度选择本身纳入优化。目标函数采用期望二次终端跟踪，作者证明在该目标下每个局部极小点都会耗尽认证预算，于是问题可写成精确预算的单纯形形式。
算法与理论保证
论文提出 Privacy-Budget Adjoint Mirror Descent（PB-AMD），把路径伴随梯度与熵更新结合，更新过程保持正值、计费下限和给定预算。在正则性与强制性假设下，作者给出最优调度的存在性与预算稳定性、从设计到训练的效用稳定性，以及确定性、随机和样本平均意义下的平稳性保证。在线性二次简化情形下，论文推导出显式的平方根分配律，为预算随迭代推进的分配提供闭式参考。
实验与对比
实验部分比较了多种分配规则。结果显示，该方法在跟踪指标上优于若干已有分配规则，在统一分配上具有预测改进；在学习率重启设置中，学习率分配的表现与之相近。在相同平稳性容差下，该方法在测试问题上的调度优化时间低于投影梯度下降。论文将认证隐私会计与非线性训练动态下的优化联系起来。
为什么值得看
把隐私会计与训练动态优化连起来，为差分隐私训练中的预算分配提供可证明的调度方法。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。