新联邦学习框架结合异步聚合与差分隐私

论文AI 评分 65/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究提出一种隐私增强联邦学习框架,集成动态差分隐私、轻量级同态加密及本地差分隐私机制。该框架采用带版本控制的异步聚合策略。在 CIFAR-10 和 Purchase-100 数据集上的实验显示,在严格隐私约束下,分类精度最高达 82.6%,通信开销较 FedAvg 降低 21.3%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

三重隐私机制叠加

该框架把动态差分隐私、轻量级同态加密与本地差分隐私三种机制组合进同一套联邦学习流程。动态差分隐私负责在训练过程中调整扰动强度,轻量级同态加密让参与方在不暴露原始梯度的前提下完成聚合计算,本地差分隐私则在数据离开本地设备之前就加入噪声。三者分工不同:本地差分隐私守住数据出端的环节,同态加密守住传输与聚合环节,动态差分隐私则贯穿训练过程。这种分层做法与只依赖单一机制的方案不同,隐私保护被拆到多个节点上完成,而不是集中在一处。

异步聚合与版本控制

框架采用异步聚合策略,并引入版本控制来支撑异步环境下的分布式训练。在异步场景中,各参与方的更新到达时间并不一致,版本控制用于判断哪些更新可以纳入当前轮次的聚合,从而避免陈旧更新干扰模型状态。这一设计与传统同步聚合形成对照:同步方式需要等待所有参与方就位,异步方式则允许先到先聚合。论文将异步聚合与前述隐私机制放在同一框架内,说明隐私扰动与异步更新需要协同处理,而非各自独立运行。

精度与通信开销数据

实验在 CIFAR-10 与 Purchase-100 两个基准数据集上完成。在隐私预算收紧至 ε = 0.1 的严格条件下,方法仍保持较高的分类准确率,最高达到 82.6%。通信开销方面,与 FedAvg 相比下降 21.3%。这两个数字分别对应隐私约束下的模型表现和传输成本:前者说明强隐私扰动并未使精度崩塌,后者说明异步聚合在通信量上带来实际节省。需要留意的是,这些结果来自上述两个基准数据集,论文并未给出其他数据分布下的表现。

适用场景与边界

该框架面向分布式数据环境中的安全协同训练,定位是为大规模分布式协作计算提供可扩展的技术基础。其适用范围集中在参与方数据不便集中、又需要共同训练模型的场景。限制方面,材料只报告了两个基准数据集上的结果,未涉及参与方数量规模、网络条件波动或恶意参与方等情形下的表现;轻量级同态加密的具体参数与开销分解也未在摘要中展开。对读者而言,这项工作的意义在于把隐私保护、异步聚合与通信效率放在同一框架内衡量,并给出了可对照的量化结果。

为什么值得看

在保证高精度前提下显著降低通信开销,适合大规模分布式协作。

数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Privacy-enhanced federated learning via asynchronous aggregation and local differential perturbation

关键事实

  • 框架集成动态差分隐私、轻量级同态加密及本地差分隐私机制。[1]

  • 采用带版本控制的异步聚合策略支持异步环境训练。[1]

  • 在隐私约束下分类精度最高达 82.6%,通信开销较 FedAvg 降低 21.3%。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。