arXiv 论文提出基于图谱的 DFL 客户端选择方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿至 arXiv cs.AI 的论文研究去中心化联邦学习(DFL)中的通信开销问题。现有做法是每轮让每个客户端把模型更新广播给全部邻居,虽然有效,但传输量大、能耗高。作者提出用图谱工具做轻量客户端选择:在固定通信图上分析拉普拉斯矩阵的谱性质,借助特征向量嵌入以及热核、扩散核的相似度,让每个客户端只挑选结构上相关的部分邻居发送更新。这种基于拓扑的随机化选择在精度上达到或超过均匀邻域子采样,并接近全广播;在数据异构性强、图规模大且结构丰富时收益最大,约提升 3 个百分点,同时消息总量比朴素广播减少 50%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题出在广播

去中心化联邦学习把中心服务器的单点故障和通信瓶颈去掉,被视为可扩展的替代方案。但多数现有实现仍要求每个客户端在每一轮通信中把模型更新发给全部邻居,即全邻域广播。这种方式虽然收敛有效,却带来可观的通信开销和较高能耗,成为扩展时的主要负担。论文的出发点就是在这种固定通信图上削减不必要的消息,同时尽量不牺牲最终精度。

用图谱挑选邻居

作者把谱图工具当作轻量客户端选择手段:在固定通信图上分析图拉普拉斯矩阵的谱性质,利用特征向量嵌入,以及热核与扩散核的相似度,判断哪些邻居对联邦过程的收敛最有帮助。每个客户端据此只向结构上相关的部分邻居发送更新,而不是面向全部邻居。这种带拓扑感知的随机化选择,与简单的均匀邻域子采样相比精度持平或更好,并接近全广播的效果。

收益与适用条件

实验显示,增益在数据异构性强、图规模较大且结构丰富的场景下最明显,精度提升约 3 个百分点;与此同时,总消息传输量比朴素广播减少一半。也就是说,方法在通信成本和模型精度之间取得了折中,且不需要改变去中心化的基本架构。论文未在摘要中给出更多数据集与基线细节,具体实现与实验设置需查阅原文。

为什么值得看

去中心化联邦学习想省通信又保精度,这篇给出可落地的邻居筛选思路和量化收益。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Connectivity-Aware Client Selection in Decentralized Federated Learning

关键事实

  • 论文针对 DFL 中每轮向全部邻居广播更新带来的通信开销与高能耗问题[1]

  • 方法用图拉普拉斯谱性质、特征向量嵌入及热核/扩散核相似度筛选邻居[1]

  • 在强数据异构、较大且结构丰富的图上精度增益约 3 个百分点[1]

  • 传输消息总数相比朴素广播减少 50%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。