注册

CovFedAvg 提出联邦学习模型选择新方法，Gas 任务准确率小幅提升

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

arXiv 论文提出 CovFedAvg，用于联邦学习中各客户端只观测到预测任务局部数据、模型在观测范围外行为不一致的场景。该方法把本地模型与曲线控制量保留在客户端，用聚合后的梯度贡献拟合共同端点，再依据分布式训练损失挑选实际候选模型，无需集中式校准样本，也不需要客户端之间交换数据。在合成支持任务、活动识别受试者和气体传感器批次上，以五种方法、五个随机种子、两种网络宽度、20 轮无校准数据评估：宽度 16 时，参与方 Gas 宏平均平衡准确率从 FedAvg 的 88.88% 升至 89.84%，同等成本的分布式微调为 91.65%。作者称结果只说明可行性与相对 FedAvg 的小幅增益，未证明曲线方法优于同等开销的优化。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法怎么运作

论文关注的问题是：客户端各自只看到预测任务的一部分，可能学到局部等价、但在自身观测范围之外行为互不兼容的模型。CovFedAvg 的思路是保留客户端上的本地模型和曲线控制量，用聚合后的梯度贡献拟合出一个共同端点，再根据分布式训练损失从候选中选出真正要用的模型。整个过程不依赖集中式校准样本，客户端之间也不需要交换样本。作者给出了精确选择性质：被选模型的评估训练损失不高于上一轮模型，也不高于本轮 FedAvg 候选；同时说明这一性质不构成全局最优、平稳性、泛化或差分隐私方面的保证。

实验设置与数字

评估覆盖三类场景：合成支持任务、记录下来的活动识别受试者，以及参与方与未来批次的气体传感器数据。实验比较五种方法，使用五个随机种子、两种网络宽度，训练 20 轮，全程不使用校准数据。在宽度 16 的设置下，CovFedAvg 把参与方 Gas 的宏平均平衡准确率从 FedAvg 的 88.88% 提高到 89.84%；同等成本的分布式微调达到 91.65%。作者据此认为结果支持方法可行，并显示相对 FedAvg 有小幅增益，但没有证明曲线方法相对同等开销的优化具有特有优势。

边界与适用性

论文还给出条件性的客户端兼容性与近似选择界，并保留修正后的变换恒等式以及面向参考算法的独立全梯度保障定理。作者用一个互补的输入支持示例说明可以恢复共享的绝对值回归，同时指出匹配的直接微调同样能解该问题。关于数据流，精确求和的数值实验只能说明数据如何流动；端到端隐私仍需额外机制与分析。这些限定意味着该方法目前更适合被看作联邦模型选择的一种可行路径，而不是已经验证的通用替代方案。

为什么值得看

想了解联邦学习在不共享校准数据前提下如何做模型选择，以及这类方法实测增益有多大的人可看。

微调论文

信源1 家

  1. [1]arXiv cs.AI一手信源CovFedAvg: Local Low-Loss Curves and Federated Model Selection

关键事实

  • CovFedAvg 将本地模型与曲线控制量保留在客户端，通过聚合梯度贡献拟合共同端点[1]

  • 方法不需要集中式校准样本，也不需要客户端之间交换样本[1]

  • 实验覆盖合成支持任务、活动识别受试者与气体传感器批次，采用五种方法、五个种子、两种网络宽度、20 轮[1]

  • 宽度 16 时参与方 Gas 宏平均平衡准确率由 FedAvg 的 88.88% 提升到 89.84%，分布式微调为 91.65%[1]

  • 作者说明精确选择不构成全局最优、平稳性、泛化或差分隐私保证[1]

相关 · 论文

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论