RegionFed 解决零售异构环境联邦学习个性化难题
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载区域差异带来的训练难题
零售搜索要面对不同地理区域的用户，各地查询习惯、用词方式和商品偏好都不一样，这种数据异质性同时给隐私保护训练和模型个性化出了难题。联邦学习本身适合解决隐私问题，但常规做法产出的是全局模型，区域层面的效果会被牺牲掉。已有的个性化联邦学习方案在参数层面做文章，遇到现代 transformer 结构时会严重失效，论文把原因归结为绑定嵌入与 LayerNorm 之间的相互作用。RegionFed 的思路是绕开参数层面的改动，把整个流程放在梯度层面完成，论文称其为对架构稳健的框架。
用梯度冲突当统一信号
RegionFed 把区域梯度与全局梯度之间的 ℓ2 冲突当作一个统一信号使用，这个信号承担三件事：判断异质性程度，为每个区域挑选成本最低且够用的个性化策略，以及自适应地调节个性化强度。由于框架把模型视为可微的黑盒，部署时不需要改动代码，论文在 T5-Small、T5-3B、RoBERTa 和 CNN 上都做了验证。结果显示，在参数级方法失效的 transformer 上收益明显，在 CNN 上也有稳定提升。实验覆盖三个公开数据集，分别是 Amazon ESCI、Amazon Reviews 和 LEAF-FEMNIST，并横跨四种架构。
效果与隐私的取舍
在论文给出的对比中，RegionFed-Meta 的成绩与一个会破坏隐私的集中式上界非常接近，后者采用集中训练加区域加权的方式，两者差距落在 1σ 以内。同时该框架提供 ε 约为 0.60 的差分隐私保障，收敛速度为 O(1/√T)。对读者而言，这意味着在零售搜索这类区域差异明显的场景里，可以在不集中原始数据的前提下接近集中训练的个性化水平，并且换用不同模型结构时不必重写代码；不过论文的验证集中在上述数据集与架构组合上，适用范围以材料所述为限。
为什么值得看
解决了联邦学习在 Transformer 上个性化训练的崩溃难题，兼顾隐私与区域性能。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。