FEDGLOSS算法BEYOND LOCAL SHARPNESS:COMMUNICATION-EFFICIENT GLOBALSHARPNESS-AWARE MINIMIZATIONFOR

第一部分:解决的问题

数据异构性:客户端数据分布差异导致本地全局损失地形(loss landscape)不一致,本地优化可能收敛到尖锐最小值,影响全局模型的泛化。

现有方法的局限性:如FEDSAM在客户端使用SAM优化本地尖锐性,但无法保证全局平坦性;FEDSMOO引入全局信息但通信开销翻倍

第二部分:论文idea

解决客户端更新与全局模型不一致的问题。

(1)全局锐度优化

服务器端,使用SAM技术来寻找全局损失景观中更平坦的最小值。这有助于提高模型的泛化能力。

(2)通信效率优化

为了减少通信开销&

你可能感兴趣的:(联邦学习,人工智能)