REFL: 联邦学习中智能的设备选择方法

原创 齐天宇 隐私计算研习社

收录于合集#联邦学习54个

现有的FL方案使用随机的参与者选择来提高选择过程的公平性，但是这会导致资源的低效利用和较低的训练质量。

本文系统地解决了FL中资源效率低效的问题，展示了智能参与者选择和合并来自落后参与者的更新的好处。我们演示了这些因素如何在提高训练后的模型质量的同时提高资源效率。

论文标题：REFL: Resource-Efficient Federated Learning

论文链接：https://mcanini.github.io/papers/refl.eurosys23.pdf

1

Introduction

主要挑战是大量学习者在计算能力和数据分布方面的异质性，这可能会影响训练的效果。

精确度时间是一个重要的指标，它取决于培训的统计效率和系统效率。失败的回合和过度参与的参与者会导致计算的浪费，这在以往的FL方法中大多被忽视了。本文目标是优化FL系统的设计，使其在不同的环境下具有资源与精度之比。这意味着减少了达到目标精度所消耗的计算资源，而不会对精度时间产生重大影响。

本文提出REFL，这是一种在不牺牲统计和系统效率的情况下最大化FL系统资源效率的实用方案。REFL通过将参与者更新的集合从聚合分离到更新的模型中来实现这一点。REFL还智能地在可用的参与者中选择将来最不可能可用的参与者。

贡献：

1. 强调学习者有限能力和可用性的资源利用在FL中的重要性，并提出REFL来智能地选择参与者并有效地利用他们的资源。

2. 提出了陈旧感知聚合和智能参与者选择算法，以提高资源利用率，同时对准确性的时间影响最小。

3. 使用真实世界的FL基准来实现和评估REFL，并将其与最先进的解决方案进行比较。

2

Background

在FL聚合中引入了截止时间。

FL的异质性：

4. 数据异质性：Noniid数据；

5. 系统异质性：算力不同；

6. 行为异质性：学员的可获得性因轮次而异；

当前常见的异步算法：

7. SAFA：落后者参与者的半异步更新；然而，SAFA只允许学习者在有限的陈旧阈值内进行更新；

8. FiLL支持陈旧度更新，但其协议与FedAvg不兼容；

9. Oort优先选择学习速度快的学习者来缩短轮次持续时间。

3

The case for REFL

System Efficiency vs. Resource Diversity

当前FL对的设计，要么旨在减少达到准确的时间（系统效率），要么增加学习者池的覆盖率以增强数据分布并公平地分散训练工作量（资源多样性）。但没有考虑学习者的训练成本。

第一个目标导致对某些类别的学习者采取歧视性的做法，要么优先选择计算速度快的学习者，要么优先选择模型更新质量高的学习者(即具有高统计效用的学习者)

第二个目标需要将计算理想地分散到所有可用的学习者上，但代价是可能需要更长的轮次持续时间。