阅读笔记 | Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI

内容概要

这篇是一篇综述性文章，主要关于云计算、边缘计算以及边云协同计算在人工智能方面的进展。论文的主要内容如下：

• 云计算AI：讨论了用于云计算的CPU、GPU、TPU和DPU等硬件。介绍了计算机视觉、自然语言处理和网络服务等领域基于云计算的AI模型。
• 边缘计算AI：概述了用于边缘计算的VPU、边缘TPU、移动GPU和神经处理单元等硬件。探讨了轻量级网络架构设计、模型压缩等技术来满足边缘计算的限制。
• 边缘-云协同AI：介绍了两个典型的协作方式:以隐私为主的协作(如联邦学习)和以效率为主的协作。从迁移学习、元学习和因果推断等角度思考边缘-云协同的经典范式。
• 前沿热点：探讨了在边缘部署预训练模型、图神经网络和强化学习模型的潜力、实践经验和未来方向。
• 挑战和应用：提出数据和平台等主要难题。探讨了边缘-云协同AI在推荐系统、自动驾驶、游戏和物联网安全等领域的应用前景。

根据综述内容整理得到思维导图如下(幕布链接)：

这篇综述文章中提出了边缘计算AI的以下几个潜力方向和待解决的挑战以及相应的现有方法:

潜力方向:

1. 边缘预训练模型 - 探索模型压缩、推理加速和少样本适应技术,以便大规模预训练模型能够在边缘环境中部署。
2. 边缘图神经网络 - 使用联邦学习、量化和元学习技术来解决数据隔离、内存消耗和 generalization 等问题。
3. 边缘-云强化学习 - 边缘执行和云优化相结合,实现更好的个性化、鲁棒性和通用性。

挑战:

1. 数据 - 目前缺乏公开的边缘-云协同数据集,这限制了算法研究。
2. 平台 - 需要建立成熟的边缘计算平台,方便算法比较和模型评估。
3. 效率 - 需要进一步提高通信效率、降低训练时间成本。
4. 个性化 - 需要处理不同边缘环境的数据分布差异,实现个性化。
5. 安全与隐私 - 需要进一步保证边缘和云端的数据安全,防止模型提取原始数据。

现有解决方法：

1. 数据方面,可以构建语义相似的合成数据集加以利用。
2. 平台方面,可以参考一些开源的边缘计算平台如Luoxi进行改进。
3. 效率方面,可以使用模型压缩、量化、知识蒸馏等技术来降低计算和存储成本。还可以使用编码计算等方法优化通信效率。
4. 个性化方面,可以采用联邦学习、迁移学习、元学习等技术,实现云边协同并适配不同的边缘环境。
5. 安全与隐私方面,文中提到了同态加密、安全多方计算、差分隐私等加强联邦学习安全性的经典方法。最新工作开始从因果推断的角度入手,进一步提高模型的鲁棒性。
6. 在模型设计方面,探索了基于蒸馏的模型压缩方法、动态推理路径选择的架构搜索等新思路。
7. 在协同方式方面,除了联邦学习,探讨了分拆部署、云边个性化协同等新型协作模式。