阅读笔记 | Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI

内容概要

这篇是一篇综述性文章,主要关于云计算、边缘计算以及边云协同计算在人工智能方面的进展。论文的主要内容如下:

  • 云计算AI:讨论了用于云计算的CPU、GPU、TPU和DPU等硬件。介绍了计算机视觉、自然语言处理和网络服务等领域基于云计算的AI模型。
  • 边缘计算AI:概述了用于边缘计算的VPU、边缘TPU、移动GPU和神经处理单元等硬件。探讨了轻量级网络架构设计、模型压缩等技术来满足边缘计算的限制。
  • 边缘-云协同AI:介绍了两个典型的协作方式:以隐私为主的协作(如联邦学习)和以效率为主的协作。从迁移学习、元学习和因果推断等角度思考边缘-云协同的经典范式。
  • 前沿热点:探讨了在边缘部署预训练模型、图神经网络和强化学习模型的潜力、实践经验和未来方向。
  • 挑战和应用:提出数据和平台等主要难题。探讨了边缘-云协同AI在推荐系统、自动驾驶、游戏和物联网安全等领域的应用前景。

根据综述内容整理得到思维导图如下(幕布链接):

阅读笔记 | Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI_第1张图片

这篇综述文章中提出了边缘计算AI的以下几个潜力方向和待解决的挑战以及相应的现有方法:

潜力方向:

  1. 边缘预训练模型 - 探索模型压缩、推理加速和少样本适应技术,以便大规模预训练模型能够在边缘环境中部署。
  2. 边缘图神经网络 - 使用联邦学习、量化和元学习技术来解决数据隔离、内存消耗和 generalization 等问题。
  3. 边缘-云强化学习 - 边缘执行和云优化相结合,实现更好的个性化、鲁棒性和通用性。

挑战:

  1. 数据 - 目前缺乏公开的边缘-云协同数据集,这限制了算法研究。
  2. 平台 - 需要建立成熟的边缘计算平台,方便算法比较和模型评估。
  3. 效率 - 需要进一步提高通信效率、降低训练时间成本。
  4. 个性化 - 需要处理不同边缘环境的数据分布差异,实现个性化。
  5. 安全与隐私 - 需要进一步保证边缘和云端的数据安全,防止模型提取原始数据。

现有解决方法:

  1. 数据方面,可以构建语义相似的合成数据集加以利用。
  2. 平台方面,可以参考一些开源的边缘计算平台如Luoxi进行改进。
  3. 效率方面,可以使用模型压缩、量化、知识蒸馏等技术来降低计算和存储成本。还可以使用编码计算等方法优化通信效率。
  4. 个性化方面,可以采用联邦学习、迁移学习、元学习等技术,实现云边协同并适配不同的边缘环境。
  5. 安全与隐私方面,文中提到了同态加密、安全多方计算、差分隐私等加强联邦学习安全性的经典方法。最新工作开始从因果推断的角度入手,进一步提高模型的鲁棒性。
  6. 在模型设计方面,探索了基于蒸馏的模型压缩方法、动态推理路径选择的架构搜索等新思路。
  7. 在协同方式方面,除了联邦学习,探讨了分拆部署、云边个性化协同等新型协作模式。

你可能感兴趣的:(笔记,笔记,edge,人工智能)