Edge Intelligence: Paving the Last Mile of Artificial Intelligence with Edge Computing

1 简介

• 云计算缺陷：传输成本高，时延高，有隐私泄露风险。
• 边缘计算优势：靠近数据产生地(信息源)，低延时，节能，保护隐私，降低带宽消耗。
• 所以AI应用与边缘计算的结合成为很自然的选择。

2 AI背景介绍

我们主要关注AI中深度学习与神经网络相关技术：

1. 卷积神经网络(CNN)：CNN通常应用于计算机视觉方向，给定一系列来自真实世界的图像或视频，在CNN的利用下，AI系统学会去自动提取这些输入的特征来完成一个特定任务，如图像分类、人脸识别、图像语义分割。
2. 循环神经网络(RNN)：对于顺序性输入数据，RNNs被提出来解决时间序列问题。RNN的输入由当前输入和先前样本组成。一个RNN的每个神经元拥有一个内存来保存先前样本计算信息。由于其具有处理输入长度不固定的数据优势，循环神经网络已经被广泛应用于自然语言处理。
3. 生成对抗网络(GAN)：GANs有两个主要成分组成，被命名为生成网络和鉴别网络。生成器主要负责在从真实数据的训练集中学习数据分布后，来生成新数据。鉴别器则主要负责将真实数据和从生成器中生成的虚假数据进行分类。GAN通常被应用于图像生成、转换、组合、分辨和其他应用程序中。
4. 深度强化学习(DRN)：DRL由DNNs和强化学习（RL）组成。在DRL方法中，强化学习从来自环境的状态函数中寻找动作的最优策略，DNN则负责表示大量状态并估计动作值，来评估得到状态下的动作质量。

3 为什么要结合边缘计算和AI

• 终端设备和网络边缘是数据源，使用AI可直接分析这些数据，充分释放边缘和终端设备的计算潜能。
• 为AI技术提供更多数据和应用场景，因为越来越多的数据被存储在边缘和终端设备上。
• 边缘智能是AI普及的基础。
• AI使得边缘计算的应用范围更广。

4 边缘智能的含义和分级

边缘智能不只是在终端设备上训练和运行神经网络，而是将云、边缘和终端设备结合使用，达到全局性能最优的目标。

根据计算重心的位置和数据传输的距离可将分为6个level。云智能（完全在云中训练和推理DNN模型）、Level-1（Cloud-Edge协作推理和Cloud训练）、Level-2（In-Edge协作推理和Cloud训练）、Level-3（On-Device推理和Cloud训练）、Level-4（Cloud-Edge协作训练和推理）、Level-5（In-Edge训练和推理）、Level-6（On-Device训练和推理）。
 

将计算重心放在边缘或设备上可降低数据传输需求但对边缘的计算力有较高要求，将计算中心放在云上则反过来。所以计算重心的位置应视应用而定。

5 边缘智能中神经网络的训练模式

• 集中式：全部在云中训练。
• 分散式：终端设备通过自身的数据训练一个模型，通过与其他设备的交互更新模型。(Lv.5 ?)
• 混合型：？

6 训练的性能指标

1. Training Loss（训练损失）：表示训练好的DNN模型的准确度；
2. Convergence（收敛）：衡量一个分散式训练技术是否以及多快能收敛；
3. Privacy（隐私性）：使用终端设备的数据会带来隐私问题；
4. Communication Cost（通信成本）：其被原始输入数据大小、传输方式和可用带宽所影响；
5. Latency（延迟）：(如何定义？)；
6. Energy Efficiency（能源效率）：终端设备和边缘的功率能耗通常有限。

7 分散式训练技术(?)

1. 联邦学习：数据分散在不同client上，各个client计算模型的中间结果，由一个中心结合这些结果构成总体模型。
2. Aggregation frequency control：智能调节结合的内容和频率。
3. Gradient compression：对中间结果(梯度)进行有损压缩以降低数据传输量(量化与稀疏化)。
4. 对DNN作切分，使得输入层保留在设备上以保护隐私。DNN流水线：最小化数据传输量而且最大化设备使用效率。
5. 迁移学习：使用其他问题训练的神经网络层以降低训练消耗。
6. gossip training: 边缘设备之间交换训练信息以加快训练速度。

总而言之，边缘智能可以更好的保护用户的敏感信息。与集中式训练相比，分散式训练可以减少带宽，降低边缘对云的依赖。

8 边缘智能中神经网络的推理模式

1. 基于边缘的推理：DNN模型存储在边缘上，终端设备将数据发给边缘进行模型推理，边缘将结果发回给设备。
2. 基于设备：所有推理都在终端设备中完成。
3. 边缘与设备结合：切分DNN模型，一部分在终端上运行，一部分在边缘上运行。
4. 边缘与云结合。

9 推理性能指标

1. 延迟：从raw data收集到得到最终结果全过程的耗时。
2. 准确率：不仅与DNN模型本身性能有关还与运行DNN的设备性能有关。
3. 能量消耗：终端设备和边缘的功耗通常很小。
4. 隐私保护。
5. 通信开销。
6. 内存占用。

10 边缘智能中神经网络的推理技术

1. 模型压缩：包括删除节点间的连接和数据量化。通常节点间的连接大量存在于全连接层，但是DNN的能量消耗集中在卷积层，这可能对优化能量消耗没有太大帮助。要根据不同的应用场景结合两种压缩手段。
2. 模型切分：受限于终端设备的计算能力和功耗，为了加快推理的速度，将模型切分到终端和边缘共同执行，关键问题是如何确定切分点。切分点处的数据传输可以被压缩。切分的模型也可以在多台终端设备或同一设备的多个处理器中运行。
3. Model early-exits：使用模型的中间输出作为预测结果，仅运行网络的部分层，目的在于提高推理效率。
4. 边缘缓存：将DNN的输出结果缓存在边缘中，当有相似的输入到达时重用缓存的结果，不能重用时再发给云，以达到降低时延的目的。
5. 输入过滤：对于视频分析应用，将冗余的帧过滤以提升推理效率。
6. 模型选择：对于某个应用，离线地训练多个模型，根据不同输入动态地选择一个模型用于推理。选择的依据可以是准确率，延迟，能量开销等。
7. 支持多租用：同一设备上可能同时运行多个DNN，为了最大化总体效率和最优化总体能量消耗，需要调度多个DNN的运行。
8. 针对应用的优化：根据应用来优化技术。如针对视频分析应用指定一套调参方法。

11 未来的研究方向

1. 编程及软件平台：当越来越多AI驱动的计算密集型移动和物联网应用程序出现后，边缘智能作为一个服务（EIaaS）可以成为一个普遍范式，具有强大边缘AI功能的EI平台将会被发展和部署。EIaaS更多关注于如何在资源限制型和隐私敏感型的边缘计算环境中执行模型训练和推理任务。这其中有几个挑战：第一，EI平台应该是易于移植的。第二，EI模型也要是可移植的。第三，需要一个通用的编程框架。最后，应该进一步研究轻量级虚拟化和计算技术，如容器和函数计算，以便在资源受限的边缘环境中高效部署和迁移EI服务。
2. 资源友好型模型：现存的模型如CNN都需要消耗大量计算力，受限于功耗和性能，边缘智能中通常需要对这些模型进行资源消耗上的改进。可以针对边缘设备的特性设计资源友好型的深度学习模型。
3. Computation-awareness networking：没看懂(?)
4. 权衡不同的性能指标以找到最合适的配置。(?)
5. 智能服务和资源管理：由于边缘计算的分散性，一个区域内可能同时存在多个边缘设备运行不同的边缘智能服务，设计一套发现协议使得用户能够快速获取服务是重要的。另外，为了更好地利用分布在各处的边缘计算资源，需要一套机制动态分配任务以达到全局效率最优。强化学习技术可以被应用于此。
6. 安全和隐私保护：要保证用户得到的边缘智能服务是可信的，需要设计一套安全机制，同时需要避免用户收到恶意边缘节点的侵害。另外，使用终端设备产生的数据往往会带来隐私问题，联邦学习是一种在保护数据的隐私前提下的边缘智能技术。
7. 激励机制和商业模型：一个边缘智能生态系统的构建需要多方面的合作，如平台提供者，软件供应商，边缘设备供应商，服务用户等等，这时需要一个良好的激励机制和商业模式使得各方有动力参与到边缘智能的生态系统中并从中获益。