论文阅读--利用无人机遥感和边缘智能促进精准农业：一篇综述

Title: Boost Precision Agriculture with Unmanned Aerial Vehicle Remote Sensing and Edge Intelligence: A Survey

Abstract: In recent years unmanned aerial vehicles (UAVs) have emerged as a popular and cost-effective technology to capture high spatial and temporal resolution remote sensing (RS) images for a wide range of precision agriculture applications, which can help reduce costs and environmental impacts by providing detailed agricultural information to optimize field practices. Furthermore, deep learning (DL) has been successfully applied in agricultural applications such as weed detection, crop pest and disease detection, etc. as an intelligent tool. However, most DL-based methods place high computation, memory and network demands on resources. Cloud computing can increase processing efficiency with high scalability and low cost, but results in high latency and great pressure on the network bandwidth. The emerging of edge intelligence, although still in the early stages, provides a promising solution for artificial intelligence (AI) applications on intelligent edge devices at the edge of the network close to data sources. These devices are with built-in processors enabling onboard analytics or AI (e.g., UAVs and Internet of Things gateways). Therefore, in this paper, a comprehensive survey on the latest developments of precision agriculture with UAV RS and edge intelligence is conducted for the first time. The major insights observed are as follows: (a) in terms of UAV systems, small or light, fixed-wing or industrial rotor-wing UAVs are widely used in precision agriculture; (b) sensors on UAVs can provide multi-source datasets, and there are only a few public UA V dataset for intelligent precision agriculture, mainly from RGB sensors and a few from multispectral and hyperspectral sensors; (c) DL-based UAV RS methods can be categorized into classification, object detection and segmentation tasks, and convolutional neural network and recurrent neural network are the mostly common used network architectures; (d) cloud computing is a common solution to UAV RS data processing, while edge computing brings the computing close to data sources; (e) edge intelligence is the convergence of artificial intelligence and edge computing, in which model compression especially parameter pruning and quantization is the most important and widely used technique at present, and typical edge resources include central processing units, graphics processing units and field programmable gate arrays.

Keywords: precision agriculture; remote sensing; unmanned aerial vehicles; deep learning; high performance; mobile devices; edge intelligence; model compression

题目：利用无人机遥感和边缘智能促进精准农业：一篇综述

摘要：近年来，无人机（UAVs）已成为一种流行且具有成本效益的技术，用于捕捉高空间和时间分辨率的遥感图像，用于广泛的精准农业应用，通过提供详细的农业信息来优化田间实践，有助于降低成本和环境影响。此外，深度学习（DL）作为一种智能工具，已成功应用于杂草检测、作物病虫害检测等农业应用。然而，大多数基于DL的方法对资源提出了很高的计算、内存和网络需求。云计算可以以高可扩展性和低成本提高处理效率，但会导致高延迟和巨大的网络带宽压力。边缘智能的出现，尽管仍处于早期阶段，但为人工智能（AI）在靠近数据源的网络边缘的智能边缘设备上的应用提供了一个很有前途的解决方案。这些设备具有内置处理器，可实现车载分析或人工智能（例如，无人机和物联网网关）。因此，本文首次利用无人机遥感和边缘智能对精准农业的最新发展进行了全面调查。观察到的主要见解如下：（a）就无人机系统而言，小型或轻型、固定翼或工业旋翼无人机广泛用于精准农业；（b） 无人机上的传感器可以提供多源数据集，而用于智能精准农业的公共无人机数据集很少，主要来自RGB传感器，少数来自多光谱和高光谱传感器；（c） 基于DL的UAV RS方法可以分为分类、目标检测和分割任务，卷积神经网络和递归神经网络是最常用的网络架构；（d）云计算是UAV RS数据处理的常见解决方案，而边缘计算使计算接近数据源；（e） 边缘智能是人工智能和边缘计算的融合，其中模型压缩尤其是参数修剪和量化是目前最重要和最广泛使用的技术，典型的边缘资源包括中央处理器、图形处理器和现场可编程门阵列。

关键词：精准农业；遥感；无人机；深度学习；高性能；移动设备；边缘智能；模型压缩

作者：Jia Liu *, Jianjian Xiang, Yongjun Jin, Renhua Liu, Jining Yan and Lizhe Wang作者单位：中国地质大学

文章出处：remote sensing

出处杂志的影响因子：5.349(2021年)

与遥感相关的技术点：

研究目的：

利用无人机遥感和边缘智能对精准农业的最新发展进行了全面调查，总结了无人遥感和边缘智能技术发展和应用

1.引言

近年来，精准农业（PA）发展迅速，是指收集、处理和分析农业生产中的时间、空间和个体数据的管理策略。由于遥感（RS）允许高频率的信息收集，而无需以低成本进行物理接触。RS数据主要由三种平台收集，即星载、机载和地基，星载包括卫星RS，可以提供大规模的空间覆盖，但可能会受到固定和长时间的重访期和云层遮挡的影响，限制了其在细尺度PA中的应用；基于地面的远程传感器（车载车辆、船舶、固定或可移动的高架平台）适用于小规模监测。相比之下，机载平台可以在观测角度、飞行路线等飞行配置方面以高空间分辨率和灵活性收集数据[7]。无人机（UAV）是一种无需任何人工操作的动力飞行器，可以自主飞行或使用各种有效载荷进行远程控制[11]。由于其在灵活的数据采集和高空间分辨率[12]方面的优势，UAVs正在快速发展，并为PA的许多应用提供了一种强大的技术方法，例如，作物状态图[13，14]、作物产量预测[15，16]、疾病检测[17，18]、杂草管理[19，20]快速而无损。

根据边缘计算联盟（ECC）的说法，边缘计算是一个位于网络边缘的分布式开放平台，靠近事物或数据源，集成了网络、存储和应用的能力[36]。在这种新的计算模式中，数据不需要发送到云或其他远程集中式或分布式系统进行进一步处理。边缘计算和人工智能的结合产生了边缘智能，即边缘计算的下一阶段。它旨在利用人工智能技术增强优势。

在本文中，我们试图通过UAV RS和边缘智能对PA(精准农业)的最新发展进行深入而全面的调查。本文的主要贡献如下：

1.详细回顾了最相关的DL技术及其在PA中的最新实现。具体而言，本文为智能农业提供了一个全面的公开可用的基于无人机的RS数据集，尝试为社区验证基于DL的方法提供便利；

2.本文讨论了PA中UAV RS的云计算和边缘计算范式。

3.，首次对PA中UAV RS的相关边缘智能技术进行了全面的回顾和分析。特别是，本文对UAV智能边缘设备进行了汇编，并详细介绍了带有模型压缩的边缘推理的最新发展。

2. 精准农业中的UAV遥感

2.1 用于精准农业的无人机系统和传感器

UAV系统在尺寸、重量、负载、功率、续航时间、用途等方面各不相同，并且有多种分类方法。表一和表二列出了无人机分类方式。

表1.根据操作风险划分的无人机类别和特征

表2.根据空气动力学特征划分的无人机类别和特性

由于多旋翼无人机比其他类型的无人机更具成本效益，并且在飞行过程中通常比无人直升机更稳定，因此它们在PA领域应用最为广泛。

PA(精准农业)中使用的无人机通常配备遥感器，包括RGB成像、多光谱和高光谱成像传感器、热红外传感器、光探测和测距（LiDAR），和合成孔径雷达（SAR），

表3总结了它们的主要特性和在PA中的应用。

表3.安装在UA Vs上的传感器在PA中的主要特性和应用

2.2 无人机遥感在精准农业中的应用

UAVs现在已广泛用于PA地区，主要用于监测[12，68–70]和喷洒[71–73]。对于前者，UAVs上的不同传感器捕获RS数据，用于识别作物特征的特定空间特征和时变信息；对于后者，UAV系统用于喷洒准确数量的杀虫剂和化肥，从而减轻可能的病虫害，提高作物产量和产品质量[47]。RS为基于UAV的PA监测提供了一种有效的工具，最常见的相关应用如下。

1.杂草检测和绘图：在获得的无人机遥感图像中找到/绘制杂草的位置，通常是基于与正常作物相比杂草的不同空间分布[27，75]、形状[76]、光谱特征[53，77–79]或其组合[80]来实现的。因此，作为UAV有效载荷的最重要传感器主要是RGB传感器[27，76，77，80]、多光谱传感器[53，78]和高光谱传感器[79]ADDIN。

2.作物病虫害检测：检测依据主要是UAV RS图像中光谱差异[81]。为了获得更多关于叶片病虫害的详细信息，UAVs通常具有较低的飞行高度，用于高空间或光谱分辨率的观测[82-84]。通常安装的传感器有RGB传感器[83，85–87]、多光谱传感器[88]、红外传感器[89]和高光谱传感器[82，84]。

3.作物生长监测：RS可用于监测作物生长的群体和个体特征，如作物幼苗状况、生长状态和变化。作物生长通常通过几个指标来量化，如LAI、叶片干重、叶片氮积累等，其中通常需要多个谱带。作为一项相对更全面的任务，UA Vs上的传感器通常是多光谱/高光谱传感器[91，92]或RGB和红外的组合[93]或激光雷达[63]。

4.作物产量估计： RS信息可以单独或与其他信息相结合，作为输入变量或参数，直接或间接反映作物生长和产量形成过程中的影响因素，用于作物产量估计。它尝试通过以非破坏性的方式观察作物的形态特征来估计作物产量[16]。与作物生长监测任务类似，作物产量估计也依赖于多个谱带来获得更好、更丰富的信息。因此，UAVs通常配备多模式传感器，例如高光谱/多光谱[15，16，94–97]、热红外[95]，以及与RGB[15，16,94–97]或合成孔径雷达SAR的组合[66]。

5. 作物类型分类：作物类型图是农业任务（如作物产量估计）最重要的投入之一， 作物类型分类任务试图根据遥感数据获取的信息将不同类型的作物区分到地图中，类似于土地覆盖/土地利用分类[98]。根据不同任务的需求，可以在不同的空间尺度上实现。对于较大规模的分类，使用SAR传感器[64，9910]，对于较小规模的分类来说，可以使用UAVs的RGB图像[101]，或者使用融合的SAR数据[102]。

3. UAV遥感在精准农业中的深度学习

3.1 精准农业中的深度学习方法

在UAV RS场景中，大多数应用程序使用相机捕捉的图像作为数据输入，即它们是与计算机视觉相关的任务。这样，使用DL方法（主要是CNN）的PA中UAV RS任务可以分为三个典型和主要的计算机视觉任务：分类、检测和分割。

1.分类试图预测图像中特定对象类别的至少一个对象的存在/不存在(有没有对象)，并且需要DL算法来提供对象存在的实值置信度。分类方法主要用于识别作物病害、杂草类型或作物类型。

2.检测任务试图以相关的置信度预测图像中特定对象类别的每个对象的边界框，即回答“图像中的实例在哪里(对象在哪儿)，如果有的话？”这意味着提取的对象信息相对更精确。典型的应用是寻找有害虫或其他疾病的作物，定位图像中的杂草，计算作物数量以进行产量估计或灾害评估等。

3. 分割是一项预测测试图像中每个像素的对象标签（用于语义分割）或实例标签（用于实例分割）的任务，因此，通常使用分割方法来准确定位图像中感兴趣的特征(对象的特征是什么)。语义分割可以帮助定位作物叶片疾病，生成杂草图，或评估作物生长和产量，而实例分割可以检测作物和杂草植物，或在更精细的水平上进行作物种子表型分析。

表4显示了使用DL方法的PA中的典型示例的汇总

表4.用于PA中典型UAV RS应用的基于DL的方法

 

3.2 智能精准农业数据集

表5. 公共可用数据集的汇编，带有PA应用程序的标签

 

4. 精准农业中UAV RS的边缘智能

4.1 无人机的云计算和边缘计算

4.1.1 UAVs的云计算范式

云计算是一种计算范式，通过互联网连接集成大规模和可扩展的计算、存储、数据、应用程序和其他分布式计算资源，为最终用户提供基础设施、平台、软件和其他按需共享服务。云计算模式提供了以下主要优势：

1.云中的服务器数量巨大，为用户提供了强大的计算和存储资源，用于大规模的UAV RS数据处理。

2.云计算支持用户通过虚拟化在任何位置从笔记本电脑或手机等各种终端获得服务。

3.云计算是一种分布式计算架构，单点错误等问题是不可避免的。诸如复制策略之类的容错机制确保了各种处理和分析服务的高可靠性。

4.云中心可以根据特定用户的需求动态分配或释放资源，可以满足应用程序和用户的动态规模增长要求。它得益于云计算的可扩展性。

当前基于云的应用程序通常遵循管道，如图2a所示。根据云计算的模式，它存在以下缺点。

（a） 随着边缘生成的数据量不断增加，通过网络传输数据的速度正成为云计算范式的瓶颈。

（b） 网络边缘的传感器数量正在急剧增加，产生的数据将是巨大的，这使得传统的云计算效率不足以处理所有这些数据。

（c） 在云计算范式中，处于边缘的终端设备通常充当数据消费者。从数据消费者到数据生产者/消费者的变化需要在边缘放置更多的功能。

图2. UAV RS的云计算范式和边缘计算范式。（a）云计算范式；（b）边缘计算范式

4.1.2 UAVs边缘计算范式

边缘计算通过将计算和存储资源带到靠近移动设备或传感器的网络边缘来满足上述缺点，与云计算相比，边缘计算具有以下特点：

1.随着物联网的快速发展，世界各地的设备都会产生大量数据，但只有少数是关键的，大多数是临时的，不需要长期存储。在网络边缘处理大量临时数据，从而减轻网络带宽和数据中心的压力。

2.尽管云计算可以为移动设备提供服务，以弥补其计算、存储、电源资源的不足，但网络传输速度受到通信技术发展的限制，在复杂的网络环境中存在链路不稳定、路由不稳定等问题。这些因素会导致高延迟、过度抖动和数据传输速度慢，从而降低云服务的响应。边缘计算在用户附近提供服务，可以提高服务的响应能力。

3.边缘计算为关键数据的存储和使用提供了基础设施，并提高了数据安全性

对于PA中基于UAV的RS应用，边缘计算是需要上述有前景功能的在线任务的理想选择。有一些方法可以避免大量数据传输到云端。第一个是实现无人机机载实时处理平台，只向网络传递关键信息，另一个是部署本地地面站进行无人机信息处理。

4.3 轻量级网络模型设计

研究发现，深度神经网络的结构是冗余的。基于这一特性，深度神经网络的压缩将大大减轻推理负担，并加速计算，以适应UAV平台上的使用。其主要工作包括修剪网络连接以只保留更重要的连接，量化模型参数以减少模型体积并提高效率，以及通过霍夫曼编码进一步压缩模型。通过模型压缩，有利于减少计算、内存和功耗，从而更容易部署到无人机系统中。

主流的深度模型压缩方法可分为以下几类：（1）轻量级卷积设计;（2）参数修剪;（3）低秩因子分解;（4）参数量化;以及（5）知识蒸馏。每一个都试图从不同的方面压缩模型，并且它们总是与组合一起使用。表6显示了用于PA的UAVs上的轻量级推理应用程序的汇编。如表6所示:

表6.用于PA的UAVs上的轻量级推理应用程序汇编

4.3.1 轻量级卷积设计

轻量级卷积设计是指卷积滤波器的紧凑设计。卷积滤波器实际上用于平移不变特征提取，并构成CNN操作的大部分。因此，轻量级卷积设计一直是DL领域的一个热门研究方向。因为较小尺寸的过滤器计算得更快。典型的设计有SqueezeNet[187]、MobileNet[188]和ShuffleNet[189]。

在[190]中，提出了一种DL火灾识别算法，用于使用无人机的嵌入式智能森林火灾监测。它基于轻量级MobileNet V3，以降低传统YOLOv4网络架构的复杂性。关于模型参数，从63.94万下降到23.08万，下降了63.91%。

Egli等人[184]设计了一种计算量轻的CNN，该CNN具有四个连续卷积/池化层的顺序模型设计，用于树种分类，使用来自自动UAV观测的高分辨率RGB图像，在可用数据集上优于几种不同的架构。同样，为了适应UAVs的实时性能，Hua等人[191]设计了一个轻量级的E-Mobile Net作为实时跟踪的特征提取骨干网络。

4.3.2 剪枝(Parameter Pruning)

在深度模型中，并非所有参数都有助于获得出色的判别性能，因此其中许多参数可以从网络中删除，同时对训练模型的准确性影响最小。基于该原理，剪枝尝试从卷积层和全连接层中修剪出冗余的非信息参数，以减少计算操作和内存消耗。

有几种不同粒度的修剪方法。一些不重要的权重连接可以通过一定的阈值来修剪[192]。类似地，可以修剪单个冗余神经元及其输入和输出连接[193]。

Wang等人[190]通过信道级稀疏诱导正则化消除了冗余信道，使模型参数数量和推理时间显著下降95%和75%以上，但精度相当，因此适用于无人机平台上的实时火灾监测。[185]采用了两种修剪方式，一次修剪在一步中实现所需的压缩比，迭代修剪逐渐去除连接，直到获得目标压缩比。对模型进行再训练，以在修剪迭代后重新调整参数，从而恢复精度下降。针对农业目标检测应用中的安全边缘计算，Fan等人[195]将层修剪和滤波器修剪一起使用，以实现更小的结构并最大限度地提高实时性能。

4.3.3 低秩因子分解(Low-rank Factorization)

低秩因子分解试图将一个大的权重矩阵或张量因子分解为几个较小维度的矩阵或张量。它既可以应用于卷积层，也可以应用于全连接层。当卷积滤波器被因子分解时，它将使推理过程更快，当应用于更密集的全连接层时，它可以消除冗余并降低存储需求。

4.3.4 参数量化(Parameter Quantization)

参数量化的目的是在存储和传输过程中减少训练模型的体积。通常，深度模型中的权重存储为32位浮点数。如果它们的位数减少，将导致操作和模型大小的减少。近年来，低比特量化(low-bit quantization)在深度模型压缩和加速中越来越受欢迎。量化有两种类型，一种是用于训练模型的参数共享，另一种是模型训练的低比特表示。为了开发UAVs上杂草映射任务的轻量级网络架构，[137]在推理过程中进行了优化和精度校准。精度从32位降低到16位。

4.3.5 知识蒸馏(Knowledge Distillation)

知识蒸馏的主要目标是从教师网络(teacher network)中训练学生网络(student network)，同时保持其泛化能力[204]。学生网络更轻，即具有更小的模型大小和更少的计算，但具有与较大网络相同或可比的性能。

在基于无人机的深度模型推理领域，知识蒸馏是一个很有前途的方向。在[209]中，YOLO+MobileNet模型充当教师网络，而修剪后的模型充当学生网络，并使用知识提取算法来提高修剪后模型的检测精度。

4.4 无人机遥感的边缘资源

边缘是一个相对于网络核心的概念。它是指从数据源到云计算中心的任何资源、存储和网络资源。这条路径上的资源（从数据源到云中心）可以被视为一个连续的系统。通常，边缘的资源主要包括移动电话和个人计算机等用户终端，WiFi接入点、蜂窝网络基站和路由器等基础设施，以及相机和机顶盒等嵌入式设备。用户周围的这些众多资源彼此独立，称为边缘节点。

对于PA中UAV RS的边缘计算场景，应用程序可以部署在具有嵌入式计算平台或边缘服务器的UAV智能边缘设备上。在本文中，我们主要讨论前者。为了加速复杂DL模型的处理，目前UAV解决方案中主要包括几种类型的机载硬件加速器。以下列出了流行的示例，分为基于通用CPU的解决方案、GPU解决方案和现场可编程门阵列（FPGA）解决方案。

表7给出了UAVs机载边缘计算平台的汇总，用于典型的RS应用，以及特定的平台供应商、型号、配置和应用。

表7.UAV车载计算平台的汇编，用于典型的RS应用。

 

5. 未来发展方向

尽管DL和UAV RS技术在PA领域取得了巨大进步，但边缘智能的研究和实践，尤其是在PA领域的研究和应用仍处于早期阶段。除了PA、UAV RS和边缘智能方面的常见挑战外，这里我们列出了本文范围内需要解决的一些具体问题。

1. PA中用于边缘推理的轻量级智能模型设计。如第4节所述，PA中用于UAV RS数据处理和分析的大多数基于DL的模型都是高度资源密集型的。具有强大计算能力的硬件对于支持这些大型人工智能模型的训练和推理非常重要。目前，只有少数关于在UAV RS的PA中应用常见参数修剪和量化方法的研究。通过考虑数据和算法特性，并利用其他复杂的模型压缩技术，如知识蒸馏和多种压缩方法的组合，可以进一步提高大小和效率的指标[183]。此外，代替使用现有的人工智能模型，神经架构搜索（NAS）技术[243]可以用于推导针对硬件资源对性能指标的限制而定制的模型，例如，考虑底层边缘设备的延迟和能效[34]。

2.UAV边缘设备上智能PA模型的迁移学习和增量学习。许多DL模型的性能在很大程度上依赖于数据集的数量和质量。然而，用标签收集大量数据是困难的或昂贵的。因此，边缘设备可以利用迁移学习来学习竞争模型，其中根据特定领域的数据进一步微调具有大规模数据集的预训练模型[224，245]。其次，与飞行期间的原始训练数据相比，诸如UAVs之类的边缘设备可以收集具有不同分布的数据，甚至属于未知类别的数据。边缘设备上的模型可以通过增量学习进行更新，以提供更好的预测性能[246]。

3.RS云中心、地面控制站和UAV边缘设备的协作。为了弥合边缘设备的低计算和存储能力与DL训练的高资源需求之间的差距，端、边缘和云之间的协作计算是一种可能的解决方案。它已经成为边缘智能架构和应用场景的发展趋势。一个好的云边端协作架构应该考虑异构设备、异步通信以及多样化计算和存储资源的特点，从而实现协同模型训练和推理[247]。在传统模式中，模型训练通常在云中进行，并且训练后的模型部署在边缘设备上。这种模式很简单，但不能充分利用资源。对于PA中UAV RS的边缘智能情况，分散的边缘设备和数据中心可以通过使用联合学习相互合作来训练或改进模型[248]。

6. 总结

本文系统全面地概述了UAV RS和边缘智能技术推动的PA的最新发展。我们首先介绍了UAV RS在PA中的应用，包括各种类型的UA V系统和传感器的基本原理以及典型应用，以初步了解情况。然后介绍了UAV RS PA中DL方法和公共数据集的最新发展。随后，我们对UA V RS在PA中的边缘智能发展进行了深入分析，包括云计算和边缘计算范式，边缘智能的基本概念和主要组成部分（即边缘缓存、边缘训练、边缘推理和边缘卸载），以及从网络模型设计和边缘资源角度的发展。最后，我们提出了需要进一步解决的几个问题。

通过这项调查，我们对PA如何从无人机RS和边缘智能中获益提供了初步见解。近年来，小型、轻型、固定翼或工业旋翼UAV系统已广泛应用于PA。由于无人机RS具有易于使用、灵活性高、分辨率高以及在低空飞行时不受云层影响等优点，已成为监测农业状况的有力手段。此外，与传统的分析方法相比，PA中的DL技术与UAV RS的集成达到了更高的精度。这些PA应用已经转化为计算机视觉任务，包括分类、对象检测和分割，而CNN和RNN是最广泛采用的网络架构。还有一些用于智能PA的公开可用的UAV数据集，主要来自RGB传感器，很少来自多光谱和高光谱传感器。这些数据集可以促进DL方法的验证和比较。然而，深度模型通常会带来更高的计算、内存和网络需求，因此云计算是一种以高可扩展性和低成本提高效率的常见解决方案，但代价是高延迟和网络带宽压力。边缘计算的出现将计算带到了靠近数据源的网络边缘。人工智能和边缘计算进一步产生了边缘智能，为高效的智能UA V RS应用提供了一个有前途的解决方案。在硬件方面，典型的计算解决方案包括CPU、GPU和FPGA。从算法的角度来看，源自模型压缩技术，特别是模型修剪和量化的轻量级模型设计是最重要和最广泛使用的技术之一。PA由先进的UAV RS和边缘智能技术支持，能够在降低成本的同时提高生产力和效率。

边缘智能的研究和实践，特别是在UAV RS的PA中，仍处于早期阶段。未来，除了PA、UAV RS和边缘智能的一般挑战外，本文范围内还有一些问题需要解决。这些方向可以包括在边缘设备上设计和实现具有UAV RS的PA的轻量级模型，在UAV边缘设备上实现智能PA模型的迁移学习和增量学习，以及RS云中心、地面控制站和UAV边缘装置的高效协作。