论文笔记 -《A comprehensive review of fruit and vegetable classification techniques》

1 文章背景

1）题目/作者/发表时间/关键词

• A comprehensive review of fruit and vegetable classification techniques
• Khurram Hameed, Douglas Chai, Alexander Rassau
• 2018
• Recognition; Classification; Fruit; Vegetable; Produce classification; Machine learning; Computer vision

2）期刊 / ISSN

• Image and Vision Computing
• 0262-8856

3）分区/指标

• 中科院分区：
  • 3区（计算机科学 / 计算机：人工智能）
• JCR分区：
  • Q1（Computer Science / Computer Vision and Pattern Recognition）

4）IF₃ / h-index / CiteScore：2.521 / 118 / 3.58

2 摘要内容

计算机视觉的最新进展已在生活的各个领域实现了广泛的应用。这样的应用领域之一是新鲜农产品的分类，但是水果和蔬菜的分类已被证明是一个复杂的问题，需要进一步发展。

由于果蔬类间的相似性和类内的不规则特征，果蔬的分类成为了巨大的挑战。由于领域的多样性，选择合适的数据采集传感器和特征表示方法也至关重要。水果和蔬菜的分类方法已经开发出来，用于质量评估和机器人收获，但是目前的最新技术只针对有限的类别和小型数据集进行了开发。该问题具有多维性质，并且具有明显的超维特征，这是当前机器学习方法的主要挑战之一。对于超维特征的分类器的设计和分析已经进行了大量的研究，这些分类器需要大量的计算能力来优化此类特征。

近年来，许多支持机器学习技术，例如支持向量机（SVM），K最近邻（KNN），决策树，人工神经网络（ANN）和卷积神经网络（CNN），已通过多种不同的特征描述方法用于现实生活中的果蔬分类。本文对研究人员提出的用于对水果和蔬菜进行分类的不同技术的计算机视觉方法进行了重要比较。

3 段落主旨

3.1 Introduction

总述：

• 第一子段介绍了果蔬分类的背景：果蔬分类是对象识别的延伸、传统果蔬分类的方法、计算机视觉用于果蔬分类的原因（比如触觉技术）、果蔬分类的难点、果蔬分类的应用场景、当前果蔬分类识别算法的特点，本文的研究意义。
• 第二子段介绍了该综述的结构组成。

水果和蔬菜分类和识别的最新技术是将视觉数据的特征描述和机器学习算法相结合。

本文对果蔬分类的相关限制以及用于此任务的最新计算机视觉技术进行了比较研究。

论文的其余部分安排如下：水果和蔬菜分类的主要挑战在第2节中描述。第3节讨论了最近水果和蔬菜分类方面的重大努力。第4节分析了本任务中数据采集的最佳传感器的选择。考虑到水果和蔬菜分类的复杂应用，在第5节中讨论了必要的预处理，以避免由于环境造成的噪声和遮挡。经过重要的预处理后，数据被处理以进行不同特征的提取，该过程的技术在第6节中进行了讨论。第7节对使用提取特征的最新分类技术进行了比较。最后，在第8节中对现有技术的不足和未来的发展方向进行了更精确的讨论。

3.2 Key challenges

总述：

• 第一子段介绍了由果蔬广泛的存在导致的识别分类难问题。
• 第二子段围绕“appropriate sensor”，介绍了用于数据采集的传感器类别，主要是声音、触觉和视觉传感器。
• 第三子段围绕“feature selection and representation for classification”，介绍了果蔬组间和组内识别特点和挑战。
• 第三子段介绍了“Machine vision approach”的重要性。

水果和蔬菜具有至关重要的感官和特征，这也取决于水果和蔬菜的广泛应用。

appropriate sensor：视觉传感器对许多因素高度敏感，例如照明条件和背景环境。这些基本因素是许多复杂因素的结合，包括反射，折射，比例，旋转和平移，这些都需要深入考虑。

feature selection and representation for classification：水果和蔬菜具有许多种间和种内变异和相似性。类别间的变化是主要的变化，即颜色，纹理和形状的变化，而类别间的变化通常更微妙且难以区分，即不同种类的芒果或苹果在特征上只有很小的变化。调查表明，单个特征不能被认为足以对水果和蔬菜或一般物体进行有效分类。

Machine vision approach：设计的算法可以通过多种方式进行分类，通常的分类是基于神经网络（NN）并手工完成的。

3.3 The state-of-the-art

总述：

• 第一子段介绍了果蔬识别和分类的技术发展过程和不足。
• 第二子段介绍了果蔬识别和分类前沿发展。

大约所有以前的工作都有一个核心思想，即使用一种或多种传感器以及机器学习技术来识别与产品相关的特征，例如形状，颜色，质地和尺寸，以进行分类。

水果和蔬菜的所有物理方面都被认为是有效分类的可行特征。最初的努力是通过使用全局特征（即形状和颜色）进行分类，并通过更高级的方法来分析局部特征（例如纹理）。从普通的黑白相机到最先进的高光谱相机，传感器已被用来捕捉水果和蔬菜的特征。已经研究了基于经验和神经网络（NN）的机器学习方法，并且正在针对此任务进行不断改进。

在现实世界的系统中，已经确定了许多因素，这些因素在时间和准确性方面对实现高性能提出了限制。可变的背景环境，照明不一致，镜面反射和识别不一致是关键约束。

在这方面所做的大部分工作是将图像分析作为特征描述和用于分类/识别的机器学习算法结合起来。这些工作考虑了一个物理特性，并将其表示为基于机器视觉的特征描述。然后将这些特征作为分类算法的输入，以收敛于定性输出。

已经研究了许多特征描述和分类的技术，但仍有很大的重新设计和改进空间来执行有效的分类。一个有效的果蔬分类系统需要对特征、传感器和分类算法的所有相关问题进行彻底的反思，以实现它们作为一个统一的系统。这种重新思考的一个例子是选择一个健壮的特征描述符，比如仿射变换。

为了详细比较水果和蔬菜分类所做的努力，将整个过程分为子过程介绍，如下图所示。

本文将按这些组成过程的顺序进行组织，提供过程的一般介绍，然后描述水果和蔬菜分类中使用的特定变体。

3.4 Data acquisition

总述：

• 第一子段介绍了数据集的定义和采集方式，常用传感器的类别以及高光谱传感器的特点和不足。
• 第二子段介绍了热传感器和声音传感器的特点和不足。
• 第三子段介绍了触觉传感器的特点和不足。
• 第四子段介绍了轻型结构传感器（LSS）的特点和不足。（LSS提供深度信息）。

由真实信息组成的采样图像称为数据集，以数字形式收集此类图像的过程称为数据采集。颜色，热，光谱，声学，触觉和深度传感器已用于数据采集，用于农业和食品加工领域的分类和识别。

对文献的详细研究表明，对象的反射特性可以由波长表示，而高光谱相机可以用于此目的。该技术具有检测具有相似颜色或背景的不同对象的固有属性，并且对许多因素不太敏感。已确定高光谱数据的高维度本身就是其在高效系统中使用的局限性，即需要高计算能力才能对高光谱图像进行分类。

热分析最近已用于许多领域，例如植物病害检测，冷藏对果实的冷害，农作物成熟度估算和农作物产量估算。这种技术也容易产生树冠效应，并且对温度变化敏感。而且，一些例子中直到果实产生明显损害之前，都没有可见的热信号。

在声学分析中，水果会受到物理冲击而激发，从而产生用于测量弹性模量以确认硬度和新鲜度的声波。 另一种方法是使用对准水果的超声波束来测量参考束和反向散射束的相互关系，以此作为分类的属性。接触式和非接触式声波传感器都对周围环境条件高度敏感，这使其不适用于特定环境，即非破坏性，超级市场和机器人收割。

触觉传感器具有识别视觉上相似但由不同触觉特性组成的对象的能力，例如， 水果和蔬菜在不同的成熟水平。来自多个传感器的信息组合更加类似于人类的大脑识别方法，这种方法更加明显，该方法使用多种感官的组合来识别对象。但是，结合分别由视觉和触觉传感器产生的全局和局部信息存在固有的局限性。此外，与视觉传感器相比，触觉传感器是基于接触的并且速度较慢。 这些限制使视觉触觉概念不适用于无损且速度更快的自动分类系统。

轻型结构传感器（LSS）为机器视觉增加了新的维度。深度与颜色，形状，大小和纹理一起被视为第五维。 结合深度（D）数据的RGB数据统称为RGBD数据。RGBD数据有多种应用，例如分类、目标跟踪、曲面匹配、三维建模和姿态识别。

下表列出了传感器在水果和蔬菜分类中所利用特征的详细比较。

3.5 Data pre-processing

总述：介绍图像预处理的重要性。

3.5.1 Pre-processing

总述：

• 第一子段介绍了图像预处理的概况。

RGB矩阵捕获冗余的原始信息，这些信息需要进行统计处理，以剔除意外信息，并确定由于噪声、失真和传感器对来自环境的相同物理输入的可变灵敏度而丢失的信息。原始图像在整体或基本级别上进行处理，将像素作为预处理的最低抽象级别。

下表详细说明了预处理技术及其应用和限制条件。

3.5.2 Segmentation

总述：

• 第一子段介绍了基于边缘的图像分割和基于阈值的图像分割的研究进展。
• 第二子段介绍了基于区域的图像分割的研究进展。
• 第三子段介绍了基于特征的图像分割的研究进展。

图像分割是计算机视觉系统中的一个关键挑战，它决定了高层图像分析的整体有效性。许多基于亮度、颜色、灰度值、纹理和边缘的分割技术已在文献中报道。

初步的分割可以通过检测边缘和从图像中减去不需要的对象或背景来实现。像素强度和方向被广泛用于消除滤波图像每个像素处的局部不连续。在复杂图像的边缘像素提取中，上下阈值的选取是关键，不同的边缘检测技术都有在预处理图像中检测假边缘的趋势。因此，基于边缘的分割方法不太适合具有相似背景、遮挡和混合边缘的图像。

基于阈值的分割采用了图像中生成区域的像素级阈值。大多数的灰度技术已经改变了RGB图像分别应用三个通道的阈值。阈值的估计也是非常关键的，许多方法都使用hit和trial来达到这个目的，但是计算机视觉任务需要一个完全自动化的阈值收敛来进行分割。

在基于区域的方法中，像素强度和空间连通性被用作像素分组的相似性度量。采用了大量相似准则，如候选像素的多个邻域之间的像素强度差异、运行均值和标准差。

下表描述了最近在食品工业的各种应用中使用的细分技术。

3.6 Feature extraction

总述：主要介绍了果蔬特征和果蔬特征描述符的分类和限制。

一段与数字图像中具有更高视角的对象的某些特定动态特性有关的信息，即识别、分类、检索和重构，称为特征描述符。水果和蔬菜有几个明显的视觉特征，称为特征。

下表描述了基于特征描述符的全局到全局和局部到全局识别的分类。

3.6.1 Shape feature descriptors

总述：

• 第一子段介绍了形状描述符在果蔬分类中的应用背景。
• 第二子段介绍了基于轮廓和区域的形状特征描述子。
• 第三子段介绍了链码（chain code）、比例空间方法（ scale space methods）和空间划分（spatial partitioning）等的描述形状特征的数学模型。
• 第四子段介绍了用神经网络描述果蔬形状特征。

与水果和蔬菜的自然形状和更复杂的形状相比，球形或准球形更易于描述为特征向量。形状特征向量可用于水果和蔬菜的量化，例如，在食品工业中，通过投影面积、周长、宽度、主对角线和小对角线估计尺寸。

形状特征描述符是试图以基于人类直觉的方法（例如，描述为一组轮廓的形状）建立对象形状的数学模型。形状描述符的初步技术是基于形状的边界和内部来考虑重要的兴趣点，形状兴趣点的各种类别包括光谱特征，曲率，形状内容，形状矩阵，矩和形状签名。

形状特征描述子最直观的分类之一是基于轮廓和基于区域的形状特征描述子。

水果或蔬菜形状的基本几何参数，如曲率、拐角、区域、重心、凸度、圆度比、偏心率等，只能区分差异较大的形状，而将它们结合起来，可以更精细地理解。形状描述基本几何参数的基本定义见下表。

链码是基本几何参数的复杂数学模型，用于以标准化方式描述任何几何形状。形状几何形状的线段在连通性方面被描述为方向链。但是，链码容易产生噪音和变形。

在形状上下文中维护对象边界处已识别关键点周围细节的直方图，其中所有直方图的组合描述了对象的形状，如下图所示。

参考文献[116]中形状数学模型的详细分类如下表所示。

由于神经网络（NN）的较低层具有学习卷积核的功能，因此已对其进行了边缘检测。可以通过CNN中的更深层来识别更深，更复杂的边缘关系。但是，有效形状特征的生成仅限于训练CNN的大量数据的可用性。特征描述符提取虽然是一个很吸引人的想法，但是开发这种卷积层也是一项复杂的任务。

下表显示了最近基于形状的水果和蔬菜分析的比较。

3.6.2 Texture feature descriptors

总述：

• 第一子段介绍了纹理特征描述的背景知识。
• 第二子段介绍了基于滤波器、统计、词袋、尺度不变性和神经网络的纹理描述方式的历史研究。
• 第三子段介绍了基于滤波器、统计、词袋、尺度不变性和神经网络的纹理描述方式的的研究现状。
• 第四子段介绍了基于滤波器、统计、词袋、尺度不变性和神经网络的纹理描述方式的的前沿研究。

纹理是称为图元的图元的空间排列，图元是微观级别的基本结构，即图像中的像素和人类视觉感知系统中的原子。

纹理作为一种属性，可用于对纹理进行分类，识别，分割，合成和形状分析。

纹理描述是任何应用程序纹理分析的核心。在该领域中已经报道了许多研究，而纹理表示方法被分为六大类，即统计，几何，结构，基于模型，基于滤波器和特征描述符。

从人类视觉感知的研究中可以明显看出纹理分析领域的进步，根据该研究，可以将最复杂的纹理建模为任意阶次统计量。

尽管在这个方向上进行了大量研究，但是就将计算需求和复杂性实现为计算机视觉应用而言，对于日常生活应用而言，大约大多数特征描述符不太可行。基于这些限制，纹理描述符分为两类，即下表中描述的基于高质量和基于高效率的解决方案，其中包括针对复杂性的确定解决方案。

下图显示了在不同照度，比例和视点条件下食物图像中纹理的复杂性。

下图中描述的纹理描述符的改进可以以渐进方式划分为里程碑，例如基于过滤器的，统计的，布袋（BOT），不变式和卷积神经网络（CNN）的描述符。

下图描述了BOT中涉及的操作的详细描述。

下表列出了用于BOT的每个后续操作的重要技术。

下表给出了近期研究的非详尽比较。

3.6.3 Color feature descriptors

总述：

• 第一子段介绍了颜色特征描述的背景知识。
• 第二子段介绍了直方图（histogram）、不变矩（moment invariants）、SIFT和相干矢量（coherence vectors）的颜色特征描述符。
• 第三子段介绍了颜色特征描述的研究现状。

与其他特征相比，颜色具有显着优势，例如易于高频提取，尺寸，形状和方向不变，并且与背景复杂性无关。

RGB空间中相同像素生成的图像对于不同的设备可能具有不同的RGB值，需要对其进行转换以进行标准化。RGB的这种非线性特性使其不太适合人类视觉检查。

水果或蔬菜的颜色取决于成熟和生长过程中的物理，生化和微生物变化。但是，如下图所示，光度的变化（即方向，比例和照度）可能会对水果的颜色产生重大影响。

下表给出了基于对角线模型的五个不同的颜色特征描述符不变性。

水果和蔬菜的颜色可以描述为整体或均一颜色的区域，即全局或局部。 直方图（histograms），不变矩（moment invariants），SIFT和相干矢量（coherence vectors）已显着用于水果和蔬菜分类中的颜色描述。

讨论的颜色特征描述符不变性的摘要。 下表列出了对角线模型。

下表提供了基于颜色的水果和蔬菜分析的性能压缩结果。

3.7 Classification

总述：

• 第一子段介绍了用于果蔬分类中常用的机器学习模型：KNN、SVM、决策树（decision trees）和神经网络（Neural Networks）；
• 第二子段介绍了有关果蔬机器人收割、质量评估和农产品分类应用的相关文献；
• 第三子段介绍了有关果蔬的基于视觉的质量分级应用的相关文献；
• 第四子段介绍了有关果蔬分类的一些补充文献；

最近的研究为此使用了各种机器学习模型，例如KNN，SVM，决策树（decision trees）和神经网络（NN）及其变体。

下表列出了使用预训练的CNN进行对象分类的重要变体技术。

照明被认为是颜色变化的关键驱动因素，因此，仔细考虑了产品的光照和相对位置。

下表提供了对最先进的水果和蔬菜分类方法的更详细比较。

3.8 Summary

总述：概括了整篇文章的主要内容。

对果蔬分类过程进行了全面综述。

对传感器的重要特性、特征描述和分类算法进行了详细的比较研究。

对水果和蔬菜分类领域中使用的技术进行了比较，以了解该领域当前的关键挑战。

这项研究探索了在食品工业的不同应用中使用现有传感器和组合多个传感器进行数据采集的主要限制因素。

文中还简要介绍了多传感器数据融合的难点。

关于食品工业中基于计算机视觉的分析所需的预处理和分割的重要性，已经提出了重要的观点。

详细讨论了预处理图像和分割图像的特征描述，重点讨论了果蔬图像的特征描述。

最后，对各种分类技术及其在食品工业不同应用中的组合进行了综述。

3.8.1 Conclusion

总述：主要介绍了果蔬分类在多传感器数据融合上的限制，在新兴技术（比如RGBD相机）上特征描述子的不足以及在检测果蔬类别和果蔬大型数据集上的限制。

根据文献，本文对水果和蔬菜的分类和组成过程进行了最新的综述，并记录了以前所做的努力。

在数据采集设备，特征表示和分类算法方面，已经确定要克服的重大挑战。发现在食品工业中用于数据采集的传感器由于在各种应用中的实质性限制而受到限制，例如，某些应用本质上是非破坏性的，具有环境闭塞性，存在类间和类内相似性和复杂特征。

在水果和蔬菜分析的同一应用中使用多个传感器的其他重大限制是它们产生的数据的不同性质。 数据的这种不同性质也受到限制，无法提供有效的多传感器数据融合。

在现有技术中开发和使用的特征描述符在这种能力上也是不足的。此外，没有足够的特征描述符可用于最新类型的传感器，即RGBD传感器。特征描述符的其他重要限制是由于它们对图像捕获的许多自然信息素的敏感性。从相关文献中可以明显看出这些局限性，并在本文中进行了介绍。

从文献中可以明显看出，机器视觉算法对于处理用于分类的多特征超维信息是微不足道的。水果和蔬菜有许多类别，每种类别都具有多种功能。所确定的分类算法受到可用的大量数据集缺乏的限制。已经确定，文献中进行的大多数实验在类别或数据集大小方面都受到限制。

当前关于预训练的CNN开发的研究是朝着提供为计算机视觉应用提供现成组件的能力迈出的一步。但是，这些经过预训练的CNN依赖于数据，并且缺乏大量水果和蔬菜的数据集。

考虑到对水果和蔬菜分类的详细讨论，可以提出一个建议，即对于食品工业中更有效地使用计算机视觉，需要进行重新思考。

3.8.2 Future directions

总述：主要介绍了新兴传感器在果蔬分类上利用不足（比如RGBD传感器因数据集缺乏而使用效果不佳），视觉在某些应用场景上运用不足（比如超市自我结账，其制约因素有光照条件，及时性，大数据集，有效性和准确性等），以及RGBD相机的未来应用潜力。

已经确定了在不同应用领域中的最新技术的重大局限性。大多数新兴传感器尚未开发用于水果和蔬菜的应用。它们在水果和蔬菜分类中缺乏利用的主要原因是缺乏大量数据集。需要收集和扩充数据以建立新的数据集，以利用RGBD传感器获得更有效的结果。

在该领域的众多应用中，有些还没有得到很好的研究，例如，超市自我结帐，并使用最新的RGBD传感器执行此任务。在未来的技术中，将出现自动自我检验和在智能自我检验中利用视觉数据的重要证据。制约因素包括：光照条件，及时性，大数据集，有效性和准确性，以便在超市中引入这种新技术。在澳大利亚超级市场的​​一次粗略的互联网调查中，大约确定了150种水果和蔬菜类别，以前的研究都没有讨论过如此多的类别。最新的高级商品RGBD传感器用于对象分类，也可以用于水果和蔬菜的更有效分类。

本文对果蔬分类技术进行了详细的综述，以探讨在基于计算机视觉的自动检测中，最新技术的直观应用。所探索的技术是专门为达到预定目标而选择的。根据本研究得出的知识，我们未来的研究领域将是：

• 利用RGBD数据进行水果和蔬菜分类
• 基于RGBD传感器的超市自助结账系统级设计
• 处理大型RGBD数据集稀缺性的最佳方法
• 利用RGBD数据优化最先进的机器学习技术