基于计算机视觉的水果分级技术研究进展

基于计算机视觉的水果分级技术研究进展

林开颜、吴军辉 时间:2009年07月09日

摘　要：从水果尺寸、形状、颜色、缺陷等几个方面的检测技术及特征分类方法，介绍了国内外计算机视觉技术在水果分级中的研究进展，重点介绍了水果的缺陷检测技术，并认为具有启发式、智能化特点的彩色图像处理技术将会成为计算机视觉技术应用于水果分级领域的研究热点。
 关键词：计算机视觉；图像处理；水果分级
　　我国是一个农业大国，水果产量居世界前列，但水果分选比例很低，而发达国家水果产后处理比例高达80%～90％。水果的大小、形状、颜色对其在市场上的销售有着重要影响。
　　根据水果的外部品质进行分级的主要指标是大小、形状、颜色和表面缺陷。目前我国水果的分级主要由人工完成，国内现有的水果分选设备也只是基于机械工程技术，按照水果的大小和重量进行分选，而形状、颜色、表面缺陷的检测仍由人工完成。人工分选的主要缺点是：(l)需要大量劳动力，劳动强度大，效率低，分检成本高；(2)分级标准人工难以实现，分级精度不稳定，因为仅凭人的视觉很难实现量化指标的检测，而且工人长时间用眼和进行单调的操作，会造成身心疲劳和情绪的波动，这会使分级误差随着人的情绪发生波动。
　　计算机视觉技术为水果的外部品质检测提供了一种自动、无损、高效、客观的方法，食品工业已成为使用计算机视觉技术最多的十大工业之一。当前，世界上已有几个大厂家可以生产出对水果的大小、颜色、重量进行分级的机器，而现有的基于机器视觉的分检机器只解决了要求计算时间少的问题，如大小或颜色分类。然而，市场上对产品分检的要求越来越高，要求分检装置具有更强的视觉检测系统，能够确定水果形状、果茎位置、果皮的主次色调、缺陷面积等。
1　尺寸检测
　　大小是质量分级的第一个性能指标，可以利用机器视觉检测面积、直径、周长等水果外部参数来确定。冯斌等[1]通过计算机视觉技术获取水果的图像，对该图像进行边缘检测等处理后，以其自然对称形态特征为依据，确定水果的检测方向，进一步检测水果的大小。试验表明，该方法检测速度快、准确率高。
2　形状分级
　　形状或不规则度的分类可以根据水果最大直径和最小直径的相关性来估计，更复杂的方法可以利用傅立叶展开的方法来计算。傅立叶变换中，有用信息集中在最前面的分量中，Tao[2]用傅立叶变换的前10项分量描述边界信息，并定义了马铃薯形状的不规则度指标；Paulus[3]等将苹果半径序列进行傅立叶展开，分别取前12项余弦系数和前12项正弦系数进行主分量变换PCT (Principal Component Transform)，取最大的2个主分量(分别表示长宽比、锥度)作为特征值对苹果进行分类。Morimoto等[4]提出了一种神经网络和混沌理论相结合识别水果形状的方法，利用吸引子和分形维数来描述水果的不规则度，使得水果形状规则度的表示更为精确。林开颜等[5]利用梯度法检测出彩色水果图像的边缘，再用边界跟踪算法获取水果的轮廓半径序列，然后将其进行离散傅立叶变换，最后利用傅立叶系数定义分类器，根据给定的分类阈值对水果形状进行分类，对不同水果形状的实验证明了这种方法的有效性。
3　颜色分级
　　颜色是另外一个重要的、且已被广泛研究的质量因子。一些水果只有一个主颜色，即只有一种颜色在果皮表面均匀分布，这样果皮表面的平均颜色可以作为这些水果外部品种的一个重要指标。然而，一些水果如苹果、桃子等有第二种颜色可以作为成熟度的另一个指标，这样，就不能用一个全局的颜色作为质量参数。Nakano[6]利用神经元网络对红富士苹果进行分类。第一步，根据颜色、位置、平均颜色对苹果表面像素进行分类；第二步，根据水果平均颜色、颜色偏差、缺陷像素、正常红色像素比例等参数对苹果进行颜色等级的分类，正确分级率约为70％。 
4　缺陷检测
4.1 国外情况
　　在图像分析中，缺陷检测本质上是一个图像分割问题，也是一个难题，因为水果表面可能出现不同大小和程度不同的缺陷。灰度图像用于缺陷检测，常用的方法是把水果的平均灰度级作为水果的颜色，与平均灰度级差别较大的点作为缺陷点。但平均灰度是局部变化的，这是因为受水果曲面的影响，由中心点到边界点的灰度级会呈递减趋势；再者，受植物皮孔的影响，会存在噪声点。缺陷的颜色通常比水果的其它表面颜色更深，但是正常组织和缺陷组织间的对比度会因不同的缺陷组织而发生变化，而且其大小和面积也有很大差别。正因如此，简单的阈值化、背景减除或模板匹配无法获得满意的结果。Yang[7]的研究结果称，利用全局参数进行分割的方法适于大的且分散的缺陷，而纹理方法适合于斑块状的缺陷分割；Yang利用“洪水”算法(即分水岭分割方法)，来分割片状的缺陷，如褐色斑块、擦伤、萼凹区等，这种方法能消除光反射变化带来的影响，但由于使用了平滑算法导致所检测的缺陷偏大。在缺陷分类标准中，缺陷的大小是一个重要参数，因此对缺陷进行精确分割是非常必要的。后来，由Yang和Marchant[8]进行改进，在利用“洪水”算法初始分割后，利用活动轮廓模型(或称“蛇形”算法)进行精确分割以提高缺陷位置和大小的精度。Snake模型的能量函数采用积分运算，具有较好的抗噪性，对目标的局部模糊也不敏感，但容易收敛到局部最优，要求初始轮廓尽可能靠近真实轮廓，而且收敛速度慢。在两者的方法中，需要利用中值滤波或高斯滤波器来消除噪声，所产生的小的错误缺陷可以用阈值法来消除。
　　Heinemann等[9]利用苹果的平均色调H(Hue)来区分褐色苹果，这也是一种使用全局参数的方法，它利用一个判别函数来分类，分类精度达82.5％。 Miller[10]利用HIS彩色模型对柑橘进行分类，方法是对于苹果的每个颜色参数，计算其与标准颜色模型的均差和均方差，这些值再进行归一化处理，然后利用神经元网络、贝叶斯—高斯分类、无参数分离器等3种方法来进行分类，最大成功率达68.9%～85.8%。两者的分类精度与欧洲标准差距比较大。Leemans等[11]对每个像素与水果图像全局颜色进行比较，差别较大时(如大于某个阈值)，认为是一个缺陷组织的像素点；反之，则属于正常组织。由于水果像素点在3个颜色分量上均呈高斯分别，因此以正常水果图像的颜色向量的平均值作为标准颜色，采用Mahalanobis距离进行比较。这种方法在缺陷组织与正常组织的对比度明显时，检测效果较好。Molto等[12]利用机器视觉对水果的外部品质如大小、颜色、形状、缺陷、最大缺陷、茎杆、萼等进行分类，分割采用基于贝叶斯定理的分类算法。Shahin 等[13]利用线扫描的X-射线成像设备来检测苹果的碰伤，以空间边缘特征和离散余弦变换系数为特征，利用神经网络进行分类，对旧的碰伤(1个月)分类精度为90％以上，而对于新的碰伤(24小时)，精度仅有60%左右。Leeman等[14]以苹果的缺陷颜色、形状、纹理、位置等信息为特征，利用K-均值聚类和主分量分析相结合的方法对苹果进行分类，其中主分量分析和代表苹果97％信息的前Ncp个主分量用于进行最后分类的二次判别式的计算，成功率为73％， 而错误发生的50%是良性的，而另外50%则由于缺陷是晒伤，或者是撞伤或者缺陷太靠近果梗和花萼很难被检测到，同时水果分级的整个过程都会对最近的缺陷检测结果造成影响。 
4.2 国内情况
　　国内，何东健、杨青等[15]以提高球形果实表面缺陷面积的测定精度为目的，分析了利用投影图像直接测定球形果实表面缺陷存在的问题，提出并建立了从投影图像恢复球形果实表面几何特征的像素点变换法和边界变换法，通过试验结果表明，这2种方法可使测定相对误差减少35%左右。刘禾等[16]利用计算机图像技术进行了苹果坏损自动检测的研究，根据苹果光学反射特性建立了一套适于苹果坏损自动检测的计算机图像系统，并分析了苹果图像中有坏损或噪声，无坏损和有花萼或果梗时苹果图像灰度值的特征变化，鉴于缺陷出现位置、大小等因素的不可预测性，提出了一种基于缺陷的单调检测方法以及缺陷区域判别方法。王江枫等[17]探讨了应用计算机视觉技术进行芒果表面坏损检测的方法，结果表明Krisch算子及以Krisch算子为正像的反锐化掩摸法效果较好，能够检测出完整清晰的整果及损坏区域边缘芒果，损坏检测可直接通过求坏损区域与整果区域比值的方法。应义斌等[18]利用R分量与G分量在缺陷区域与非缺陷区域交界处的突变点为可疑点，再经区域增长，求出了整个受损区域的面积。邓继忠、张泰岭等[19]依据所研究的梨苹果等品种水果的外形，以及碰压伤特征，提出了一个简单的计算碰压伤面积的数学模型，该数学模型根据计算机水果分级检测时通常将水果外形作为球体或类球体看待这一原则，把水果碰压伤的缺损表面也看似接近于圆形，用球面上一个任意大小的圆形区域代替水果及果面上的碰压伤，由此推导出计算碰压伤面积的数学模型，并给出了碰压伤处于非边缘位置和边缘位置时碰压伤的直径和面积计算公式，实验结果表明与统计像素的方法相比用该模型可大大提高测量精度。何东健、耿楠等[20]研究了用活动边界模型(ACM)检测果实表面缺陷，探讨了活动边界模型(ACM)的原理和求解方法，改进了活动边界模型，使ACM在开始收缩时位于目标轮廓外侧，使公式能记忆边界的方向。当存在两个相距较近的缺陷时，ACM会收敛于正确的边界，提出插值算法，对得到的不连续边界进行插值，从而得到封闭的缺陷边界能够准确地检测果实表面的缺陷边界。冯斌、汪懋华[21]利用计算机视觉技术识别水果表面缺陷，提出了分割缺陷和识别缺陷的新方法，该方法考虑了水果的形状特点，使不同灰度级的缺陷一次性分割成功。在图像分割时，没有采用传统的单阈值和多阈值分割方法，而是采用标准件球面的灰度和水果灰度进行比较，从而进行图像的分割。在识别过程中，利用水果的三维空间特征采用了傅氏变换，实现了缺陷与果梗花尊的区分。王亚琴等[22]用2r-g-b彩色分量对水果进行直方图分割，然后利用二值形态学方法和随机圆HOUGH变换检测果实，取得了较好效果。
　　对用于缺陷检测的不同的技术的分析表明，灰度图像需要更复杂的算法，因为不同水果之间或同一水果内部的不同地方，其亮度都会发生变化。对于不同水果间的亮度变化，意味着分割算法必需是自适应的，不能利用先验信息或者背景图像信息；对于同一水果内部的两点差异问题，意味着要利用基于区域的分割算法，同时也对光源系统提出了更高的要求。当然，所有这些问题同样存在于彩色图像处理中，但可以通过研究彩色图像3个颜色分量间的关系来克服。例如，对照明问题，HSI与人眼的色彩感知相吻合，其在一些照明不均的场合特别有用，因色调与高亮、阴影无关，不受光源亮度强弱的影响，色调对区分不同颜色的物体非常有效。在现有的利用彩色图像进行缺陷检测的大部分方法中，色彩信息并未得到有效利用，研究人员为了获得较高的处理速度，往往只利用1个或2个分量信息，或从中计算出一个单独的参数，这样无法获得满意的分割效果，并且失去了大部分的空间信息如形状、局部纹理等。
5　茎杆和萼检测
　　在桔子、桃子、苹果等水果中，长的茎杆可能会损害到其他水果；再者，在进行缺陷检测时，茎杆和萼通常会和缺陷一起被分割出来，必须将其与缺陷分开。因此，确定长的茎杆位置也引起了人们的兴趣，杆茎和萼在灰度图像中均表现为比较暗的斑块，Yang[8]先利用“洪水”算法分割比较暗的斑块，为了将其与其他的片状缺陷分开，利用结构光法获得苹果的三维几何形状，对于每个斑块在正常散射光和结构光下分别提前的特征，再利用BP算法对这些特征进行分类，进而可以获得茎杆、萼和缺陷。在缺陷处于轮廓边缘或缺陷处有凹陷时，这种方法不是很有效。Ruiz等[23]分别用彩色图像分割、边界跟踪、细化算法等3种方法来确定茎杆和萼，其中彩色图像分割是利用线性的判别函数来识别待分割区域；而边界跟踪是在对二值图像提取边界后，利用边界点与质心的距离来确定茎杆和萼的位置；细化算法是通过反复的细化迭代，直到获得茎杆的骨架，以确定茎杆的位置。结果显示，以水果的任意视角来识别图像，总有效率超过90％，当叶片和分枝同时出现时，将会影响前两种方法的效率，而细化算法要求从茎杆的侧面采集图像，即视图中茎杆要凸出来。水果表面反射光的模式表现为光条纹，其形状由水果的形状和方向确定，Penman等[24]通过对这些光条纹的分析来确定茎和萼的位置，这种方法的分类性能与萼凹区域的表面形状有很大关系，当萼凹处形状复杂时，算法难以获得满意结果。
6　特征分类
　　水果的外部特征如大小、颜色、形状、缺陷等提取后，就要对其综合分类。不管分类算法是参数的还是非参数的，其分类精度总是依赖于分类数据。当特征多的时候，带参数的分类器分类精度会下降。而输入输出之间的非线性会导致特征数目的增加。然而，在特征数目减少时，基于参数估计的分类器与非参数的分类器有着同样的分类性能。在许多识别问题中，由于模式类别是多模的，因此传统的方法如贝叶斯分类器难以获得应用，而非参数估计的分类器如BP网络、K最近邻、决策树等常受到青睐，无参数分类器通过样本数据的训练，可以把特征空间进行恰当分类，无须先验信息。Kavdir等[25]取苹果图像的二阶矩、对比度、互相关等纹理特征，比较了BP网络和无参数分类器贝叶斯分类器、K最近邻、决策树等的对缺陷的分类性能，结果显示正常组织与缺陷组织间的对比度比较高时，无参数分类器效果较好，而BP网络即使在两者间的对比度比较差时也能很好地进行区分。文中还比较了BP网络对直方图特征和纹理特征的分类情况，结果显示，直方图特征只在缺陷组织与正常组织间的对比度比较高时才有效，这是因为直方图只反映不同颜色像素出现的频率，不能提供有关强度或颜色特征分布的信息，而纹理特征更能反映某个像素四周的相关信息，能更好的表征水果表面的局部颜色变化。因此，在通过简单的阈值化技术无法检测缺陷时，应该考虑采用纹理特征，因为一些缺陷不一定会改变颜色分量的特性，但是会呈现出一些特殊的结构形式。Blasco等[26]研制了1套水果自动分级系统，先由有经验的操作人员进行离线训练，把水果表面分为背景、主色调、缺陷区域、茎等几个区域，利用贝叶斯定理确定每种颜色的属于各个类的概率分布，再通过算法确定查找表，在线分类时根据这张表来确定每个像素的分类。
　　综上，在国内研究和开发基于计算机视觉技术的水果实时分级系统，选出规格一致的高品质水果，以提高市场竞争力，具有重要的经济价值。此外，随着农业经济结构调整的加速，农业劳动力将向其他产业转移，并呈急剧下降趋势，依靠智能化、视觉化的机器系统，把人们从繁重的、单调的劳动中解放出来，这是进入新世纪农业发展的一个趋势。在生产过程中采用计算机视觉技术，图像数据量大、处理和传输速度慢，一直成为视觉信息技术进入生产应用的障碍，因此研究和开发新型、快速、有效的计算机视觉信息获取与实时处理和模式识别技术，具有重要的理论技术价值和广阔的应用前景。传统的基于灰度图像的算法已难以胜任复杂图像处理的需要，模糊逻辑、人工元神经元网络以及遗传进化计算等智能算法已在计算机视觉领域获得广泛应用。由于人眼只能识别几十个灰度级，但却可以辨别成千上万种颜色，而且彩色图像可以提供更为丰富的信息，故以智能理论与技术为手段，快速处理复杂图像的、具有启发式的、高效的彩色图像处理技术将会成为计算机视觉技术应用于水果分级领域的研究热点。
参考文献
[1] 冯斌，汪懋华. 基于计算机视觉的水果大小检测方法[J]. 农业机械学报，2003(1):73-75.
[2] Tao Y， Morrow C T,et al. Fourier-based separation technique for shape grading of potatoes using machine vision[J]. Transactions of The ASAE， 1995，38(3)， 949-957.
[3] Paulus I， Schrevens E . Shape characterization of new apple cultivars by fourier expansion of digitized images. J. Agric. Engng. Res. ，1999,72：113-118.
[4] Morimoto T， Takeuchi T， Miyata H，et al. Pattern recognition of fruit shape based on the concept of chaos and neural networks[J]. Computers and Electronics in Agriculture，2000，（26）：171-186.
[5] 林开颜，吴军辉，徐立鸿. 基于计算机视觉技术的水果形状分级方法[J]. 农业机械学报，2005(6):71-74.
[6] Nakano K . Application of neural networks to the color grading of apples[J]. Computers and Electronics in Agriculture，1997(18): 105-116.
[7] Yang Q. An approach to apple surface feature detection by machine vision[J]. Computers and Electronics in Agriculture， 1994,(11):249-264.
[8] Yang Q， Marchant J A . Accurate blemish detection with active contour models[J]. Computers and Electronics in Agriculture，1996,(14):77-89.
[9] Heinemann P H， Varghese Z A， Morrow C T， et al . Machine vision inspection of golden delicious apples[J]. Appl. Eng. Agric. ASAE ，1995，11 (6)， 90-906. 
[10] Miller WM.Optical clefect anasis of florida citrus[J].Appl.Eng.agric.ASAE,1995,11(6):855-860.
[11] Leemans V， Magein H， Destain M F . Defects segmentation on ‘Golden Delicious’ apples by using colour machine vision.Computers and Electronics in Agriculture， 1998，20：117-130.
[12] Molto E， Blasco J， Benlloch J V. Computer vision for automatic inspection of agricultural produces. In SPIE Symposium on Precision Agriculture and Biological Quality. 1－6 November，1998， Boston， MA， USA. 
[13] Shahin M A， Tollner E W， McClendon R W . Apple classification based on surface bruises using image processing and neural networks[J]. Transactions of the ASAE， 2002,45(5)，1619-1627.
[14]  Leemans V， Destain M F . A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering， 2004(61)：83-89.
[15] 何东健，杨 青. 果实缺陷面积的计算机视觉测定研究[J]. 农业工程学报，1997(12)：156-160. 
[16] 刘 禾，汪懋华. 用计算机图像技术进行苹果坏损自动检测的研究[J]. 农业机械学报，1998(12)：81-86. 
[17] 王江枫，罗锡文. 计算机视觉技术在芒果重量及果面坏损检测中的应用. 农业工程学报，1998(12)：186-189. 
[18] 应义斌，景寒松，马俊福，等. 机器视觉技术在黄花梨尺寸和果面缺陷检测中的应用. 农业工程学报，1999(1). 
[19] 邓继忠，张泰岭. 应用计算机视觉技术对梨碰压伤的检测[J]. 农业工程学报，1999(3)：205-209. 
[20] 何东健，耿 楠. 用活动边界模型精确检测果实表面缺陷[J]. 农业工程学报，2001(9)：159-162. 
[21] 冯斌，汪懋华. 计算机视觉技术识别水果缺陷的一种新方法[J]. 中国农业大学学报，2002(4)：73.
[22] 王亚琴，高华,自然环境下水果分割与定位研究[J].计算机工程，2004(7):583-586. 
[23]  Ruiz L A， Molto E， Juste F et al . Location and characterization of the stem calyx area on oranges by computer vision[J]. Journal of Agricultural Engineering Research， 1996,(64): 165-172.
[24]  Penman D W. Determination of stem and calyx location on apples using automatic visual inspection[J]. Computers and Electronics in Agriculture， 2002,(33): 7-18.
[25]  Kavdir I B， Guyer D E . Comparison of artificial neural networks and statistical classifiers in apple sorting using textural features[J]. Biosystems Engineering， 2004，89 (3)， 331-344.
[26]  Blasco J， Aleixos N， Molto E . Machine vision system for Automatic quality grading of fruit[J]. Biosystems Engineering， 2003，85 (4)， 415-423.