英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
基于多光谱机器视觉的双色苹果自动分级
摘要：本文提出了一种利用机器视觉对苹果果实进行分级的新方法。通过对多光谱图像中的缺陷进行精确分割，使其与茎/花萼区域实现最小混淆，并从分割区域提取统计、纹理和几何特征。使用这些特征，统计和语法分类器被改进后用于两类和多类的水果分级。结果表明，在选择特征时，只保留了重要的特征，从而提高了性能，而统计分类器的性能优于它们的句法。与最先进的技术相比，我们的两类分级解决方案获得了更高的识别率(93.5%以上)。在这一工作中，我们进一步提供了一个更现实的多类分级解决方案，对不同的分类体系结构进行了评估。我们的观察结果表明，单分类器体系结构在计算上要求较低，而级联的更准确。
关键词:水果分级；缺陷检测；多光谱图像；特征提取；特征选择；分类
1.介绍
机器视觉系统使用专用的硬件和软件对半导体芯片和瓷砖等生产的产品进行质量检验。食品工业是广泛使用机器视觉的十大行业之一。特别是由于各类缺陷的存在和果皮颜色的自然差异，在苹果的检测中会出现各种问题。
研究者们使用了不同的传感技术对苹果水果进行分级，如x射线成像、高光谱成像和基于光谱反射率的方法。然而，这个问题的大部分工作都是基于可见/近红外(NIR)成像的系统，它可以分为两个子组:(1)使用特殊设备的和(2)使用普通机器视觉的。在前一组中，研究者使用机械系统控制水果的走向，用特殊照明来协助分级或附加一个热相机用以辅助进行缺陷分割，在我们的研究中使用的图像采集系统只是一个普通的传感系统，没有使用像第一组这样的机械、光学或电子设备。因此，我们不会在使用特殊设备的工作上做详细说明，而是重点介绍那些使用普通机器视觉的方法。
从图像处理的角度来看，苹果的品种可以分为两种:一种是单色的，另一种是双色的。由于颜色过渡区的存在，图像处理对后一种的检测面临的问题更大。在使用普通机器视觉检测苹果的过程中，在客观规律的基础上，Wen和Tao(1999）引入了一种可以将双色苹果分为两类的单光谱系统。在他们的系统中，缺陷区域会和茎/花萼区域混淆，准确率约为85-90%。Leemans等人(2002)提出了机器视觉系统。用彩色照相机将苹果按欧洲标准分为四类。他们采用了二次鉴别分类器(QDC)和多层感知器(MLP)进行分类，分别实现了对单色和双色苹果的78%和72%的分类精度。Blasco等人(2003)提出一种阈值分类的方法，用彩色摄像机将单色苹果分为三种质量级别，分类准确率达86%。Leemans和Destain(2004)用QDC的方法将双色苹果分为两种质量级别，准确度达到73%。Kavdir和Guyer(2004)提出了一种含有Bamp;W相机的单光谱系统，其Bamp;W相机灵敏度也高于NIR。他们通过贝叶斯和最近的邻居(k-NN)分类器、决策树和反向传播神经网络分别将单色和双色苹果的等级划分为2个和5个质量级别。他们的系统实现了两类情况的完美分类，而在分为五类的时候准确性则下降到84-89%。由于采用了图像级别处理，该系统无法提供与缺陷大小相关的决策。Kleynen等人(2005)提出用线性判别分类器(LDC)将双色苹果分为两类质量类别，并实现了90%的准确率。最近，Xiao-bo等人使用多个彩色摄像机扫描双色苹果的表面，采用阈值法将水果自动分为正常或有缺陷，准确率达到96%。
采用机器视觉对苹果进行质量分级的最新研究表明，研究者们提出了多种不同的解决方案：成像技术、特殊设备、苹果品种测试、质量分类和评分算法。因此，找到一个共同且相关的基础，用适当的分类方法对这些工作进行比较和分组是很有必要的。另一方面，正是这种多样性再次支撑了以下结论:“问题多样化使得用机器视觉对苹果进行质量分级成为一项繁重的任务。”因此，目前在尊重所有标准规范的同时，仍在寻找一种适用于所有苹果品种的健全、通用、准确的评分系统。
本文介绍了一种水果分级系统，该系统从有缺陷的果皮(由缺陷分割和茎/萼识别系统发现)中提取/选择了若干特征，并通过统计和语法分类器将苹果分为相应的质量类别。分类首先将苹果分为两个质量等级(健康的或有缺陷的)，然后一个更现实和创新的分类是通过多类分级实现的。
2.方法
基于机器视觉的苹果检验系统应该首先对缺陷果皮进行精确的分割，然后将苹果按质量级别正确分为相应类别。要注意的是，缺陷分割包括从图像空间中彼此相似的茎/萼区域中精确识别出缺陷，在这项工作中使用了这种方法。这篇文章主要强调了水果的分级问题，因此，缺陷分割和茎/萼的识别部分只做简单说明。
2.1图像采集和数据库
数据库是由生长在漫射照明环境中的乔纳金苹果的图像组成，这些图像是由一个带有四个干扰带通滤波器(以450、500、750和800nm为中心，分别有80、40、80和50nm的带宽)的高分辨率的Bamp;W相机获得。过滤器以平铺的方式在空间安置,允许高分辨率相机捕捉四个过滤图像，每个图像大小为430times;560像素，分辨率为8/像素。在Kleynen et al.(2003, 2005)的研究中提供了图像采集和筛选的细节。图1是图像采集系统的示意图，该系统仅能进行单视图检查。有280个健康苹果，其中246个有果皮缺陷(赤褐色、瘀斑、腐烂、烫伤、冰雹损伤、可见的肉损伤等)，并且大小和形状各异。要注意的是，在图像采集时，水果是手动输送到相机拍照工位，因此缺陷会在视图中心。之所以选择乔纳金这个苹果品种而不选单色的苹果，是因为乔纳金是双色果皮，颜色过渡区的存在(Kleynen et al.， 2005)给缺陷分割造成了更多的困难。为了提供参考标准，数据库中苹果的缺陷和茎/萼区域是由人工分割的。图2显示了一些来自数据库的人工分割示例。
2.2自动缺陷分割和茎/萼的识别
欧盟的苹果市场标准(匿名，2004)定义的质量类别对缺陷尺寸信息有要求。因此，精确地分割缺陷是非常必要的，这又会有各种问题，因为缺陷在类型、大小、颜色和纹理方面都有很大的不同。在本研究中，缺陷的自动分割是通过连续应用两个先前引入的解决方案来实现的。首先，通过基于MLP的方法(Unay and Gosselin, 2006)对候选缺陷区域进行像素级分类。然后，这些分割部分是通过排除茎和萼区域来细化的——水果的自然部分会和一些缺陷显示出类似的光谱特征——这些光谱特征可以由基于支持向量机(SVM)的方法(Unay和Gosselin, 2007)发现。关于这些解决方案的更详细的解释可以在Unay和Gosselin(2006, 2007)中找到。
2.3特征提取
水果的分割结果可能包含几个未连接的物象(形状和大小不同)，如图3所示。为了得到关于水果的一个结论，你可以分别处理每个对象或将它们一起处理。在前一种情况下，要从单个结论中得出关于水果的总体结论是很复杂的。因此，这里使用后一种方法。
表1总结了从每个果实分割区域提取的特征。统计特征(一阶空间统计)测量了在随机选择的地点观测到灰度值的概率。这些特征被选择用来测量分布的统计特征:算术平均值(平均值)和中心趋势的中位数，分散的标准差(集中趋势附近值的分布)，极小值(min)和极大值(max)。
表1 提取的特征
|
统计特征 |
算数平均值 |
|
标准差 |
|
|
中值 |
|
|
最小值 |
|
|
最大值 |
|
|
纹理特征 |
Hu不变矩 |
|
角二阶矩 |
|
|
对比 |
|
|
平方和：方差 |
|
|
逆差矩 |
|
|
几何特征 |
缺陷率 |
|
周长 |
|
|
圆度 |
统计方法并没有考虑到灰度值的相对关系(Tuceryan and Jain, 1998)，而纹理特征(二阶空间统计)则认为像素是成对的，从而捕捉到能够感知纹理的灰度值的空间依赖性。Hu(1962)的几何矩是在模式识别中广泛应用的结构特征。这项工作中使用了7个不变矩(phi;1 - phi;7)对平移、缩放和旋转不变。另一种受欢迎的结构特征包括Haralick(1973)的研究内容，它由灰度共生矩阵(GLCM)计算得来。GLCM是一个方阵，显示的是距离d的灰度对的出现次数。我们用灰度共生矩阵在四个方向(45，90，135，180◦)上让d = 1来计算得到灰度共生矩阵的平均矩阵。要注意的是，我们通过计算GLCM在不同的距离和方向条件时进行了几个测试，但是结果并不比上面的结果好。关于GLCM、角秒矩(ASM)和逆差矩(IDM)的特征分别与同质性和平滑性有关，而对比(CON)和平方和:方差(SSV)是对局部变量的估计。
此外，还可以使用基于对象几何的属性进行识别。然而，苹果表面缺陷并没有明显的几何特征。因此我们采用以下简单的几何特点：缺陷比(缺陷像素对所有像素的比例)提供相对缺陷大小的信息、周长来(对象周边的像素数量)估计对象边界的长度和循环对象(周长面积比的平方)测量对象的伸长程度,因此它可以分辨伸长和紧凑的缺陷。
统计和纹理特征用每个过滤器的图象来计算,因此对于每个苹果我们测量5times;4 = 20个统计特征和11times;4 = 44个纹理特征。再加上3个几何测量方法，一个苹果的特征集合总共包含67个属性。在分级之前，特征值被归一化，其平均值为0，标准差为1(决策树除外，因为我们观察到用这种特定方法规一后的精度会降低)。
2.4特征选择
需要选出一个含有67个提取特征的子集，因为:(1)使用所有可用特性在计算上是不可行的，(2)不相关/冗余的特性会增加系统的噪声并降低系统的性能。因此，我们将使用Pudil et al.(1994)的顺序浮点选择(SFFS)，这是一种从一个空的特征子集开始的启发式和贪婪的算法。在每次迭代中，SFFS临时添加一个尚未选定的特征子集，并测试基于临时特征子集构建的分类器的准确性。实现最小分类错误的特征肯定会被添加到子集。每添加一个步骤后，SFFS移除任意一个先前添加的特征，如果移除后减少了错误的话。在用户提供了一定数量的迭代之后，进程停止。然后，用户通过检查在每次迭代中添加的特性能否改进分类错误来确定最优特征子集。要注意的是，一旦确定了最优特征子集，就不需要再重复这个特征选择步骤，除非有新的培训数据库可用或新特性被开发。因此，这一步不限制我们解决方案实现自动化。
2.5分级
为了将水果分为各个质量类别，我们使用了以下统计和句法分类器。
bull;线性判别分类器(LDC): LDC是一个统计分类器，它假设数据是线性可分的，并试图找到一个线性的决策边界来分离数据。
bull;最近的邻居分类器(k-NN): k-NN是一个统计分类器，它主要关注由一个距离度量测量的样本的相似度(接近度)。它将数据分配给最接近的k邻居中的最具代表性的类别。
bull;模糊最近的邻居分类器(模糊k- nn):在分配一个新样本时，k- nn假设它们与新样本的距离相等，所以对k最近的样本给予同样的重视。模糊k-NN(统计分类器)不执行这个假设，也从邻居的距离信息中受益。
bull;支持向量机(SVM):另一个统计分类器是SVM，它首先将数据非线性映射到一个高维空间，然后试图找到在新空间中最大限度地分离数据的超平面(Burges, 1998;Vapnik,1998)。SVM最初是针对2类分类问题提出的，它可以很容易地扩展到多类分类的问题，比如一对一或一对多策略，其中后者用于这个工作。
bull;C4.5:语法分类器使用层次结构的视角，其中模式被假定为简单的子模式。决策树是语法分类器的典型例子。Quinlan的C4.5 (Quinlan, 1993)是一个决策树分类器，它通过分层的数据来构建分类树。
我们主要基于结构复杂性选择了上述分类器。LDC是最简单的分类器，对样本进行线性判别。k-NN是一种常用的分类器，它基于距离度量来决定样本的相似性。模糊k-NN是k-NN的一个更复杂的版本，其中也使用了样本的距离信息。SVM是一个非常流行的分类器，而且已经证明了它在各种分类问题中的能力。它是像LDC这样的线性分类器，但在分类之前将输入向量映射到更高维度的空间。最后，C4.5提供了分类的透明性，用户可以分析分类过程的潜在原因，这在人工神经网络中是很重要的。
在本研究中，Matlab内置的库(MathWorks Inc.)、LIBSVM (Chang and Lin, 2001)和Quinlan(1993)的改进工作分别用于LDC、SVM和C4.5分类器，而其余的则由作者实现。经过几次试验，发现每个分类器的最佳参数为: k- nn和模糊k- nn的为k=5;高斯RBF核gamma;=10,SVM 的C=80;最后最小分割尺寸为2,C4.5的为CF=0.25。
2.6评价
对分类过程的评价采用k-fold (k=5)交叉验证方法。在这个方法中，数据库被划分为k个互补子集，其中一个子集被指定为验证集，而剩下的k-1子集用于训练。这个交叉验证过程重复k次，每个子集只有一次作为验证集的机会。最后的估值取k个验证结果的平均值。此外，样品在被引入分类器之前是随机排序的，以防止识别出样品顺序。
在本研究中，我们使用以下的方法来估计测试的分类器的预期性能:总体精度，生产者精度，用户精度，Cohen的Kappa统计值(Cohen, 1960)和实际误差。生产精度衡量了我们能够代表实际
全文共11476字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14475]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
