英语原文共 7 页
柑橘采摘机器人使用机器视觉和
支持向量机鉴定自然场景中的果实和枝条
卢强1，蔡建荣2*，刘斌3，邓烈1，张亚静3
(1。中国农业科学院柑橘研究所，重庆400712;2. 2 .江苏大学食品与生物工程学院，江苏镇江212013;3.(1 .中国农业机械化科学院，北京100083)
摘要:近年来，随着农业劳动力的减少和生产成本的提高，柑橘收获机器人(CHR)的研究越来越受到人们的重视。柑橘成熟果实和障碍物的识别是机器人收获的首要任务，是保证机器人收获的成功和机器人的安全。为此，研制了由彩色CCD摄像机和计算机组成的机器视觉系统。在阳光充足和多云的条件下拍摄柑橘树的图像。由于水果和树枝的亮度和位置的随机性不同，这些图像中物体的红色、绿色和蓝色的值发生了巨大的变化。传统的阈值分割方法无法有效地解决这些问题。本研究采用形态学操作成功的多类支持向量机(SVM)同时对果实和枝条进行分割。柑橘类水果的识别率为92.4%，直径大于5个象素的枝条可以被识别。结果表明，该算法可用于检测CHR的果实和分枝。
关键词:柑橘;机器视觉;柑橘收获机器人(CHR);
1介绍
柑橘作为人们喜爱的水果之一，在世界各地被广泛种植。优质柑橘是鲜果市场所必需的。然而，人工选择性收割是一项费时、费力和低效的操作。然而，劳动力成本越来越高。根据农业经济学家的报告，在澳大利亚的柑橘收获成本占总生产成本的35% - 45%，美国占40%，西班牙占50%。为了降低人工成本，已经尝试了大规模的机械收割。但收获的果实仅能满足果汁行业的需求。果实严重受损，不能满足鲜食市场的需求。因此，为了降低生产成本，满足柑橘鲜食市场的需求，开发有选择性、操作合理的采摘机器人是必要的。
在非结构化的自然场景中，柑橘类水果是随机分布在树上，有的在冠层表面，有的在冠层内部，有的被树枝、树叶或其他果实遮挡。树枝是树枝与机器人可能发生碰撞的潜在危险，碰撞会对机器人造成伤害。为了在树冠的障碍物(即树枝和支架)后面采摘成熟的果实，必须将末端执行器安全引导到目标位置，避免碰撞。因此，成熟果实和障碍的空间定位是必要的。成熟柑橘果实和障碍的识别是机器采摘的首要任务。
计算机视觉是一种常用的、直观的物体识别方法。1968年，Schertz和Brown首次提出利用计算机视觉检测柑橘。在过去的四十年中，研究人员应用了许多不同的计算机视觉技术来识别水果。不同水果蔬菜的检测研究，如苹果，樱桃果，黄瓜，柑橘，番茄，以及草莓等已被报道。早期的发展中就包括使用装有彩色滤光片的单色相机来检测水果，采用全局阈值方法从背景中分割对象。近年来，随着传感器和计算机技术的进步，研究人员开始使用彩色相机。在果实与冠层颜色对比明显的场景中，可以从背景中分割出果实。通过在色调值中设置阈值，利用彩色图像对柑橘类水果进行识别。Grasso和Recce采用RGB阈值分割图像，蔡建荣等人采用Otsu方法从2R-G-B图像[26]中分割柑橘。
为了保证机械手的安全，障碍物的识别和定位至关重要。目前，针对收获机器人障碍物识别的研究还很少。蔡建荣等人采用双阈值提取树枝图像。但其鲁棒性对自然场景变化不够强。
与工业机器人的结构化场景不同，农业收割机器人工作在高度非结构化的自然户外场景中，复杂多变。以往的研究表明，在自然光照条件下的机器视觉应用中，可变光照是一个主要问题。可用的阳光数量取决于云层覆盖和场景上入射的太阳角度。这可能会对收割场景的显示方式造成显著的差异。与冠层表面的果实相比，冠层内部的果实和树枝接受的光照量不同。此外，由于阳光直射、遮挡和背光，物体的不同部分接受的光照量也不同。图像处理算法应该足够强大，能够处理这种光的变化。克服场景变化的能力对机器人采摘的成功和安全至关重要。
本文主要研究了柑橘采摘机器人在果园自然场景图像中识别柑橘果实和树枝的图像处理方法。本工作的主要目标是:1)建立一种柑橘园图像中水果和树枝的分割方法;2)探讨多类支持向量机同时识别果枝的可行性;3)研究不同光照条件下目标识别的鲁棒性。
2材料与方法
2.1图像采集
本研究以江苏省镇江市江心洲地区为研究区，对柑橘树进行了栽培试验。这种水果主要在新鲜市场上出售。因此，选择性采收是最大限度地提高水果市场价值的最佳途径。彩色图像的场景(包括柑橘类水果、障碍,叶子和背景)是使用了彩色CCD摄像机(LU075C Lumenera公司、加拿大)640 * 480像素,这是由一台台式电脑控制(奔腾Ⅳ3.0 GHz CPU,内存:1.5 G),树木是从柑橘果园随机选择,现场照片是在自然光光线条件下的收割时期(2008年11月)拍摄的。考虑了晴天和阴天的条件。场景图像如图1所示。
本工作采用所开发的软件，在Visual c 2008 (Microsoft Co.， Redmond, USA)、LuCam SDK V4.2 (Lumenera Corporation, Ottawa, Canada)、MVTec Halcon 9.0 (MVTec software GmbH, Mu nchen, Germany)软件平台上实现对图像的采集和处理。主控计算机采用Windows XP (Microsoft Co.， Redmond, USA)操作系统。
图1在(a)晴天和(b)阴天中获得的原始图像
2.2图像处理
从图1可以看出，场景图像由水果、树叶、树枝、草和天空等组成。分割是将感兴趣的目标从背景中分离出来，是目标识别的第一步。
由于柑橘、枝、叶等都是由不同的化学成分组成的，所以它们对光有不同的对应性质。在二维彩色图像中，水果、枝叶等在三种颜色分量图像(RGB:红、绿、蓝)中具有不同的灰度值。通过对不同条件下获得的彩色图像进行分析，可以发现同一果实、同一枝干或同一叶片的不同部位由于其位置、姿态和光照的多样化，在组成图像中具有不同的灰度值。在复杂的自然场景中，使用传统的阈值方法很难对果实和树枝进行分离。
根据特征，利用每个像素的R、G、B值将像素划分为柑橘类、树枝类、
叶子等背景(如天空、草地等)。利用多类支持向量机(SVM)对图像进行分割。然后对分割后的图像进行处理，利用区域阈值法去除噪声并进行补孔。
2.3多支持向量机
SVM是基于Vapnik和Chervonenkis提出的统计学习理论(SLT)。支持向量机的主要思想是将具有超平面的类分离出来，从而使类之间的边界最大化。SVM遵循结构风险最小化(SRM)原理，能够有效克服过拟合和欠拟合问题，具有较强的泛化能力。
SVM分类器处理两类分类问题。得到 一 组 训练 样本D = {xi,yi}li=1 ，yi={-1,1},xi l是样本的数量， SVM被用来在线性可分离性的情况下 寻找 最 优 分类 面 ，支持向量机分类器的目标是在区分两类的基础上，最大限度地提高两类之间的边界。在线性可分性的情况下，分类问题可以描述为:
如果是方程(2)的一个解，则
选择一个ne;0,和相应的解决方案b的计算方程,然后通过sgn[w·x b]确定未知样本x的类别。
对于线性不可分的情况,一个松散的变量xi;ge;0和映射介绍了非线性支持向量机。那么前一个问题可以描述为:
其中，C为惩罚因子。它的双重问题是:
其中，K(xi，yi)是满足Mercer条件的核函数。经典核函数有线性核、径向基函数(RBF)核、多项式核、乙状核等。
SVM最初是为两类识别而开发的。将若干个两类分类器按一定方式组合成一个多类分类器，可以推广到解决多类判别问题。一对多方法和一对一方法是常用的多类分类器方法。
1)一对多 SVM:构造N个二叉SVM分类器，每个分类器对应一个分类器。在训练每个SVM时，考虑所有样本。在这里，i分类器对整个训练数据集进行训练，以便根据其余的分类器对i类的成员进行分类。在分类阶段，输出最大的分类器定义输入样本的估计类。因此，所有N个分类器的训练过程都需要很长时间。此外，在多类分类问题中，阴性样本和阳性样本的数量差异较大，会降低分类性能。该方法的另一个严重缺点是存在未分类样本。
2)一对一SVM:对于每一对可能的N个类，构造一个二元SVM分类器，分类器总数为N(N - 1)/2。所有分类器通过一个多数投票方案组合在一起来估计输入样本的最终类别。与一进一退法相比，提高了分类精度。
本研究采用一对一支持向量机策略，采用RBF核函数进行分割
果实、树枝、叶子和背景的边界。RBF核的数学表示如下:
在那里,gamma;是内核参数。在这些测试实验中,RBF SVM分类训练实验的最佳参数选择:C = 100,gamma;= 0.25 。
3结果与讨论
在自然场景中从果园中获取的图像主要包括四种组织，即:、果实、树枝、叶子、背景(如天空、草地等)。在这四个类中，水果和树枝是必须分割的对象。每个像素在彩色图像的每个组件图像中都有一个灰度值。从彩色图像中可以提取出柑橘、树枝、叶子和背景的代表性区域。将具有代表性的区域作为四种组织的训练集，用于多类SVM分类器。为了获得更好的结果，代表性区域的选择至关重要。本研究分别从果实区、分枝区、叶区和背景区手动选择区域。对于前三组(柑橘类、枝类、叶类)，分别从组织的直射阳光区、遮挡区、背光区选取三个区域(50像素)。在背景上，从天空、草原和地面选取了三个大小相同的区域。
采用一对一支持向量机策略和RBF核函数对果实、分枝、叶片和背景进行了分类。图2和图3分别显示了晴天和阴天条件下的识别结果。从图中可以看出，白天识别结果在一定程度上消除了光照变化的影响。
从87幅图像中视觉统计出592个成熟果实。该算法对柑桔的正确识别率为92.4%(547个果实)。该结果优于Bulanon 等人报道的87%，刘等人报道的87.2%。多类SVM作为一种监督分类方法提高了柑橘树图像中未知类像素的分类精度。
a.自然场景的原始图像 b.多分类支持向量机下的分割的效果图像
c.多分类支持向量机下的分割的水果图像 d.形态学处理所得到的水果图像
图2 c
e.多分类SVM分割的分支图像 f.由形态学处理分割的分支图像
图2 e
图2图像中水果和树枝的分割结果在阳光下获得
一个 b
图3是从图1b中使用多分类SVM对 (a)柑橘类水果与(b)树枝的分割结果
影响识别结果的因素很多。部分果实的切分区域可能太小，通过区域阈值处理去除。水果远离相机，且识别小的可见区域的情况下，图像分割不完整可能是导致失败的原因，柑橘不完全切分的主要因素有:一是柑橘局部反射严重。由于柑橘属近球形天体，受阳光直射，会在柑橘的某些表面产生较强的反射，使这些区域的R、G、B分量值发生较大的变化。其次，有些水果没有完全成熟。第三，部分果实被树枝、树叶等果实遮挡。最后，在图像中，柑橘区被树枝和树叶分割成一些小区域。
在分支识别中存在着一定的错误分割。如果图像中树枝的直径小于5个像素，则无法有效分割。CHR的工作空间半径设为1.5 m。在距离相机1.5 m处，与图像中5像素直径对应的树枝实际直径约为5.9 mm。其刚度不会对机械手造成损伤。如果树枝与相机之间的距离大于1.5 m，树枝不会对机器人造成伤害，因为它不在CHR的工作空间内。
如果树枝的颜色与叶子相似，就很难分割。由于树枝具有较好的柔韧性和较低的结扎性，其对机械手工作的影响很小。有一些树枝被水果和树叶遮挡住了。由于其可见面积小，不能分割但可以通过形态学处理去除。如果树枝在水果后面，机器人工作时机械手与树枝的碰撞概率较低。树叶后的树枝如果不能被检测到，对收获机器人来说是一个潜在的危险，需要进一步的研究。同样，也有一些非枝类植物可能被误分类为枝类，如严重遮荫的叶片、叶片的夜侧和果实的夜侧局部轮廓。
4结论
1)为了使机械手和末端执行器在不受采收机器人与柑橘树碰撞的情况下，引导机械手和末端执行器到达目标位置，研制了一种由彩色CCD摄像机和上位机组成的机器视觉系统鉴别柑桔类水果及枝条。
2)将多类SVM分割技术应用于晴天和多云条件下非结构化果园场景中柑橘树图像的处理。实验结果表明，柑橘类水果的识别率为92.4%，直径大于5个像素的枝干可以被识别出来。
3)与传统的识别方法(阈值分割)相比，将多类SVM作为一种新的目标分割方法，在非结构化环境下具有识别水果和树枝的优点。该方法具有很强的鲁棒性，能够消除复杂背景和多种光照条件的影响。由此可见，多类SVM分割技术在柑橘类水果及其分支的计算机视觉识别系统的开发中具有很大的潜力。
4)虽然在自然场景多支持向量机的基础上有对象识别的优点,但对水果和分支特征提取的影响(如水果的中心和半径,半径、长度和曲率的分支),和实时响应的识别方法在下一阶段还有待进一步的调查,分析和优
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
