英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料
用模糊Mask R-CNN模型自动识别番茄成熟度
摘要 手动检查和收获成熟的番茄既费时又费力。智慧农业重视利用数字园艺资源进行农业生产以及提高农产可持续性，因此本文提出了一个可以自动识别樱桃番茄成熟度的模糊Mask R-CNN模型。第一步，为了自动标注图像，采用模糊c均值模型来保持图像中各种前景和背景元素的空间信息，然后用霍夫变换对番茄的特定几何边缘位置进行定位，图像空间的每个数据点都会被注释到一个JavaScript对象表示法文件中。第二步，利用Mask R-CNN训练标注图像，以便准确识别每个番茄。最后，为防止番茄收获前脱落，使用了色相饱和度值颜色模型和模糊推理规则来预测番茄的成熟度。为了获取的位置并及时分析果实，要从花萼和椎弓根的起点到番茄底部计算出具有欧式距离的三角函数。检测了100个番茄图像，Mask R-CNN达到了98.00％的准确度，而番茄成熟度分类结果达到了0.9614的总体加权精确度和0.9591的召回率。因此，番茄自动收获程序可以使农民做出更好的决策，并提高整体生产效率和产量。
关键词 自动标注，番茄成熟度检测，模糊c均值，基于掩模区域的卷积神经网络(Mask R-CNN)，色相饱和度(HSV)颜色模型
I 简介
世界各地广泛食用番茄，所以番茄种植是全球化程度最高的园艺产业之一。相比于世界各地种植的其他农作物，番茄的种植量是马铃薯的三倍、水稻的六倍[1]。在全球范围内，联合国粮食及农业组织估计，2016年世界番茄年产量为179 508 401公吨。但是，2017年番茄产量增长1.6％，估计产量约为182 301 395公吨[2]。种植番茄对经济至关重要，特别是在大多数发展中国家的农村和郊区[3]。此外，质量—收益率的测量不仅使消费者受益，也使昼夜辛勤劳作的农民在经济上受益，以生产出尽可能高质量的产品。收获是园艺活动中必不可少的任务。收获时的成熟度是决定贮藏寿命和最终果实品质、风味、多汁性和质地的重要因素。
收获未成熟的水果时，它们的质量较差，通常无法成熟。未成熟的水果最终容易受到内部变质和腐烂的影响。相反，推迟收获水果和蔬菜会显著增加水果受损的概率，从而导致收获后损失严重。为了控制收获前和收获后蔬菜的数量或质量损失，了解蔬菜的细腻性、生理成熟条件、及时收获的方法等因素是至关重要的。种植者不希望看到番茄品质有很大损失，监控它们生长并在破色期收获它们可以减少开裂或破坏的机会，还可以帮助农民控制成熟进程。通常，农民根据个人经验，人工检测水果或蔬菜中各类疾病并估计其成熟阶段。与此同时，农业生产面临许多挑战，必须克服不利的农业气候条件，例如土壤退化、缺水、气候变化和破坏农场的自然灾害（干旱、洪水和冰雹）。因此，用创新技术完善各种园艺可以增强农业生产的战略优势。为了克服这些障碍，本文提出了一种创新方法，用于感知露天田地中种植的番茄的不同成熟阶段。为了实时性和可行性，使用模糊c均值方法对从露天田地获取的番茄图像进行识别和分割。然后，对获取的图像进行自动标注以过滤出关键图像。Mask R-CNN用于估计每个番茄的精确位置，改善获得的分割效果，获得更有用的实验结果。最后，使用色相饱和度(HSV)颜色模型来预测番茄的成熟度和适时的收获时间表。
这种方法可以帮助种植者发现具有最佳成熟度的番茄，并确定是否需要采摘，从而提高收获的番茄质量。
本文其余部分结构如下。第二部分介绍了有助于番茄质量评估和成熟度检测的相关图像处理技术。第三部分解释了采用的材料和方法。第四部分展示了实验结果并分析了数据集。第五节提供结论和未来研究方向。
II 相关工作
农业技术数字化通过降低生产成本和保持较高的生产效率，显著转型了农业，克服了农业不利因素，并通过更好的环境、社会和经济可持续性提高了农业效率。
在二十一世纪初，计算机视觉和目标检测技术为精细农业提供了一种新方法，使农民能够准确地进行土壤测绘、作物筛选、疾病检测、水果外观检查、水果分级、水果计数以及无需人工干预的产量估算。学者发表了许多研究，旨在基于质地和颜色特征提取来协助评估水果和蔬菜质量。Wan等人[4]将色彩特征值与反向传播神经网络分类技术结合使用，对罗马番茄和梨番茄的成熟度进行分类，得出的准确度为99.31%。赵等人[5]使用具有小波变换图像融合特征的颜色空间和亮度同相正交相位(YIQ)颜色空间来识别成熟的番茄。Arefi等人[6]设计了一种算法，供收割机器人使用形态特征以及RGB、HSI和YIQ空间的组合来识别和定位成熟的番茄。他们的准确度为96.36%，但是他们的收割机器人无法识别和定位被遮挡的番茄。为了减少番茄检测中光照和遮挡的影响，Liu等人[7]介绍了使用支持向量机(SVM)的定向梯度直方图。他们的方法实现了90.00％的准确度、94.41%的精密度和92.15%的F1分数。但是，当超过50%的遮挡区域重叠并阻塞了番茄时，他们的方法不合适。研究人员尝试了各种传感器，并应用了机器学习或深度学习技术来尝试在光照变化、重叠和有遮挡的条件下识别番茄。Nyalala等人[8]结合支持向量机和贝叶斯人工神经网络，以来自二维(2D)和三维(3D)图像的深度图像为基础，来估计樱桃番茄的质量和体积值。
Yuan等人[9]设计了一种基于单发多箱检测器的鲁棒性樱桃番茄检测算法。 此外，将该方法与VGG16、MobileNet和InceptionV2网络的各种基础网络进行了比较。InceptionV2达到了98.85%的平均精度。Hu等人[10]结合了Faster R-CNN和直觉模糊集，可以自动检测植物上的单个成熟番茄。文献[11]采用具有多种特征分析的双层分类策略和加权相关向量机分类器来识别成熟番茄。但是，在最相关的深度学习实验中使用的番茄样品数量有限。如果使用分类器（尤其是神经网络）会使正确的番茄成熟度分类导致分类错误率增加，这是很大的问题。为了克服现有挑战，要开发一种方法来增强复杂环境中的识别效率：
(1) 与其他研究不同，本研究完成了对被检查番茄的自动标注。
(2) 相对于竞争对手的方法，这个方法可以更准确地检测从未成熟的绿色到成熟收获阶段的番茄的不同生理水平，即未成熟（绿色），破色（绿色至淡黄色），收获前（橙色）和收获（红色）阶段。
(3) 相对于竞争对手的方法，这个方法可以更准确地检测从未成熟的绿色到成熟收获阶段的番茄的不同生理水平，即未成熟（绿色），破色（绿色至淡黄色），收获前（橙色）和收获（红色）阶段。
(4) 尽管面临各种环境挑战，例如光照变化、果实重叠或叶子和树枝遮挡，这个模型仍可以有效地检测番茄。
(5) 这个平台可以通过检测椎弓根的正确位置来简化番茄的采摘。
III 材料和方法
本节介绍了保证分类器效果的数据采集过程、材料和方法（包括轮廓检测、特征提取和分割）。
A. 数据收集和预处理
从台湾台南的一个温室合作农场收集了每个图像尺寸为1108*1478像素的番茄图像。仔细筛选所有收集的图像，排除有缺陷的图像之后，选择900张图像。为了提取高度相关的特征并克服数据集的过拟合，对图像进行了如下增强：
bull; 平移：图像被随机移动-10至10像素。
bull; 翻转：图像水平翻转（镜面图像）。
bull; 高斯滤波：对图像进行模糊处理以有效地平滑噪声。
数据扩充后，生成了2000个数据项，将获得的数据集按80:20的比例分为训练集和验证集。最后，使用另外的20个测试样品（代表100个番茄）进行测试。
B. 模糊c均值分割
模糊c均值(FCM)是Dunn在1973年发展的一种无监督方法[12]，Bezdek在1981年对其进行了进一步改进[13]，这种基于模糊逻辑的聚类算法被广泛用于解决多类和模糊问题。FCM是一种迭代优化方法，可以将一个样本分配给多个群集并且直接在数据矩阵上实现，生成表示样本与每个聚类的关联度的隶属度函数。例如，每个图像像素具有与每个聚类质心相关联的特定隶属度，计算每个像素的隶属度，并用介于0和1之间的隶属度值表示该图像像素与特定聚类质心之间的关联强度。
对于某些给定条件，FCM将每个图像像素划分为个模糊聚类质心的集合。 为给定图像中的像素总数，为隶属度的指数权。FCM的目标函数的最小化定义为[13]：
其中是第k个聚类中第j个像素的隶属度，是第j个像素与第k个聚类中心之间的距离，是衡量第j个像素和第k个聚类中心距离加权和的性能指标，在0到1之间，接近1表示该像素属于相应集群。若是与每个聚类中心关联的第j个像素的隶属度集合，是图像的第j个像素，而是第k个聚类中心，则是隶属度矩阵，而是聚类中心的集合。
对FCM算法可做如下解释：
第一步：将初始参数如簇数V、收敛误差和迭代次数s都设置为0。
第二步：根据计算出，定义为：
如果，则，然后将此像素的其他隶属度设置为0。
第三步：根据计算出，定义为：
第四步：使用式(3)，根据更新。
第五步：比较与，若，停止更新，否则重复第二步。
C. 霍夫变换
霍夫变换(Hough Transform，HT)[14]是一种单独通过数字图像中由边缘点组成的几何数据来提取几何形状的有效方法[15]。标准HT的关键在于定义图像空间和参数空间之间的映射，以便将番茄边缘图中的每个边缘点转换为可能通过该点的线。圆检测时，如果图像中有圆，定义为：
其中是圆心的坐标，r是半径。为了将输入的二维边缘图像转换为三维累加器矩阵，圆的HT描述如下[16]：
|
算法1 霍夫圆的伪代码 |
|
输入：图像I(x,y) 输出：检测圆 初始化：累加器数组为零 for all x: for all y: If I(x,y): for all : for all :
end for end for end for end for |
对于椭圆检测，采用文献[17][18]的方法。椭圆由5个未知参数组成，可以表示如下。令点c为椭圆的中心位置，表示点c的坐标，和分别表示长轴和短轴的半长，表示长轴和x轴之间的角度。这里考虑的是任意一个以p和q为焦点，c为中心位置的椭圆，对于每个像素可以使用和来计算椭圆假定的四个参数，如下所示：
图1显示了一个以p和q为焦点，以c为中心的任意椭圆。为了计算短轴的半长，令d为椭圆轮廓上的任意点。因为p和q是椭圆的焦点，所以线段和的总和可以这样估算[17]：
其中
图1 以p和q为焦点，以c为中心的任意椭圆
因此，对于椭圆轮廓上给定的任意点，可以使用式(9)到式(13)得出值
其中
D. Mask R-CNN
本节展示了基于Mask R-CNN的番茄实例分割方案。Mask R-CNN[19][20]是Faster R-CNN的直观扩展，具有额外的对象分割功能，也具有一个可管理数量的有效候选对象区域，从而可以准确地获得对象实例的位置和形状。Mask R-CNN可以用边框准确地标记对象区域，并且可以在像素级别从背景提取对象区域。此外，通过分析由Mask R-CNN生成的掩模图像的形状和边缘特征，可以轻松地定位番茄蒂的采摘点[21][22]。
图2 Mask R-CNN的架构
图2展示了Mask R-CNN番茄实例分割的体系架构。具体来说，对于整个番茄图像的特征提取，要比较Mask R-CNN、ResNet
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[258836]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
