英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
基于深度神经网络和ICP配准的机器人喷漆姿态估计系统
摘要：目前，基于预扫描目标模型的离线机器人轨迹生成方法备受关注喷涂的应用程序。对于实际实现生成的轨迹，实际目标之间的相对位姿而且首先需要对模型进行校准。然而，获得这种相对的姿态仍然是一个挑战，特别是在工业环境中的安全距离。本文提出了一种能够满足机器人喷漆的姿态估计系统提出了准确估计姿态的要求。该系统利用RGB-D视觉捕捉目标的图像传感器。然后使用改进的U-SegNet分割网络对图像进行分割，得到的分割结果为使用迭代最近点(ICP)注册预扫描候选模型以获得估计的姿态。为了增强鲁棒性，提出了一种深度卷积神经网络来确定目标的粗定位并据此指导模型候选人的选择，从而防止注册过程中的偏差。实验结果与相关研究进行了比较，验证了该系统的准确性和有效性。
关键词：姿态估计；喷漆；RGB-D传感器；深层神经网络；ICP登记
1 引言
喷漆是制造各种各样的产品，如家具、飞机、汽车和钢结构中不可缺少的步骤。近年来，为了提高涂装质量，提高生产效率，保护工人的身体健康，机器人喷漆在制造业中的应用越来越普遍。目前，在机器人喷漆方面有很多关于机器人动态控制[1]，基础位置优化[2]，弹道规划[3]，等等。
在机器人喷漆应用中，喷漆质量很大程度上取决于机器人末端执行器(喷枪)路径规划和相应的机器人轨迹规划的准确性和有效性。目前，该行业最常见的轨迹规划方法之一是传统的教学方法，需要大量的时间来手动配置特定的轨迹从而大大降低了效率和通用性。另一种常用的轨迹规划方法是离线规划方法，利用预先扫描的目标点云模型或目标的CAD模型作为导向，生成轨迹[4-7]。这种方法可以应用于更大范围的目标，并且需要更少的人工干预。然而，对于基于模型的轨迹生成，虚拟模型和环境往往不能被精确映射在现实世界中。因此，在实际的[8]中，离线计算的机器人坐标往往是不准确的。因此，标定实际目标与基于模型的轨迹之间的相对位姿是机器人准确完成喷漆任务的前提到生成的轨迹。传统上，这种校准是通过将目标固定到一个特定的姿势来手动完成的，这使得这个过程既耗时又不实用，同时不可避免地会引入一些偏差。因此，一个自动校准系统，准确估计相对位姿是必要的。在精密喷漆应用中，需要将标定系统给出的姿态估计偏差控制在喷枪的喷雾半径范围内。
近年来，研究者开展了一些研究确定目标和目标之间的相对姿态模型或基于模型的轨迹。为了获得3D效果在这些研究中应用了目标的表示、结构光传感器或RGBD视觉传感器。Chen等人，[9]提出了一种基于条纹图的视觉伺服方法喷雾路径规划的投影。这个方法可以根据实际情况调整初始的基于模型的路径目标使末端执行器垂直于目标表面。然而，大尺寸的视觉系统安装在机器人的末端执行器上并相对工作距离目标很近，这是不可避免的阻碍喷枪的喷涂作业，使其不能正常工作很难与现有的基于模型的轨迹集成代方法。[10]提出了一种实时的[10]位置和姿态测量装置，体积小大小和轻量级，使其紧凑的集成变成喷漆机器人。然而，这个系统可以每次只检测目标的一个小补丁测量范围有限;因此，它不能提供一致的调整整个轨迹的策略。此外,它利用投影计算目标表面的姿态三种光斑激光器，不适用于复合光斑激光器结构。Lin等人研究了[11]的喷涂系统基于Kinect RGBD传感器采集的点云模型。在这个系统中，传感器与传感器之间是分离的喷洒机器人末端执行器。然而，它决定了亲属关系在模型和实际物体之间摆姿势目标输送系统的类型和方向，所以每次设置目标时，它都会忽略差异传送带因此产生了误差。Lin等人提出了[12]汽车零部件喷漆机器人姿态估计流水线使用迭代最近点(ICP)[13]的组合和遗传算法。但是，这个管道只使用采用RGB-D传感器的深度信息RANSAC平面分割用于分割目标点背景云。因此，设计了这条管道假设背景主要由，其精度会随着时间的推移而降低凌乱的工业环境。因此，在机器人喷雾在涂装应用中，要求开发出准确的自动姿态估计系统容易与上述基于模型的集成并能满足实际应用的轨迹生成方法要求。
目前，有相当数量的对象姿态估计方法由研究人员提出[14 -17]，尽管这些方法中的大多数还没有被采用适用于机器人喷漆应用。在其中，基于模型的姿态估计方法配准算法如迭代最近邻点(ICP)注册[13]被广泛接受。该模型配准方法适用于喷涂姿态估计系统，预扫描目标模型最初为轨道生成做准备直接用作注册时的参考模型。最近，模型注册与deep集成并在神经网络方面取得了优异的性能姿态估计。Zeng等人将[18]应用于全卷积用于从场景中分割目标的网络(FCN) [19]然后他们将分割的点云对齐利用ICP配准的CAD模型来估计目标的姿态。类似地，Wong等人对[20]进行了集成SegNet网络[21]与多假设配准提高估计精度和效率。林等[22]等人使用语义分割网络来产生分割目标，目标点云特征为使用RANSAC和ICP与模型特征一致姿态估计的配准。Yang等人应用了[23]综合目标检测网络和ICP注册方法在实际生活场景中对机器人进行生命支持提高了姿态估计性能。然而,为了获得良好的分割性能这些方法一般需要深度神经网络大量精确标注的训练数据在实际喷雾中获取不方便和低效绘画的应用程序。数据的数量是直接的与适用姿势的准备时间有关从而决定了生产效率。基于数据扩充或自注释的方法在背景色较暗的情况下，减法不太合适以及不稳定的光照条件和杂乱的工业环境。此外，对于这些ICP注册方法，当两个点云相对较远时算法中包含了超出范围的点(离群点)可能会落在局部的最小值上，而对齐可能会落在局部的最小值上成为不正确的。此外，这些方法主要是设计的感知距离相对较短实验室设置。因此，一个姿态估计系统这需要相对较少的训练数据同时保持较高的精度，从一个比较大的在这种情况下，工业环境中的安全距离是需要的场景。
本文提出了一种基于deep的姿态估计系统介绍了神经网络和ICP配准。这
系统具有三个保证的独特属性它在喷漆应用中的有效性。首先,提出的系统中的传感器是独立的机器人的末端执行器和被放置在一个安全的距离从目标，从而防止干扰期间喷漆操作，也保护了传感器镜头不受油漆污染。其次,基于VGG[25]的定位网络结构也作了介绍。这个网络决定目标的粗略定位有助于目标的选择
模型候选人在ICP注册，从而减少局部极小值引起的失调。此外,这个所选择的方向可以辅助喷涂系统决定将生成的轨迹应用到目标上目前的姿态，从而进一步提高了兼容性提出了基于模型的轨迹生成系统画系统。第三，语义分割网络设计基于U-SegNet[24]结构，这需要相对较少的训练数据并在较差的情况下表现出良好的分段性能工业设备的照明条件。这个结构是能够进一步降低引进范围外
模型注册过程中的点(离群值)和提高了姿态估计的精度。
在本文的其余部分中，将介绍整个系统描述和配置在第2节中介绍。给出了姿态估计的框架和具体实现方法在第3节中介绍。然后，第4节介绍数据集和实验结果。最后，论文是在第5节中结束。
2系统描述
在喷漆应用中，未涂漆者的姿势目标，包括它的方向和位置，由于在操作平台上放置的不确定性。因此，提出的视觉系统捕获RGB-D数据，并输出其姿态作为目标的校准机器人喷涂轨迹。
该系统的硬件包括RGBD传感器和计算机。如图1所示，传感器是放在三脚架旁边的某个目标上的吗安全距离(1.5米)，以提供适当的间隔空间在不干扰感知的情况下完成喷漆效应。RGB-D传感器是PERCIPIO FM810摄像机，哪个是工业级的有源立体声摄像机红外(红外辐射)照相机，红外激光投影仪和RGB相机。主动立体成像技术使相机即使在较差的情况下也能准确地采集深度数据工业环境中的照明条件。深度范围的传感器是0.5到6米，足够覆盖所需感应距离。
传感器通过USB数据线连接到电脑上。传感器收集到的RGB- d数据被保存到计算机上，作为对齐的RGB和深度图像。然后将图像反馈给在计算机上运行的姿态估计程序，并相应地输出估计的目标姿态。
该系统主要针对旋转不对称目标，根据目标的运动方向进行机器人喷涂操作。对于旋转对称目标，该系统只能估计其实际位置，因为旋转对称轮廓的方向定义往往是模糊的。
为了与机器人喷漆系统进一步集成，通过人眼定标得到的摄像机与机器人底座坐标系之间的坐标变换，将估计的位姿转化为机器人底座坐标系中的位姿。这样就可以根据姿态来修正生成轨迹的偏差。
3姿态估计框架和方法
3.1拟议框架概述
提出的姿态估计框架组织如下：
首先，利用RGB图像作为输入，采用卷积神经网络来确定目标的大致方向。对于可以在平台上水平旋转的目标，定义目标的四个基本方向:前、后、左、右。如果目标的方位角在两个基本方位之间，则最接近和第二接近的基本方位被指定为其主方向和次方向。主要方向和次要方向分别由网络的最大概率输出和第二大概率输出确定。
其次，对RGB图像进行基于深度神经网络的像素语义分割。对分割得到的目标的概率掩码进行二值化，然后对对齐后的深度图像进行裁剪。因此，可以通过裁剪深度图像和相机的固有矩阵生成目标的分割后的三维点云。
最后，将第一步和第二步的结果集成到基于ICP配准算法的姿态估计中。根据第一步得到的主方向和次方向裁剪和检索目标的预扫描点云模型或CAD模型。然后，使用ICP将分割后的点云与两个裁剪的初级和次级方向候选模型进行注册，并计算ICP适应度分数。以适应度得分最优的姿态作为最终姿态，输出相应的姿态作为最终估计姿态。
在离线准备过程中，利用目标数据集对上述深度神经网络进行预先训练，具体在第4节中讨论。完整的姿态估计框架如图2所示。
3.2定位确定
精确确定粗定位是本系统的基础，因为初始定位是用来选择模型配准中预扫描模型的基本定位的。对于ICP配准，如果目标点云的方向与模型存在较大差异，且包含大量的离群点(outliers)，则算法很可能陷入局部极小值，导致姿态估计不准确。
如图3所示，为的四个基本方向目标可以定义为右、前、左和后方向，对应四个基本方向◦的角度0(360◦)，90◦，180◦，270◦。内的角再加上- 45◦范围的每个基本角度都包括在内在相应的类别中，如公式所示在下面。如果目标的方位角最接近这些基本的取向角，这个基本的取向被指定为它的主要方向。如果目标是被放在两个基本方位的中间，也就是方位角接近每一个的上下限范畴，最接近和第二最接近的基本取向被指定为主要方向和次要方向分别为取向。
为了确定目标的基本方向类别，提出了一种基于VGG[25]分类网络结构的方向确定网络。VGG结构之所以能够获得优异的分类性能，是因为其网络深度较大，并且使用了接收域很小的卷积滤波器。针对这些特点，设计了基于VGG结构的定位网络，并对网络深度和滤波器大小进行了修改，进一步提高了分类性能。网络结构由15个卷积层和3个全连通层组成，如图4所示。网络的输入是224times;224 RGB图像从原始图像调整大小，输出是一个概率分布的四个方向类别。
主方向对应于网络的最大概率输出。第二个方向是由第二大概率决定的，如果它超过了某个阈值。否则，就没有第二个方向。因为Softmax层极大地扩大了第二大概率与第一大概率之间的差异，为了减弱对比较中非最大值的抑制，采用Softmax层前最后一个全连通层的输出来计算最大和第二大概率。
该方法不需要任何预先训练好的模型参数，直接利用工业现场的少量数据进行训练，即可获得准确的粗糙定位。实验验证了该方法的有效性。
3.3语义分割
为了获得适合深度数据分割的掩码，生成离群点(outliers)较少的目标点云表示，采用改进的U-SegNet语义分割网络对图像进行分割。该网络需要相对较少的训练数据，并且在较差的光照条件下表现出良好的分段性能。
U-SegNet[24]网络是两种广泛应用的细分架构SegNet[21]和UNet[26]的结合。SegNet是一种编码器-解码器结构，它将池索引从编码器传输到解码器，从而在减少训练参数的同时在目标边缘实现更精确的分割。U-SegNet网络通过将U-Net的跳跃式连接应用于SegNet体系结构，将两个网络的优点结合起来;因此，它可以捕获多级信息，并且可以使用少量数据进行训练。U-SegNet网络通过将U-Net的跳跃式连接应用于SegNet体系结构，将两个网络的优点结合起来。这种集成的结构减少了对海量训练数据的依赖，在训练过程中收敛速度更快，同时获得了较好的分割性能。该网络首先被应用于医学图像分割领域，在医学图像分割领域中，标记图像数据的获取是非常昂贵的。
在本文中，如图5所示，对U-SegNet结构进行了修改，以适用于所提出的系统。为了提高多级信息的感知能力,跳过每一对之间添加连接编码器和译码器层,股票池指标,加起来总共三个跳过连接,在原来的结构,只有一个跳过介绍在最层连接。提出的改进结构中的跳跃连接将三个编码器层分别连接到解码器层，从而利用三种不同尺度的图像特征。此外，网络的输入是由原始图像调整大小后的256times;256 RGB图像，输出是相同大小的灰度概率掩码，用于识别目标区域和环境。在喷漆应用中，该系统被设计成一次估计一种目标的姿态。因此，原结构中为多类输出而设计的Softmax层被一个为二进制输出而设计的sigmoid函数所取代。在本文中，我们研究了几种不同的分割网络，包括FCN, SegNet, U-net, original U-SegNet, Mask R-CNN[27]，以及我们提出的改进的U-SegNet，发现我们提出的U-SegNet是本研究在工业环境下进行RGB图像分割的最佳选择。
从分割网络中生成目标的灰度概率掩码。每个像素的灰度值与其所属目标区域的概率成正比。因此，确定像素是否属于感兴趣区域
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238996]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
