英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
用于可编程焊接机器人的触觉和视觉增强现实界面
作者：D. Ni1 bull; A. W. W. Yew2 bull; S. K. Ong2 bull; A. Y. C. Nee2
收稿日期：2017年2月13日/接收日期：2017年5月5日/在线发表时间：2017年8月18日。本文为开放获取刊物。
摘要：对于操作人员来说，对于远程机器人进行焊接操作仅仅依赖于来自远程站点的视觉信息是一项具有挑战性的任务。本文提出了一个直观的用户界面，使用带触觉反馈的增强现实（AR）技术对焊接机器人进行远程编程。所提出的系统使用深度相机来重建工件的表面。触觉输入设备用于允许用户沿这些表面的焊接路径进行定义。AR用户界面的开发使用户能够可视地调整焊炬的方向。与传统的机器人焊接路径编程方法相比，该方法依赖于先前的CAD模型或机器人末端执行器与工件之间的接触，该方法允许在没有工件CAD模型预先知识的情况下进行快速直观的远程机器人焊接路径编程。实验结果表明，本文所提出的方法是一个用户友好的界面，可以帮助用户获得准确的焊接路径。
1介绍
远程操作系统适宜在危险或不适宜的环境中运行远程机器人任务，如核设施，水下环境和外太空。遥操作系统通常基于双边控制，来自操作员的运动直接传送给远程机器人，同时远程机器人所经历的力量被传送给操作员。对于远程机器人应用，例如组装或取放，由于任务可以重复，因此简单双边控制可以接受。然而，焊接操作一旦执行就不可逆转。由于定义机器人任务参数（如焊枪的位置，方向和进给速度）的严格要求，因此确定了焊接任务具有挑战性。许多机器人焊接任务都是现场编程的，焊炬的位置可由操作员进行验证和调整。机器人焊接也可以用工件的CAD模型进行编程。然而，在对远程机器人进行焊接编程时，操作人员无法验证焊枪姿态，并需要依靠从远程传输的视频和其他信息来定义焊接路径。因此，本文的研究解决了两个挑战性难题，即：
- 远程直观地定义焊接路径和姿势；
- 在非结构化的远程焊接环境中机器人工作区的知识不可用。
本文提供了一个用于远程机器人焊接任务的用户友好且直观的机器人编程界面。难点一是通过开发与触觉反馈相结合的非线性现实（AR）接口来解决。触觉反馈允许用户感知远处工件的表面，用以引导用户沿着工件表面定义焊接路径。 AR用户界面将虚拟机器人与远程工作空间的摄像头视图中的真实机器人叠加，从而允许用户可视化操作和调整末端执行器姿态，同时验证用户定义的焊接路径的可行性。难点二是使用点云数据集来解决的，点云数据集通过深度传感器获取数据，以重建工件表面的隐式曲面。在使用真实机器人执行任务之前，焊接任务首先通过AR界面使用虚拟机器人进行计划和仿真。由系统产生的焊接路径预期在实际的机器人工作区由焊缝跟踪器进一步处理，以精确定位工件上的焊缝。通过使用光学传感器（如激光扫描仪）来实现接缝跟踪，以找出工件表面高度的差异，从而定义焊接边缘。但是，仍然必须沿焊缝的路径进行定义，以便传感器可以扫描和定位焊缝。因此，本文所提出的系统设计用于在距工件表面一定距离处定义路径，以允许跟踪器扫描焊缝并防止焊炬与工件碰撞。
总的来说，这篇论文的主要贡献是：
（i）提出用于焊接机器人的增强现实界面，并且基于触觉和视觉的新颖原型；
（ii）基于未知工件的点云数据来定义焊接路径的方法。
本文的其余部分安排如下：关于远程焊接机器人编程的相关工作的讨论见第二部分，第三节会介绍AR用户界面，随后是第四节中定义焊接任务的触觉输入方法的开发，最后第五节，是对原型系统的评估。
2相关工作
在制造领域，通常采用视觉、触觉和音频反馈来增强用户的信息感知。视觉反馈被广泛用于为用户实现沉浸式体验和创造精确的人机界面。参考文献[1]提出了一种使用虚拟现实（VR）技术进行复杂人-产品相互作用的产品设计方法。Mavrikios等人[2]调查了基于虚拟现实的方法的使用，用以支持手动焊接过程的人工集成仿真。该界面使用户能够自主设置、执行并且验证焊接过程的结果[2]。AR是VR的增强，通过利用虚拟物体增强物理环境，AR进一步增强了信息感知和态势感知能力，为用户提供了制造环境的实时视图。如今AR已经应用于制造业的许多领域，包括装配和人机交互[3-5]。
触觉反馈通常应用于机器人遥控操作系统，因为机器人运行的远程环境缺乏态势感知。它通常用于人类视觉远程重建，即向远程用户注入远程对象物理属性的触觉感知，如纹理、粗糙度等[6-8]。触觉反馈的另一个应用是提供可用于指导用户执行特定任务的增强信息。在Rosenberg的工作中[9]，虚拟夹具作为指导概念叠加在工作空间上，通过触觉反馈传递给远程操作员。自从机器人手术[10]，微型遥控系统[11]、维护[12]和装配[13]以来，这种方法就已被采用。触觉反馈作为视觉反馈的附加感知通道，可以为用户提供对工件表面和边缘更好的空间理解。Wang等人[14]提出了一种基于VR和触觉指导的触觉弧焊训练方法，该方法向焊工提供力反馈，以显示预定义轨迹内适当的力/位置关系，以在虚拟环境中获得手部 - 眼睛协调技能。但是，这个系统只适用于预先定义的系统，需要预先设定焊接路径的焊接环境。
在机器人焊接作业中，目标是定义一条路径，作为末端执行器的移动方向，该路径是距离表面恒定距离的表面拓扑（称为尖端到工件距离）。Nichol和Manic [15]开发了一个触觉界面用于远程弧焊机器人的远程操作，使用安装在末端执行器上的力传感器将末端执行器遇到的力传递给末端执行器和工件之间进行触觉接触的用户，用户通过触觉反馈跟随表面。Reddy和Reddy [16]开发了一种视觉和触觉界面，用于遥控远程焊接机器人，其中一台摄像机用于向用户提供远程环境的视图，并使用一个超声波传感器来确定工件与终端设备之间的距离。在这个系统中，触觉反馈通过嵌入手套的振动电机提供给用户。因此，用户必须稳定地将他的手保持在距焊接表面固定的偏移处。对于高度弯曲的曲面，这种方法不会产生平滑的路径。对于远程机焊接机器人的运动和末端执行器方向进行编程以执行精确的任务（如焊接）是一个难题。准确表示工件的几何形状非常重要，因为用户无法通过物理的形式接触它。因此，与本节介绍的作品相比，本研究提出了一种将触觉感知通道与AR结合的系统。使用AR而不是VR，用户可以获得更好的远程环境情境感知能力，而添加触觉通道则可以使用户更好地理解工件，从而更准确地定义焊接路径。此外，这项研究通过利用从远程环境的深度相机获得的3D点云数据来解决动态的远程环境，以便在工件没有预先知道的情况下沿工件表面产生触觉引导。
在这项研究中，一个AR界面已经被开发出来，虚拟机器人模拟真实机器人的运动。在真实机器人工作空间的视图中，虚拟机器人覆盖在真实机器人上。因此，用户可以验证虚拟机器人的运动，以确保在将任务传送给真实机器人之前，可以安全正确地执行焊接任务。同时，基于PHANToM设备的触觉界面用于控制虚拟机器人并生成触觉反馈，作为用户需要控制虚拟焊接机器人的指导性结构，以定义距工件表面固定距离的焊接路径。基于隐式曲面模拟方法计算触觉力。在所提出的系统的帮助下，用户可以实现对未知环境的远程焊接机器人编程。
图1.系统概览图
3系统概述
本文所提出的系统由用户、AR接口、包括PC摄像头和Kinect传感器的视觉传感器组成。 AR接口由两个主要模块组成，包括视觉增强现实界面和触觉界面。视觉增强现实界面提供AR显示，用于模拟真实机器人的运动，该真实机器人由虚拟机器人和使用PC摄像头实时拍摄的远程视频组成。同时，用户可以使用触觉界面控制虚拟机器人。当虚拟机器人靠近工件时，基于虚拟机器人末端执行器与来自Kinect传感器的点云之间的位置关系来估计相对距离。因此，力反馈可以帮助用户与工件表面保持恒定的距离。
详细的数据流程如图1所示。通过视觉和触觉指示控制虚拟机器人，如果位置是合适的焊接候选点，则通过按下PHANToM装置上的按钮将虚拟机器人末端执行器位置和方向记录在文本文件上。然后记录的焊接候选点将被编辑为用于编程实际焊接机器人的曲线。
图2.所提出的系统的输入和显示设备，以及增强现实界面
4视觉增强现实界面
为了模拟焊接过程中焊接机器人的运动，我们开发了AR接口。虚拟机器人采用PHANToM器件进行控制。虚拟机器人末端执行器的姿态根据 PHANToM装置的末端执行器（见图2a）。在作为远程工作空间的视图的AR场景中，虚拟焊接机器人覆盖在真实机器人上（参见图2b）。这允许用户可视地设定焊炬相对于工件的角度，以确保焊接路径可达且无碰撞。
虚拟机器人的运动会影响PHANToM设备的运动。逆运动学求解器[17]用于计算有效关节，基于PHANToM末端执行器的姿态配置虚拟机器人，以模拟虚拟机器人的运动。联合配置用于设置虚拟机器人模型的关节角度，使得虚拟机器人的配置与真实机器人的配置相同，从而使真正的机器人沿着焊接路径到达点。当用户移动PFANToM设备时，虚拟机器人的关节角度会实时更新。
5触觉界面
PHANToM设备用于移动虚拟机器人沿着工件的表面而不需要工件的先前的CAD模型。PHANToM设备末端执行器的位置作为触觉交互点（HIP）映射到机器人工作空间。因此，当HIP由PHANTOM移动时，虚拟机器人末端执行器追踪HIP。使用Kinect传感器获取机器人工作空间的点云，并将HIP附近的物体表面重建为本地点云数据[18]中的隐式曲面。当HIP靠近工件时，防止虚拟机器人末端执行器穿透等值面，该等值面是在工件的实际表面上方创建的虚拟表面。当虚拟物件在虚拟表面上虚拟时，通过PHANToM施加适当的力反馈以停止HIP机器人末端执行器接触表面。该机制用于隐式引导用户与工作场所表面保持恒定的距离，因为用户通过限制虚拟机器人末端执行器的位置来限定工作场所的焊接路径距工件表面在恒定的距离范围之内。
5.1隐式曲面法
从点云创建隐式曲面的方法基于Ref.[18]。一个隐含的表面附近的HIP是基于在HIP位置处的R半径球体范围内的点的加权贡献来估计的。R是一个预定半径，用于定义围绕HIP位置的球体。方程（1）是在所提出的系统中应用的加权函数，其中d（p）表示虚拟机器人末端执行器与从R半径球体区域中的Kinect传感器获得的局部点p之间的距离。
以每个点的加权贡献为中心则可以计算隐式曲面的法向量。在R半径球体范围内，点云中心点p定义为c，法向量定义为n （2）和（3）。因此，可以使用方程式计算局部隐式表面（2）和（3）。其中pi是点p之一，e是虚拟机器人末端执行器的位置。
用估计的中心和法向量，目标的隐式曲面被描述为Eq（4），其中P是表面上的一个点。
5.2表面偏移的触觉力反馈
如图3所示，黑点表示HIP的位置，其他点是Kinect传感器在R-半球范围内获取的点云的一部分。HIP的位置由用户通过PHANToM设备控制。当HIP接近点云时，用紫色点表示，HIP附近的点云的局部隐式表面使用隐式表面法（图3中的蓝色平面）进行估计，估算相对等值面（图3中的绿色平面）。虚拟机器人末端执行器，如图3中黄色点所示，被限制在等值面之上。
为了引导用户沿工件偏离工件表面的偏移距离D，将等值面定义为远离局部隐式表面。这是通过设置方程式S中的值来实现的。（4）设为D的值。使用弹簧 - 阻尼器模型来应用防止虚拟机器人末端执行器穿透等值面的触觉力反馈。
在等式（5）中，k是弹簧参数; b是阻尼参数; h是PHANToM末端执行器的位置; e是虚拟机器人末端执行器的位置; v是HIP的速度，f是作为触觉反馈应用的力矢量。图4示出了触觉力反馈（红线），HIP与工件表面之间的距离（蓝线）以及虚拟机器人末端执行器与工件表面之间的距离（绿线）。在图4中，D和R的值是0.02mu;m。当R半径球体中没有点时，没有触觉力反馈被应用，这意味着那里没有合适的点来定义焊接路径。当HIP靠近工件表面时，距离小于D，根据公式（4）估计等值面。虚拟机器人末端执行器保持在等值面上，并且基于方程式计算触觉反馈。（5）表示已达到与工件表面的期望偏移。
图3.基于点云数据的等值面估计
图4.触觉力反馈轮廓作为与表面的期望偏移距离D
6验证触觉和视觉增强现实界面
为了验证所提出的方法，一个原型系统已经开发出来（见图5）。使用PC摄像头捕获机器人工作区以组成AR场景，而使用Kinect传感器捕获工件的3D点云数据。为了将虚拟机器人覆盖在真实机器人上并且相对于真实机器人的坐标系统表示工件的点云数据，必须在PC相机，Kinect传感器和真实机器人之间获得坐标注册。这是通过在真实机器人的物理工作空间中放置一个金属标记来实现的。通过将真实的机器人末端执行器移动到标记的拐角处以获得真实机器人和道路标记之间的坐标变换，以获得相对于真实机器人的标记的拐角的坐标;因此，可以获得机器人和标记之间的变换矩阵。PC摄像头和Kinect传感器可以使用标记跟踪算法[19]在财务标记上进行注册，用以实时从财务标记中获取各自的转换矩阵。
系统原型由10位没有焊接或机器人编程背景的用户测试。在测试之前，通过几次试验允许用户熟悉视觉AR和触觉界面以及触觉感受。在测试过程中，用户被要求执行两个机器人焊接编程任务，即一条直线路径和一条曲线路径，用户需要记录焊接候选点，如图5所示。
图5. 远程机器人工作空间的原型方案
对于每项任务，我们要求用户使用PHANToM设备来定义候选焊接点。为了评估建议的触觉和视觉交互界面，我们进行了两个实验。实验A被设计用于在触觉力反馈的辅助下定义焊接路径，而实验B被设计为没有触觉力反馈。在实验A中，距离D被设定为10mm。在实验B中，用户点击PHANTOM设备上的按钮，在移动虚拟机器人时选择候选焊接点。在测试过程中，记录用户定义的候选焊接点。该系统的使用如图6所示。
图6. 用户学习期
全文共10640字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[15925]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
