英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
基于多 Leap Motion 传感器的机器人优化桌面演示
* 对象操作任务
Haiyang Jin a,b,c, Qing Chen a,b, Zhixian Chen a,b, Ying Hu a,b,*, JianweiZhang c a Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China b Chinese University of Hong Kong, Hong Kong, China c University of Hamburg, Hamburg,Germany
Available online 2 June 2016
摘要
在复杂的机器人系统桌面对象操作任务中, 基于演示的控制是提高执行稳定性的有效途径。本文采用新的光手跟踪传感器 Leap Motion, 对机器人系统进行非接触演示，研制了一种多 Leap Motion 手跟踪系统。通过分析两种传感设置, 获得了有效利用两个传感器的信息的最佳方法。同时, 开发了多 Leap Motion 手跟踪装置的坐标系和机器人演示系统。通过对元件动作和延时标定的识别, 建立了融合原理, 得到了改进和修正的手势识别。对手势识别和场景实验进行了分析, 指出了在桌面对象操作任务中对机器人演示提出的多 Leap Motion跟踪系统的改进。
关键词: Leap Motion 传感器;多传感器融合;远程手术演示;手势识别;桌面对象操作
1. 导言
对于智能机器人来说, 桌面对象操作是最常见的任务之一。它结合了机器人在视觉、图像处理、对象识别、手部胳膊操作等方面的能力。然而, 真正的室内环境比实验场景复杂得多。机器人的视觉有时很难提供足够的信息来成功执行一些困难的任务, 例如拾取、放置或组装一些小对象[1]。在这些情况下, 如果两个对象之间的距离太近, 则它将很难正确地分割它们; 此外, 一些失败案例往往发生在真实的室内环境中。因此, 远程操作的演示方法是克服这些问题的有效方法 [23]。
这些演示方法已经在工业机器人上使用了几年。例如, 使用按钮或六维鼠标的控制器来控制机器人并告诉关键位置和方向, 这样机器人就可以规划弹道并正确地到达每个关键位置, 并执行平滑移动[4]。然而, 这种演示方法的接口对于智能机器人系统来说是无效的。在大多数这样的系统中, 机器人只记录位置和方向而不识别手势, 因此这些系统不适用于更复杂的桌面对象操作任务。一种基于审美界面的更自然的方法被用于演示，一个人可以让机器人手臂跟随他的行动，比如Helsh等人对仿人机器人的研究和Hwang等人。但是, 此方法还针对轨迹跟踪而不是手势识别。此外, 这是一个典型的接触控制方法, 其中人工作在与机器人相同的环境中。因此, 它几乎不用于人类不友好的环境。而非接触式远程控制方法更适合这种情况。例如, 一些基于机械的[7e9]基于光学跟踪或基于视觉的主从设备和遥控操作系统[10e12] 被开发为机器人系统。与机械设备相比, 光学和视觉跟踪系统成本较低, 在不同的环境下安装更容易。
对于手势识别, 高效的方法是使用可以记录每个手指的运动的数据手套[1314]; 某些类型的数据手套甚至可以测量抓取或捏动作的接触力[15]。然而, 除了高成本之外，它们缺乏跟踪位置的能力。因此,需要添加额外的方法来跟踪手位置 [1617], 如光学跟踪 [18], 这也增加了系统的复杂性。
有些学者只使用基于视觉的方法进行手迹和手势识别。但手势识别的性能受光照和背景条件的影响很大[19e21]。因此, 采用肤色和纯色背景等辅助方法提高识别精度[2223]。其他一些学者使用 Kinect 的 RGB 数据进行手势识别 [24]。然而,在吉姆等人的研究中, 对 kinect 传感器进行了人体运动跟踪, 证明了使用 kinect 进行手运动跟踪的准确性远远低于 Leap Motion 传感器, 特别是在手部运动跟踪方面[25]。
Leap Motion是由Leap公司开发的一种新型的非接触式手指/手跟踪传感器。它具有较高的跟踪精度, 为姿势和手势识别提供了大量的软件接口。Zubrycki 等人对机器人操纵进行了初步研究，使用 Leap Motion 传感器控制指钳[26]。GuerreroRincon 等开发一个控制机械手的接口[27], 马林等人首次尝试Leap Motion 和 Kinect 的数据组合检测手势[2829]。这些使用单 LeapMotion 的手跟踪和手势识别, 但是, 由于手指之间的遮挡问题, 只有当手掌是一个理想的方向单传感器才可以发挥良好。
本文提出了一种多Leap Motion 手跟踪系统, 克服了上述单 Leap Motion 缺陷的局限性。分析了跟踪空间和工作区域, 为两个 Leap Motion 传感器的安装提供了合适的方法。通过自注册, 建立了坐标系。基于元素操作的定义, 提出了一种校正时延的算法, 并结合两个 Leap Motion 传感器的数据, 提高了手跟踪和手势识别的稳定性。为了开发一个远程手术演示系统, 一个 Kinect 传感器和一个7自由度（自由度）机器人手臂与三指夹持器相结合，开发的多移动手跟踪系统在ROS（机器人操作系统）。最后，通过功能性实验验证了手势跟踪和手势识别相结合的结果，并通过一个场景实验来说明该系统在机器人系统中的应用。
本文的其余部分组织如下: 第二节介绍了多 LeapMotion 手跟踪系统的设计和设置;第三节给出了两个传感器的数据融合算法;第四部分介绍了场景的设置和实验;最后, 在第五部分给出了一些结论、讨论和今后的工作。
2. 多 Leap Motion 手跟踪系统的设计
2.1多 Leap Motion 传感器的设置
图1 Leap Motion坐标系
对于高精度手势识别, 当手掌旋转少于60时, 一个 Leap Motion 传感器可以正常工作。Leap Motion 传感器和手掌方向的协调定义如图 1中所示。初始方向被定义为与传感器的 palm 平面，手掌的旋转角度定义为手掌法线向量与传感器 Y 轴之间的夹角。然而, 对于这种基于光学的传感器, 最常见的问题之一就是遮挡。因此, 当手掌的旋转角度关闭到 90, 手指可能会被其他手指遮挡 (定义为 '手指遮挡')。此外, 当手掌打开并关闭到 180, 当手执行抓取或拳手势时, 手指会被手掌遮挡 (定义为 '手掌遮挡')。这显然会影响手势识别。因此, 在本文中, 我们使用一个 Leap Motion 传感器覆盖所有盲区, 克服上述问题。
另一个非常常见的光学传感器的混叠问题。当目标物体离地面目标太近时，会降低跟踪和识别的精度，这会发生在当一个滑动传感器面对操作员时。因此，我们在与操作臂正交的平面上建立TWOLAP运动传感器。图2显示了设置两个传感器的三种可选方法。
面对面: 此设置方法适合于在将手平到底部传感器或转到180时识别笔势。但当手的旋转接近90时, 它很难解决手指遮挡问题。此外, 当向上安装的传感器离桌面太近时, 会发生混淆情况。
正交设置: 此设置方法在手旋转接近90时能较好地解决手指遮挡问题。但是当手转到 180, 手掌垂直于侧面传感器。在这种情况下, 手指遮挡发生在侧面传感器, 同时, 手掌遮挡发生在底部传感器。
120-安装程序: 在这种情况下, 当手转近180时, 手掌遮挡就会发生。但侧面传感器, 安装的角度 120 到底部传感器, 可以跟踪的手。当手转动接近 90, 当手指遮挡发生时, 侧面传感器仍然可以跟踪手。此外, 当手在侧面传感器的手指遮挡或手掌遮挡区域内时, 它同时位于底部传感器的井跟踪区域内。然而, 当手掌保持超过 180, 两侧和底部的传感器将有一个更糟糕的识别性能。
图2两个 Leap Motion 传感器的安装方法a. 面对面;b. 正交设置;c. 120-设置 S H
图3 Leap Motion在多Leap Motion的应用
在本文中, 我们的目标是使用右手执行对象操作, 通常不会超过180。因此, 可以看到, 使用 120 安装程序方法, 传感器在这种情况下可以很好地覆盖彼此的盲区, 并在公共工作区中旋转时提供连续跟踪。因此, 我们将此设置方法应用于所提出的多 Leap Motion 手跟踪系统.。
2.2. 自注册和坐标变换
图3示出了两个跳跃传感器和跟踪手的坐标系。“0”和“O”分别是底部和侧面固定传感器的坐标中心。“O是跟踪手的坐标”，Ti和TA分别是底部和侧面固定传感器坐标中的手的姿态矩阵。为了融合来自两个传感器的数据，由侧传感器跟踪的手的位置和方向应该首先通过校准矩阵（1）切换到底部传感器的坐标。
为了获得校准矩阵, 在初始化过程中进行自标定。操作者将他/她的手与底部传感器的角度约为 30 , 而侧面传感器的角度约为150。有了这个方向和手势, 手可以被有力地跟踪, 手的姿势矩阵, [BTH1, BTH2, ..., BTHi] 和 [stH1, stH2, ..., STHi], 很容易获得。让平面手慢慢移动, 同时记录两个传感器的数据, 并获得转换矩阵的数组, [BTS1, BTS2, ..., BTSi]。从这些矩阵阵列中提取位置和欧拉向量，它们的平均值用于重建和获取校准矩阵。
2.3 工作空间分析
图4通过跳跃运动传感器进行手跟踪
图5 远程操作演示系统的坐标转换
自标定方法使整个坐标系更容易集成。当你想调整两个 Leap Motion 传感器的设置, 唯一需要的就是用上述校准方法重新校准系统, 然后再使用系统。然而, 受 Leap Motion 传感器工作空间的限制, 我们具体确定了两个传感器的位置和方向。使用 Leap Motion 传感器所需的工作区, 它是一个具有235毫米 235 mm 147 mm [25]的矩形框,方框中心的位置在 [0，2000] 处。Leap Motion 手跟踪系统所需的工作空间是两个矩形盒中最大的刻入圆柱。因此,在 两个传感器之间使用120的角度, 侧装传感器的位置位于底部安装的传感器的坐标中, 即BPS [173，3000]。用这些布局, 期望工作空间的直径是235毫米以它的中心在 [0，2000]。
2.4 基于多 Leap Motion 的示范系统
利用多 Leap Motion 手跟踪装置, 视觉传感器 (Kinect) 和一个机械手 (轻型臂从 SchunkTM, LWA)可以完成一个完整的机器人遥控操作演示系统。该系统的坐标系显示在图5中。Eo 和Lo 是演示的可视和操纵坐标;Vo 和Ro 是 LWA 的视觉和操纵坐标;屏幕上显示的教学坐标TO 是演示和 LWA 坐标之间的连接。使用 (2), 将合并它们的操作坐标, 以便将演示工作区中的手的位置和笔势映射到 LWA的工作区以执行演示或远程操作。
3. 多 Leap Motion 手跟踪中的数据融合
Leap Motion 传感器的 api 可以直接提供手掌的位置和方向以及每个手指的延伸状态。但是, 这些信息和状态是通过内置算法获得的, 只有单 LeapMotion 传感器才可用。因此, 在这些状态级别中, 很难将数据融合在一起。我们使用两个传感器的手指的每个链接和关节的原始位置和方向数据, 并将它们融合到数据级, 以获得正确的手跟踪信息。
3.1 手和手指的运动学模型
在 Leap Motion 传感器的 api 中, 人类的手被建模, 如下所示图 6a. [1] 每个手指由4个链接 (掌、近指骨、中间指骨和远端指骨) 和3关节 (掌指关节关节、近关节关节和远端关节关节) 组成。解剖结构的拇指, 它可以考虑与0长度掌。对于每个手指, 运动学模型, 如图 6b 所示,包括4自由度 (自由度). 其中2个由远端关节关节和近端关节关节 (R 关节) 提供; 其他2个来自掌指关节关节 (U 型关节), 包括侧向旋转。因为手指链接的长度是恒定的, 手的手势的跟踪可以用手指的每个自由度的角度来描述。
3.2 单手指数据融合
对于桌面对象操作任务, 最常用手势和最主要的动作是抓取、捏和释放。在这些操作中, 抓握或捏的力量取决于远端关节、近关节和掌指关节角的总趋势, 而不只是单关节的角度。這三個角的总和,Jqsi , 则视为一个功能。此外, 横向移动节点的角度, jqli, 是另一个功能。有了这两个功能, 手势可以最终确定。其中, s 和 l 分别呈现前三角的总值和横向运动角的值;i frac14; [1e5]将索引从拇指向小指显示; j frac14; [B S] 标记固定在底部或侧面的传感器的索引。
图6人类手的解剖结构和运动学模a. 解剖结构;b. 手指的运动学模型
为了减少噪音信号的影响, 使用5帧数据窗口的递归平均值来说明j q si 和j q li 。第二, 对于远程操作演示应用程序, 关键信息是在一个关键点阵列上的手势和位置。在动作完成后, 手自然会在这些关键点上有短暂的停顿 (通常大于0.1 秒)。因此, 元素操作可以定义为在开始和结束时有两个稳定状态, 具有动态状态 (上升或下降)。原始数据的短时间平均能量用于确定状态是否稳定。如果当前数据窗口的平均能量小于 0.0008, 我们认为当前状态是稳定的。否则, 将从jq或jqli 的当前角度开始改变。当状态再次变稳定时, 将记录角度, 并完成元素操作。图 7a 显示Bqs2 的原始数据以及上述方法识别的元
全文共7648字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[16385]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
