英语原文共 13 页
人机协作的手势识别：综述
刘弘义，王立辉
瑞典斯德哥尔摩KTH皇家理工学院生产工程系
摘 要：最近，人机协作的概念引起了许多研究者的兴趣。人机协作不是机器人取代工作场所中的工人，而是允许工人和机器人在共享的制造环境中一起工作。如果建立人与机器人之间的有效沟通渠道，人机协作通过使用协助机器人可以使工人摆脱繁重的任务。虽然工人和机器人之间的沟通渠道仍然有限，但是手势识别已经在很长一段时间里被有效地应用为人与计算机之间的接口。本文涵盖了一些最重要的手势识别技术和算法，旨在提供手势识别研究的概述，并探索在人机协同制造中应用手势识别的可能性。本文还提出了人机协作的手势识别整体模型。人机协作的手势识别模型有四个基本技术组件：传感器技术，手势识别，手势跟踪和手势分类。已审核的方法根据四个基本技术组件进行分类。技术分析后也会提供统计分析。在本文的最后，概述了未来的研究趋势。
1 介绍
1.1人机协作
机器人系统已经成为各种工业领域的重要组成部分。最近，人机协作（HRC）的概念引起了更多的兴趣。文献表明，人类工作者具有独特的解决问题的技能和感觉运动能力，但在力和精确度方面受到限制（Kruuml;ger等人，2009年； Green等人，2008年)。另一方面，机器人系统提供更少的疲劳，更快的速度，更高的可重复性和更高的生产率，但灵活性受到限制。HRC可以通过在人和机器人之间建立沟通渠道来实现更好的整体绩效，从而共同解决人类工作繁重的任务。
理想情况下，HRC团队应该像制造环境中的人-人协作团队一样工作。然而，时间分离或空间分离在HRC系统中占主导地位，这降低了人类工人和机器人的生产率（Kruuml;ger等人，2009年）。建立一个高效的HRC团队，人与人的协作能够作为示例。在人类团队合作和协作中，有两种理论：联合意图理论和情境学习理论（Cohen和Levesque，1990年，1991年；Vygotsky，1980年;Breazeal等人，2004年)。要在HRC团队中应用这些理论，三个经验将使HRC制造团队受益：
● HRC团队中的所有团队成员应该共享相同的执行计划;
● HRC团队中的所有团队成员都应了解协作环境的背景;
● HRC团队应该有结构化的沟通方式。
本文主要关注第三种体验，即结构化的交流形式。
1.2手势识别
手势是一种交流方式。点头、手势和肢体动作是人与人合作有效的沟通渠道（Green等人，2008年；Bauer等人，2008年）。手势可以分为三种类型（Mitra和Acharya，2007年)：
● 肢体动作：全身动作或动作，
● 手和手臂的手势：手臂姿势，手势
● 头部和面部姿势：点头或摇头，眨眼唇。
手势识别是指用计算机设备对人体运动进行数学解释。为了与人类工人合作，机器人需要正确理解人类的手势，并有效地根据这些手势采取行动。在人力资源管理的制造环境中，人类和机器人之间的手势交流应该是一种自然的形式。
1.3人机协作的手势识别
为了识别HRC制造环境中的手势，研究通用和简化的人类信息处理模型是有益的。如图1所示广义人类信息处理成四阶段模型。基于该通用模型，我们提出了HRC中手势识别的特定模型。如图2所示有三个与HRC手势识别相关的基本部分：传感器数据采集，手势识别，手势跟踪，手势分类和手势映射，解释如下：
● 传感器数据收集：传感器捕获手势的原始数据。
● 手势识别：在每个帧中，手势位于原始数据中。
● 手势跟踪：在手势移动期间跟踪定位的手势。对于静态手势，不需要手势跟踪。
● 手势分类：跟踪的手势移动根据预定义的手势类型进行分类。
● 手势映射：手势识别结果被转换为机器人命令并发送回工人。
本文的其余部分安排如下：部分2 评论启用传感器技术。部分3 提供了手势识别方法的概述。部分4 讨论手势跟踪问题。部分5 介绍手势分类算法。部分6 揭示了评论文章的统计分析。部分7 本文总结了未来的研究趋势。
图1.人体信息处理的四阶段模型（Parasuraman等人，2000年)。
图2.人机协作的手势识别过程模型
2 传感器技术
在手势识别过程开始之前，需要由传感器收集原始手势数据。在本节中，基于各种传感技术分析文献中的不同传感器。如图3所示，有两种基本类别的数据采集：基于图像和非基于图像的方法。
图3.不同类型的手势识别传感器
2.1 基于图像的方法
技术通常受大自然的启发。作为一个人，我们用眼睛来识别手势。因此，对于机器人来说，使用相机“看”手势是合理的。基于图像的方法进一步分为四类。
2.1.1 标记
在基于标记的方法中，传感器是传统的光学相机。在大多数基于标记的解决方案中，用户需要佩戴明显的标记（Mitra和Acharya，2007年).今天，与二十年前相比，我们享受了更快的图形处理速度。结果是市场上有更多的手势识别传感器。
2.1.2 单摄像头
在90年代初期，研究人员开始使用单个相机分析手势（Starner，1995年;Starner等人，1998年)。基于单相机的方法的缺点是视角受到限制，这会影响系统的稳健性（Howe等人，1999年)。然而，最近的研究在高速手势识别中应用了单个相机（Katsuki等人，2015年）。该系统利用速度图像传感器和专门设计的视觉计算处理器来实现高速手势识别。
2.1.3 立体相机
为了实现稳健的手势识别，研究人员建议基于立体相机的方法来构建3D环境。它们已应用于使用两个立体相机的应用中构建3D深度信息。许多基于立体相机的方法遵循类似的工作流程（Elmezain等，2008年； Matsumoto和Zelinsky，2000年）。虽然立体摄像系统在室外环境中具有更好的稳健性，但它们仍然存在诸如计算复杂性和校准困难等问题（Wachs等，2011年)。
2.1.4 深度传感器
最近，深度传感技术迅速出现。我们将深度传感器定义为非立体深度感测设备。与传统立体相机相比，非立体深度传感器具有多个优点。例如，可以防止设置校准和照明条件的问题（Suarez and Murphy，2012年).此外，深度传感器的输出是3D深度信息。与颜色信息相比，3D深度信息简化了手势识别的问题（Mitra和Acharya，2007年)。使用颜色和深度信息比较手势识别的准确性可以在（Doliotis等人，2011年)。飞行时间（ToF）技术是流行的深度传感技术之一。ToF技术的基本原则是识别光传播时间（Hansard等人， 2012年).最近，Microsoft Kinect 2应用了ToF技术。ToF技术的优点是帧速率更高。ToF技术的局限性在于相机分辨率高度依赖于其光功率和反射（Gokturk等人， 2004年)。
深度传感器为手势识别提供了便宜且简单的解决方案。它广泛用于娱乐，教育和研究，它引入了一个大型的开发者社区（Arango Paredes等人，2015年；Anderson等人，2013年；Obdrzalek等人，2012年；Kapuacute;scinacute;ski等人，2014年)。通过大型开发人员社区，可以使用许多开源工具和项目。由于分辨率限制，目前，深度传感器在身体姿势识别和近距离手和手臂姿势识别中特别受欢迎（Kapuacute;scinacute;ski等人，2014年；Wang等人，2015年； Kurakin等人，2012年；Shotton等人，2013年)。
2.2 非基于图像的方法
长期以来，基于图像的传感器一直主导着手势识别。MEMS和传感器的最新发展显着提升了基于非图像的手势识别技术。
2.2.1手套
基于手套的手势界面通常用于手势识别。通常，基于手套的方法需要有线连接，加速度计和陀螺仪。然而，带有大量电缆的笨重手套可能会导致HRC制造环境出现问题（Mitra和Acharya，2007年；Sharp等人，2015年)。基于手套的方法还引入了复杂的校准和设置程序（Erol等，2007年)。
2.2.2 带
另一种非接触式技术使用基于带的传感器。基于频带的传感器依赖于腕带或类似的可穿戴设备。基于波段的传感器采用无线技术和肌电图传感器，避免连接电缆。传感器只需要与手腕接触;用户的手和手指被释放。一个例子是Myo手势控制臂章（Labs，2015年)。最近，已经报道了几种基于带的传感器手势控制系统（Zhang 和 Harrison，2015年；Haroon和Malik，2016年；Roy等人，2016年)。
2.2.3 不可戴
第三种非基于图像的技术采用非可穿戴传感器。不可穿戴的传感器可以在不接触人体的情况下检测手势。谷歌推出了基于射频（RF）信号的手势追踪和识别系统Project Soli（Google，2015年)。如图4（a）所示，该设备具有RF信号发送器和接收器。它能够识别短距离内的不同手势。麻省理工学院多年来一直领导着不可穿戴的手势识别技术。电场感应技术由麻省理工学院率先推出（Smith等人，1998年)。麻省理工学院最近的一项发现引入了WiTrack和RF-Capture系统，该系统通过人体反射的射频信号捕获用户运动（Adib等人，2014,2015；Aib和Katabi，2013年)。如图4（b）所示，RF-Capture系统选择可以穿过墙壁并反射出人体的特定RF信号。该系统甚至可以从另一个房间捕获人体运动，精度为20厘米。尽管在HRC制造中精度是不可接受的，但是基于非可穿戴的技术是用于手势识别的快速增长的传感器技术。
图4.Soli和RF-Caputure项目：（a）Soli项目的概念；（b）RF-Caputure手势捕获系统的概念
2.3 传感器技术的比较
提供了不同传感器技术的比较表格1，总结了不同技术的优缺点。很明显，没有适合所有HRC应用的传感器。基于以上分析，提供了两种传感器技术观察：
● 在室内HRC制造环境中，深度传感器是最有前景的基于图像的技术。深度传感器具有易于校准和准确数据处理的优点。存在大型应用程序开发人员社区，提供即时解决方案。
● 非可穿戴方法是非基于图像的方法中最有前途的技术。他们可以避免与用户直接接触，这在HRC制造环境中提供了优势。非可穿戴传感也是一个快速发展的领域。
表1 不同传感器技术的优缺点。
|
好处 |
缺点 |
|
|
标记 |
计算工作量低 |
用户身上的标记 |
|
单摄像头 |
易于安装 |
低稳健性 |
|
立体相机 |
强大的 |
计算复杂，校准困难 |
|
ToF相机 |
帧率高 |
分辨率取决于光功率和反射 |
|
微软Kinect |
快速出现的身体姿势识别软件支持 |
不能用于超过2米的手势识别 |
|
手套 |
快速响应，精确跟踪 |
带有大量电缆的笨重设备 |
|
带传感器 |
响应速度快，传感面积大 |
乐队需要与人体接触 |
|
不可戴 |
避免接触人体 |
分辨率低，技术不够成熟 |
3 手势识别
手势识别是从传感器捕获原始数据后手势识别的第一步。手势识别是指从原始数据中检测手势信息并分割相应的手势信息。解决手势识别问题的常用技术是基于视觉特征、学习算法和骨架模型。
3.1视觉特征
人类的手和身体具有独特的视觉特征。在基于图像的手势识别中，手势由人手或身体组成。因此，在手势识别中利用这些视觉特征是很简单的。
3.1.1 颜色
颜色是从背景信息中识别手势的简单视觉特征。然而，在复杂的HRC环境中，基于颜色的手势识别系统很容易受到光照和阴影的影响（Letessier和Be#39;rard，2004）。皮肤颜色检测中的另一个常见问题是，人类的皮肤颜色因人种而异。由于上述问题，在最近的方法中，肤色仅被认为是手势识别的众多提示之一。
3.1.2 局部特征
在基于图像的手势识别中，照明条件显着影响手势识别质量。因此，许多研究人员利用了对光照条件不敏感的局部特征方法。局部特征方法是一种基于纹理的详细方法。它将图像分解为与身体部位不对应的较小区域（Weinland等人，2011年)。如图5所示，最重要的局部特征之一是尺度不变特征变换（SIFT）（Lowe, 1999年).一些类似的局部特征方法，例如，SURF和ORB在后来的几年提出（Bay等人，2006年；Rublee等人，2011年)。通常，局部特征方法仅被认为是手势识别中的许多提示之一。几种识别方法，例如形状和轮廓方法，运动方法和学习方法都基于局部特征。
3.1.3 形状和轮廓
识别手势的另一种直观且简单的方法是在HRC环境中利用人
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
