英语原文共 13 页
人机协作的手势识别综述
摘要：
最近，人机协作的概念引起了人们广泛的研究兴趣，人机协作是让人类工作者和机器人在共享的制造环境中一起工作，而不是机器人在工作场所取代人类工作者。如果有效的沟通渠道之间的人机协作可以建立，那么人机协作就能将人类从与辅助机器人的繁重任务中解放出来。虽然人类和机器人之间的沟通渠道仍然有限制，但是手势识别已被有效地应用为人类之间的界面和电脑很长一段时间。涵盖了一些最重要的技术和算法手势识别，本文旨在提供手势识别研究的概述，并探索在人机协同制造中应用手势识别的可能性。本文还提出了人机协作的手势识别整体模型。人机协作的手势识别模型有四个基本技术组件：传感器技术，手势识别，手势跟踪和手势分类。已审核的方法根据四个基本技术组件进行分类。 统计分析也是经过技术分析后提出。 在本文的最后，概述了未来的研究趋势。
关键词：人机协作，手势，手势识别
一引言
1.1人机协作
机器人系统已经成为各种工业领域的重要组成部分。最近，人机协作（HRC）的概念激发了更多的兴趣。文献表明，人类工作者具有独特的解决问题的技能和感知-行动能力，但在力量和精度上受到限制（Kruuml;ger等，2009; Green等，2008）。另一方面，机器人系统提供更好的耐久，更高的速度，更高的重复性和更高的生产率，但灵活性受到限制。而且，HRC可以通过建立人类和机器人之间的沟通渠道，将人类工人从繁重的工作中解放出来，以获得更好的整体表现。
理想情况下，在制造环境中，一个HRC团队应该与一个人类团队一样工作。然而，时间分离或空间分离在HRC系统中占主导地位，这降低了人类工人和机器人的生产率（Kr眉等人，2009）。为了建立一个高效的HRC团队，可以分析人与人之间的协作来作为一个例子。在人类团队合作和协作中，有两种理论：联合意图理论和位置学习理论（Cohen和Levesque，1990,1991; Vygotsky，1980; Breazeal等，2004）。 要在HRC团队中应用这些理论，三个经验将使HRC制造团队受益：
·HRC团队中的所有团队成员应该共享相同的执行计划;
·HRC团队中的所有团队成员都应该了解这协作环境的背景;
·HRC团队应该有结构化的沟通方式。
本文主要关注第三种经验，即结构化的沟通方式。
1.2手势识别
手势是一种通信方式。 点头，手势和身体姿势是人与人合作的有效沟通渠道（Green et al，2008; Baueret al，2008）。 手势可以分为三种类型（Mitraand Acharya，2007）：
·身体姿势：全身动作或动作，
·手和手臂的手势：手臂姿势，手势
·头部和面部姿势：点头或摇头，动眼唇。
手势识别是指通过计算设备对人体运动的数学解释。为了与人类工作者协作，机器人需要正确理解人类的手势，并根据手势有效地行动。在HRC制造环境中，应该提供人与机器人之间自然形式的手势交流。
1.3人机协作的手势识别
要识别HRC制造环境中的手势，研究一般和简化的人类形成处理模型是有益的。如图1所示，Parasuraman等人（2000）将人类信息处理概括为四阶段模型。基于此通用模型，我们提出了一个特定的模型用于HRC中的手势识别。如图2所示，与HRC的手势识别有关的五个基本部分：传感器数据收集，手势识别，手势跟踪，手势分类和手势映射，如下所述。
·传感器数据收集：传感器捕获手势的原始数据。
·手势识别：在每个帧中，手势位于原始数据中。
·手势跟踪：在手势移动期间跟踪定位的手势。 对于静态手势，不需要手势跟踪。
·手势分类：跟踪的手势移动根据预定义的手势类型进行分类。
·手势映射：手势识别结果被转换为机器人命令并发送回工人。
本文的其余部分安排如下：第2节回顾了传感器技术。第3节提供了手势识别方法的概述。第4节讨论手势跟踪问题。第5节介绍了手势分类算法。第6节揭示了审查人员的统计分析。第7节本文总结了未来的研究趋势。
二传感器技术
在手势识别过程开始之前，需要由传感器收集原始手势数据。 在本节中，基于各种传感技术分析文献中的不同传感器。 如图3所示，有两种基本类别的数据采集：基于图像和非基于图像的方法。
2.1基于图像方法
技术通常受大自然的启发。 作为一个人，我们用眼睛来识别手势。 因此，对于机器人来说，使用相机进行“观察”手势是合理的。 基于图像的方法进一步分为四类。
2.1.1标记法
在基于标记的方法中，传感器是传统的光学相机。 在大多数基于标记的解决方案中，用户需要佩戴明显的标记（Mitra和Acharya，2007）。 今天，与二十年前相比，我们享受了更快的图形处理速度。因此，市场上出现了更多的手势识别传感器。
2.1.2单相机法
在90年代初期，研究人员开始使用单个相机分析手势（Starner，1995; Starner等，1998）。基于单相机的方法的缺点是视角受到限制，这会影响系统的稳健性（Howe等，1999）。 然而，最近的研究在高速手势识别中应用了单个相机（Katsuki等，2015）该系统利用速度图像传感器和专门设计的视觉计算处理器来实现高速手势识别。
2.1.3立体相机法
为了实现稳健的手势识别，研究人员建议基于立体相机的方法来构建3D环境。它们已应用于使用两个立体相机构建3D深度信息的应用程序中。 许多基于立体相机的方法遵循类似的工作流程（Elmezain等人，2008; Matsumoto和Zelinsky，2000）。尽管立体摄像系统在室外环境中具有改进的稳健性，但它们仍然存在计算复杂性和校准困难等问题（Wachs等，2011）。
2.1.4深度传感器法
最近，深度传感技术迅速出现。我们将深度传感器定义为非立体深度感测设备。与传统立体相机相比，非立体深度传感器具有多个优点。例如，可以防止设置校准和照明条件的问题（Suarezand Murphy，2012）。此外，深度传感器的输出是3D深度信息。与颜色信息相比，3D深度信息简化了手势识别的问题（Mitra和Acharya，2007）。通过使用颜色和深度信息来比较手势识别准确度可以在（Doliotis等人，2011）中找到。飞行时间（ToF）技术是流行的深度传感技术之一。ToF技术的基本原理是识别光传播时间（Hansard等，2012）。最近，Microsoft Kinect 2应用了ToF技术。ToF技术的优势在于更高的帧速率.ToF技术的局限在于摄像机分辨率高度依赖于其光功率和反射（Gokturk等，2004）。
深度传感器为手势识别提供了便宜且简单的解决方案。它广泛用于娱乐，教育和研究，它引入了大型开发者社区（Arango Paredes等，2015; Anderson等，2013; Obdrzalek等，2012; Kapu scinski等，2014）。通过大型开发人员社区，可以使用许多开源工具和项目。 由于分辨率限制，目前，深度传感器在人体姿势识别和近距离手和手臂姿态识别中特别受欢迎（Kapu scinski等，2014; Wang等，2015; Kurakin等，2012; Shotton等，2013）
2.2非基于图像方法
长期以来，基于图像的传感器一直主导着手势识别。MEMS和传感器的最新发展显着提升了基于非图像的手势识别技术
2.2.1手套
基于手套的手势界面通常用于手势识别。通常，基于手套的方法需要线连接，加速度计和陀螺仪。然而，一些带有大量电缆的笨重手套可能会在人机协作制造环境中引起问题（Mitra和Acharya，2007; Sharpet al，2015）。基于手套的方法还引入了复杂的校准和设置程序（Erol等，2007）。
2.2.2纽带
另一种非接触式技术使用基于纽带的传感器。基于纽带的传感器依赖于腕带或类似的可穿戴设备。基于纽带的传感器采用无线技术和肌电传感器，避免连接电缆。传感器只需要与手腕接触; 用户的手和手指被释放。一个例子是Myo手势控制臂带（Labs，2015）。最近，已经报道了几种基于纽带的传感器手势控制系统（Zhang和Harrison，2015; Haroon和Malik，2016; Roy等，2016）。
2.2.3非可穿戴
第三种非基于图像的技术采用非可穿戴传感器。非可穿戴传感器可以在不接触人体的情况下检测手势。谷歌推出了基于射频（RF）信号的手势跟踪和识别系统Project Soli（Google，2015）。如图4（a）所示，该设备具有RF信号发送器和接收器。它能够在短距离内识别出不同的手势。麻省理工学院多年来一直引领着非可穿戴的手势识别技术。麻省理工学院是电场传感技术的先驱（Smithet al。，1998）。麻省理工学院最近的一项发现引入了WiTrack和RF-Capture系统，该系统通过人体反射的无线电频率信号捕获用户运动（Adib等，2014,2015; Adiband Katabi，2013）。如图4（b）所示，RF-Capture系统选择可以穿过墙壁并反射人体的特定RF信号。该系统可以从另一个房间捕获人体运动，精度为20厘米。虽然精确度在HRC制造中是不可接受的，但非可穿戴的技术是有前景的，并且是用于手势识别中能快速增长的传感器技术。
2.3传感器技术的比较
表1中提供了不同传感器技术的比较，总结了不同技术的优缺点。很明显，没有适合所有HRC应用的传感器。基于以上分析，提供了两种传感器技术观察法：
·在室内HRC制造环境中，深度传感器是最有前景的基于图像的技术。深度传感器具有易于校准和准确数据处理的优点。 存在大型应用程序开发人员社区，提供即时解决方案。
·非可穿戴方法是非基于图像的方法中最有前途的技术。 他们可以避免与用户直接接触，这在HRC制造环境中提供了优势。 非可穿戴传感也是一个快速发展的领域。
三手势识别
在从传感捕获原始数据之后，手势识别是手势认知的第一步。手势识别意味着检测手势信息并从原始数据中分割相应的手势信息。解决手势识别问题的流行技术基于视觉特征，学习算法和骨架模型。
3.1视觉特点
人类的手和身体具有独特的视觉特征。在基于图像的手势识别中，手势由人手或身体组成。因此，在手势识别中利用这些视觉特征是直截了当的。
3.1.1颜色
颜色是一种简单的视觉功能，可根据背景信息识别手势。然而，基于颜色的手势识别系统很容易受到复杂HRC环境中的光照和阴影的影响（Letessier和Berard，2004）。皮肤颜色检测中的另一个常见问题是人类皮肤颜色因人类种族而异。由于上述问题，在最近的方法中，肤色仅被认为是手势识别中的许多提示之一。
3.1.2局部特征
在基于图像的手势识别中，照明条件显着影响手势识别质量。因此，许多研究人员利用了对光照条件不敏感的局部特征方法。局部特征方法是一种基于纹理的详细方法。它将图像分解成与身体部位不对应的较小区域（Weinland等，2011）。如图5所示，最重要的局部特征之一是尺度不变特征变换（SIFT）（Lowe，1999）。几个类似的局部特征方法，例如，SURF和ORB在后来的几年中提出（Bay等，2006; Rublee等，2011）。通常，局部特征方法仅被认为是手势识别中的许多提示之一。几种识别方法，例如形状和轮廓方法，运动方法和学习方法都基于局部特征。
3.1.3形状和轮廓
识别手势的另一种直观且简单的方法是在HRC环境中利用人体的独特形状和轮廓。 基于形状模型的方法匹配预先构建的形状模型和来自观察的形状特征。Belongie等报道了形状检测和匹配的里程碑（2002年）。他们引入了形状对比描述方法。形状对比描述用于检测不同图像中的相似形状。深度传感器的发展提供了测量表面形状的机会。由这些技术生成的3D模型能够高度详细地表示人体形状（Allen等，2002; Oikonomidis等，2011）。
3.1.4运动
在某些HRC制造环境中，人类工人是原始数据中唯一的移动对象。因此，人体运动是检测人类手势的有用特征。光流是基于运动的手势识别的关键技术。光流不需要背景减法，与基于形状和轮廓的方法相比，这是一个优点。基于光流法实现了几种手势识别应用（Cutler和Turk，1998; Barron等，1994）。Dalal和Thurau（Thurau和Hlava c，2008）介绍了着名的定向梯度直方图（HOG）方法。HOG 将图像帧划分为块。对于每个块，计算组织克数。在基于非图像的传感器中，基于运动的手势识别也是一种流行的方法（Adib和Katabi，2013; Pu等，2013）。通常，阈值处理和过滤应用于原始传感器数据以识别人类手势。
3.2学习算法
最近的手势识别趋势是使用学习算法，特别是对于可以在单个帧中表示的静态姿势检测。视觉特征方法基于各种视觉特征，而学习算法利用机器学习算法从原始传感器数据识别手势。虽然一些算法基于视觉特征方法，但学习算法并不总是需要图像背景去除。支持向量机（SVM），人工神经网络（ANN）和随机决策森林（RDF）等学习算法广泛应用于手势识别系统（Ronfard等，2002; Lee等，2003; Tang等，2014）
3.3骨架模型
为了识别身体姿势，人体的详细模型通常是无用的。与上述方法不同，骨架模型方法使用人体骨骼来发现人体姿势（Taylor et al等，2012）。如图6所示，骨架模型是简化的人体模型，其仅保留来自人体的最有价值的信息。骨架模型方法
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
