英语原文共 31 页，剩余内容已隐藏，支付完成后下载完整资料

有关处理面部识别挑战的技术的调查：遮挡、每个受试者单个样本和面部表情

摘要：由于在不受限制的环境下开发实际应用程序时，需要面对重大挑战，因此人脸识别受到了广泛关注。三个最重要的挑战是处理面部遮挡、每个受试者单个样本（SSPS）和面部表情的问题。本文描述并分析了最近提出的各种策略，这些策略可以克服严重影响真实面部识别系统性能的这三个主要挑战。此调查分为三个部分。在第一部分中，对解决面部遮挡挑战的方法进行了分类、说明和比较。第二部分简要描述了SSPS问题和相关的解决方案。第三部分说明了面部表情挑战。此外，陈述了每种技术的利弊。最后，提出了对未来研究的一些改进，为解决人脸识别方面的新研究提供了有用的视角。

关键词：面部识别、面部遮挡挑战、每个受试者一个样本（SSPS）问题、表情

1引言

面部在我们的社交互动中起着关键作用。它代表一个人的身份。与其他生物特征识别（例如指纹，虹膜，手掌和静脉）相比，面部可以不显眼地显示自己的身份。这扩大了潜在面部识别的范围，例如安全系统，身份验证，访问控制等（Chadha等人，2011）。尽管人脸识别自1960年代以来一直是活跃的研究领域（Bledsoe，1964），但由于遇到人脸识别系统的若干挑战，它仍在不断发展（Neves等人，2016）。遮挡、变化的照明、不同的面部表情是严重影响识别准确性的这些挑战的一些示例（Gu等人，2016）。在这些挑战中，面部遮挡被认为是降低面部识别系统性能的最具挑战性的问题之一（Ou等人，2014）。不幸的是，遮挡是现实世界中固有的挑战之一。通常，它来自戴眼镜，太阳镜，帽子，围巾以及其他放置在面部前部的物体。已经提出了许多方法来处理遮挡问题，并且它们中的大多数可以分为两类：基于整体的方法和基于零件（局部）的方法。对先前研究的回顾表明，传统的基于整体的方法比基于局部的方法对遮挡更为敏感（Wen等人，2016）。因此，本文的目标之一是介绍用于处理面部咬合挑战的方法的详尽且最新的概述。此外，将提供对这些方法的比较分析，以揭示它们的优缺点。

面部识别系统遇到的另一个挑战是所谓的“每个受试者单个样本”（SSPS）问题，这是由于存储在数据库中的面部图像的可用性引起的。在某些情况下，每个主题只有一个图像可用于训练或匹配。为了更深入地理解，SSPS问题可以定义如下：给定存储的面部图像数据库中每个对象仅包含一个面部图像，目的是通过将给定的测试图像与存储的面部图像进行匹配来识别个人。在理想情况下，在测试图像中清楚地显示了对象的脸部时，脸部识别系统可以正确识别对象。但是，当测试图像发生不同的变化（例如遮挡，表情和照明）时，面部识别系统的性能将受到负面影响（丁等，2015）。在这种情况下，传统的人脸识别方法无法在SSPS条件下识别人脸，在训练条件下，每个受试者需要多个人脸图像才能获得良好的系统性能（Zhang等，2014）。在不受限制的环境中，面部表情也被认为是遗传的挑战之一。它对面部识别系统的性能影响很大。此外，在某些情况下，它还伴随有遮挡挑战，这使得识别过程更加困难。迄今为止，已经提出了几种方法来解决上述问题。

2 面部遮挡挑战

处理面部遮挡挑战的困难是当前可用的面部识别方法的主要限制。面部图像易受遮挡和其他变化（例如照明和表情）的影响。最近，人们为克服人脸识别系统中的遮挡问题进行了广泛的研究（Kanan等，2008；Kanan和Faez，2010；Chen和Gao，2013年12月；Huang等，2012；Wen等，2015；Wang等，2012）。Chen等，2015 ; McCloskey等，2011 ; Andreacute;s等，2014; Min等，2014年；Vijayalak- shmi 和Raj，2015；McLaughlin等，2013；赵等，2016；杨等，2015；Sharma等，2013；Lahasan等，2014）。本节根据处理遮挡问题的方法对典型的遮挡人脸识别方法进行回顾和分类。通常，识别遮挡脸部的方法大致可分为两类：基于整体的方法和基于部位的方法。以下小节提供了每个类别的描述。

2.1 基于整体的方法

基于整体的方法倾向于将人脸图像视为一个整体，从人脸中利用全局信息来进行人脸识别。用少数特征表示从面部图像获得的全局信息。这些功能显然具备不同人的面孔之间的差异，因此被用来识别个人。基于整体方法的流行示例是主成分分析（PCA），独立成分分析（ICA）和线性判别分析（LDA）。以下各节对它们中的每一个进行了简要说明。

2.1.1主成分分析（PCA）

PCA是一种统计方法，可用来取消特征空间的相关性并减小维数。在面部识别领域，训练图像的增加导致矩阵图像的增加，这引起了所谓的维度诅咒。换句话说，直接处理面部图像相当困难，因为每个图像都包含一组需要处理的高维像素。因此，在分类任务之前应用降维至关重要，因为可以从高维数据中提取有意义的信息，并去除多余的信息。已经提出了许多解决高维问题的方法（Vinay等，2016；Jadhav和Holambe，2008；宋等，2006年；冯等，2013 ；Hu等，2016；Bilge等，2013；黄等，2014）。通常，有两种类型的技术可用于降维。线性（Satonkar Suhas等，2012；Zhao等，2012；He和Niyogi，2004；Belhumeur等，1997）和非线性（Schouml;lkopf等，1998；Roweis和Saul，2000；Tenenbaum等，2000；Raytchev等，2006）。在线性技术中，通过线性映射将数据从高维子空间转换为低维子空间。另一方面，非线性技术直接从高维数据矩阵生成低维数据矩阵。其主要目的是在保留原始数据结构的同时降低其维数。例如，当面部图像暴露于不同的变化（例如遮挡，姿势，照明等）时，这种非线性技术具有处理复杂非线性数据的优势。当使用非线性技术时，识别暴露于上述挑战的面部的效率会提高。有关降维技术的评论，请参见Chitra和Balakrishnan（2012）。

PCA是主要的线性技术，并且是许多降维技术的基础。它首先通过找到特征值最高的特征向量来对特征空间进行解相关。然后通过对特征值进行排序来进行降维。面部图像在新的低维空间中表示为流形。对于识别过程，将探针面部图像投影到面部空间，并使用不同的度量标准来计算到面部空间中最接近的面部图像的距离。

早期的面部识别研究是由 Turk和Pentland（1991）完成的。他们介绍了第一个成功的使用特征脸技术的自动人脸识别系统。此外，他们表明，遮挡会显着影响识别性能。Li等人已经完成了PCA的另一种实现方式（2006）。两项研究中使用AR数据库中的人脸图像报告的准确度分别为56.4％和65.3％。我们注意到在先前的研究中，PCA的精度存在差异，这是由于实验设置导致测试图像和训练图像的数量不同。另外，分类方法也不同。但是，PCA的缺点之一是对面部遮挡的敏感性，在存在遮挡的情况下其性能较差。

2.1.2独立成分分析（ICA）

ICA是 Bartlett等人提出的使用整体方法的另一项贡献（2002），他们已经推出了ICA的分类方法识别人脸（阿巴特等，2007）。

ICA是PCA的开发版本，与PCA相比具有许多优势。这些优点是：（i）在n维空间中提供更好的数据表征；（ii）重建误差小；（iii）捕获判别特征并考虑高阶统计量（Abate等人，2007年）。但是，使用ICA的基础图像不能完全展现局部属性，这意味着不属于局部显着特征区域的像素仍具有一些非零的权重值。非突出区域中的此类像素值似乎是噪声，并且可能导致面部识别系统的性能下降，特别是在面部容易遮挡的情况下。Kim等（2005年）执行了ICA的两种表示（ICA _ I，ICA _ II）从AR数据库中识别遮挡的脸部。他们使用树的不同距离（L1，L2和余弦）计算识别率。

2.1.3 线性判别分析（LDA）

Etemad和Chellappa（1997）提出的LDA 是另一种整体方法，它利用了来自面部图像的全局信息。LDA根据用于训练的类的已知样本执行分类。其目标是在训练阶段最大化类间差异，同时最小化类内差异。LDA的优点之一是特征提取和计算速度快。Li等（2006）已经实现了LDA的扩展版本LDA / QR（Ye and Li 2005）以识别被遮挡的人脸。使用AR数据库对其进行了评估，报告的识别率为70.8％。

伪逆线性判别分析（PLDA）是用于面部识别的LDA方法的另一种形式。不幸的是，PLDA在计算和存储方面很昂贵。为了克服这个缺点，李等人（ 2006 ）提出了一种新的特征提取方法RSw-LDA，被认为在计算和存储方面更有效; 同时它可以产生与PLDA相同的投影矩阵。在总体性能上，PLDA和RSw-LDA在使用AR数据库进行遮挡方面的识别率均不到80％。

使用来自人脸图像的全局信息的替代方法是支持向量机（SVM）（Guo等，2000；Li等，2000），内核方法（Xian-Dong和Shi-Fu 2003；Kim等，2002）和神经网络网络（Latha等，2009；Nandini等，2013）。这些方法已经被用来构建一组合适的面部模板。通常，SVM试图找到在同一侧将同一类别的点的最大可能部分分开的超平面，同时最大化从任一类别到超平面的距离。郭等（2000年）推出了使用支持向量机和二叉树识别策略的人脸识别系统。他们声称，与标准特征脸方法相比，通过SVM分类可以实现更高的识别率。但是，当人脸容易遮挡时，整体方法的识别率较低。这种弱点主要是由于整体特征很容易受到遮挡的影响。另外，它们缺乏将图像先验分解成有意义的分量的缺点。因此，注意基于部分（局部）的方法来处理遮挡挑战。

2.2 基于局部的方法

在这种处理遮挡的方法中，人脸图像被分割为各种重叠或不重叠的片段。然后对每个段进行独立处理，并在局部区域进行匹配而不是全脸执行。根据识别过程，可以将该类别下的方法进一步分为三类：即局部匹配法，重构法和检测丢弃法。

2.2.1 局部匹配法

在局部匹配方法中，首先将面部图像细分为小块。之后，每个小块都被隔离处理。Martinez的定位算法（MLA）是使用局部匹配方法处理面部遮挡问题的创新贡献之一（Martinez Jun 2002）。在此算法中，提出了一种新的概率方法来识别被遮挡的面部。引入MLA方法是为了处理多个人脸识别挑战，包括不精确的定位，部分遮挡和仅使用单个人脸图像进行训练的不同面部表情。用这种方法，将人脸图像划分为k局部部分，每个部分均在本地处理。然后，构造这些部分的本征空间。此后，将画廊人脸图像投影到这些子空间上，并使用k个高斯混合模型（GMM）对每个类别进行建模。另外，为了获得针对表情变化的更好的表现，考虑了与局部区域的情绪状态相关联的加权方案。这种方法的主要缺点是需要手动定位局部特征。在这个方向上，Tan等（2005年7月）用自组织图（SOM）代替了高斯混合模型，以改善MLA。SOM具有优于GMM的高效特性，能够消除可能的噪音和异常值。Tan 基于SOM的另一项改进（2009）进一步应用局部距离（PD）来识别被遮挡的脸。它通过捕捉面部图像之间的显着局部相似性来减少遮挡对面部特征的影响。陈和高（2010）提出了一种构建Stringface表示的方法，以将中间级特征（线段）的关系组织集成到高级全局结构（字符串）中。在他们提出的方法中，人脸图像被表示为字符串，并经过处理以定义人额脸中复杂的不连续特征。在扩展工作中（Chen和Gao，2013年12月），作者更新了将低级特征字母分组为中级单词的字面表示形式。然后，基于它们的关系组织，将分组的单词集成到高级句子字符串中。通过使用字符串间匹配方案比较两个字符串，可以执行两个面孔的匹配。此方法可以识别最有区别的局部部

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[237904]，资料为PDF文档或Word文档，PDF文档可免费转换为Word