英语原文共 18 页，剩余内容已隐藏，支付完成后下载完整资料
基于多尺度虹膜形状特征的人脸图像姿态变化的人眼检测
金贤君、贾克·乔、卡安图、Jaihie Kim
韩国首尔03722延世大学电气和电子工程学院
关键字:人眼检测、人眼定位、面部特征检测、人眼验证
摘要
人脸图像中眼睛的准确定位对于人脸识别的许多应用都是非常重要的，这项研究也在计算机视觉领域引起了相当大的研究兴趣。然而，大多数检测方法是基于面部的正面姿势，如果把它们应用到非正面姿势上，就会产生错误的结果。
本文提出了一种能够在不同头部姿态下捕捉到人脸图像中眼睛检测方法。我们提出的方法包括两个阶段：眼睛候选检测与眼睛候选验证。在眼睛候选检测中，通过使用多尺度虹膜形状特征和积分图像获得眼睛候选区域。人脸图像中虹膜的大小随着头部姿态变化而变化，所提出的多尺度虹膜形状特征方法能够在这种情况下检测眼睛。由于它利用积分图像，其计算成本相对较低。然后基于定向梯度直方图（HOG）和小区平均强度特征的特征级融合，使用支持向量机（SVM）在眼睛候选验证阶段验证所提取的眼候选。
我们使用中国科学院的姿态、表情、附件和照明（CAS－PEAL）数据库和pointingrsquo;04rsquo;数据库对所提出的方法进行了性能测试。结果证实了我们的方法相对于传统的Haar-like探测器和在相对极端头部姿态变化下的两个混合眼睛探测器的优越性。
1.介绍
由于眼睛是人脸的显著特征，眼睛的检测和定位是各种人脸和眼睛相关应用中必不可少的过程。在人脸识别，年龄估计和三维(3D)面部重建等人脸相关应用中，眼睛的定位是人脸特征点对齐和人脸形状规范化的关键步骤。其他与眼睛相关的应用，如驾驶员行为分析，凝视估计和虹膜识别，也需要对眼睛位置的检测来做出准确的决策。
根据参考文献，现有的眼睛检测方法是基于(一)眼睛特征的测量，(二)统计外观模型的学习，(三)开发关于结构信息。
基于眼特征测量的方法使用直观的视觉特征，例如形状，虹膜和邻近区域之间的强度差异，或红外图像中的眼睛反射，作为检测模板。这些方法具有执行简单和快速的优点，因为它们使用直观的算法。Jing 等人通过使用眼睛和皮肤的邻近区域之间的图像对比度来检测眼状区域，并且通过在水平和垂直方向上投影图像来定位眼睛的位置。 San等人提出基于颜色信息和脸部对称特征的眼睛检测。 Skodras等人在低分辨率图像中通过使用颜色和径向对称在低分辨率图像中实现眼睛中心定位。 Jian和Lam 使用了一个突出的地图来检测脸部区域强烈显着的眼睛。Takano等人使用关于虹膜和眼睑的梯度信息来检测眼睛。伊藤等人使用Hough变换来检测眼睛虹膜的圆形边界。Kim等人提出了使用虹膜形状特征的眼睛检测。 Horng等人开发了一种使用模板匹配和边缘渐变的眼动追踪方法。Zhao和Grigat 提出了一种眼睛检测方法，利用主动红外光在瞳孔和虹膜之间的反射特性差异。
然而，上述大多数方法都是在眼睛定位研究的早期阶段发展起来的，由于考虑到日益复杂和不受控制的条件，它们的局限性变得更加明显，其中这些方法所依赖的特性可能无法可靠地测量。
基于学习统计外观模型的方法使用来自眼睛图片图像的光度外观特征的统计模型作为用于检测眼睛的模板。统计外观模型可以使用眼睛信息，这些信息可能被忽略，或者可能无法通过上述直观方法测量。关于代表性的方法，Viola和Jones 提出了一个对象检测框架，它使用类Haar特征和AdaBoost分类器。该算法通过组合Haar-like特征和积分图产生了高检测率和高帧率。Mu通过选择合适的Haar-like特征用于眼睛检测，进一步提高了Viola和Jones方法的眼睛检测性能。Chen和Liu 开发了基于Haar特征的辨别眼睛检测，Kroon等人使用本地二进制模式（LBPs）来定位眼睛的位置。 Wang等人提出了一种使用Log-Gabor变换的眼睛检测方法。 Monzo等人提出了一种使用定向梯度直方图（HOG）的眼睛定位方法。通过使用Viola-Jones检测器在该方法中检测眼部区域，并且使用HOG定位眼部位置。 Savakis等人通过使用主成分分析（PCA）来减少HOG中的维数以进行眼睛检测。
通常，基于统计模型的方法在涉及头部姿态变化的情况下很难检测到眼睛的位置，因为这些方法使用了2D特征，并且不考虑3d格式。 埃弗拉蒂等人通过使用一些受过各种姿势训练的诊断员来克服这个问题。然而，每一种姿势的探测器训练都不方便，而且计算量很高的成本。
涉及结构信息开发的方法使用结构信息，例如面部特征点的空间信息，用于眼睛检测。 这些方法通常与统计建模技术结合使用来检测初始特征点。 主动形状模型（Active Shape Model，ASM），活动外观模型（Active Appearance Model，AAM），约束局部模型（CLM）和图像结构模型（PS）是在这种方法下发展起来的代表性技术。梁等人提出了一种基于组件的区分搜索方法，首先检测初始特征点，并拟合ASM人脸模型以定位精确的面部特征点。
通常，即使在初始点的检测中存在错误，基于结构信息的方法也可以准确检测面部点。然而，如果初始点检测中的误差很大，则模型拟合可能落入局部最小值，因为ASM模型拟合使用迭代搜索。 而且，这些方法由于特征点的数量很大并且使用迭代方法而具有相对较高的计算成本。
表1显示了根据三种方法中的每一种提出的方法的比较。
为了克服上述困难，我们在本文中提出了一种容忍头部姿态变化的眼睛检测方法。我们的方法首先根据多尺度虹膜形状特征从各种头部姿态的人脸图像中检测眼睛候选者。人脸图像中虹膜的大小随着头部姿态而变化，但是我们提出的多尺度特征在头部姿态变化下比现有方法更好地检测眼睛。
在此之后，通过使用定向梯度直方图（HOG）和细胞平均强度（CMI）特征的特征级融合来验证检测到的候选眼。 HOG使用来自边缘梯度图像的形状信息，并且CMI特征使用区域像素强度的平均值。由于这两组特征代表了面部图像中眼睛的独立特征，因此当这些特征结合在特征级融合中时，可以改善眼睛检测性能。融合特征用于训练支持向量机（SVM）分类器，并且眼睛候选者被分类为眼睛和非眼睛候选者。为了显示特征级融合的有效性，将融合后的眼睛检测性能与仅使用HOG或CMI特征时的性能进行比较。为了展示我们的方法对头部姿势变化的鲁棒性，我们对中国科学院的姿态，表达，配件和照明（CAS-PEAL）数据库和Pointingrsquo;04rsquo;数据库进行了实验。
本文的贡献是双重的。首先，我们提出的方法可以使用多尺度虹膜形状特征来检测各种头部姿态图像的候选眼睛。 其次，通过使用HOG和CMI特征的特征级融合，眼睛候选者验证过程比使用单个特征而没有额外计算成本的方法表现出更好的性能。
本文的其余部分组织如下：
在第2节中，我们描述了我们提出的眼睛候选检测和候选眼验证方法。
第3部分致力于描述我们的实验设置，例如我们实验中使用的数据库概况和所采用的评估方法。
在第4节中，我们报告了多尺度融合的实验结果，眼睛验证以及给定头部姿势变化的方法的总体性能。
第5节提供了一些结论性意见。
2.推荐方法
2.1该方法的流程图
图1显示了该方法的流程。首先使用Viola-Jones人脸检测器从输入图像中检测人脸区域。在各种头部姿态变化下，使用正面姿势脸部检测器来检测脸部。 然后从检测到的脸部区域提取眼睛候选区域。为了获得满足头部姿态变化的眼睛检测，我们提出了一种多尺度虹膜形状特征的检测方法。这里使用积分图像来加速特征计算。 在这个阶段，我们的目标是不会错过任何真实的眼睛（高回忆率），而不是精确地检测眼睛（精确度），即使以高错误检测率为代价。 随后，验证过程消除错误检测到的候选人眼。 验证过程采用使用HOG和CMI特征作为输入的SVM。
图1 所示系统的流程图
2.2眼睛候选检测
2.2.1完整的图像
Viola和Jones 用一个完整的图像来加速Haar-like特征的计算。点（x，y）处的积分图像的值是原始图像中上方和（x，y）左边的所有像素的总和。这可以写成：
(1)
其中II(x，y)表示积分图像在(x，y)处的值，I(xrsquo;，yrsquo;)表示原始图像在(xrsquo;，yrsquo;)处的像素强度值。图2显示了计算区域D中像素的强度，SUM(D)表示区域D中所有像素的像素强度值之和，II(N)表示位置n处的积分图像的强度值。
图2 使用积分图像在矩形区域中进行像素强度和计算
2.2.2使用虹膜形状特征的眼睛候选检测
为了在各种头部姿势下检测人脸图像中的候选眼睛，我们提出了多尺度虹膜形状特征。多尺度虹膜形状特征受到快速眼睛检测器（RED）报告的虹膜形状特征的启发。本文中虹膜形状特征的应用是不同的，尽管特征的形状与中的相同。 虹膜形状特征使用虹膜比其周围区域更暗的特征，由8个正方形细胞组成，虹膜位于中央细胞，如图3所示，代表适合虹膜的中心细胞，以及 代表与其相邻的八个单元。
通过使用第2.2.1节中描述的积分图像，虹膜形状特征的每个细胞的平均强度可以由于矩形和重复虹膜形状特征而以低计算成本进行计算。
图3 虹膜形状特征
根据以下两个标准从人脸图像获得眼睛候选区域：虹膜细胞的平均强度值应当低于预定阈值It，并且与虹膜细胞相邻的八个细胞应大于平均强度值。第一个标准意味着虹膜细胞应该足够黑暗，以便尽可能快地排除非眼睛像素。如果虹膜比阈值亮，则不计算与其相邻的八个细胞的平均强度。阈值是基于检测到的脸部区域的平均强度来确定的。为了防止不属于面部的区域影响阈值，排除面部区域的宽度和高度的边缘的30％。第二种情况使用虹膜（包括眼睛的瞳孔）比邻近区域更暗的特征。如果与其相邻的八个细胞中的任何一个细胞比中央虹膜细胞更暗，则该特征位置被认为是非眼睛区域。
如果满足上述两个标准，则计算此像素位置的特征响应分数如下：
(2)
其中是图2中所示的虹膜形状特征的矩形单元，I(x，y)表示在(x，y)处的图像的像素强度值，并且n是内部的像素的数量。 因此，M()表示每个区域的平均像素强度，并且可以使用积分图像在恒定时间内计算。它表示虹膜细胞的强度阈值。 一旦在所有图像像素处获得得分，与记录大于0的得分响应的虹膜相邻的像素被标记为属于同一组。 每个标记的组被认为是眼睛候选，并且具有最高分数的像素的位置被设置为每个组的位置。图4显示了眼睛候选检测的过程。图4（a）是由脸部检测器检测到的输入图像。图4（b）显示虹膜形状特征以及其反应评分图像。图4（c）示出了所得眼睛候选位置。
图4 分析计算的一个例子（a）检测到的脸部图像（b）使用的虹膜形状特征的形状（左上）和响应分数图像（c）眼睛候选人检测结果
2.2.3多尺度融合
图像中虹膜的大小通常取决于Viola-Jones脸部检测器检测到的脸部区域的大小以及头部姿态变化。根据参考文献，对于正面姿势人脸图像，实验上已经观察到了人脸虹膜的大小为7％。然而，当头部姿势不是正面时，该比率变得比从正面头部姿势获得的比例更小。在我们的实验中，这个比例在头部姿势变化下显示在2％-6％的范围内。我们在第4.1节中提供了细节。基于这一观察结果，我们确定了头部姿势变化的虹膜形状特征的尺寸比例分别为2％，4％和6％。图5示出了使用虹膜形状特征的三种尺寸的不同头部姿态下的两种眼睛候选检测情况。图5（a）是输入图像，图5（b），（c）和（d）显示虹膜形状特征的2％，4％和6％比例的反应评分图像。该图表明，为了满意的眼睛检测，选择适当的比例尺是必需的。对于正面头部姿势，6％的比例特征产生最佳的检测结果;对于涉及倾斜头部姿势的情况，4％的比例特征提供了在我们的实验中最好的检测。因此，我们提出的方法适应多尺度特征来有效地检测头部姿势变化下的眼睛。
在将每个尺度的检测到的眼部候选转移到验证阶段之前，执行尺度结果的融合。 这种融合有两个原因。 首先，融合后候选人的数量会减少。 如果对所有候选人进行验证，则可以使用单个比例特征生成的候选人数为候选人的三倍。 其次，在融合候选人时，使用融合候选人的等级的加权平均值来计算适当的等级。 通过使用合适的比例尺，它可以将眼睛候选图像以规则的比例传送到眼睛验证过程。 这样可以改善规模方差拟合，从而提高验证性能。
图6显示眼睛候选人的融合。 每个检测到的眼睛可以提供所采用特征的尺度，脸部图像的x和y坐标以及相关分数。 我们将每个融合候选定义为由C = {x，y，s}给出的向量形式，其中x和y表示眼图候选在人脸图像中的位置，s表示采用的特征的比例。 候选人在融合范围内时执行眼睛候选人融合。 融合范围被设置为两个融合候选者的较大瞳孔的值。 例如，如果从2％和4％比例特征对候选眼睛进行融合，则融合范围被设置为检测到的脸部框的4％。 融合候选者的位置和规模使用加权平均如下计算：
(3)
图5多尺度眼睛候选检测：(a)输入图像(b)2％尺度特征的响应分数图像(c)4％尺度特征处的响应分数图像(d)6％尺度特征处的响应分数图像
图6 眼睛候选提取和多尺度融合
其中，n表示要融合的相邻候选的数量，Ci为眼融合候选向量编制索引，分数表示每个候选眼的得分。该等式表明每个候选者都通过包含计算出的平均位置和尺度的分数来加权。当用于查找人脸图像的人脸检测器提供头部姿态信息时，如VJ人脸检测器（正面或侧面），可以在等式中组合虹膜形状特征的比例时指定不同的权重。例如，如果VJ配置文件脸部检测器找到脸部，则可以将较少的权重应用于通过用于正面姿势的6％比例特征找到的候选项。基于这种方法，可以获得精确的眼睛位置和尺度。还计算了眼睛验证的新虹膜形状特征响应。该响应值用于眼睛验证的细胞平均强度特征。基于该结果，使用具有融合比例的虹膜形状特征尺寸来裁剪眼睛
全文共12266字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[16386]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
