英语原文共 9 页
彩色图像序列中的人脸检测与识别系统
解阳，凌旭峰，朱一潭，郑仲龙
上海交通大学图像处理与模式识别研究所，上海200240
可于2008年1月16日在网上下载
摘要
本文提出了一种用于彩色图像序列的人脸检测与识别系统。该系统由人脸检测子系统和人脸识别子系统两个子系统组成。人脸检测子系统又包括人脸查找和人脸验证两个模块。人脸识别模块通过使用肤色分析和运动分析，从彩色图像序列中确定多个受试者的人脸区域。系统开发了人脸验证模块，利用eclipse和支持向量机(SVM)对检测到的人脸进行判别，最后基于广义对称变换，对人眼和人脸进行定位，最终实现人脸的精确定位。通过主成分分析可以提取和选择表征人脸模式之间关系的特征。利用这些特征训练多个svm，最终实现人脸分类。此外，在这些模块中，采用了几种或简单或复杂的方法来减少搜索空间。因此，该系统工作速度快，检测识别率高。在可控雷电条件下，该系统的人脸检测精度为97.2%。该系统对70个人的人脸识别正确率分别为96.5%(含20个特征向量)和98.3%(含30个特征向量)。
关键词:人脸检测;人脸识别;皮肤分析;运动分析;支持向量机
介绍
人脸检测与识别作为模式识别的重要组成部分，在虚拟现实、智能人机界面、可视电话系统和安全系统等方面有着广泛的应用。一个成功而实用的人脸检测与识别系统将对人类社会产生巨大的影响。一个综合的人脸检测与识别系统一般包括人脸检测/定位、特征提取/选择、人脸数据库组织和人脸识别等多个模块。
人脸检测技术已经进行了大量的研究工作。目前的处理方法主要有灰度处理[3]、色度图和运动分析。传统的人脸识别方法包括K-NN、欧氏距离、马汉诺利比斯距离和神经网络方法[6]。
在实际应用中，人们往往有收集大量人脸样本的局限性。与从人脸中提取的特征数量相比，人脸样本的数量相对较少。因此，人脸识别成为一个小样本的计算问题。在这种情况下，传统的方法，如神经网络，在泛化和鲁棒性方面往往很差。经典方法的另一个缺点就是它们的学习能力。他们无法有效地对复杂的模式进行分类，比如人脸。利用Vapnik[7]引入的基于统计学习理论的支持向量机(SVM)可以解决这些问题。它具有以下优点:(1)传统的最小经验风险被结构性风险所取代。(2)具有良好的学习能力和泛化能力。(3)克服过拟合现象。支持向量机是解决小样本问题和非线性分类的有效方法。该系统用于人脸识别和人脸验证。
本文提出了一种用于彩色图像序列的人脸检测与识别系统。彩色图像系列由彩色摄像机拍摄。该系统能够自动检测和跟踪人脸，实时识别人脸。当系统发现未经授权的人员时，将自动发出警报信号。应用该系统的要求是:可控的室内闪电，正面的人脸图像。该系统由人脸检测子系统和人脸识别子系统两部分组成。
2人脸检测
人脸检测子系统包括人脸查找、人脸验证两个模块。
2.1人脸查找
人脸查找模块根据肤色分析和运动分析，从彩色图像序列中确定多个受试者的人脸区域。人脸检测模块由皮肤检测[8,1]、运动检测[2]和水平调节三部分组成。
2.1.1皮肤检测
在皮肤检测之前，RGB格式应转换为UCS(均匀色标)系统。在UCS系统中，Y代表明度，u和v代表色调，而且u和v是相互独立的。由于u [0,1]， v[0,1]，我们计算了大量的皮肤点(大约10,000个)，然后将u和v分成100块。然后用100times;100矩阵表示u和v的统计分布。考虑以下功能:
isin; isin;
（1）
在式(1)中，N((iminus;1)lt;xle;i, (jminus;1)lt;yle;j)表示第i、第j块的皮肤点个数，N表示皮点总数，而且0le; ile; 100, 0le; jle; 100。我们称P(x, y)为肤色uv统计面，用其表示肤色在色调空间中的统计分布。我们把紫外的统计表面看作是一个映射函数。系统采用多层感知器的网络来逼近UCS颜色空间中的肤色分布。其优点是适应各种雷电条件，即使在复杂的背景下也保持鲁棒性，自动调整最优参数，实现了较高的人脸检测率。
皮肤区域检测：根据多层感知器的网络近似的皮肤颜色分布，将每一幅RGB图像映射为256灰度统计图像。高密度点表示其成为表皮点的可能性高，相反则表示其可能性低。通过选择合适的阈值T对灰度图像进行分割 (默认阈值为128)。然后得到二值图像，利用区域扩张法来提取皮肤区域。这里的形态学滤波器用于去除区域噪声。最后我们可以得到k个皮肤区域即r1,r2hellip;hellip;rk，这k个皮肤区域被称为表皮区域R的集合c。Rc = Rcm cap; Rcs，,Rcm 运动皮肤区域是Rcs 为静态皮肤区域。
2.1.2运动检测与分析
由于运动分析是基于灰度图像的，我们首先将RGB图像转换为256灰度图像，相邻图像之间的差值可以反映运动。差异定义如下:
（2）
在式(2)中，fdiff 表示微分图像，f(x, t1)表示的是t1时刻的图像，f(x,t2)表示的是t2时刻的图像。这些差分图像保存了运动物体原始图像的边缘信息。
我们计算图像fdiff中每个皮肤区域Rc 的平均值mi:
(3)
在式(3)中，ri 表示 Rc 中的第 i 个皮肤区域，Ni 用来表示区域r中点的个数 i，mi 用来表示区域 r 的平均差值。
通过选择合适的阈值Tm (阈值默认值为8，视运动速度、亮度而定，可动态调整)，当ri 区域的mi 小于Tm，则为静态区域，否则为运动区域。通过运动检测，Rcs 可以从 Rc中移除。
2.1.3 水平调整
由于运动图像来源于差分图像，所以当彩色图像序列中的人脸在水平方向运动时，运动分析检测到的候选区域在水平方向会存在偏移。因此，水平调整模块是必要的，它根据皮肤概率图像的对称性来调整候选区域。经过水平调整后，人脸基本位于候选区域的中心，每个候选区域中包含的背景区域很少。
图1是人脸检测模块的实验结果，该人脸检测模块可以在彩色图像序列中扫描并检测多个人脸。
2.2 人脸验证
在第一帧待测照片中，由于我们不知道人脸的具体位置，所以应该先进行排序搜索。首先，我们分析了皮肤的色调，可以从图像中去除不具有皮肤色调的区域。
图1所示 人脸检测模块的结果。
图2所示 人脸区域的选择。
其余部位就是与皮肤相似，如脸部、手臂等类似的背景物体。下一步是进行运动检测，用以去除静态区域。结合运动分析和皮肤分析，只剩下运动和类似皮肤的区域。上面的程序已经删除了待测图片中大部分的无脸区域，但它可能仍然是假的区域，比如移动的手。我们认为，任何一种人脸检测算法，如果没有人脸验证的成分，其本身都是不稳定的。使用我们开发了人脸检测模块，对检测到的人脸进行检测，并对人脸进行精确定位。
由于人脸的形状像日食，所以首先要通过判断每一个在Rcm 中的ri来验证。如果是其他物体，我们可以从Rcm中删除非人脸区域。例如，移动的手臂会因为它的长形而被移除。
我们的算法实现如下：首先，将每个ri 区域填充为非凹区域ri1。如果|S(ri1) - S(ri)| / ri r gt; 0.2，i 被认为是非日食，这里的S(r)代表的是区域ri1的平方。如果|S(ri1) - S(ri)| / ri le;0.2,此时如果pi;le;l2/ 4 S(r1)le;4.25，该区域视为人脸，否则视为非人脸，这里li表示区域ri1的周长。
我
我
但待检测图片仍存在一些不能通过判断日食来去除的非人脸区域，这时常用两种支持向量机进行最终验证。SVM的输出为 1和-1， 1代表含面区域，而-1代表无面区域。
minus; minus;
2.2.1基于支持向量机的验证
基于SVM的人脸验证过程如下:(1)选择人脸区域(图2)，(2)对人脸图像进行数字余弦变换，选择低频系数，(3)将人脸区域划分为若干子区域(图3)，(4)选择负样本，(5)训练SVM。
图3所示 将人脸区域划分为若干子区域。
负样本选择的要求是:(1)尽可能多，(2)样本之间的相关性应小，(3)既包括与人脸相似的样本，也包括与人脸不相似的样本。负性样本图像应当随机自动生成，包含丰富的信息，包括多种模式。景观就是一种候选的负样本图像。
由于两个眼睛的图块是对称的，所以只需要一个39维SVM，下巴图块相对简单，可以用一个33维SVM来描述。自动生成1400个阳性样本(70人，各20幅图像)和5000多个阴性样本，用于两个SVM的训练。最后，如果SVM通过输出判断输入图像是否为人脸，则利用训练好的两个SVM对人脸进行验证。 1，通过输出- 1成为一个非人脸图像。
2.2.2基于几何特征的人脸定位
人脸特征定位的目的是定位眼睛和嘴巴。由于鼻子的特征不强，所以我们没有对鼻子进行定位。有了眼睛和嘴的位置，人脸可以更精确地定位。广义对称变换(GST)[4]是一种描述点对称性的方法。由于人眼的中心位置在人脸中总是具有最高的同步度，因此我们可以使用GST来定位眼睛。由于该方法仅利用人脸的生物特征分布特征，在光照、姿态和表情变化的情况下比其他方法具有更强的鲁棒性。
2.2.3眼睛和嘴唇的定位算法
GST及其扩展方法，如方向对称变换和离散对称变换，已被用于分析人脸图像[5]。但是现有的方法在计算上非常耗时。造成这种问题的原因是不同的维数因子会检测到不同的对称中心。换句话说，一个特定的维数因子只能检测到与它维数相似的对称中心。如果我们使用眼睛的大小作为sigma;,我们就可以发现眼睛的中心。由于这些方法中没有已知的维数信息，需要在很大的维数范围内进行计算。但是我们的方法是根据人脸检测结果来估计眼睛的大小，所以只需要在很小的维数范围内进行计算。实验结果表明，合适的范围为人脸图像宽度的1/12-1/10。
以下三个步骤可以在灰色的人脸图像中定位眼睛。首先，我们使用Canny算子检测灰度图像的边缘(见图4(a))。处理结果为边缘图像(见图4(b))。其次，利用GST计算边缘图像中各点的对称性(见图4(c))。在计算每个点的对称性的过程中，存在着卷积中的束缚效应等问题。它是如何计算点的距离约束的对称图像小于sigma;。由于眼睛很少位于这个边界区域，我们可以将这些点的对称性设为0，不需要计算它们的对称性。第三步，选择对称性最高的4-7个点来定位眼睛的中心位置(见图4(d))。所选点的确切数目是根据实验经验确定的。如果选择的点太少，它们可能位于一只眼睛的区域。如果选择的点太多，也可以选择一些不属于眼睛区域的高度对称的点。
下面是我们定位嘴巴的算法。首先，利用GST对灰度图像进行眼睛定位，由图5(a)得到图5(b)。其次，用线段连接两只眼睛的中心。然后画出线段的垂直平分线和两条平行线(图5(c))。
图4所示 基于GST的眼睛定位 (a)原始图像，(b)边缘图像，(c) GST结果，(d)对称性最高的点。
图5所示 (a)原始图像，(b)对称性最高的点，(c)条纹区域，(d)平均灰度分布 ，(e)定位结果。
图6所示。通过对人脸特征的定位得到检测结果。
垂直平分线上的两条虚线是人脸图像宽度的1/10。所以位于两条虚线之间的条纹区域的度是人脸图像宽度的1/5。第三，计算唇线概率图像条纹区域内每一行的平均灰度。从而得到平均灰度的垂直分布(图5(d))。第四，灰度值最高的行垂直坐标用ymax表示。垂直平分线上垂直坐标为ymax的点为口的中心(见图5(e))。
在对眼睛和嘴巴进行定位后，我们可以用模板从人脸图像中提取人脸。图6为人脸特征定位检测结果。
3人脸识别
3.1人脸数据库
|
图像索引 |
1 |
2 |
3. |
4 |
5 |
|
角度 |
前视图1 |
前视图2 |
左视图5◦ |
左视图10◦ |
左视图15◦ |
|
图像索引 |
6 |
7 |
8 |
9 |
10 |
|
角度 |
左视图20◦ |
右视图5◦ |
右视图◦ |
右视图15◦ |
右视图20◦ |
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
