英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
通过检测面部视频中的脉冲来进行全面的面部防欺骗
摘要：
人脸生物识别系统容易受到欺骗攻击。可以以多种方式执行此类攻击，包括呈现有效用户的伪造图像，视频或3D蒙版。区分真假面孔的一种广泛使用的方法是使用局部描述符捕获（2D或3D）纹理的固有差异。这些方法的局限性在于，如果出现一种看不见的攻击类型（例如，在欺骗中使用了高度逼真的3D蒙版，类似于真实的皮肤纹理。在这里，我们提出了一种通过检测面部视频中的脉冲来实现鲁棒的防欺骗方法。基于一个脉冲信号存在于一个真实的活人的脸部而不存在于任何掩模或印刷材料中的事实，该方法可以是用于面部活度检测的通用解决方案。所提出的方法首先计算在3D掩模欺骗数据库3DMAD证明在检测3D掩模攻击其有效性。更重要的是，我们使用高质量REAL-F面罩的跨数据库实验表明，基于脉冲的方法甚至可以检测以前看不见的面罩类型，而基于纹理的方法则无法推广到开发数据之外。最后，我们提出了一个鲁棒的级联系统，该系统结合了两个互补的特定于攻击的欺骗检测器，即利用脉冲检测来抵御打印攻击，并利用色彩纹理分析来应对视频攻击。
索引词：
人脸活跃度，脉搏，防欺骗，跨数据库，面罩。
1.介绍
人脸是身份验证系统中使用的最流行的生物特征之一。已知面部认证系统容易受到呈现攻击，因为与伪造其他生物特征，例如伪造者相比，呈现目标面部的副本容易。指纹或虹膜。首先，面部生物特征数据可以在公共或社交媒体中广泛采样。其次，可以使用例如以不同的和相对便宜的方式执行攻击。照片或视频，甚至是目标脸部的（3D）蒙版。面部防欺骗问题近来受到了广泛关注，并提出了许多基于软件和基于硬件的对策。在这里，我们列出了与当前工作密切相关的几篇论文。更全面的调查可以在例如
假设真实面孔和假面孔（例如打印的照片）之间存在固有的差异，例如阴影，反射率和皮肤纹理（质量），一些早期的工作提出了从（单个）静态图像中进行欺骗检测的方法。关键思想是通过分析例如空间频率功率分布或局部纹理。还已经探索了动态方法，即以面部运动为线索，以检测面部欺骗。通常，针对照片攻击的动态对策旨在检测生命的生理信号，例如眨眼和嘴巴运动。由于打印和显示设备是平面物体，而活动表面是复杂的3D结构，因此低成本的深度传感器（例如还可以利用Microsoft Kinect简化对被观察人脸的三维度的测量。
面部反欺骗研究中的先前示例的主要重点是解决照片和视频攻击的问题，而可穿戴（3D）面罩攻击受到的关注则少得多。主要原因是收集大型蒙版数据集非常昂贵。但是，由于3D打印技术的进步，3D掩模的制造成本正在变得合理，这使得掩模攻击除了对印刷和视频攻击之外，还对面部生物识别系统构成了重大威胁。
最近，Erdogmus等人。通过发布第一个3D面具攻击数据集3DMAD解决了此问题，攻击者在其中佩戴了目标人员的3D面部面具。他们还表明，此类攻击能够利用眨眼或深度信息来欺骗反欺骗方法。受Erdogmus等人启发。使用基于局部二进制模式（LBP）的面部纹理表示法进行3D遮罩攻击检测。尽管基于纹理的方法在3DMAD上表现良好，但是一个潜在的局限性值得关注。 3DMAD中包含的蒙版具有明显的3D打印伪影，可以使用功能强大的纹理描述符（如LBP）轻松捕获这些伪影。但是，随着制造技术的发展，入侵者可以获得具有逼真的皮肤般质感的高质量3D蒙版。基于纹理的方法可能会被这些类型的蒙版所超越。此外，已知基于纹理的方法的性能在未知的操作条件下会急剧下降，因为面部纹理模型高度依赖于所使用的输入相机和假脸类型。在实际应用中，当肯定会遇到未知的输入设备和看不见的攻击场景时，面部生物识别系统将在开放环境中运行。因此，需要一种通用的掩模检测方法，该方法不对输入传感器或掩模类型（例如，掩模）进行太强的假设。特定的纹理图案。
在本工作中，我们建议使用来自面部视频的脉冲检测来进行面部防欺骗。从面部测量心率是一个新兴的话题，它源于光电容积描记术（PPG）技术。当光线照射到耳垂、手指等裸露的皮肤部位时，表层血管中的血红蛋白会吸收部分光线。心脏脉冲有节奏地改变局部区域内的血红蛋白数量，PPG可以通过测量吸收的光量来捕获这些变化，从而测量脉搏。最近的研究报告说，也可以从用普通彩色摄像机拍摄的面部视频中测量脉搏。背景机制类似于面部皮肤颜色根据心脏脉冲而略有变化。这些细微的变化可以显示出来，并通过适当的信号处理用于测量脉搏率。
受脉冲测量研究的启发，我们在频域中分析了与心脏脉冲相对应的这些面部颜色变化，并利用它们的功率强度来构建反欺骗任务的功能。基于只能在真实的人脸中检测到脉冲信号而不能在任何遮罩（或打印）材料中检测到脉冲信号这一事实，该方法可能是掩盖（和打印）攻击的通用对策。
据我们所知，这是第一个将脉冲检测用于面部防欺骗问题的深入研究。我们证明基于脉冲检测的方法在3D掩码攻击数据库（3DMAD）上效果很好。更重要的是，我们显示出当测试集中包含了看不见的高质量掩膜攻击（即REAL-F掩膜）时，使用LBP功能的基于纹理的方法将无法推广，而脉冲检测方法则能够可靠地执行。我们还探讨了其在检测打印和视频重放攻击中的有效性。最后，我们提出了一个鲁棒的级联系统，该系统结合了两个互补的特定于攻击的欺骗检测器，即利用脉冲检测来抵御打印攻击，并利用色彩纹理分析来应对视频攻击。基于脉冲的方法非常简单但有效，可以实时应用。它可以在普通的彩色视频上运行，因此不需要特殊的设备，因此可以将其推广到各种反欺骗方案。
对于本文的其余部分，我们将在第二部分中说明脉冲检测方法，并在第三部分中提供实验结果并进行讨论。第四节介绍了我们对未来工作的结论和计划。
2．方法：从FACE VIDEOS进行脉冲检测防欺诈
A.人脸检测和ROI跟踪
该方法将视频作为输入。给定n帧的面部视频，第一步是准确定位和跟踪裸露的皮肤区域。我们使用下半脸，包括脸颊，鼻子，嘴巴和下巴，而额头和眼睛则被排除在外，因为它们可能被眼镜或头发遮挡。
我们在输入视频的第一帧上应用Viola-Jones面部检测器，然后使用判别响应图拟合（DRMF）方法在面部边界框中找到66个面部标志。我们使用66个地标中的9个来定义感兴趣区域（ROI），如图3a所示。使用Kanade-Lucas-Tomasi（KLT）算法在所有帧中跟踪ROI的位置。
跟踪的ROI包含面部皮肤的像素，其颜色值随心脏脉冲而变化。从每个RGB通道分别计算出三个原始脉冲信号r raw，g raw和b raw（见图3 b）。对于红色通道，为每一帧计算ROI内所有像素的平均值，以使原始脉冲信号为一个乘以n的向量r raw = [r 1，r 2，...，r n]。类似地计算另外两个原始信号g raw和b raw。
B.时间滤波和功率谱分布
接下来，我们应用了三个时间滤波器，这些滤波器被证明有助于排除与脉冲测量无关的频率。 第一个是基于平滑先验方法的去趋势滤波器，用于减少信号的缓慢和非平稳趋势。 第二个是移动平均滤波器，它通过对相邻帧进行平均来消除随机噪声。 第三个是基于汉明窗的有限脉冲响应（FIR）带通滤波器，其截止频率范围为[0.7,4] Hz，涵盖了正常的脉冲范围每分钟42次（bpm）至240 bpm。
经过预处理后，我们使用快速傅立叶变换（FFT）将脉冲信号转换为频域。 计算功率谱密度（PSD）曲线，其中功率e根据频率f估算。
图4描绘了真正访问和攻击的典型PSD模式。 如果视频中存在人脸，则PSD中将有一个主峰，与脉冲频率及其二次谐波峰相对应。 在进行遮罩（或打印）攻击的情况下，PSD通常仅以低得多的功率电平包含（多个）随机噪声峰值。 因此，我们为每个颜色通道构造了两个特征以用于面部活动度检测任务。 第一个特征表示为E，它是当f在[0.7,4]范围内时e的最大值。 为了提高跨数据库测试功能的稳定性，我们构建了降级为Gamma;的第二个功能，即E与总功率之比：
因此，对于每个视频，我们都有一个六维特征向量[E r，E g，E b，Gamma;r，Gamma;g，Gamma;b]，其中r，g和b表示对应的颜色通道。
C.分类
反欺骗问题被视为两类分类任务，其中区分实际访问与攻击。支持向量机（SVM）用作分类器。
3，实验结果和讨论
为了评估三种不同类型的攻击（3D蒙版，打印和视频重放攻击）下基于脉冲的功能的有效性，我们对三个数据集进行了实验。前两个实验考虑了3DMAD和REAL-F数据集中提供的两种不同的3D掩码攻击。 3DMAD是唯一公开可用的3D掩码攻击数据库，而REAL-F是一个新的自我收集数据集。在最后的实验中，我们还探索了混合方法在检测相对较新的MSU Mobile Face Spoofing数据库（MFSD）中提供的打印和视频重播攻击中的性能。接下来，我们将描述实验中使用的实验设置。
方法：对于任何给定的数据集，我们使用每个视频样本的前十秒（三个数据集中的所有视频样本的长度至少为十秒）来提取六维特征向量[E r，E g，E b， Gamma;r，Gamma;g，Gamma;b]（称为脉冲）。为了减轻复杂分类方案的影响并评估所提出功能本身的鲁棒性，我们对固定值的SVM使用了线性核
在所有实验中，费用参数C = 1000。
我们将广泛使用的LBP功能视为比较基于脉冲的功能性能的基准。在以下实验中，首先为每个帧提取LBP特征，然后使用相同的SVM配置获取基于图像的分类评分。通过对每个视频的所有基于帧的得分值进行平均，可以获得基于视频的性能。受现有技术启发，采用了四种LBP特征配置：1）LBP -blk表示从灰度面部图像的3times;3块中提取的LBP 8,1直方图，然后连接成531维矢量； 2）LBP-blk-颜色表示相同的块状LBP 8,1，但分别从每个RGB颜色通道中提取出来，然后连接成1593维向量； 3）LBP-ms表示从特征整体向量长度为LBP 8,1，LBP 8,2，LBP 8,3，LBP 8,4和LBP 16,2的整体灰度面部图像中提取的多尺度LBP是479； 4）LBP-ms-color表示相同的多尺度LBP，但是当特征向量的总长度为1437时，它是从整个面部图像的每个RGB通道中分别提取的。
性能指标：所有实验的结果均使用相等错误率（EER）报告，该错误率与误报率（FPR）等于误报率（FNR）时的工作点相对应。对于前两个实验，我们还报告了一半的总错误率（HTER）：
其中阈值tau;lowast;对应于所用开发集的EER操作点。
A.3D面具攻击数据库（3DMAD）
数据：3DMAD包含从17个主题录制的255个视频。录制内容分为三个部分s1，s2和s3：s1和s2是真实的访问权限，其中在不同的日期对每个对象的脸部进行了五次录制（总共十个视频）； s3是欺骗攻击条件，其中另一个人戴着目标对象的3D面罩时被记录了五次。 3DMAD中使用的口罩是从ThatsMyFace.com在线商店订购的
并使用3D打印进行制造。左图1显示了与掩模完全相同的高分辨率照片。
测试协议：对于培训和测试，我们使用与论文中使用的相同的留一法交叉验证（LOOCV）协议。在所有17项交叉验证中，每一项都保留：一个受试者的数据用于测试，而其余16个受试者的数据分别分为两个不相交的一半，分别作为训练和发展集。
结果：结果列在表I中。可以看出，脉冲功能在3DMAD上效果很好，在测试装置上HTER小于8％。因此，即使仅利用六个维度的特征向量和线性分类器，脉冲检测方法在区分3D掩模攻击与实际访问尝试方面也非常有效。另一方面，所有四个LBP配置在3DMAD上均取得了完美的结果。但是，这可以用LBP描述符可以轻松捕获的明显3D打印缺陷（见图1）来解释，因为训练集和测试集都包含在相同采集条件下获得的数据。
B.高品质REAL-F面具攻击
在这个实验中，我们证明了基于脉冲的方法能够检测出以前看不见的高质量的掩模攻击类型，而基于纹理的不同方法无法推广到开发数据之外。随着制造技术的提高，更容易获得更高质量的掩模。右图1显示了REAL-F遮罩2的示例，其中的放大区域突出了其纹理。 REAL-F面罩的高度详细的纹理类似于真实的人类皮肤，因此可能能够欺骗基于纹理的对策。
数据：由于没有其他3D蒙版数据库可用，我们购买了两个REAL-F蒙版并收集了一个小的REAL-F数据集3。当前，REAL-F数据集包含24个视频，其中12个是从两个主体记录的真实访问，其他12个是使用两个REAL-F掩码的攻击。所有REAL-F视频均使用Logitec C 920网络摄像头以30 fps的帧速率和1280 x 760的分辨率录制。每个视频剪辑持续十秒钟。
测试协议：同样，我们从3DMAD中随机选择了八位受试者的数据进行训练，并将其他八位受试者的数据作为开发集，而24个REAL-F视频可以看作是包含以前看不见的口罩类型的增强测试集。我们使用不同的训练数据组合进行了100倍这样的测试，并总结了所有倍数的结果，以在FNR = 0.1和FNR = 0.01时报告EER，HTER和FPR。
结果：结果示于表II。尽管不同的LBP功能在原始3DMAD数据上表现良好，但在这种跨数据库情况下（即引入REAL-F掩码时）其性能急剧下降。从四种类型的LBP特征中，两个逐块LBP特征的性能优于多尺度LBP特征。但是，当FNR = 0.01时，即使是性能最佳的配置（LBP -blk-color）也将几乎一半的攻击错误分类为实际访问。另一方面，我们的基于脉冲的方法不仅可以推广到开发数据之外，而且在新型的掩码攻击下也能稳定运行。
依赖于纹理信息的面部防欺骗技术可能会被淘汰，原因有两个：1）由于高质量面膜的皮肤状纹理，它们无法找到纹理差异； 2）或它们无法简单地推广到看不见的面膜类型因为他们是在另一种面具上调音的。然而，脉冲检测技术具有清晰的语义定义，并且没有对例如屏蔽攻击类型的屏蔽攻击类型做出强力假设。特定的纹理图案。因此，它不会受到遮罩质量（或新的输入传感器）的影响，并且能够检测不同种类的遮罩，
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239577]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
