英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
基于cnn的步态验证方法利用骨骼步态能量图像进行识别
Lingxiang Yaolowast;Dagger;, Worapan Kusakunnirandagger; , Qiang WuDagger; , Jian ZhangDagger; and Zhenmin Tanglowast;
lowast;School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing, China dagger;Faculty of Information and Communication Technology, Mahidol University, Nakhon Pathom, Thailand Dagger;School of Electrical and Data Engineering, University of Technology Sydney, Sydney, Australia Email: Lingxiang.Yao@student.uts.edu.au, worapan.kun@mahidol.ac.th, {qiang.wu, jian.zhang}@uts.edu.au, tzm.cs@njust.edu.cn
摘要
步态作为一种行为生物特征，被广泛应用于人体验证和鉴定。步态识别方法可分为两类：无模型方法和基于模型的方法。无模型方法对外观变化很敏感。但是对基于模型的，要从步态序列中提取出可靠的人体模型是很困难的。本文基于两分支多级CNN网络生成的鲁棒骨架点，提出了一种基于模型的特征——骨架步态能量图像(skeleton步态能量图像)。相关实验结果表明，SGEI对服装的变化更为稳健。另一个贡献是，两种不同的基于cnn的体系结构分别被提出用于步态验证和步态识别。这两种架构都已经在数据集上进行了评估。在无约束的环境下，利用视图方差和服装方差，提高了步态识别的鲁棒性，取得了令人满意的效果。
指标术语：步态验证，步态识别，骨骼步态能量图像，深度卷积神经网络
一.介绍。
它的显著特点是，它可以在没有受试者参与的情况下远距离捕捉到，步态在当今社会越来越受到人们的关注。然而,步态识别的准确性一直受到各种因素的影响，如衣服的变化，观察变化，承重和行走速度。视角变化和着装变化一直被认为是人体步态识别中最具挑战性的两个问题。
近几十年来，已有许多步态识别方法被提出，这些方法大致可以分为两大类:无模型方法和基于模型的方法。
大多数无模型方法都需要从视频或跨图像中提取连续的人体轮廓。这类中最常用的方法是在一个完整的步态周期内对提取的轮廓进行平均，平均后的产品称为GEI。运动轮廓图像(MSI)是另一个具有类似程序的特征，其中每个像素的值被定义为该像素在时域整体轮廓的运动函数，这是单一步态循环的一部分。该类别的一个巨大优势是，这些为步态识别提供了大量的鉴别信息，这有助于在没有任何外部变化的环境中获得更好的性能。但是，由于与体型信息的深度关联，此类别中的方法容易受到外观变化的影响。另一个不足之处在于，从真实世界的图像或视频中提取轮廓非常具有挑战性，而提取不好会导致识别精度下降。
而基于模型的方法则充分利用了人体原有的形状和动力学知识。为了减少人体外观变化对人体的影响，需要一个预定义的人体模型/模式，它包含人体信息以及人体各部分之间的相互关联。考虑腿作为动态互连摆模型。利用相位加权傅立叶幅度谱，从大腿倾角的频率变化中得到步态特征。利用椭圆傅里叶描述符从人体关节中提取步态特征。将身体信息和动作信息结合在一起。通过Procrustes形状分析获得静态体信息，通过跟踪和恢复下肢关节轨迹获得动态信息。另外，在三维步态模型的构建方面有很大的潜力，是两个突出的代表。然而，由于计算要求高，目前三维步态模型很难得到广泛推广。这类人面临的一个挑战是，从步态序列中提取潜在模型存在很大的困难。对于无标记的运动，预测的人体关节位置并不总是鲁棒的。此外，与无模型方法相比，基于模型方法在许多数据库中的性能往往较差。这是因为同一个人的轮廓形状几乎没有差别，而人体形状信息确实是这些数据集中最具区别性的特征。
另一方面，最近的深度学习方法在计算机视觉领域蓬勃发展。对于步态识别，这些方法也适用于卷积神经网络(CNN)框架，并在交叉视图步态识别方面呈现了最先进的性能。提出了GEINet, GEI作为CNN的输入。提出一个三维卷积网络的时空输入与三个通道:灰度图像和光流在水平和垂直方向。提出了一种具有时空光学长方体的CNN流动作为输入。设计了一个以两个GEIs为输入的双并联CNN。
我们的主要贡献是双重的。首先，受到一种新的基于模型的表示方法SGEI的启发，该方法被提出来帮助增强步态识别对外观变化的鲁棒性。其次，提出了两种用于步态验证和步态识别的CNN体系结构。由于步态识别的准确性受到视角和服装变化的显著影响，在本文中，我们主要关注这两个因素。此外，我们旨在研究用于步态验证和步态识别的CNN体系结构，因为大多数基于CNN的步态识别研究只评估排名第一的识别率。
本文的其余部分组织如下。骨骼提取，SGEI的程序，用于步态验证和步态识别的CNN体系结构在第2节中介绍。第三节给出了实验结果和讨论。结论在第4节中得出。
二.提出方法
A骨骼提取
一种新的基于模型的步态特征，提出了一种骨架步态能量图像方法。展示了一个实时的架构来估计图像或视频中的多人的2D姿势，这在首届COCO 2016关键点挑战中排名第一，并在MPII多人基准，在性能和效率方面显著超过最先进的结果。一张图像作为输入，产生解剖体关键点作为输出。如图1所示，对于置信度图和部分亲和字段，我们构建了一个两分支的多阶段CNN体系结构。置信度图用于人体部位检测，部分关联字段用于描述关联。通过对人体肢体的位置和方向进行编码，部分密集域可以消除虚假关联，并将候选部件组装成一个完整的人体。信心图是所有个体信心的最大值从带注释的正文关键点生成的映射。在测试阶段，利用预测的置信度图和非最大抑制算法计算候选人体部位。部分亲和场的基本真理是所有人的部分亲和场的平均值。在测试过程中，通过相关部位亲和场上的线积分和连接候选部位位置的线段来评估相应候选部位之间的关联。最后，基于预测的置信度映射和评估的部件关联字段，使用贪婪解析算法输出输入图像的解剖关键点。使用本文提出的模型可以估计出15或18个身体关键点，但对于步态识别，我们只关注位于四肢和身体躯干的13个关键点，如图2所示。
图1所示。两分支多级CNN的架构。每一个阶段第一个分支预测信心图，第二个分支预测每个阶段branch预测部件关联字段。每过一个阶段，两个预测，随着图像特征，连接到下一个阶段。
图2所示。骨骼提取样品。黄色的点代表关键点需要为以下SGEI建设。这些关键点代表颈部，左肩，左肘，左腕，右肩，右肘，右腕，左臀部，左膝盖，左脚踝，右臀部，右膝盖，右脚踝。
B.步态周期分析
作为一种周期性运动，人体步态应在一个完整的步态周期中被识别。SGEI的大腿摆动近似符合周期规律，将人体大腿视为一个摆模型是合理的。基于大腿与垂直方向之间的角度波形，建立了SGEI的周期估计。从角度波形直接估计步态周期是很困难的。规范化和自相关用于更有规则的模式。每个波形用均值减去，用标准差归一化，然后用均值滤波处理。人类的大腿之间的角度变化和垂直是一种周期信号,计算自相关时,当t =步态周期或其整数倍数时，会有一个高峰。图4为归一化和自相关处理前后的曲线。
由于人体步态在除正面和背面外的所有视图下都具有双侧对称性，因此在一个完整的步态周期中自相关信号存在两个局部峰值。步态周期因子是通过最大化步态周期因子来计算的归一化自相关波形{a(i)}N i=0，其中n表示波形的长度，也表示行走序列的帧数
此外，根据自相关结果对周期过渡位置进行一阶导数识别，并在正负方向的零交点处定义关键位置。
C.骨骼步态能量图像
SGEI是在完整步态周期的空间域上构建的。对于每个框架，通过扩展骨架指向预定义的尺寸并通过具有预定义宽度的矩形关联相应的骨架来建立人体模型。确定预定义的大小和宽度是慎重的。一方面，要提供足够的空间信息。另一方面，背景噪声应该从人体模型中去除。此外，所有的人体模型都沿颈部对齐，归一化到相同的高度。
给定一组二元人体模型{Bt(x, y)}Tframe t=0，其中Bt(x, y)表示帧位置(x, y)，t和Tf rame是一个完整步态周期的帧数，
图5展示了同一个人在五种不同视角和两种不同佩戴风格下的一些SGEI和GEI样本。
可以看出，在不同的观点下，SGEI是不同的，但在不同的服装下，SGEI仍然是相似的，这就是区别给SGEI的地方。SGEI是一种基于模型的特征，旨在通过平均空间模型序列来描述人体结构知识。然而，作为最常用的无模型特征，GEI着重于通过平均提取轮廓序列来获取空间信息。对于SGEI来说，衡量不同穿戴风格的相似性是合理的。但是，由于视角对人体模型的骨骼提取质量和可观察结构有很大的影响，在不同视角下进行相似度测量是不合理的。SGEI需要付出更多努力来解决改变观点的问题。
D.基于卷积神经网络的步态识别
目前，深度学习体系结构在计算机视觉的许多研究领域取得了巨大的成功，包括跨视角步态识别。基于cnn的方法的一个优点是，灵活的网络可以通过改变输入、输出和损失函数来设计出更好的性能。另一个优点是，与传统方法相比，这些CNN体系结构对识别目标的空间位移具有更强的鲁棒性。
步态验证和步态识别需要不同的体系结构。为了验证，输入一对特征来确定它们是来自同一主题还是不同的主题。更具体地说，如果计算的输入对之间的相似度超过了预定义的阈值，则认为这对输入对是同一个主题。为了识别，探针需要与所有的通道进行比较来定位同样的主题。分别计算探针与所有图库之间的相似性，并选择相似性得分最高的图库作为查询的同一主题。步态验证的一个应用程序是匹配犯罪调查的犯罪者和嫌疑人，而步态识别的一个典型应用程序是从其他摄像头中检索一个摄像头捕获的人。单输入的CNN适合于步态识别，而带有一对输入的CNN则适合用于步态验证。不同于之前在最后一层比较匹配对的CNN网络，我们用于步态验证的CNN体系结构需要在输入级别测量匹配对之间的差异，这显著提高了网络对空间位移的鲁棒性。
我们的cnn有三个卷积层、两个归一化层、两个池化层和两个全连通层，如图6所示。
卷积层采用了ReLU激活函数。在标准化层中使用了局部响应规范化(LRN)。最大池策略应用于池层。第一全连接层和第二全连接层分别使用tanh激活函数和softmax激活函数
我们使用带有分类交叉熵回归损失的反向传播来训练这些CNN网络，并以128的小批量更新这些权值。每一层的权值都用一个带均值的高斯分布进行初始化而标准偏差是0.01所有偏置项都以零初始化。我们以0.01的学习速率开始，然后乘以0.95千次。迭代是根据验证集上的经验结果确定的步态数据集B。这些CNN网络已经经过了30个时代的动量优化训练。
对于步态验证，需要一个平衡训练集。正样本和负样本分别占总数的一半。为获得阳性样本，图库和探针均来自随机抽取的受试者。对于阴性样本，图库和探针对应不同的主题。在步态识别中，采用图像增强的预处理来增强步态的多样性。
图3。动态耦合摆模型的例子。theta;表示人大腿与垂直面的夹角。
图4。红色曲线和蓝色曲线是治疗前后的波形归一化和自相关程序。和红色的相比，对于可靠的步态周期估计，蓝色曲线更为规则。
图5。SGEI（前两行）和GEI（后两行）是同一个人在五种不同视角和两种不同佩戴方式下的样本,这些来自CASIA数据集B。每一行对应五个不同视角下相同服装的特征，每一列对应同一视角下不同穿着模式的特征。
三.实验
在本节中,我们提出的特征和方法已经在CASIA步态数据库B上进行了评估。
A:实验概述
作为最常用的步态数据集之一，CASIA步态数据库B记录了124个不同对象的10条序列:6条正常序列、2条长外套序列和2条背包序列。此外，每个序列都是从11个不同的视角捕获(0◦，18◦，36◦，hellip;180◦)同时使用。因此，该数据库适合于评价交叉视角步态识别的性能，以及研究不同着装风格对步态识别的影响。我们提出的特征和方法已经在CASIA步态数据集B中进行了研究，其中观察角度从54◦ ,126◦和受试者的穿着模式可以在正常的衣服和长大衣之间改变。
在上文中提出的关键点估计模型已经在COCO 2016关键点挑战数据集和MPII多人数据集上进行了评估。准确性在COCO 2016关键点挑战中排名第一，并显著超过了MPII多人基准的最先进的结果。与上述两个数据集中的众多场景相比，CASIA步态数据集B中的视频是在完全受控的室内环境中捕获的。利用预先训练好的模型从两个数据集中进行可靠的骨架提取是合理的。图2给出了部分样本。
我们的实验包括三个部分。在第一个实验中，我们关注外观变化的问题，并评估SGEI在布料变化环境中的性能。在第二个实验中，我们研究了用于步态识别的CNN体系结构，并评估了在改变布料的环境下识别的准确性。本实验比较了骨架点尺寸和骨架连接矩形宽度的不同组合。考虑到步态识别的实际应用，我们也研究了步态识别单视角和混合视角下的
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[260631]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
