英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
提供：渐进和多模式车辆
重新认证大型城市监控
刘新晨 ，学生会员，IEEE，吴刘，IEEE会员，陶梅 ，IEEE高级会员， 和马华东 IEEE高级会员
摘要—车载识别技术与人们重点关注的重新识别相比，是视频监控领域一个重要而又前沿的问题，被多媒体和视觉社区所忽视。由于大多数现有方法主要考虑用于重新识别的一般车辆外观，同时忽略了诸如车牌号之类的独特车辆标识符，因此它们达到不理想的性能。在本文中，我们提出了一种基于深度神经网络的预测车辆重新识别框架PROVID。特别是，我们的框架不仅利用大规模视频监控中的多模态数据，如视觉特征，车牌，摄像机位置和上下文信息，还考虑了车辆重新识别的两个渐进过程：从粗到细的搜索特征域以及物理空间中的近距离搜索。 此外，为了评估我们的渐进搜索框架并促进相关研究，我们构建了VeRi数据集，它是来自真实世界监视视频的最全面的数据集。它不仅为大量车辆提供不同的标签和足够的交叉相机重现，而且还包含车牌号码和上下文信息。VeRi数据集的大量实验证明了我们的渐进式车辆重新识别框架的准确性和效率。
索引术语—逐行搜索，车辆重新识别，深度学习，车牌验证，上下文信息。
一，导言
V
汽车，公共汽车和卡车等汽车，已成为人类生活中不可或缺的一部分，也是重要的城市监控系统中的一类物体。 多媒体和计算机视觉领域的许多研究人员都将重点放在与车辆相关的研究上，如检测[1]，细粒度
手稿于2017年1月26日收到; 2017年5月7日和6月27日修订，2017年; 2017年8月6日接受发布日期2017年9月13日; 目前版本的日期为2018年2月14日。这项工作部分得到国家重点研究与发展计划的资助，2016YFC0801005部分资助，部分资助中国创新研究团体拨款资助61421061，部分由国家自然科学基金，部分由北京市科技攻关计划资助硕士201502培养项目组成。协调审稿并批准发表的副编辑是陈淑清教授。 （通讯作者：马华东）
- Liu，Liu和H. Ma与北京邮电大学智能通信软件与多媒体北京市重点实验室北京100876（电子邮件：xinchenliu@bupt.edu.cn; liuwu @ bupt .edu.cn; mhd@bupt.edu.cn）。
T. Mei与微软亚洲研究院，北京100080（电子邮件：tmei@microsoft.com）。
本白皮书中的一个或多个数字的彩色版本可在网上查阅http://ieeexplore.ieee.org。
数字对象标识符10.1109 / TMM.2017.2751966
图1.车辆Re-Id示例：在城市监控中搜索具有多模态数据的白色BMW SUV。
分类[2]，三维姿态估计[3]和驾驶员行为建模[4]。然而，车辆重新识别（Re-Id）是一个重要而又前沿的领域，这个领域一直被忽视，而且还没有得到社区的解决。以查询车辆作为输入，车辆Re-Id旨在搜索监控数据并找到由不同摄像头记录的相同车辆，如图1所示。车辆Re-Id可广泛应用于智能监控系统[5]，智能交通[6]和城市计算[7]。 通过无处不在的监控网络，它可以快速告诉用户车辆在城市的何时何地。
Vehicle Re-Id可以视为一个实例级别的对象搜索任务，这与传统的车辆检测，跟踪和分类问题不同。类似于近似重复图像检索[8]，[9]，基于内容的视频搜索[10]和对象实例搜索[11]，车辆Re-Id将从城市监控视频中找到具有相同身份的车辆。在现实世界的实践中，人类可以以渐进的方式处理这项任务[12]。例如，如果安全人员需要在具有大型视频监控网络的城市中找到嫌疑车辆，则可以初始使用诸如模型，类型和颜色的外观属性来找到类似的车辆并减少搜索领域。然后，他们可以通过匹配车牌来精确识别过滤车辆的目标，这可以减少巨大的工作量。与此同时，他们将搜索由近处到远处摄像机拍摄的视频以及从近处到远处的时间范围。因此，上下文信息
1520-9210copy;2017 IEEE。 允许个人使用，但重新发布/再发行需要IEEE许可。
看到http://www.ieee.org/publications standards / publications / rights / index.html获取更多信息。
图2.（a）相同的车辆在不同的视角上有很大的课堂上的差异（左图）。不同但类似的车辆在班级间存在微不足道的差异（右）。（b）许可证号牌作为车辆搜索的唯一ID。（板被掩盖以保护隐私。）（c）上下文信息可以帮助在城市中进行车辆搜索。
如时空线索因此可以决定帮助搜索过程。受现实世界实践的启发，我们可以构建一个具有多级属性和多模态数据的两步过程的渐进式车辆搜索框架：1）在特征域中从粗到细搜索，首先使用外观特征用于粗略但快速的过滤器，然后利用车牌作为唯一标识符以找到相同的车辆;2）在物理世界中从近到远的搜索，将时间和位置视为车辆搜索的关键线索。
然而，用实际城市视频监控中的多模态数据构建渐进式车辆重新识别框架面临三大挑战：首先，基于外观的方法通常不能给出令人满意的结果，因为类似观点的不同车辆之间的班级差异微不足道以及来自不同观点的同一车辆在课堂上的巨大差异，如图2（a）所示。此外，传统的车牌识别系统由于各种闪电条件和视点，噪声以及低分辨率，在无限制的监控环境中难以识别车牌，如图2（b）所示。 另外，如[13]，[14]所述，板识别系统通常包含多个程序，如板定位，校准，字符分割和识别。如果其中一个步骤失败或车牌上的任何字符被错误识别，则车辆重复识别结果可能不正确。如何在无约束的城市监控中有效和高效地利用车牌是一个至关重要的挑战。此外，诸如车辆的时空模式，相机位置以及城市道路的拓扑结构等情境信息难以发现和建模。环境因素和驾驶员的行为会带来很大的不确定性[4]。如何利用上下文信息是另一个重大挑战。
现有的车辆Re-Id方法主要集中在车辆的外观特征上，例如颜色，类型，形状和详细属性[1]，[15]—[17]。因此，他们很难区分具有相似型号和颜色的车辆，并在不同的环境中识别相同的车辆。而且，他们通常会忽略唯一标识符，例如匹配车辆时的车牌号码。相反，我们全面利用外观属性和车牌信息以粗到细的方式进行车辆搜索。可以使用外观特征来找到类似的车辆，然后使用许可证牌号来精确匹配同一辆车辆。 另外，现有的方法忽略了时空背景。情境信息已经在几个研究领域被利用，例如智能监控[18]，交叉相机人员跟踪[19]，人员Re-Id [20]和对象检索[21]。通过监视系统记录的上下文线索，我们在物理空间中从近到远的方式处理搜索过程。
本文提出了一个基于深度神经网络的先进车辆再认证框架，该框架被命名为PROVID，其具有四个重要特性：1）先进车辆Re-Id范例旨在利用城市监控中的多模态数据，如多级视觉特征，车牌，相机位置和上下文信息;2）通过集成卷积神经网络学习的手工特征和高级属性，将目标车辆的外观用作粗滤器;3）采用连体神经网络对牌照号码牌进行精确的车辆搜索验证;和4）利用时空模型来进一步改进搜索过程。特别是，我们将车牌视为车辆的指纹，我们只需要验证两个车牌图像，而不是精确识别字符。此外，时空关系（STR）模型被设计为重新排列结果的上下文。
为了评估所提出的框架并促进相关研究，“VeRi”综合车辆Re-Id数据集由实用的城市视频监控系统构建而成。它不仅包含大量具有各种注释和足够的跨相机重现的车辆，而且还包括大量车牌和时空信息。VeRi数据集的大量实验表明，我们的PROVID框架实现了出色的准确性和速度。最后，我们讨论渐进式搜索的几个扩展，它可以在各种应用中使用。
与我们以前的作品[15]，[22]相比，我们提出了基于空间的颜色和属性特征模型（NuFACT）的融合，这可以显着提高基于外观的车辆搜索的准确性，例如平均平均值为29.73％精度（mAP）和24.55％的HIT @ 1。 在[15]，[22]中，纹理，颜色和高级属性通过直接融合
早期融合或后期融合策略，而NuFACT则采用基于Null Foley-Sammon变换（NFST）的度量学习方法来融合多层次特征。它不仅可以从不同的角度学习车辆外观的差异化表示，还可以减少特征冗余（从大约7,000-D到1,000-D）以保证效率。为了评估PROVID在不同条件下的适应能力，我们对两个大规模车辆Re-Id数据集进行了广泛的实验，即VeRi [22]和VehicleID [16]。综合实验表明，PROVID不仅显着提高了准确性，还降低了车辆Re-Id的计算成本。
-
- 相关工作
- 车辆重新识别/搜索
车辆搜索或Re-Id是近年来有限的相关研究的前沿领域。 Feris等人[1]设计了一个车辆检测和检索框架。他们首先按类型，大小和颜色对车辆进行分类，然后用关系数据库组织和检索车辆。Yang等人[2]提出采用深度卷积神经网络进行细粒度车辆分类，模型验证和属性预测，并收集车辆图像数据集CompCars，以验证所提出的方法。最近，Liu等人[15]探索了一些外观特征，如卷积神经网络学习的纹理，颜色和语义属性。他们还通过集成车辆搜索的低级和高级语义特征，构建了一个基于外观的模型。Liu等人[16]提出了一个深度相对距离学习（DRDL）框架，它可以共同学习特征表示和度量映射。然而，基于外观的方法难以从相同的观点区分类似的车辆并且在不同的条件下识别相同的车辆，诸如各种照明和观点。另外，应该利用牌照作为车辆的不同属性来精确地识别相同的车辆。此外，CompCars[2]和VehicleID[16]等现有数据集仅提供外观标签，如类型和型号，忽略车牌和背景信息，这对于大型城市监控中的车辆Re-Id非常重要。
- 车辆搜索牌照
在现实世界的实践中，公园和高速公路采用了车牌识别系统来识别车辆[13]，[14]。但是，现有系统需要高质量的车牌图像。因此，摄像机通常安装在受限制的情况下，例如公园或高速公路的收费站入口，以适当的视角进行校准，并需要诸如手电筒和传感器之类的辅助基础设施。 在不受限制的交通环境中，车牌识别系统不能很好地工作，因为诸如各种闪电条件和遮挡等不确定因素[1]，[15]。 因此，我们建议验证牌照，而不是识别牌照的所有字符。 最近，深度学习模型（如卷积神经网络（CNN））已经获得了最新的结果在许多多媒体和视觉任务中，如图像分类[23]，对象检测[24]，图像分析[25]，视频摘要[26]和多媒体检索[27]。 特别是Bromley等人 [28]提出了一个手写签名验证的连体神经网络（SNN）。SNN由两个共享参数的CNN构建，用于提取判别特征，并通过对比损失进行训练，为相似性度量学习潜在空间。Chopra等人[29]采用SNN来验证人脸并获得最新的结果。Zhang等人[30]建议识别具有SNN学习的步态特征的人并获得显着改善。受这些方法启发，我们采用SNN来验证车辆Re-Id框架中的车牌。
- 上下文模型
上下文信息，例如时空记录，目标位置和摄像机的拓扑结构，已经在多摄像机系统中得到广泛应用[18]，[19]，[21]。例如，Kettnaker等人[18]采用贝叶斯估计模型来组装不同相机上的物体的可能路径。Javed等人[19]提出估计摄像机间的通信与时空信息的跨摄像机人员跟踪。 最近，Xu等人[21]设计了一个基于图形的对象检索框架来查找校园内的人员和骑车人。然而，现有的方法通常考虑以低速移动的物体，例如人和骑自行车的人。此外，他们主要关注受限环境，例如公园，校园和建筑。在城市地区，道路和十字路口等交通场景多为无约束环境，由于环境复杂，道路拓扑结构多样，具有明显的不确定性。我们仍然可以从上述作品中获得一些见解，以利用车辆Re-Id的上下文线索。
-
- 提供的框架概述
在图3中，我们展示了PROVID框架的体系结构。在我们的框架中，输入查询是来自监控系统的车辆图像和上下文信息，例如摄像机ID和时空线索。通过查询，PROVID框架可以通过三个步骤搜索同一车辆：1）通过车辆外观进行粗略过滤：框架利用外观模型来查找在监控视频中具有相似纹理，形状，颜色和类型的车辆;2）通过车牌验证进行精确搜索：使用连体神经网络，为被过滤的车辆估计查询车辆和图库车辆之间的车牌距离以匹配相同的车辆;3）提出时空关系模型（STR）来重新排列先前的结果并确定最佳车辆。
-
- 车辆外观过滤
- 多级车辆表示
在实际车辆搜索中，通过外观特征（例如纹理，形状，类型和颜色）过滤车辆是有效的。此外，这些特征可以在大规模数据中高效地提取和匹配。
图3. PROVID框架的体系结构。
在我们以前的工作[15]中，我们建议使用多级外观特征作为粗略过滤器来搜索具有相似外观的车辆。对于纹理特征，我们采用传统的尺度不变特征变换（SIFT）[31]作为局部描述符。然后，由于多媒体检索的效率和有效性，词袋（BOW）模型用于量化SIFT描述符[32]。对于颜色特征，色彩名称（CN）描述符[33]被提取出来，然后由BOW进行编码以获得高精度的人员重新识别[34
全文共24982字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13156]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
