英语原文共 21 页，剩余内容已隐藏，支付完成后下载完整资料
基于特征级联卷积神经网络的城市交通监控图像车辆检测
摘要：城市交通监控中的的车辆检测是一项重要但具有挑战性的任务，它对视频序列数据进行类别推断。这项任务的难点在于它需要在复杂场景中精确定位出相对较小的车辆并期望实时检测。在本文中，我们构建了一种车辆检测框架，该框架可以提高传统单镜头多盒检测器（SSD）的性能，实时有效地检测不同类型的车辆。我们的方法表示为DP-SSD，该方法提出了在单个网络中使用不同的特征提取器来进行定位和分类任务，并通过在特征金字塔中的层之间的反卷积（D）和池化（P）来增强这两个特征提取器。此外，我们通过调整其比例来扩展默认框的范围，以便可以利用较小的默认框来对DP-SSD进行训练。UA-DETRAC和KITTI数据集的实验结果表明，DP-SSD可以实时有效地检测实时交通监控数据。对于使用UA-DETRAC trainval训练的UA-DETRAC测试装置设置，输入尺寸为300times;300的DP-SSD，在50.47 FPS（每秒帧数）的速度下达到75.43％mAP（平均精度），具有512times;512尺寸输入的框架在25.12时达到77.94％mAP FPS采用NVIDIA GeForce GTX 1080Ti GPU。除了YOLOv3之外，DP-SSD显示出的精度比最先进的模型更好。
关键词：车辆检测；特征连接；默认框；卷积神经网络；实时
1 简介
由于大量违反车辆交通规则的现象对日常交通管理造成了不利的影响，所以城市交通监控中车辆活动的自动分析是一个重要而紧迫的问题。与传统的机器学习任务相比，基于深度学习的方法在交通监控技术方面取得了重大突破，在车辆检测、特征提取和车辆识别等实际应用中取得了良好的性能。在这些研究领域，准确实时的车辆检测和初步分类是最基础和最重要的工作。
在交通监控的各种车辆检测算法中，基于卷积神经网络（CNN）的方法得到了广泛的应用，可以分为基于区域和基于回归的方法。对于基于区域的CNN，具有CNN特征的区域（R-CNN），空间金字塔池网络（SSP-Net），车辆检测的最新进展中经常使用快速R-CNN和更快的R-CNN。这些方法虽然通过从选择性搜索到区域候选网络（RPN）的改进，并实现了最先进的准确性，但是对于边界框来说实时或接近实时但太慢而计算量太大。
如图1a所示，它表示了最快的高精度区域方法（快速R-CNN）的检测结果，每幅图像的检测帧率不超过12FPS，这在交通监控中不能进行实时检测。为了实现实时检测性能，通过攻击分类器或区域方案，提出了各种各样的检测器。然而，这些大多数尝试都以牺牲检测精度为代价来提高速度。
图1.传统方法与UA-DETRAC数据集上提出的DP-SSD300框架的比较。（a）更快的R-CNN低FPS用于车辆检测；（b）具有高FPS的DP-SSD300用于车辆检测；（c）在SSD300中，一辆白色车辆标有两个边界框，一些小物体被检测到错误或未检测到；（d）在DP-SSD300中，白色车辆贴有良好标签，并且可以很好地检测到小物体。
随着在单个神经网络中直接预测边界框和类别概率的新方法的发展，基于回归的YOLO方法处理图像以45FPS实时显示，但准确度低于快速R-CNN。为了进一步提高速度与精度的权衡，SSD采用类似于更快的R-CNN的锚机制，并产生通过几个不同长宽比和尺度的特征图进行预测。虽然它在速度和准确度方面都表现良好，但SSD忽略了该特征的不同层之间的关系金字塔。因此，SSD在小型车辆的交通监控中具有相对较差的性能，并且为一个车辆生成多个规模的边界框。具体地，在图1c中，在一辆汽车上产生两个箱子，并且未检测到距离中的总线。
受到先前研究结论的启发，在本文中我们提出了一种基于单个深度神经网络的增强型框架DP-SSD，如图2所示，用于城市交通监控中的准确和实时车辆检测。具体来说，DP-SSD基于传统的SSD，并将用于车辆检测的特征金字塔扩展为两部分：用于定位的特征金字塔和用于分类的特征金字塔。定位特征金字塔通过反卷积将上层特征图连接成下层特征，其能够预测车辆的所有边界框。在预测过程中，应用多个比例和纵横比的一组默认框以更好地匹配车辆形状。后一种分类特征上层通过合并的金字塔连接特征图可以精确地推断每个正默认框的车辆类别。因此，DP-SSD源于特征串联的思想反卷积（D）和池化（P）。与R-SSD中复杂的彩虹级联相比，DP-SSD的新颖之处在于使用了两种不同的级联特征金字塔。分别执行本地化任务和分类任务，提高了检测效果，降低了计算复杂度。第4节验证了DP-SSD的卓越性。这是因为之前的工作已经表明，上部特征图能够实现高度回忆但在预测中具有较差的局部化，并且较低的特征图能够提高定位精度但减少了召回。值得注意的是，两个特征金字塔都利用了不同层之间的关系，并增加了每个特征映射层的通道数。这样，所提出的方法可以防止一辆车的各种箱子并实时预测较小的车辆。
图2. 用于车辆检测的DP-SSD的训练架构。我们的DP-SSD模型使用传统的SSD，但将用于检测的特征金字塔分为两部分：用于定位的特征金字塔和用于分类的特征金字塔。对于定位，我们通过反卷积连接特征图来增强较低层的表示能力。分类特征金字塔通过合并来连接上层的特征映射。
我们工作的主要贡献概括如下：
（1）我们首次提出在车辆检测过程中分别使用不同的特征提取器（通过反卷积增强和通过池化增强）进行定位和分类任务，从而提高速度和检测精度权衡。
（2）为了提高特征金字塔的表示能力，我们通过反卷积连接基本特征金字塔的下部特征图，精确生成车辆边界框，并通过汇集连接基本特征金字塔的上部特征图，准确同时对车辆类别进行分类。
（3）对于每个连接的特征金字塔，我们增加金字塔中每个要素图层的通道数。以这种方式，可以有效地消除一个车辆的多个刻度盒。
（4）对于默认框的大小，通过调整min_size和max_size参数，我们允许预测产生比传统SSD更小的边界框，从而可以实时准确地检测小型车辆。
本文的结构如下：在第2节中，我们简要讨论了深度学习领域中车辆检测的相关工作，然后在第3节中提出了一个功能级联框架，我们称之为DP-SSD。在第4节中，给出了该方法的实验和结果。最后，本文在第5节中得出结论。
2 相关工作
随着图像分类任务中深度网络的不断突破，例如参考文献中提到的那些，使用CNN的各种各样的物体检测算法及其在车辆检测中的应用已经取得了显着的进步。在这里，我们分别简要介绍了用于物体检测和车辆检测的深度CNN的最新研究。
2.1 用于对象检测的深度CNN
在深度CNN领域中有两种已建立的用于对象检测的算法类型，一种基于区域提议方法，另一种基于回归思想。基于区域提议的方法首先在图像中产生候选区域，然后对它们中的每一个进行分类，是深度CNN中对象检测的开始。原始R-CNN将高容量CNN应用于通过选择性搜索算法提出的自下而上的候选区域，这有效地提高了准确性。虽然R-CNN将区域提议与CNN结合起来，但是在不共享卷积层的情况下导致大量计算成本。SPP-Net为深度网络配备了空间金字塔池策略，该策略对区域大小或规模更加稳健，可显着加速原始R-CNN。快速R-CNN改善了R-CNN和SPP-Net的缺点它可以通过在本地化和分类中使用多任务丢失来端到端地更新所有网络层，这在参考文献中提倡。更快的R-CNN首先用区域提议网络（RPN）替换选择性搜索算法，并通过使用“注意”机制共享卷积层将RPN与快速R-CNN合并到单个网络中，从而实现实时检测性能。保证准确性。在这些方法中，最顶层用于检测多尺度的对象。虽然功能强大，但单层很难考虑物体的所有形状和比例。内外网（ION）通过L2归一化连接来自多个层的特征映射，以产生对象提议的固定长度特征映射，这增强了多尺度表示能力。在参考文献中，分层网络将分层特征映射压缩为统一空间，在生成提议和检测对象时共享。在所有这些方法中，尽管检测精度已经大大提高，但速度仍然是一个问题，并且实时检测是不可能的。
使用单个神经网络显着提高物体检测速度，使用基于回归的方法引起了很多关注。通过将输入图像划分为多个网格并直接在每个网格中预测边界框和置信度，YOLO非常快。虽然YOLO与基于区域提议的算法相比产生了大量的本地化错误，但是改进的模型（称为YOLOv2）将删除完全连接的层并使用锚箱在速度和准确度之间进行权衡。参考中的SSD构建了一组具有不同宽高比和比例的默认框，它将多个卷积层与不同的分辨率组合在一起，用于对象检测，并且在速度和准确度方面表现良好。为了补充SSD在小物体上的不足性能，去卷积单发探测器（DSSD）应用去卷积模块来增强其他环境，其中VGGNet被残余网络（ResNet）取代，这会以牺牲速度为代价来提高精度。通过在较低层和较高层中连接特征映射，提出了增强的SSD方法，这提高了SSD的准确性并且表示为R-SSD。参考文献[26]中提出了一种新的基于单镜头的物体检测方法，称为RefineDet，它同时优化了锚点细化模块和物体检测模块，以有效地检测物体。在参考文献[27]中，结构推理网络（SIN）考虑了单个图像中场景上下文信息和对象关系的上下文，建议采用对象检测作为图结构推断的问题，并获得理想的输出。为了解决目标检测中的尺度问题，[28]提出了一种基于密集卷积网络的多尺度目标检测的尺度可传递检测网络。在PASCAL VOC 2007和MS COCO数据集上的实验表明，与现有方法相比，所提出的方法实现了明显的改进。YOLOv2的增强版本（YOLOv3）使用残余网络并组合多尺度预测网络以提高对象检测的速度和准确度。这些方法中的大多数都实现了实时检测，准确性也是如此逐步改善。
2.2 用于车辆检测的深度CNN
传统的车辆检测算法本质上与背景减除问题有关，近年来已经取得了很大的突破。提出了一种主成分追踪（PCP）方法来检测文献中的运动物体，通过凸优化恢复低秩和稀疏矩阵，并成功地从检测到的物体中去除阴影。参考使用稳定的异常值追踪（SOP）算法来检测移动对象，在异常值破坏整个列时实现强大的分解。在参考文献中，车辆检测提出了一种基于概率神经网络的方法，该方法可以准确地检测高比特率和低比特率视频流中的移动车辆。然而，深度CNN在车辆检测中的应用主要依赖于现有技术的目标检测算法，并且基于实际应用场景和数据特性进行了改进。一个新颖的框架命名提出了演化盒[34]，与快速R-CNN相比，它获得了对mAP的显着提升，并实现了9-13 FPS速度。Evolving Boxes由三个网络组成，称为深度卷积网络（DCN），Proposal Network（PN）和Fine-Tuning Network（FTN），并对DETRAC基准进行评估。在参考文献[2]中，在KITTI基准测试中采用了尺度不敏感的卷积神经网络（SINet），用于各种尺度的车辆检测，显着提高了极小物体的检测精度，速度高达37 FPS。值得注意的是，SINet可以应用于任何深度网络，并且可以进行端到端的培训。参考文献[1]中提出了一个具有兴趣区域投票方案的多任务车辆检测框架，分别对KITTI基准和PASCAL2007车辆数据集进行了实验，与车辆检测中的其他优秀框架相比，实现了非凡的性能。在参考文献中，引入了一种采用深度卷积神经网络的场景自适应算法，用于车辆检测，可以应用于各种场景，并且比现有的基于机器学习的方法具有更高的检测率。在参考文献[35]中，通过将生物启发的图像增强方法与a组合的方法引入加权特征融合技术用于夜间车辆检测，可应用于各种场景，并且比一些最先进的算法具有更高的检测率。参考文献[37]中的多视角跟踪（MPT）框架在MPT数据集上进行，使用迭代搜索程序来检测车辆的周围环境，以及暹罗卷积神经网络用于特征提取。实验表明，MPT从多个角度实现了良好的车辆检测性能。为了获得更高的检测性能，最近，一个称为车辆检测和注释（DAVE）的统一框架采用了浅层完全卷积网络和扩展GoogLeNet的两阶段架构。城市交通监控中的车辆检测与属性学习。 DAVE在CompCars数据集上进行了培训，分别用于评估自行收集的UTS数据集，PASCAL VOC 2007汽车数据集和LISA 2010数据集，与其他已发表的方法相比，获得了显着的改进。
除了道路车辆检测之外，还利用航空图像中的深CNN进行车辆检测。在参考文献中，提出了一种名为Oriented_SSD的方法来生成用于航拍图像中的车辆检测的任意导
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[443964]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
