英语原文共 10 页
用于车载网络中的真实交通标志的深度检测网络
摘要：现实交通标志检测的挑战在于识别大型复杂背景中的小目标，使得最先进的通用目标检测方法在检测速度和精度方面都不能很好地工作。现有的交通标志检测深度学习模型未能使用目标的固定特征。本文提出了一种新颖的端到端深度网络，通过两阶段调整策略提取区域提案。首先，我们将AN（注意网络）引入Faster-RCNN，以寻找所有潜在的RoI（感兴趣的区域），并根据交通标志的颜色特征将它们粗略地分为三类。然后，FRPN（精细区域提议网络）从AN提取的每个特征地图位置的一组锚点产生最终区域提议。我们还通过以下方式修改模型：（1）向卷积层添加去卷积结构以适合小尺寸的目标，以及（2）用对应于由AN获得的三个粗类别的三个softmax来替换分类器。我们的方法是在两个公共可用的交通标志基准上进行评估，这些基准是在真实路况下收集的。实验表明，我们的方法仅生成Faster-R-CNN生成的1/14锚，因此检测速度提高了使用ZF-Net的2fps，并且在两个基准测试中的平均mAP分别为80.31％和94.95％，分别比使用VGG16的Faster-R-CNN高9.69％和7.88％。
关键词：交通标志检测；关注力网络；精细区域提案网络；卷积神经网络。
- 引言
在现代城市，车辆的快速增加是一个非常令人费解的问题，还有交通事故。车载网络和智能系统 [1-6] 被认为是提高运输效率和安全性的新处理方案。交通标志检测和识别对于车载网络或自动驾驶汽车的智能终端是必不可少的。深度学习可以是复杂检测任务的有效解决方案，其需要高精度的实时多目标检测。一个例子如图1所示
图一 一种有效的解决方案是在云服务器离线训练深度神经网络。具有固定网络权重的预训练网络被移植到车载智能终端中以进行检测。终端收集的新数据通过车载网络传输到云服务器，以推广性能检测模型。
与正常检测任务相比，交通标志在实际驾驶场景中占据每个图像的一个小部分[7] 。相反，大部分画面都是由复杂的背景填充，如天空，道路，行人，车辆和街景。像广告牌一样的环境因素通常具有与交通标志相同的颜色饱和度和对比度，这严重影响了检测精度。其他困难尤其来自可变照明，交通标志颜色褪色，不同角度变形或旋转，目标遮挡和阴影干扰。图2显示了一些困难的例子，使交通标志检测任务仍然是一个开放的问题。第一行显示了4个分别由于复杂的背景，遮挡，角度变形和阴影干扰所导致检测困难的例子。第二行显示了由于可变照明所导致检测困难的例子。
图2 大型和复杂背景下的小型交通标志的一些例子。
近年来，深度学习技术发展迅速。CNN（卷积神经网络）已经显示出很强的图像分类强度[8]，特别是在ImageNet LSVRC[9]中。物体检测，包括分类和定位，通过区域提议方法和CNN的巧妙结合，取得了很好的实际效果。RCNN系列作品[10]，[11]，[12]是该方法的典型代表。但是，这些工作不适用于现实生活中的交通标志检测，因为它们是为PASCAL VOC任务设计的 [13]，其目标对象通常占据每个图像的大部分。通常情况下，司机的大多数视野都是背景，如街景，从而易忽视交通标志目标。基于区域提议的现有方法无法检测小尺寸对象。研究人员提出了一些深层学习模型[14]，[15]，这些方法从一般物体检测方法的改进。然而，现有的深度学习模型未能利用交通标志的特征。由于大多数国家都遵循国际模式，因此交通标志中有固定的颜色和形状特征。
为了解决这些问题，我们提出了一种新颖有效的方法来检测现实生活中的交通标志。交通标志的独特颜色属性完全用于定位RoI（感兴趣区域）并有效缩小搜索范围。整个系统，如图3所示，是一个将计算机视觉技术与Faster-R-CNN 相结合的端到端网络。
图3 深层现实交通标志检测系统概述。该输入图像是由经处理的卷积层和并联的关注网络。它们的输出用于在FRPN中提取的区域提议并检测分类器和回归量中的目标。
我们修改了最先进的检测网络Faster-RCNN，以提高精度和检测速度。所提出的深度检测网络充分利用小目标的属性来划分RoI。在生物视觉注意机制的推动下，通过添加一种新的AT（注意网络）,我们引入了一种更快的区域提议方法，而这种AT根据交通标志的颜色特征，通过传统的计算机视觉技术定位所有潜在的RoI。FRPN（精细区域提议网络）过滤RoI并微调其余的位置以产生区域提议。AT可以在CPU上实现，而CNN利用GPU。它们可以并行协同工作以加速提案计算。AT也可以通过预先的粗分类来提高最终分类效果。事实上，它提供两种信息：RoI和交通标志的粗略类别。我们还通过在卷积神经网络添加反卷积结构来修改模型，以适应小尺寸的目标。该框架为检测任务提供了新思路，其中小目标处于大型复杂背景中。总之，本文的主要贡献可以从三个方面得出结论：
bull;这个新颖的模块称为注意力网络，其主要作用是约束搜索区域，根据交通标志的颜色特征告诉整个系统在哪里看。它提供两种信息：所有可能的RoI和粗略的交通标志类别。
bull;提出了一种新的框架，以粗略到精细的方式提取区域提案，避免错过小目标。它巧妙地将深度CNN与传统的计算机视觉算法相结合，充分利用了目标的特点和CNN提取特征的强大能力。
bull;将卷积结构添加到卷积基层以适合小尺寸的目标，并且最终的分类器由对应于AN获得的三个粗略类别的三个softmax分类器代替，以提高最终精度。
我们的方法针对大型复杂背景下的小目标检测。使用VGG-16网络，我们的方法产生于清华腾讯100K基准80.31％映射以及比利时交通标志日期集94.95％映射。实验表明，我们的方法在小尺寸目标上表现更好。本文的其余部分安排如下：第2节介绍了有关物体检测方法，交通标志检测方法和交通标志基准的相关工作。第3节详细介绍了本文提出的方法，主要包括深度检测网络的体系结构和区域提议提取的两阶段调整策略。第4节介绍了实验结果和讨论。最后一节展示了结论和未来的工作。
2.相关工作
2.1基于CNN的对象检测
该物体检测任务通常分为两个关键的子任务：对象分类和对象定位。到目前为止，有两种类型的策略。一种基于由OverFeat [16]，YOLO [17]和SSD[18] 表示的回归的对象检测。OverFeat结合了深度CNN，分类网络和回归网络。CNN作为特征提取器进行了详细说明，其后是分类网络和包围盒回归网络。YOLO是一个实时的端到端网络，将对象检测作为包围盒空间分离和相关类概率的回归问题。SSD使用小型卷积过滤器将包围盒的输出空间离散化为一组不同宽高比和比例的框。它为每个默认框中的每个对象类别的存在生成数值，并调整框以更好地匹配对象形状。
另一个是基于区域提案的对象检测代表R-CNN系列作品。考虑到准确性，这些方法在不同基准方面处于领先地位。更快的R-CNN和R-FCN是好的。它们通过共享计算来提高计算效率，从而获得几乎无成本的区域提案。RPN（区域提议网络）被引入Faster-R-CNN，其全图像卷积特征与检测网络共享。它是一个完全卷积网络，可同时预测对象包围盒和对象分数。R-FCN是一个基于区域的完全卷积网络，它引入了位置敏感的得分图，以解决翻译不变性的两难问题。
这两种策略在PASCAL VOC和其他目标占据很大一部分图像的任务中表现良好。但是，在现实生活中的交通标志检测任务中，目标的大小非常小。由于功能不足，他们忽略了许多小目标。而且，它们产生了大量的类似目标，因此它们具有很高的复杂性。
2.2交通标志的检测和识别
虽然交通标志的检测和识别研究已经持续了数十年，并取得了很多理论成果，但很难将这些研究成果应用于实际的行业。传统的计算机视觉方法主要利用交通标志的特点，分为三类：基于颜色的检测方法[19]，[20]，[21]，[22]，基于形状的检测方法[ 23]，[24]，[25]以及结合颜色和形状检测的方法[26]，[27]，[28]，[29]。由于交通标志通常具有固定颜色，因此利用在不同颜色空间中的阈值将交通标志目标与背景分开，颜色分割是很流行的。常用的色彩空间包括RGB，HSV，HIS，LAB，LUV，YCbCr等。基于颜色的检测方法具有计算速度快，几乎满足实时要求的优点。精度低的缺点也很明显，特别是在背景复杂的情况下。由于交通标志的规则形状，基于形状的检测方法是使用几何信息来定位交通标志目标的常用方式。霍夫变换 [30] 是一种流行的方法检测圆形，三角形和矩形。在[31]中，Haar-like和HOG特征结合起来检测交通标志。此外，为了提高性能，3D技术与SVM和adaboost分类器一起使用。在[32]中，由傅里叶描述的分段轮廓与隐含的星形模型一起用作交通标志类的原型。这些方法稳健但耗时。基于颜色的方法对光照变化和褪色敏感，而基于形状的方法对杂波环境中的目标遮挡和噪声干扰敏感。结合颜色和形状特征的检测方法具有上述两种方法的优点。不幸的是，由于各种原因，上述所有方法都可能会错过小目标。已经提出了基于滑动窗口的方法来改进查全率。然而，通过滑动窗口产生大量类似目标，因此高时间复杂性使得这些方法远离成熟。
在[14]中，基于CNN的多尺度架构被提议用于早在2011年检测交通标志。在[15]中，包括两个深的CNN来定位和分类交通标志。FCN（完全卷积网络）和EdgeBox [33]算法分别用于粗略提议提取和精细提议提取。最后，深入的CNN将提案分类到不同的类别。在[34]中，局部二值模式检测器和AdaBoost分类器用于定位区域提议和最终检测结果由级联CNN产生。然而，上述方法不是端到端网络，因此它们使得训练任务在实际应用中变得困难且不切实际。在[35]中，提出端到端CNN同时对交通标志进行分类和定位。六层CNN用于提取特征。在卷积层之后，网络分支成三个并行结构，即边界框层，像素层和标签层。
2.3交通标志基准
有三个著名的交通标志基准：GTSRB（德国交通标志识别基准），STSD（瑞典交通标志数据集）和BTSD（比利时交通标志日期集）[36]。去年，清华大学发布了中国交通标志检测基准清华 - 腾讯100k[7]，简称TT100k 。大约有10,000张图像包含30,000个中国交通标志实例。这些实例涵盖了很多变化的照度。图像的分辨率高达2048times;2048，而交通标志目标总是占据图像的不到0.1％。此基准测试中的图像类似于驱动程序的真实视野。但是，检测在大而且复杂的背景中检测小目标很难。
3.提出的方法
城市部署交通设施，例如交通信号灯和交通标志。然而，城市道路状况复杂，干扰信息众多。交通标志设计的初衷是通过鲜艳的色彩吸引驾驶员的注意力。为了充分利用该功能，我们的系统称为深度检测网络，用于现实生活中的交通标志，将传统的计算机视觉技术与
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
