英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
基于机器学习的限速标志限速识别
摘要
本研究描述一种使用摄影机自动识别限速标志上的限速的方法。该方法包括以下三个过程：（1）利用局部二值模式特征量作为识别信息的机器学习限速标志检测方法，（2）一种利用色调、饱和度和值（HSV）颜色空间提取限速标志上限速数的图像处理方法，（3）一种用神经网络对提取的数字进行识别的方法。本文提出的交通标志识别方法是从交通标志中提取几何图形并根据其纵横比进行识别。此方法不能用于限速标志上的数字，因为这些数字都具有相同的纵横比。本研究着重考虑以下三点。（1） 使用聚焦于限速标志局部模式的单一处理，使得仅检测风景图像中的限速标志成为可能。（2） 当限速标志上的两位数字由于光照环境的原因被错误地提取为一个区域时，可以分离并提取限速标志上的两位数字。（3） 通过聚焦于三个特征量，使得用神经网络识别数字成为可能。为了验证该方法的有效性，本文还将该方法应用于静止图像。
关键字：模式识别、图像处理、计算机视觉、交通标志、机器学习、局部二值模式、神经网络
- 导言
作为智能交通系统（ITS）研究的一部分，日本对先进的巡航辅助公路系统（AHS）进行了大量的研究，旨在确保汽车行驶的安全性和平稳性[1-9]。AHS由以下部分组成：信息收集、、驾驶员操作支持和全自动驾驶。信息收集的手段包括使用雷达探测前方障碍物，以及使用照相机图像探测交通标志和信号。使用雷达的驾驶辅助系统已经商业化，并安装在许多车辆上。然而，无论是在高速公路还是普通道路上，使用摄像头的驾驶支持系统仍处于研究阶段。这些系统的商业化将要求向驾驶员准确、稳定地提供有关车辆周围环境的信息：高处理速度、高识别精度、无遗漏地检测所有可检测物体，以及对周围环境变化的鲁棒性。
据说，在驾驶时，80-90%的驾驶员依靠视觉信息来感知周围环境和操作车辆。根据调查结果，由于驾驶员注意力不集中，导致驾驶员在行驶过程中不向前看，分心驾驶，或在交叉口不停车，造成多车事故大量发生。在这些事故中，导致死亡的主要原因是车速过快。因此，从构建驾驶员支持系统的角度出发，当车辆行驶过快时，自动检测限速，并向驾驶员提供警告显示或语音警告，督促驾驶员遵守张贴的限速标志将是非常重要的。
“禁止车辆通行”和“限速”等交通限制标志外观呈圆形，外缘周围有一个红色圆环。关于使用这种区别特征从图像中提取交通标志的方法，有许多建议[10-26]。Frejlichwski[10]提出了一种极性Fourier灰度描述子，它利用物体的轮廓和强度信息，从数字图像中提取物体。高等人[11] 为了提高交通标志识别的性能，提出了一种新的局部直方图特征表示方法。孙等人[12] 提出了一种有效且高效的基于相对较新的人工网络、极值学习机的识别方法。刘等人[13] 提出了一种利用群稀疏编码解决交通标志识别问题的新方法。Zaklouta等人[14] 提出了一种基于HOG特征的线性支持向量机的实时交通标志识别系统。Stallkamp等人[15] 将人类的交通标志识别性能与目前最先进的机器学习算法进行了比较。Berger等[16] 提出了一种基于虚拟广义随机存取记忆加权神经网络（VG-RAM WNN）的交通标志识别新方法。顾等人[18] 提出了双焦主动摄像系统来获取高分辨率的交通标志图像。Zaklouta等人[19] 提议实时恶劣天气条件和照明条件下的IEEE交通标志识别系统。鲁塔等人[20] 在检测、跟踪和识别的三阶段框架下，提出了一种新的图像表示和鉴别特征选择算法。陈等人[22]提出了一种基于量化离散余弦变换（DCT）系数的可逆图像水印方法。Zhang[23]提出了通过聚类预处理特征点的方法，提高了特征匹配的效率。张等人[24]提出了一种基于分形图像编码的图像变换多描述方法。Zin等人[25]提出了一个在不同照明条件下的鲁棒性道路标志识别系统，用于各种圆形和五边形道路标志。Kohashi等人[26]提出了一种快速、高精度的路标识别方法，该方法通过发射近红外光线来应对恶劣的照明环境。许多识别方法都是通过模板匹配和改进模板匹配等手段，或者使用应用遗传算法和神经网络来实现的。文中还提出了一种利用形状特征的方法和基于KL变换的特征空间方法。这些措施总体上取得了良好的效果。然而，在这些方法商业化成为可能之前，必须解决实际处理过程中出现的一些问题。这些问题包括需要将提取的未知大小的图像转换为与模板大小大致相同的图像、需要对旋转和位移进行校正以及这些处理计算所需的大量时间。
本研究作者先前提出的交通标志识别方法[21]专注于从运动图像中实时提取交通标志，作为迈向系统商业化的一步。因此，本文提出的识别方法是一种基于符号几何特征的相对简单的方法，能够缩短处理时间。由于提取了标志上的几何图形，然后根据其长宽比进行识别，该方法无法识别出限速标志上的数字，而这些数字都具有相同的长宽比。然而，考虑到超速是致命事故的一个主要原因，并且由于识别在预防致命事故和其他严重事故中起主要作用的限速标志更为重要，提出了一种基于KL变换的特征空间法的限速标志识别方法提议的[17]。该方法处理速度快，能够准确地检测出目标，对周围环境变化或标志与车辆距离缩短引起的标志图像几何变形具有较强的鲁棒性。但是，由于该方法仅使用颜色信息来检测限速标志，因此在存在许多类似于限速标志的颜色的环境中，需要进行精确的颜色信息设置和处理，以排除除标志之外的所有内容，因此需要对该方法进行进一步的研究。
针对上述方法存在的问题，本文从以下三个方面进行了研究，提出了一种新的限速标志识别方法。（1） 使用聚焦于限速标志的局部模式的单个过程，使得仅检测风景图像中的限速标志成为可能。（2） 当限速标志上的两位数字由于光照环境的原因被错误地提取为一个区域时，可以分离并提取限速标志上的两位数字。（3） 使使用神经网络识别数字成为可能，而无需对数字的几何形状进行精确分析。
第2节描述了基于图像LBP特征量的使用AdaBoost分类器的限速标志检测方法[27]。第3节描述了使用HSV颜色空间中的图像可靠地提取单个速度值的方法，以及使用学习数字的特征向量与分类之间的概率关系的神经网络对指示速度值图像进行分类的方法。第四节介绍了本研究的讨论情况和存在的问题。
- 限速标志检测
图1显示了一幅风景图片，其中包括安装在道路上方的40公里/小时限速标志，在驾驶过程中从驾驶员位置向前看。因为图像中有一个符号在远处，它太小，很难识别。然而，在靠近图像中心的位置还有另一个限速标志。中间两个红色发光的物体是交通信号灯。限速标志是圆形的，外缘有一个红色的圆环，白色背景上有蓝色的数字表示限速。
从相机获取的图像使用流行的RGB。为了获得色调信息，将图像转换为常用的色调、饱和度、值（HSV）。生成的图像被表示为独立的色调、饱和度和值参数，提供了亮度方面非常健壮的颜色信息。
在室外，即使对同一场景进行成像，色调、饱和度和值也会随时间（如白天或夜晚）和从不同方向对场景进行成像而变化。因此，有必要在提取符号时使用考虑这些差异的处理方法。但是，这需要事先进行精确的设置，以处理可能发生的所有各种情况。
本文试图通过将图像转换为灰度图像，从而将色差转换为灰度级的差异，而不是直接利用颜色信息，找到一种确定图像中限速标志图案（特征量）的方法。基于提取的特征量，利用AdaBoost分类器对限速标志进行检测。AdaBoost分类器是一种机器学习算法，它结合了许多简单的分类器（弱分类器）和检测精度不是特别高的方法来创建单个高级分类器（强分类器）。
局部二进制模式（LBP）特征量作为特征量。LBP找到目标像素和8个相邻像素之间的差异，并指定1（如果为正）和0（如果为负）的值，并将8个相邻像素表示为二进制数以生成256级灰度图像。这些特征量具有许多特征，包括它们可以从图像中局部提取，能够抵抗图像光照变化的影响，可以用于识别与周围像素的关系，并且需要很少的计算成本。
训练集采用200幅含有限速标志的图像（正面图像）和1000幅不含有限速标志的图像（负面图像）。一个191幅图像的测试集是与训练集分开准备的。正面图像包括各种情况的图像，包括具有清晰标志颜色的图像、具有褪色标志颜色的图像以及以一定角度拍摄的标志图像。
图2显示了当阳性图像的数量从50个增加到100个、150个和200个时，对于相同的1000个阴性图像，检测率的变化。结果表明，增加阳性图像的数目可以提高检测率。图3显示了当负图像的数量从100增加到7000时，错误检测率（=非限速标志的检测区域的数量/检测到的限速标志的数量）的变化。结果表明，1000和3000幅阴性图像的误检率虽然下降到了0%，但当阴性图像的数量达到或超过5000幅时，会出现少量的误检。人们认为，使用过多的负面形象会导致过度学习或学习不能正确进行的情况。
图4显示了当使用200个正图像和1000个负图像创建的AdaBoost分类器与191个不同于训练集的图像的测试集一起使用时的检测结果。检出率为93.7%，假检出率为0%。这意味着，在使用该方法的191幅图像中，有12幅图像没有检测到限速标志，然而，所有179个检测区域实际上都是限速标志。图4中的图像a-g显示检测到限速标志的情况，图4中的图像（h）和（i）显示未检测到限速标志的情况。
- 限速标志的限速识别
日本普通公路限速标志上的车速大多为每小时30公里、40公里和50公里。本节介绍使用第2节中的方法提取的限速标志上的数字的识别方法。
近年来，神经网络作为一种基于统计处理的机器学习方法，使得基于学习数据构造具有良好分类性能的分类器变得相对简单。因此，这种方法经常用于字符识别、语音识别和其他模式识别。据说，神经网络可以通过学习获得非线性识别边界，并提供优于以往技术的模式识别能力。因此，在本研究的方法中，我们利用神经网路，以学习资料为基础，学习数位特徵向量与类别之间的概率关系，并以量测所获得的未知特徵向量为基础，判断目标属于哪一类别。
本研究建立一个三层神经网路，输入层、输出层及中间层各由四个神经元组成。
神经网络学习数据准备如下。从在各种条件下拍摄的限速标志图像中提取单个数字，如图5所示，并将其转换为灰度图像。然后调整图像大小以创建四个图像：5times;5、10times;10、15times;15和20times;20。准备了35幅0号、20幅3号、35幅4号和20幅5号图像。
对于每个图像，计算以下三个特征量以创建特征量文件：亮度、水平和垂直投影。图6显示了每个数字的特征量示例。
利用数字以蓝色打印在限速标志上的事实，基于颜色信息提取数字区域。由于色调、饱和度、值（HSV）颜色规格系统比红、绿、蓝（RGB）颜色规格系统更接近人类的颜色感知，因此图像从RGB图像转换为HSV图像，并且调整色调、饱和度和值参数以仅提取蓝色数字。如图7所示，当两个数字不能分离时，例如当相同的参数用于处理在不同光环境中获取的图像时，或者当图像太小时。本研究尝试使用可变平均二值化处理来解决这个问题。如果图像是在距离标志60-70 m处获取的，因为图像的大小不超过40像素，则在执行数字提取处理之前，通过自动将图像大小加倍来解决此问题。当到标志的距离约为70米或以上时，标志图像本身太小，无法提取数字。
以下是对提取限速标志上每个数字的过程的详细说明。
限速标志由外围的红色圆圈组成，圆圈内的白色背景上用蓝色打印数字。不是直接从蓝色区域提取数字，而是将从彩色图像中提取的限速标志转换为灰度图像，并对该图像进行可变平均二值化以生成图8a所示的图像。高于红色圆圈内外值阈值的部分转换为白色，其他所有部分都转换为黑色。
由于在图像中检测到的限速标志区域是一个与红色圆圈外缘接触的正方形，因此这些数字大致位于正方形的中心。考虑到这一点，处理只集中在中心的正方形区域。由于周围区域包含大量白色区域（噪声），这意味着可以省略去除噪声的过程。提取靠近中心的区域并执行反向处理得到图8b所示的图像。
图8c显示了从图8b中白色区域和黑色区域之间的边界提取的轮廓。计算了多个提取轮廓内的区域。对于0号零件，有内轮廓和外轮廓。因此，无论是3号轮廓还是0号轮廓，候选图像中总共有3个轮廓，它们占据了图像中很大的区域。在获得三个最大区域的等高线并将其填充后，将生成两个填充区域。对于这两个区域，找到每个区域的质心并计算每个区域的垂直坐标值（Y坐标）。限速标志上的3号和0号用大致相同的位置垂直坐标表示。因此，当上述填充区域的Y坐标大致相同时，数字3和数字0区域用作图8b中的图像的遮罩图像。该遮罩图像用于执行图8b的遮罩处理以产生图8d中所示的数字候选区域。
此外，在白色物体退出图8d的情况下，进行膨胀侵蚀处理以消除其内部的黑色小区域，然后进行轮廓处理以再次分离这些区域，由此产生图8e。从该轮廓图像（在这种情况下，两个轮廓）中，未发现任何倾斜的边界矩形。只有长宽比接近数字3和数字0的区域才被红色边界矩形包围，如图8f所示，并被传送到识别处理。数字0和1被分配用于向识别处理指示交货订单。
如图8f所示，使用与候选区域的外围相接触的矩形来划分该区域。这些矩形区域中的每一个都单独标识为一个数字区域。因此，在处理过程中不使用限速标志内数字区域的坐标信息。
以下是该方法在视频中的应用说明。当图像采集在限速标志前150-180 m开始时，检测在100-110 m的距离范围内开始。标志号识别开始的距离为70-90 m。在60-70 m处确认足够的识别。在该测试中，处理时间平均为1.1 s/帧。摄像机图像尺寸为1920times;1080。PC规格包括一个3.4GHz的IntelR CoreTM i7-3700 CPU和8.00GB的主存储器。
在50 km/h的车速下，70 m的距离相当于5 s内行驶的距离。由于本阶段此方法的处理时间约为1s，因此可以在该时间内通知驾驶员速度限制。
为了识别每幅输入图像对应的数字，计算了每幅分离提取的数字图像的亮度、垂直投影和水平投影3
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239773]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
