英语原文共 9 页
道路交通标志的实时检测与识别
摘要
本文提出了一种新的交通标志自动检测识别系统。该系统将候选区域检测为最大稳定极值区域（MSERS），对照明条件的变化具有鲁棒性。识别基于支持向量机（SVM）分类器的级联，该分类器使用定向梯度（HOG）特征的直方图进行训练。训练数据是从在线数据库中免费提供的合成模板图像生成的；因此，不需要将真实的视频道路标志作为训练数据。该系统能在高车速下精确运行，在各种天气条件下运行，平均速度为每秒20帧，并能从在线路标数据库中识别所有类别的基于表意符号（非文本）的交通符号。给出了系统性能的综合比较结果。
发表于：IEEE智能交通系统汇刊（第13卷，第4期，2012年12月）
页码：1498-1506
出版日期：2012年8月27日
ISSN信息：
检验注册号：13148948
DOI：10.1109/tits.2012.2208909
出版商：IEEE
主办单位：IEEE智能交通系统协会
第一节 简介
自动交通标志检测与识别是先进驾驶员辅助系统的重要组成部分。交通标志具有几种可用于检测和识别的特征。它们以特定的颜色和形状和与背景形成高度对比的文本或符号设计。由于交通标志通常是垂直的，朝向摄像机，所以旋转和几何变形的数量是有限的。
有关交通标志的信息，如形状和颜色，可用于将交通标志分组；但是，有几个因素会妨碍有效地检测和识别交通标志。这些因素包括透视角度的变化、照明的变化（包括由改变亮度、暮光、雾和阴影引起的变化）、标志的遮挡、运动模糊和天气导致的标志老化。道路场景通常也非常杂乱，包含许多很容易被误认为是道路标志的有着强几何形状的东西。准确度是一个关键需要考虑的因素，因为即使是一个错误分类或未检测到的标志也可能会对驾驶员产生不利影响。
本方法包括以下两个步骤：
- 利用最大稳定极值区域（msers)[1]新应用进行检测
2）利用定向梯度（hog）特征的直方图进行识别，并利用线性支持向量机（svm）进行分类。
本文的另一个新的方面是使用了在线道路标志数据库[2]，该数据库由标志的合成图形表示组成。据我们所知，这是第一篇使用全系列道路标志的论文。以前的成果，如[3]–[4][5]，都使用手工选择的子集。然后，通过对图形模板应用随机变形（例如几何变形、模糊和照明变化）生成大型训练集，以捕获真实场景变形的实例。分类器必须接受所有可能标志的训练，以避免那些类似但排除在外的标志的错误分类。通过这种方式生成合成数据，可以对所有可能的路标进行分类，还可以避免手工标记大型数据集的繁琐过程。本道路标志检测系统的示例如图1所示。
在第二节中，我们回顾了以前的工作，并陈述了我们所做的改进。在第三节中，我们概述了所使用的方法，包括检测、识别和生成合成数据。在第四节中，我们描述了比较结果，以说明系统的性能。最后，在第五节中得出结论。
- 相关工作
大量关于识别真实道路场景中基于象形文字的道路标志的论文已发表[4]-[5][6]
[7][8][9][10][11][12][13][14][15]。
最常见也是一个很明智的方法由两个主要阶段组成：检测和识别。检测阶段识别感兴趣的区域，主要使用颜色分割，然后进行某种形式的形状识别。然后，在识别阶段使用模板匹配[16]或某种形式的分类器（如SVMS[4]、[5]、[11]或神经网络[3]、[17]来识别或拒绝检测到的候选对象。
大多数系统使用颜色信息作为分割图像的方法[9]、[11]、[12]、[18]–[19][20]。基于颜色的道路标志检测的性能通常会在光照强烈、照明不良或雾等恶劣天气条件下降低。色调-饱和度-值（HSV）[8]、[12]、[19]、YUV[21]和CIECAM97等颜色模型[10]，已被用于克服这些问题。例如，Shadeed等人[21]通过应用YUV空间的U和V色度通道进行分割，U为正，V为负。该信息与HSV颜色空间的色调通道结合使用，以分割红色道路标志。Gao等人[10]根据CIECAM97颜色模型的色调和色度值，采用四叉树直方图法对图像进行分割。 Malik 等人[12]对HSV颜色空间的色调通道进行阈值分割，以分割红色道路标志。
相比之下，有几种方法[7]、[22]完全忽略颜色信息，而只使用灰度图像中的形状信息。例如，Loy和Zelinksy[22]提出了一种系统，该系统使用局部径向对称来突出每个图像中的兴趣点，并检测八角形、方形和三角形道路标志。
一些最新的方法，如[23]和[24]使用HOG特征提取道路标志特征。克鲁森等人[23]扩展了HOG算法，使用CIELAB和YCBCr颜色空间合并颜色信息。Overett等人[24]介绍了两种不同的使用HOG特征的的搭配来新西兰检测速度标志。我们还使用HOG特性来帮助分类过程，稍后将解释为什么它们最适合这个应用场景。
现有的绝大多数系统都由分类器组成，这些分类器使用手工标记的真实图像进行训练，例如[3]–[4][5]，这是一个重复、耗时且容易出错的过程。我们的方法避免了收集和手动标记训练数据，因为它只需要从在线道路标志数据库中获得的标志的合成图形表示[2]。此外，尽管许多现有系统报告分类率很高，但识别出的交通标志类别总数通常非常有限，例如[15]中[4,42]类中的7个类别，或[16]中的20个类别，因此，与数据库中丢失类似的标志不匹配的可能性更小。我们提出的系统使用英国使用的所有基于表意符号的交通符号实例，因此在这个较大的集合中进行匹配。我们希望我们的方法同样适用于以类似方式获得的其他国家的交通标志数据库。
请注意，许多提出的系统都存在速度慢的问题，这使得它们不适合应用于实时问题。有些方法报告单帧[4]、[11]、[25]、[26]的处理时间为几秒。我们的系统以每秒20帧的平均速度运行。
市场上有一些商业交通标志识别系统，包括[27]和[28]。这种商业系统也可以识别一组非常有限的交通标志；例如，MobileEye[28]开发的系统只检测限速标志和禁止超车标志。与这些商业系统进行比较是困难的，因为关于它们的性能的信息很少。
在第四节中，我们首先将我们提出的方法与G_Mez Moreno等人提出的类似道路标志检测系统进行比较。〔11〕。然后，我们根据德国交通标志识别基准（GTSRB）上的实际训练数据，评估综合生成的培训数据的性能[29]。
第三节 交通标志检测与识别系统
A.系统概述
该系统由检测和识别两个主要阶段组成。在我们的培训数据中使用并由系统识别的整套路标如图2所示。如Matas等人所述，交通符号的候选者被检测为MSERs。MSERs是当图像在多个级别上被阈值化时保持其形状的区域。选择这种检测方法是因为它对对比度和照明条件的变化具有鲁棒性。该算法不是通过边界颜色检测候选的道路标志，而是根据标志的背景颜色检测候选，因为这些背景在MSER过程中保持不变。我们提出的方法，如下面一节中详细描述的，在图3中进行了大体的说明。
B.用MSERS检测道路标志
对于白底交通符号的检测，MSERs使用是为了得到灰度图像。每个帧在不同的阈值级别上进行二值化，并找到每个级别上连接的组件。通过几个阈值级别保持其形状的连接组件被选为MSERs。图4显示了具有彩色连接组件的示例图像的不同阈值。结果表明，代表环形道路符号的连接组件通过几个阈值级别保持其形状。这有助于确保在光线和对比度变化下的鲁棒性。
检测到的连接组件区域的几个特征用于进一步减少候选的数量。这些特征包括宽度、高度、纵横比、区域周长和面积以及边界框周长和面积。移除不符合要求的连接组件有助于加快流程并提高准确性。限制这些特征的参数由经验确定，如表一所示。
我们以稍微不同的方式检测红色或蓝色背景的交通标志。首先将帧从红-绿-蓝（RGB）转换为“标准化红/蓝”图像Omega;RB，这样，对于原始图像的每个像素，可以找到蓝色通道与所有通道之和的比值以及红色通道与所有通道之和的比值，而不是检测灰度图像的MSERs。这两个值中的较大值用作标准化红/蓝图像的像素值，即：
此图像中的像素值对于红色和蓝色像素较高，而对于其他颜色则较低。然后为这个新图像找到MSER区域。图5显示了一个示例图像和标准化红/蓝转换的结果。图6显示了变换图像的几个不同阈值处的连接组件。同样，研究表明，红色和蓝色道路标志在几个阈值水平下保持了他们的的形状，使其适合分类。
虽然MSER为复杂场景中的交通标志提供了强大的检测形式，但它的计算成本可能很高。因此，为了提高速度，我们仅在适当的值范围而不是依据原始MSER [1]中的标准在每个可能的值处设置阈值。图7示出了针对处理时间和检测精度绘制的使用阈值的数量。阈值在值70和190之间均匀间隔，因为表示道路标志的MSER通常出现在该范围内。所选阈值的数量为24，在该示例中，其有着94.3％的准确度和50.1ms的处理时间。
C.道路标志分类
识别阶段用于将候选区域确认为交通标志并对准确的标志类型进行分类。对于候选区域的分类，从图像[30]中提取它们的HOG特征，其表示图像中梯度方向的出现。针对每个候选区域计算HOG特征向量。Sobel滤波器用于查找水平和垂直导数，因此可以找到每个像素的大小和方向。我们发现HOG在交通符号识别中的应用非常合适，因为交通符号由强几何形状和包含一系列方向的高对比度边缘组成。通常发现交通标志大致直立并面向摄像机，这限制了旋转和几何变形，消除了对旋转不变性的需要。
使用重叠块上的局部对比度归一化在密集的单元网格上计算HOG特征。为每个单元创建由幅度加权的无符号像素取向的九柱直方图。这些直方图在每个重叠块上归一化。特征向量的分量是来自每个归一化单元的直方图的值。图8表示了划分为单元的示例图像和由四个单元组成的示例HOG块。虽然这种强化归一化产生了大的特征向量（64times;64图像的1764维度），但它提供了高精度。使用下面的式子计算HOG特征向量的大小N.
其中R是区域，M是单元大小，B是每个区域的单元数，H是每个单元的直方图数。使用的值是M = 8times;8，B = 4和H = 9。
然后使用级联的多类SVM对区域进行分类[31]。SVM是一种监督学习方法，它构造超平面以将数据分成类。“支持向量”是定义超平面最大边界的数据点。尽管SVM主要是二元分类器，但是可以通过训练许多一对一二进制SVM来实现多类分类。与许多其他分类方法相比，SVM分类快速，高度准确，并且不易过度拟合。由于我们提供了大量的训练数据和大量的等级，因此也可以非常快速地训练SVM分类器，这对我们提出的方法有很大帮助。但是，我们计划在未来的工作中与其他分类方法进行进一步的比较。
我们系统中的每个区域使用级联的SVM分类器进行分类，如图9所示。首先，将候选区域的大小调整为24times;24像素。然后计算具有144维的HOG特征向量，并且该特征向量用于将区域的形状分类为圆形，三角形，倒置三角形，矩形或背景。八角形的停止标志被认为是圆圈。如果发现该区域是背景，则拒绝该区域。如果发现该区域是一个形状，则将其传递给该特定形状的（符号）子分类器。
不同的分类器树用于白底（灰度图像的MSER）和红底或蓝底（标准化红/蓝图像的MSER）的候选。因此，每个子类都特定于具有特定背景颜色和形状的符号。由于英国道路标志数据库[2]中不存在此类标志，因此拒绝将颜色背景三角形和颜色背景倒置三角形作为背景。
为了优化线性SVM分类器的性能，必须选择适当的误分类成本参数c。选择过大的值可能会导致过度拟合，而选择过小的值可能会导致不匹配。因此，对log2 C=minus;5、minus;3、minus;2、hellip;、15执行训练集的交叉相关训练，并使用产生最高交叉相关精度的c值。
将多个框架中的道路标志分类合并在一起，形成一个决策。采用概率SVM模型进行分类。不是将每个分类作为特定类别的单一投票进行计算，而是对每个类别进行投票，并根据其概率进行加权。得分最高的分类被视为正确的分类，即：
其中N是分类总数，A是SVM分类。一旦S超过判定阈值lambda;就进行分类。
在第IV-B节中，我们比较了包含和不包含这种框架合并技术的结果。
D.综合训练数据的生成
在所有可能的道路标志上训练分类器对于避免对未知标志的错误分类至关重要。然而，考虑到不同的现有标志的数量和特定标志的稀缺性，收集足够数量的用于训练分类器的实际数据是困难且耗时的。这可能是大多数其他工程（以及商业系统，如Mobileye的交通标志识别[28]）仅关注其镜头中常见的一些更常见的标志的原因之一;例如，见[3] - [4] [5]。我们进一步建议仅使用一部分符号也可避免对其他类似但被排除的符号进行错误分类;因此，在许多情况下，返回结果的质量可能不可靠。我们提出的解决这个问题的方法是使用容易获得的图形数据并综合生成它们的变化和扭曲，以便为分类器创建训练数据。这种方法允许我们使用整个范围的道路标志，避免了训练时繁琐的手动标记，并返回一个真实反映完整搜索的更可靠的分类结果。
我们使用的图形基础图像来自英国交通部提供的免费在线数据库[2]。然后应用随机几何失真来复制可能在实际数据中看到的失真范围以及在检测阶段可能发现的区域类型。每个失真的示例图像叠加在取自典型背景图像的数据库的背景的随机部分上。随机亮度，对比度，噪声，模糊和像素化也被应用于每个图像。
用于训练的完整131个道路标志图像如图2所示。对于每个标志，生成1200个合成失真图像。作为比较手段，图10示出了我们在生成的训练图像旁边的许多真实道路标志图像。
第四节 实验结果
本系统可以在一系列车辆速度下运行，并且在各种照明和天气条件下进行了测试。 通过将该算法并行实现为大约每秒20帧的流水线，在OpenCV下的3.33-GHz Intel Core i
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
