英语原文共 13 页

具有应用程序的专家系统42（2015）3911-3923

目录列表可在ScienceDirect

具有应用的专家系统

期刊主页：www.elsevier.com/locate/eswa

使用单台摄像机进行强大的实时交通灯检测和距离估算

Moises Diaz-Cabrera ^a，Pietro Cerri^b,uArr;，保罗·梅迪奇^b

\Instituto Universitario para el DesarrolloTecnoloacute;gicoy laInnovacioacute;nen Comunicaciones，大加那利岛帕尔马斯大学，拉斯帕尔马斯，西班牙

\意大利帕尔马大学帕尔马大学信息工程系

a r t i c l e i n f o

文章历史：

2014年12月30日在线提供

关键词：

Trafc光线检测

高级驾驶员辅助系统智能交通系统图像识别

智能车辆

摘 要

本白皮书介绍了一种强大的技术来检测白天和夜间条件下的交通灯并估计它们的距离。 交通灯光检测最初基于颜色属性。 为了增强视频序列上的颜色，根据图像顶部像素的亮度来调整采集。 模糊聚类提供了对交通灯光颜色的更好划分。 交通灯光颜色属性已根据注册序列进行了估计，包括LED射灯和传统灯泡的两种颜色。 基于交通灯长宽比以及跟踪阶段的过滤规则用于确定框架上的斑点是否可能是交通灯。 然后，交通灯与自动车辆之间的距离通过对框架上表示的交通灯应用贝叶斯过滤器来估计。 这些测试在白天和夜晚的实际城市场景中经过一个多小时的验证。 该论文表明，开发的先进驾驶员辅助系统能够在10-115米的范围内以99.4％的精度检测交通灯。 该系统的实用性已在2013年意大利公共ROAD Urban无人驾驶汽车测试中得到证明。

copy;2015 Elsevier Ltd.保留所有权利。

1. 介绍

交通灯检测技术的研究在文献中广泛存在。 开发高级驾驶辅助系统或研究自动驾驶主题的研究小组不能忽视交通灯在城市环境中的存在。 无线电频率身份验证（RFID）以及其他车辆到基础设施（V2I）通信技术可能会潜在取代自动驾驶车辆场景中的交通灯。 然而，在混合的手动 - 自动车辆情况下（在不久的将来更有可能发生），交通控制仍然需要交通灯，特别是在城市交通网络中。

我们研究的主要贡献是设计一个实时检测悬浮交通灯的强大系统。 这种建议系统已经在白天（从清晨到傍晚）和夜间以各种各样的照明强度进行测试。图。1显示算法能够工作的两种不同的光照条件。

作为附加的新颖贡献，参考算法估计悬架交通灯与车辆之间的距离的方式进行研究。 贝叶斯过滤器，

uArr;通讯作者。 电话： 39 0521 90 5725。

电子邮件地址：mdiaz@idetic.eu （M.Diaz-Cabrera），cerri@vislab.it （P. Cerri），medici@vislab.it （P. Medici）。

如卡尔曼滤波器和粒子滤波器，分析计算推算距离。 这种贝叶斯过滤器是众所周知的，并且被应用于智能交通系统中的大量计算机视觉问题，如车道跟踪（涅托，科尔特斯， Otaegui，Arroacute;spide和Salgado，2012年）。 估计距离也用于增强检测结果，不包括跟踪阶段的大量错误检测。 该系统在不同车辆城市速度下使用单台摄像机获得了积极成果。 通过在我们的测试平台中集成的激光扫描仪提供的地面真实信息，我们的方法能够检测到从115米到10米的悬浮交通灯。 检测结果使用一小时以上的视频进行验证（白天7388次检测，夜间检测11000次），距离结果通过2700次正确检测进行验证。 研究区域的数字地图可以帮助减少一些误报并节省处理时间：已经使用地图进行了第一次测试。 通过并行化方法功能以实现实时处理，已经减少了计算时间。

该论文的结构如下：最接近的相关工作总结在章节中给出2。 部分3 描述了我们在实验中使用的车辆，部分4 介绍用于交通灯光检测和距离近似的方法。 部分5 显示获得的结果和部分6 包含结论和未来的研究路线。

http://dx.doi.org/10.1016/j.eswa.2014.12.037

0957-4174 /copy;2015 Elsevier Ltd.保留所有权利

M. Diaz-Cabrera等人。 /应用专家系统42（2015）3911-3923

1. 最先进的

Trafc光探测器是过去十年来在许多研究中已经解决的问题。 有些阶段对于文献中大多数方法都很常见：颜色特征，特征提取，类别和地图。 本节将介绍这些阶段的分析以及关于距离和状态估计的一些考虑。

• 1. 颜色分割

在许多研究工作中，颜色特性被广泛用于检测交通灯，如（Jang，Kim，Kim，Lee，＆Sunwoo，2014; 约翰， Yoneda，Qi，Liu，＆Mita，2014; Kim，Shin，Kuk，Park＆Jung，2013; Omachi＆和Omachi，2010; Omachi＆和Omachi，2009; Shaded，Abu-Al-Nadi和Mismar，2003; Sooksatra等，2014; Tae-Hyun，In-Hak，Seong-Ik，2006; Yu，Huang＆Lang，2010）。 这个想法是通过使用不同颜色空间中表示的颜色分量之间的组合来聚集一个帧内的所有像素。 这种聚类需要对不同光源进行精确研究。 例如，即使LED颜色空间中的元件颜色差异很大，LED灯光和传统灯泡的绿色也必须集成到同一个群集中。 在文献中，使用了不同的颜色空间，例如，简单的RGB颜色空间应该支持状态颜色的初步信息（Yu等人，2010）。 归一化的RGB对于照明变化或不同的照明条件更加鲁棒，其在诸如（Omachi＆和Omachi， 2010, 2009）。 其他作者喜欢RGB色彩空间线的色调，饱和度和值/亮度（HSV / HLS）（Jang等，2014; Tae-Hyun等人，2006年）。 该颜色阈值模型基于人类视觉，通常是RGB颜色空间的替代。 YUV色彩空间允许研究图像的亮度（Y）和色度（UV）。 在（Shaded等人，2003），通过亮度（通道Y）执行图像的均衡。 然后，色彩和色彩之间的组合被用于颜色分割。 其他色彩空间，例如LAB色彩空间，可以像在（约翰等人，2014; Sooksatra等，2014). In (Sooksatra等人， 2014）提出快速径向对称变换来详细说明由LAB的a和b通道的最大值组成的图像，从而达到红色交通灯的良好分类率。 在（约翰 等，2014）通过计算归一化灰度级，LAB的A信道和HSV的S信道的乘积来计算新的特征空间（称为V）：在昼夜提出两种不同的方法，两种方法都基于卷积神经网络和Saliency地图。

我们的方法提出了两个逐像素分类值

脱机模式：白天和夜晚时间。 这样，我们的色彩分割使用简单的RGB色彩空间和鲁棒的归一化RGB色彩空间（Gevers＆Smeulders，1999）。 在应用基于具有多个色彩空间的规则的方法之后，

许多样本没有正确划分成它们的群集。 本文的贡献之一是基于模糊聚类和顺序规则的颜色分割。 部分4.2 解释使用的方法。

由于没有额外的I2V信息，目前识别交通灯并确定其状态的趋势是通过颜色分量方法。 这种方法在白天和晚上都进行了不同的研究并整合到我们的系统中。

• 1. 特征提取

在交通灯光检测问题中，通常通过研究交通灯光属性的规则获得特征。 他们经常关注被检测物体的形状，长宽比，纹理或大小。 这种规则提供了合适的结果来提取所需的信息。

例如，在（Yu等人，2010）提出了一个简单的方法，使用一组并行的通用规则：测试在白天验证了这种方法，然而，夜间测试的成功率很低。 作者评论说，高分辨率相机将用于他们未来的夜间研究。 在（沉， Ozguner，Redmill，＆Liu，2009）通过使用低成本相机和用Matlab编写的鲁棒算法来描述非常高的检测精度。 首先，使用2D高斯分布来学习交通灯光参数。 然后，色调和饱和度参数为一小组训练图像建模。 这项工作中最强有力的部分是基于交通灯形状的识别阶段。 不幸的是，计算时间非常长，帧速率计算为大约1.4 fps。 在我们的工作中，顺序规则提供了一个非常可接受的虚假肯定过程。 而且，这样的规则不会消耗太多的处理时间。

在这类问题中执行的算法是霍夫变换，因为它能够识别像圆形形状的图像和图像。 为了节省计算时间，首先将边缘检测器（通常为Canny滤波器）应用于灰度图像。 因此，搜索基于检测帧中的参数化曲线圆圈。 从而计算图像中的斑点的中心。 Omachi等人 曾与trafc灯与镜头安装在一排。 它们通常可以在像日本这样的国家或迈阿密等城市中找到。 在他们的方法中，作者修改了经典的Hough变换，实现0.15s的计算时间和89％的准确率。 经典的霍夫变换用于他们的初始工作（Omachi＆和Omachi，2009年）和他们的最后一种方法在（Omachi＆和Omachi，2010年）; 这种新方法在聚类和边缘检测过程之后使用。 圆形霍夫变换（CHT）也是计算圆形物体中心的可接受方法（Kerbyson＆和Atherton，1995年）。 例如，CHT被用于多种交通标志识别，例如（黄和李，2010） 要么 （Caraf等人，2008）。 在我们的工作中，我们没有考虑这种方法，因为我们的技术既不处理灰度图像，也不处理边缘检测算法。 然而，

图1.道路上的交通灯实际设置。

M. Diaz-Cabrera等人。 /应用专家系统42（2015）3911-3923 3913

当应用霍夫变换时，通常应仔细考虑计算时间。 我们的方法主要由基于颜色斑点长宽比的简单规则形成，然后使用贝叶斯过滤器跟踪阶段。

• 1. Classifiers

交通灯的外观，即垂直结构和圆形透镜（绿色 - 琥珀色 - 红色），在全球许多城市都非常标准。 因此，一些方法基于级联分类器。 R. de Charette等人 在这个话题上工作。 开发了几种基于AdaBoost学习过程的分类器。 一个有趣的和定制的适应性模板匹配帮助检测来自不同国家的交通灯。 在第一篇出版物中Charette＆Nashashibi，2009a）该方法在城市道路上进行测试。 然后，在第二个出版物中Charette＆和Nashashibi，2009b），该方法在中国，法国和美国得到证实，其中实时使用2.9 GHz单核台式计算机处理640 480张图像。 精确度达到95％。 也可以从网站下载¹ 本研究中使用的相同视频。 一大组交通灯图像用于（Faireld＆Urmson，2011）。 只考虑两种交通灯状态：红色和绿色。 该系统能够在白天和黑夜检测交通灯。 另一方面，级联分类器用于（Lindner，Kressel和Kaelberer，2004年）。 通过这种方式，90％的检测得到了实现，但不是实时的。 尽管分类器可以提高检测率，但由于颜色分割和基于交通灯属性的规则带来的优势，因此它们在我们的方法中未被考虑。

x

• 1. 地图

有些方法通过使用数字地图和全球导航卫星系统数据来排除大量的错误检测。 导航系统的这种帮助允许当车辆距离交通灯（即150米）达到固定距离时激活交通灯光检测器。 为了创建数字先验地图，一些技术显示在（Fair

资料编号：[3950]