Automatic License Plate Recognition (ALPR):
A State-of-the-Art Review
Shan Du, Member, IEEE, Mahmoud Ibrahim, Mohamed Shehata, Senior Member, IEEE, and Wael Badawy, Senior Member, IEEE
Abstract—Automatic license plate recognition (ALPR) is the extraction of vehicle license plate information from an image or a sequence of images. The extracted information can be used with or without a database in many applications, such as electronic payment systems (toll payment, parking fee payment), and freeway and arterial monitoring systems for traffic surveillance. The ALPR uses either a color, black and white, or infrared camera to take images. The quality of the acquired images is a major factor in the success of the ALPR. ALPR as a real-life application has to quickly and successfully process license plates under different environmental conditions, such as indoors, outdoors, day or night time. It should also be generalized to process license plates from different nations, provinces, or states. These plates usually contain different colors, are written in different languages, and use different fonts; some plates may have a single color background and others have background images. The license plates can be partially occluded by dirt, lighting, and towing accessories on the car. In this paper, we present a comprehensive review of the state-of-the-art techniques for ALPR. We categorize different ALPR techniques according to the features they used for each stage, and compare them in terms of pros, cons, recognition accuracy, and processing speed. Future forecasts of ALPR are given at the end.
Index Terms—Automatic license plate recognition (ALPR), automatic number plate recognition (ANPR), car plate recognition (CPR), optical character recognition (OCR) for cars.
Ⅰ.Introduction
AUTOMATIC license plate recognition (ALPR) plays an important role in numerous real-life applications, such as automatic toll collection, traffic law enforcement, parking lot access control, and road traffic monitoring [1]–[4]. ALPR recognizes a vehiclersquo;s license plate number from an image or images taken by either a color, black and white, or infrared camera. It is fulfilled by the combination of a lot of techniques, such as object detection, image processing, and pattern recognition. ALPR is also known as automatic vehicle identification, car plate recognition, automatic number plate recognition, and optical character recognition (OCR) for cars. The variations of the plate types or environments cause challenges in the detection and recognition of license plates. They are summarized as follows.
1) Plate variations:
a) location: plates exist in different locations of an image;
b) quantity: an image may contain no or many plates;
c) size: plates may have different sizes due to the camera distance and the zoom factor; d) color: plates may have various characters and background colors due to different plate types or capturing devices;
e) font: plates of different nations may be written in different fonts and language;
f) standard versus vanity: for example, the standard license plate in Alberta, Canada, has three and recently (in 2010) four letters to the left and three numbers to the right, as shown in Fig. 1(a). Vanity (or customized) license plates may have any number of characters without any regulations, as shown in Fig. 1(b);
g) occlusion: plates may be obscured by dirt;
h) inclination: plates may be tilted;
i) other: in addition to characters, a plate may contain frames and screws.
2) Environment variations:
a) illumination: input images may have different types of illumination, mainly due to environmental lighting and vehicle headlights;
b) background: the image background may contain patterns similar to plates, such as numbers stamped on a vehicle, bumper with vertical patterns, and textured floors.
Fig. 1. (a) Standard Alberta license plate. (b) Vanity Alberta license plate.
Fig. 2. Four stages of an ALPR system.
The ALPR system that extracts a license plate number from a given image can be composed of four stages [5]. The first stage is to acquire the car image using a camera. The parameters of the camera, such as the type of camera, camera resolution, shutter speed, orientation, and light, have to be considered. The second stage is to extract the license plate from the image based on some features, such as the boundary, the color, or the existence of the characters. The third stage is to segment the license plate and extract the characters by projecting their color information, labeling them, or matching their positions with templates. The final stage is to recognize the extracted characters by template matching or using classifiers, such as neural networks and fuzzy classifiers. Fig. 2 shows the structure of the ALPR process. The performance of an ALPR system relies on the robustness of each individual stage.
The purpose of this paper is to provide researchers with a systematic survey of existing ALPR research by categorizing existing methods according to the features they used, analyzing the pros or cons of these features, and comparing them in terms of recognition performance and processing speed, and to open some issues for the future research.
The remainder of this paper is organized as follows. In Section II, license plate extraction methods are classifiers with a detailed review. Section III demonstrates character segmentation methods and Section IV discusses character recognition methods. At the beginning of each section, we define the problem and its levels of difficulties, and then classify the existing algorithms with our discussion. In Section V, we summarize this paper and discuss areas for future research.
II. License Plate Extraction
全文共53704字，剩余内容已隐藏，支付完成后下载完整资料
自动车牌识别 (ALPR):
Shan Du, Member, IEEE, Mahmoud Ibrahim, Mohamed Shehata, Senior Member, IEEE, and Wael Badawy, Senior Member, IEEE
摘要 - 自动车牌识别（ALPR）是从图像或图像序列中提取车牌信息。所提取的信息可以在有或没有数据库的情况下用于许多应用中，例如电子支付系统（收费支付，停车费支付）以及用于交通监控的高速公路和动脉监控系统。 ALPR使用彩色，黑白或红外相机拍摄图像。获取图像的质量是ALPR成功的主要因素。作为真实应用的ALPR必须在室内，室外，白天或夜间等不同环境条件下快速成功处理车牌。还应该推广处理来自不同国家，省份或州的车牌。这些印版通常包含不同的颜色，用不同的语言书写，并使用不同的字体;一些印版可能具有单一颜色背景，而其他印版可能具有背景图像汽车上的污垢，照明和拖车附件可能会部分遮挡车牌。在本文中，我们对ALPR的最新技术进行了全面的回顾。我们根据他们在每个阶段使用的特征对不同的ALPR技术进行分类，并根据正面，反面，识别准确性和处理速度进行比较。未来的ALPR预测将在最后给出。
索引条款 - 汽车的自动车牌识别（ALPR），自动车牌识别（ANPR），车牌识别（CPR），光学字符识别（OCR）。
一 概述
自动车牌识别（ALPR）在许多实际应用中扮演着重要角色，如自动收费，交通执法，停车场出入控制和道路交通监控[1] - [4]。 ALPR通过彩色，黑白或红外摄像头拍摄的图像识别车辆的车牌号码。 它通过许多技术的组合来实现，如对象检测，图像处理和模式识别。 ALPR也被称为汽车自动识别，车牌识别，自动车牌识别和光学字符识别（OCR）。 车牌类型或环境的变化对车牌的检测和识别带来了挑战。 他们总结如下。
1）板块变化：
a）位置：印版存在于图像的不同位置;
b）数量：图像可能不包含或包含多个印版;
c）尺寸：由于摄像机距离和变焦系数的不同，平板可能有不同的尺寸; d）颜色：由于不同的印版类型或捕捉装置，印版可能具有各种字符和背景颜色;
e）字体：不同国家的盘子可以用不同的字体和语言书写;
f）标准与虚荣：例如，加拿大阿尔伯塔省的标准车牌有三个，最近（2010年）有四个字母在左边，三个在右边，如图1（a）所示。 如图1（b）所示，虚荣（或定制）牌照可以有任何数量的字符而没有任何规定。
g）闭塞：盘子可能被灰尘遮盖;
h）倾斜：板可以倾斜;
i）其他：除了字符，一个盘子可能包含框架和螺丝。
2）环境变化：
a）照明：输入图像可能有不同类型的照明，主要是由于环境照明和车辆头灯;
b）背景：图像背景可能包含类似于印版的图案，例如印在车辆上的数字，具有垂直图案的保险杠和纹理地板。
图1.（a）艾伯塔省标准牌照。 （二）虚荣艾伯塔牌照。
图2. ALPR系统的四个阶段。
从给定图像中提取车牌号的ALPR系统可以由四个阶段组成[5]。 第一阶段是使用相机获取汽车图像。 必须考虑相机的参数，例如相机类型，相机分辨率，快门速度，方向和光线。 第二阶段是根据一些特征（如边界，颜色或字符的存在）从图像中提取车牌。 第三阶段是对车牌进行分割，并通过投影他们的颜色信息，给他们加标签，或者将他们的位置与模板匹配来提取字符。 最后阶段是通过模板匹配或使用分类器（如神经网络和模糊分类器）识别提取的字符。 图2显示了ALPR过程的结构。 ALPR系统的性能取决于每个阶段的稳健性。
本文的目的是为研究人员提供一个对现有ALPR研究的系统调查，通过根据现有方法的特点对其进行分类，分析这些特征的优缺点，并在识别性能和处理速度方面进行比较，以及 为未来的研究打开一些问题。
本文的其余部分安排如下。 在第二部分，牌照提取方法是具有详细评论的分类器。 第三部分演示了字符分割方法，第四部分讨论了字符识别方法。 在每节的开头，我们定义问题及其困难级别，然后根据我们的讨论对现有算法进行分类。 在第五部分，我们总结了这篇文章并讨论了未来研究的领域。
二 车牌提取
牌照提取阶段影响ALPR系统的准确性。 这个阶段的输入是汽车图像，输出是包含潜在车牌的图像的一部分。 牌照可以存在于图像中的任何地方。 代替处理图像中的每个像素，这会增加处理时间，车牌可以通过其特征进行区分，因此系统仅处理具有这些特征的像素。 这些功能来自车牌格式和组成它的字符。
执照
板色是其中一个特征，因为一些辖区（即国家，州或省）对其牌照具有一定的颜色。 牌照边界的矩形形状是用于提取牌照的另一个特征。 字符和车牌背景之间的颜色变化（称为纹理）用于从图像中提取车牌区域。 字符的存在可以用作识别牌照区域的特征。 可以组合两个或更多的功能来识别车牌。 在下文中，我们根据他们使用的功能对现有的牌照提取方法进行分类。
A.使用边界/边缘信息的牌照提取
由于牌照通常具有已知宽高比的矩形形状，因此可以通过查找图像中所有可能的矩形来提取它。 边缘检测方法通常用于查找这些矩形[8] - [11]。
在[5]，[9]和[12] - [15]中，Sobel滤波器用于检测边缘。 由于车牌和车身之间的颜色过渡，车牌的边界由图像中的边缘表示。 边缘在执行水平边缘检测时是两条水平线，在执行垂直边缘检测时是两条垂直线，并且在同时执行两条边时是完整的矩形。
在[7]中，通过使用几何属性来检测车牌矩形，以定位形成矩形的线条。 候选区域通过仅在垂直边缘之间进行匹配而在[5]，[9]，[12]和[16]中生成。 牌照上垂直边缘的大小被认为是一个强大的提取功能，而使用水平边缘只会导致汽车保险杠出现错误[10]。 在[5]中，垂直边被匹配以获得一些候选矩形。 与车牌纵横比相同的矩形被视为候选。 这种方法在各种照明条件下对图像产生了96.2％的结果
条件。 根据[9]，如果提取垂直边缘并移除背景边缘，则可以容易地从边缘图像中提取板区域。 1165幅图像的检出率约为100％。 一个384times;288图像的总处理时间是47.9ms。
在[17]中，提出了一种新的快速垂直边缘检测算法（VEDA）用于车牌提取。 VEDA表明它比Sobel运营商快七到九倍。 基于块的方法也在文献中介绍。 在[18]中，具有高边缘大小的块被识别为可能的牌照区域。 由于块处理不依赖于牌照边界的边缘，所以它可以应用于牌照边界不清晰的图像。 180对图像的准确率为92.5％。 在[19]中，提出了一种用于检查摩托车检查状态的车牌识别策略。 基于路边和检测站测试图像，实验产生了95.7％和93.9％的识别率。 在超级移动个人电脑上需要654ms的时间，在个人电脑上需要约293ms的时间来识别车牌。
在[13]中描述了使用霍夫变换（HT）的基于边界的提取。它检测图像中的直线以找到车牌。霍夫变换的优点是可以检测倾斜角度达30°的直线[20]。但是，霍夫变换是一个时间和内存消耗过程。在[21]中，提出了一种结合HT和轮廓算法的基于边界线的方法。它实现了98.8％的提取结果。广义对称变换（GST）用于提取[22]中的车牌。获得边缘后，将在选择性方向上扫描图像以检测角点。 GST然后用于检测这些角落之间的相似性并形成车牌区域。基于边缘的方法简单而快速。但是，它们需要边缘的连续性[23]。当与消除不需要边缘的形态学步骤相结合时，提取率相对较高。在[8]中，提出了一种基于边缘统计和形态学的混合方法。查找9786辆车牌照的准确率为99.6％。
B.使用全局图像信息的牌照提取
连通分量分析（CCA）是二值图像处理中的一项重要技术[4]，[24] - [26]。它扫描二进制图像，并根据像素连接将其像素标记为组件。空间测量，如面积和纵横比，通常用于牌照提取[27]，[28]。参考文献[28]对低分辨率视频应用了CCA。使用超过4小时的视频，正确的提取率和误报分别为96.62％和1.77％。在[29]中，轮廓检测算法应用于二值图像来检测连接的对象。具有与板相同几何特征的连接对象被选为候选。如果图像质量较差，此算法可能会失败，从而导致轮廓失真。在[30]中，二维互相关用于查找牌照。通过整个图像执行与预先存储的车牌模板的2-D交叉相关以找到最有可能的车牌区域。使用与模板的相关性提取车牌与图像中的车牌位置无关。但是，二维互相关是耗时的。对于ntimes;n个像素，它是n4的数量级[14]。
C.使用纹理特征进行牌照提取
这种方法依赖于牌照中字符的存在，这导致字符颜色和牌照背景颜色之间的灰度级显着变化。由于颜色转变，它还导致高边缘密度区域。 [31] - [39]中使用了不同的技术。在[31]和[39]中，使用扫描线技术。灰度级的变化导致扫描线中的多个峰值。这个数字等于字符的数量。在[40]中，矢量量化（VQ）用于定位图像中的文本。 VQ表示可以给出关于图像区域内容的一些提示，因为较高的对比度和更多细节由较小的块映射。实验结果显示，使用不同质量的图像的检测率为98％，处理时间为200ms。
在[41]中，提出了滑动同心窗（SCW）方法。在这种方法中，牌照被视为图像纹理中的不规则性。因此，当地特征的突然变化是潜在的车牌。在[42]中，提出了一种基于滑动同心窗和直方图的车牌检测方法。图像转换也广泛用于车牌提取。 Gabor滤波器是纹理分析的主要工具之一[43]。这种技术具有分析纹理的优势，无限的方向和尺度。当应用于以固定和特定角度采集的图像时，[44]中的结果为98％。但是，这种方法非常耗时。在[32]中，通过使用离散傅里叶变换（DFT）来识别空间频率，因为它产生在频谱分析中检测到的谐波。 DFT以行方式用于检测板的水平位置并且以列方式检测垂直位置。在[36]中，基于小波变换（WT）的方法被用于车牌的提取。在WT中，有四个子带。子图像HL描述垂直边缘信息，LH描述水平边缘信息。水平边缘的最大变化通过扫描LH图像确定，并由参考线标识。垂直边缘在这条线的下方水平投影以根据最大投影来确定位置。在[45]中，HL子带用于搜索牌照的特征，然后通过检查LH子带中是否存在围绕特征的水平线来验证特征。车牌定位执行时间小于0.2s，准确率为97.33％。在[46] - [48]中，自适应增强（AdaBoost）与Haar-like特征相结合以获得用于牌照提取的级联分类器。 Haar-like特征通常用于对象检测。使用Haar-like特征使得分类器对车牌的亮度，颜色，大小和位置不变。在[46]中，级联分类器在第一层中使用全局统计（称为梯度密度），然后使用类哈尔特征。本文检出率达到93.5％。 AdaBoost也用于[49]。该方法使用不同格式，大小和各种照明条件下的图像提供了99％的检测率。所有基于纹理的方法都具有检测牌照的优点，即使其边界变形。但是，这些方法计算复杂，尤其是在边缘较多的情况下，例如在复杂背景下或在不同照明条件下。
D.使用颜色特征提取牌照
由于一些国家的车牌具有特定的颜色，因此一些报道的工作涉及通过在图像中定位颜色来提取车牌。 基本思想是板块和角色的颜色组合是独一无二的，这种组合几乎只发生在板块区域[50]。 根据中国车牌的具体格式，施等人。 [50]提出，输入图像中的所有像素使用色调，亮度和饱和度（HLS）色彩模型分类为13个类别。
在[51]中，将RGB图像转换为HLS后，使用神经网络对每个像素的颜色进行分类。神经网络输出，绿色，红色和白色是韩国的车牌颜色。垂直和水平投影相同的车牌颜色以确定车牌区域的最高颜色密度区域。在[52]中，由于牌照中只使用了四种颜色（白色，黑色，红色和绿色），所以彩色边缘检测器仅聚焦三种边缘（即黑白，红白和绿色 - 白色边缘）。在实验中，采用了从各种场景和不同条件下拍摄的1088张图像。车牌本地化率为97.9％[53]和[54]中使用遗传算法（GA）作为识别牌照颜色的搜索方法。在[54]中，通过训练具有不同光照条件的图片，使用GA来确定印版颜色的上限和下限。平均亮度与这些阈值之间的关系通过特殊功能进行描述。对于任何输入图像，首先确定平均亮度，然后从该函数获得较低和较高的阈值。具有这些阈值之间的值的任何像素都被标记。如果标记像素的连通性是具有相同车牌纵横比的矩形，则该区域被视为板区域。在[55]中，高斯加权直方图相交被用于通过匹配其颜色来检测车牌。为了克服影响色彩水平的各种照明条件，使用高斯函数修改常规HI。描述一组相似颜色贡献的权重用于匹配预定义的颜色。在[56]中使用牌照颜色和字符颜色的搭配来生成边缘图像。图像被水平扫描，并且如果找到具有在牌照颜色范围内的值的任何像素，则检查其水平邻居的颜色值。如果两个或更多邻居处于相同的字符颜色范围内，则将此像素标识为新边缘图像中的边缘像素。分析新图像中的所有边以找出候选车牌区域。在[57]和[58]中，彩色图像通过均值偏移算法分割成候选区域，随后分类为平板或不平板。检测率达到97.6％。在[59]中，提出了一种快速均值漂移方法。为了解决与基于颜色的方法相关的光照变化问题，[60]提出了基于模糊逻辑的方法。采用色调，饱和度和值（HSV）色彩空间。首先根据不同的隶属函数将HSV的三个组成部分映射到模糊集。然后通过三个加权隶属度的融合来描述模糊分类函数。参考文献[61]提出了一种使用对亮度较低敏感的颜色重心六边形模型的车牌定位新方法。使用颜色信息提取牌照具有检测倾斜和变形板的优点。但是，它也有一些困难。使用RGB值定义像素颜色非常困难，特别是在不同的照明条件下
全文共14730字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14273]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
