汽车牌照识别系统毕业设计.doc

中文摘要 随着城市交通管理现代化水平的提高，建立在车辆牌照识别基础上的 交通信号自适应控制系统、智能交通监控系统、GPS 车辆管理及导航系统 、智能化交通管理系统应运而生。由于汽车牌照是机动车辆管理的主要标 志符号之一，因此对车辆牌照识别系统的研究就尤为重要，该研究的核心 是提高车牌识别准确性，这就需要识别算法能够对环境光照条件，拍摄位 置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的要 求。 本文设计的主要内容包括：运用 MATLAB 仿真软件对后台图像进行高 速，准确的处理。主要工作是利用 BP 神经网络算法对牌照的字符识别进行 了研究。在牌照的定位之前，本文首先运用不同于当下传统的方法，而是 结合当前比较热门的 BP 神经网络来对图像进行预处理，得到了比较突出的 牌照信息。然后结合牌照自身的一些固有特征，用形态学的方法进行了车 牌区域的准确定位；对定位得到的车牌，再次结合牌照内部细节特征，对 车牌进行投影，从而得到了车牌较为完整的分割;最后在车牌字符识别阶段 ，以现今比较流行的神经网络为理论基础，在原有的神经网络算法基础上 进行有效改进。仿真结果表明本算法在车牌识别中具有明显的优势。 本文研究内容的创新性体现在以下三个方面：(1)车牌定位阶段，采用 一个改进的自适应 PCNN 神经网络对图像进行预处理可以得到一个细节丰 富，边缘完整的二值图像，随后基于牌照固有特征，结合一种新的形态学 方法，可以得到多个车牌候选区域：(2)车牌字符分割阶段，为了满足算法 实时性的要求，对畸变车牌进行预处理时，采用字符的行特征来描述本文 的倾斜校正算法，之后，基于改进的投影特征图对字符图像分割；(3)字符 识别阶段，为了提高算法的准确性，采用改进的 BP 神经网络。 关键词：数字图像处理 车牌识别 字符识别 神经网络 An Arithmetic Research Based On Neural Network for Car License Plate Recognition Abstract With the rapid development of domestic traffic management, these systems that are based on the license plate recognition appeared at the right moment, such as the traffic signal automation management system, intelligent traffic monitor system, GPS, automation parking toll system, and intelligence traffic system, . Because license plate is a important part of vehicle management system, so the research of license plate system is particularly important .The core of arithmetic of license plate system is how to improve the recognition, so it requires recognition algorithm has great robustness for the impact of light conditions of the environment and taken the position and vehicle speed it also can satisfy the timely requirement. In this paper, my work is focused on the image processing based on MATLAB emulator. Three problems were analyzed, which are license locating, segmentation and character recognition. Before license locating, artificial neural network (ANN) is adopted to handle the image, then the information of license plate is obtained in evidence. To locate the license plate, the inherent features of license plate being used, and then use mathematical morphology to locate the license plate accurately; According to the inside features of locating license plate, the plate-area is pop out by project the license plate; The last step is characters recognition, ANN is the key tool in recognition. An improved neural network is designed to segment the characters. The whole license plate recognition is achieved through those steps. The result of emulator proves that my arithmetic would be able to improve the rate of recognition, effectively. My work has three innovations. Firstly, An improved and automatic PCNN neural network is used to dispose the image, and A binary image is gained, which has an abundant details, intact edges, then T get lots of candidate areas of license plate, based on the inside features of license plate and a new mathematics morphology. Secondly, when the change image is handled, an arithmetic based on the line features of characters is used, and then segment the image of characters based on improved project features. Thirdly, I improve on BP neural network to improve the rate of recognition. KEY WORDS: Digital Image Processing License Plate Recognition Character Recognition Neural Network. 目录目录 第一章 绪论 .1 1.1 选题的背景和意义.1 1.2 车牌识别的技术研究.2 1.3 本文研究的内容.5 第二章 车牌预处理及定位与分割算法研究 .7 2.1 图像预处理.7 2.2 车牌定位算法介绍11 第三章 汽车牌照字符分割方法研究 12 3.1 车牌字符的一般特征分析12 3.2 字符分割方法研究12 3.3 基于垂直投影和优割字符分割方法14 3.4 实验结果及分析18 第四章 汽车牌照字符分割 20 4.1 车牌图像倾斜的纠正20 4.2 基于投影图的字符图像的分割24 4.3 字符的归一化27 第五章 汽车牌照的字符识别 30 5.1 车牌字符特征提取30 5.2 基于 BP 神经网络的字符识别.31 5.3 本文的 BP 网络结构.42 总结 .43 参考文献 .44 附录 .46 致谢 .47 - 1 - 第一章 绪论 20 世纪 90 年代以来，伴随着我国经济的快速腾飞，国民经济的高速发 展，机动车辆规模及数量大幅度增加，与此同时，公路上违章违规的车辆 也屡见不鲜，由此造成的交通事故、环境污染屡见不鲜，鉴于此，城市交 通管理现代化水平的提高势在必行，迫切需要采用高科技手段来实时监控 和检测路上行驶的车辆，以加强交通管理水平。针对这种情况，管理部门 已经着手进行诸如交通信号自适应控制系统、智能交通监控系统、GPS 车 辆管理及导航系统、停车场自动收费系统、汽车牌照自动识别等智能化交 通管理系统的研制。由于汽车牌照是机动车辆管理的主要标志符号之一， 因此车辆牌照识别系统的研究就显得愈加重要。该系统的应用要求对车牌 正确识别具有较高的识别率。这就需要该系统能够对环境光照条件，拍摄 位置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的 要求。 1.1 选题的背景和意义 鉴于交通管理的现状，智能交通系统 (Intelligent Transportation System s，ITSs)的研究正在如火如荼的开展，目前的研究表明：ITSs 可以帮助提高 交通管理的机动性和交通安全，通过使用这些先进的技术，也提高了交通 管理的效率。ITSS 由 16 种基础技术知识系统构成l，这些系统又被分为： 智能基础设施系统和智能车辆系统。 LPR 技术隶属于于智能交通系统，也是车辆自动识别技术 (automatic vehicle identification，AVL)的重要组成部分，它在现代交通监管及管理中 发挥着越来越大的作用。LPR 被认为是智能基础设施系统的核心构成，例 如电子收费系统(收费站，负费停车场)，高速公路，和交通监管上的人工管 理系统。此外，由于日益增长的安全需求，使得车辆识别技术变得极为重 要，为了监控身份未知的车辆进入一些隐私领域，上述提到的系统也可被 用于车辆进出控制系统。 LPR 的任务是处理、分析摄取的汽车图像，用以自动识别汽车牌号。 在不影响汽车状态的情况下，大部分 LPR 系统的工作由计算机自动完成， 从而可降低工作复杂度。已有的 LPR 技术或多或少都还存在某些缺陷，尤 其是在实时性和识别率方面不够成熟。本文的研究是希望通过算法深入探 - 2 - 讨，建立基于算法的实际系统，在固定的交通路口或收费站口，配合已安 装的视频监视系统，在接收视频的后台实时的对前方或后方运行的汽车进 行车辆牌照检查。当发现违章车辆闯关或排放大量污物、灰尘时，通过采 集该汽车的静态视频图片，并将其资料纳入后台处理，实现实时的车辆信 息管理，从而既达到了省时、省力的效果，提高了交通管理的现代化、智 能化水平，又减轻交通管理、环境监护部门的压力。 因此，本课题的研究对于提高城市交通管理水平，维护城市环境清洁 ，加快交通管理，环境保护现代化步伐具有很重要的实际使用价值。 1.2 车牌识别的技术研究 一个 LPR 系统通常包括前端视频采集设备，照明设备，基于 DSP 的硬 件图像处理平台，终端计算机系统，识别软件，后台数据 LPR 系统中，外 围摄像系统把采集到的视频信息，经由一个高速的网络传输系统，把图像 交由后台的视频图像处理平台进行处理，处理的结果根据实际需要与终端 平台，数据库，或其它输入输出外设进行互连。在整个系统中，核心的部 分是基于软件算法实现的图像处理模块。 硬件参考图如图 1-1： 图 1-1 汽车牌照识别系统硬件构成 根据图 1-1，车牌自动识别的算法主要分成三个步骤:车牌定位、字符 分割、字符识别。目前这三方面的研究情况大致如下： 1.2.1 车牌定位技术 在对实际车牌区域定位之前，需要进行相应的预处理。这些预处理包 括边缘检测、二值化、灰度均衡化和对比度处理等等。预处理的效果对随 - 3 - 后的定位处理有很大的影响，因此选择可靠的预处理算法也是非常重要的 。 为了快速、准确、可靠地定位出车牌位置，学者们提出了许多定位算 法，大部分定位算法是基于车牌所具有的特征来进行的。目前所利用的车 牌特征主要分为空域特征和变换域特征两大类其中空域特征主要有： （1）车牌区域内的边缘灰度直方图统计特征，车牌区域内的边缘灰度 直方图具有两个明显且分离的分布中心，可以较好地提取边缘。 （2）车牌区域的灰度分布特征，穿过车牌的水平直线其灰度呈现连续 的峰、谷、峰的分布，具有纹理特征。 （3）车牌区域水平或垂直投影特征，车牌区域水平或垂直灰度投影呈 现连续的峰、谷、峰的分布。 （4）车牌的颜色特征，即车牌字符和背景为几种固定的颜色组合。 （5）车牌的几何特征，即车牌的高、宽以及高宽比，应在一定的范围 内。 （6）车牌形状特征，字符排列格式特征。车牌有矩形边框，字符位于 矩形框中，且有间隔，并且每个字符的高宽和字符间的间隔满足一定的条 件。 目前车牌变换域特征被利用的较少，主要是频谱特征，即对图像做行 或列的 DFT 变换，其频谱图中包含了车牌的位置信息。车牌定位方法涉及 到的具体方法有：区域生长法，构造灰度模型法，二值图像的数学形态学 运算法，灰度图像的数学形态学运算法，自适应边界搜索法，DFT 变换法 ，模糊聚类法等。 1.2.2 字符分割技术 车辆牌照字符分割是指将车牌区域分割成单个的字符区域，以便后续 字符识别算法对单个字符进行处理，其难点是对粘连、断裂字符的分割。 字符分割常采用垂直投影法2实现。由于字符块在竖直方向上的投影，必然 在字符间或字符内的间隙处取得局部最小值，因此字符的正确分割位置应 该在上述局部最小值附近，并且这个位置应满足车牌字符的书写格式、字 符尺寸限制和其它一些条件。在理论上，利用垂直投影法对断裂字符进行 分割应具有较好效果；但是对于字符区域连接紧密的字符的分割利用投影 法可能效果比较差，可以利用模板的方法或者回溯的方法来进行处理。 - 4 - 1.2.3 字符识别技术 目前用于车牌字符识别中的算法主要有基于模板匹配的方法、基于特 征匹配的方法以及基于人工神经网络的方法。 （1）基于模板匹配的字符识别的基本过程是：首先对待识别字符进行 二值化并将其尺寸大小归一化为字符数据库中模板的大小，然后与所有的 模板进行匹配，最后选最佳匹配作为结果。但是字符大小、方向、字体的 变化以及噪声都将严重地影响模板匹配的正确率。在实际应用中，为提高 正确率，往往必须使用多个模板进行匹配，而处理时间则随着模板个数的 增加而增加。基于关键点的模板匹配算法对传统的模板匹配算法做出改进 ，此算法先对待识别字符进行关键点提取，即对字符进行拓扑分析以得到 边符边缘的关键点，然后对关键点去噪，最后再确定字符的分类。使用关 键点进行模板匹配有效地减少了模板中象素点的个数，只利用字符的关键 点进行模板匹配，既提高了识别速度，又具有较高的识别率。 （2）基于特征匹配的字符识别方法是:提取字符的相关特征，然后利用 这些特征来进行字符匹配，选择最接近匹配结果。基于特征匹配的算法效 率比模板匹配算法效果更好，但是特征的正确提取比较困难。 （3）近年来，人工神经网络以其抗噪声、容错、自适应、自学习能力 强，融合预处理和识别于一体，识别速度快等特点受到人们重视，在字符 识别技术中得到了广泛应用。在许多系统中，其字符识别均采用了人工神 经网络方法。用人工神经网络进行字符识别主要有两种方法：一种方法是 先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类 器。这种网络的识别效果与字符特征的提取有关，而字符特征的提取比较 困难。另一种方法则充分利用神经网络的特点，不进行特征提取，直接把 待处理图像输入网络，由网络自动实现特征提取直至识别，这种网络信息 处理量很大，但是随着 DSP 和计算机硬件性能/价格比的提高，其性能将会 进一步得到改善。 我国车牌识别系统技术相对他国的车牌识别系统来讲，其需求和难度 更大3，原因是： 1.我国车牌的字符种类较多。我国汽车牌照的构成除了常规的英文字母 和数字外，还有汉字，而汉字的识别和字母与数字的识别有很大的不同， 从而增加了识别的难度。 - 5 - 2.我国汽车牌照的类型众多。对应于不同用途和车型的车辆，我国规定 了军车，警车，摩托车，农用运输车，货车，普通车等牌照格式。 3.我国车牌本身的种类较多。对应于不同类型的牌照，我国汽车牌照的 底色有蓝、黄、黑、白等多种颜色，字符颜色有黑、红、白等。 4.牌照的质量无法得到保证。由于我国交通管理相对不太严格，经常会 出现牌照被污损，字符模糊不清的车辆上路，这样的车牌对光线的散射性 不好，会影响识别的准确率。 现阶段，国外对汽车牌照识别的研究，较为著名的有以色列 HI-TECH 公司的 SEE/CARSYSTEM 系列，新加坡 OPTASIA 公司的 VLPRS 系列都 是比较成熟的产品。但是其中的 VLPRS 产品主要适合新加坡的车牌，而 H I-TECH 公司的 SEE/CARSYSTEM 有多种变形的产品来分别适应某一个国 家的车牌，其中包括对我们中国大陆的车牌进行识别，但是这些产品都存 在着一定的缺陷，特别是这些产品都不能很好的支持我们内地车牌中的汉 字。另外日本，加拿大、德国、意大利、英国等各个西方发达国家都有适 合本国车牌的识别系统。 国内在上个世纪 90 年代开始了车牌识别的研究。目前比较成熟的产品 有中科院自动化研究所汉王公司的“汉王眼” ，它采用 CMOS 摄像头+DSP+ MPU 组成一个高速运行的硬件平台，C 帕 S 摄像头直接输出数字信号，可 方便地与 DSP 连接；用 DSP+MPU 代替工控机，可充分利用 DSP 在图像处 理方面的速度优势和单片机工作可靠的优点，使图像处理成为一个完整的 系统。 “汉王眼”的核心技术是光学字符识别(OCR)，这项技术可以对摄像 机、扫描仪等设备采集的图像数据进行自动处理，识别图像中的文字符号 ，并存入计算机智能交通管理系统用于交通管理。同时，各大高校如西安 交通大学的图像处理和识别研究室、上海交通大学的计算机科学和工程系 、清华大学人工智能国家重点实验室、浙江大学的自动化系等也做过类似 的相关研究。 目前的国外科研机构正试图通过揭示人的文字识别的机制，进而希望 建立在这个基础上来进行文字识别理论的研究和技术的开发。目前离线的 文字字符识别产品已大量问世，有代表性的国内外系统和研究小组有：美 国的 Expervision 的 PTK(Recognition Cool Kits)和纽约州立大学 Bufalo 分 校的 Cedar 研究中心，加拿大 Conordia 大学的 Cenparmi 实验室，日本东芝 的 Textreader。同时，构成字符的识别理论中的一个重要分支是对我们汉字 - 6 - 识别的研究，1996 年美国 IBM 公司的 Casey 和 Nagy 发表了一篇关于用模 本匹配法识别 1000 个印刷体汉字的汉字识别文章拉开了对汉字识别研究的 帷幕，之后，我国、日本和加拿大分别掀起了研究汉字识别的浪潮。 1.3 本文研究的内容 由于神经网络具有较强的自组织学习能力、容错性、鲁棒性及非线性 处理等优点，所以本文选择了神经网络技术作为研究的主要方法，在此基 础上，详细研究了车牌识别算法的实现方法，主要包括车辆牌照的分割与 提取和车牌字符的识别。其中车牌字符的识别又包括了字符的分割与提取 和字符识别两部分。本文车牌识别的步骤为:图像预处理、车牌定位、字符 分割、BP 网络训练、字符识别等几个部分。其主要安排如下： 1.第二章首先介绍车牌预处理及定位与分割的基础知识，包括图像预处 理的知识、车牌定位算法、Radon 倾斜矫正知识等。 2.第三章介绍汽车牌照字符分割方法。通过研究几种传统的车牌定位方 法及相应的算法，最后提出本系统采用的方法：基于一个改进的自适应 PC NN 神经网络来进行边缘检测，随后结合数学形态学的操作来进行车牌定位 。 3.第四章介绍对车牌进行定位分割和字符归一化的方法。首先介绍并比 较几种典型的校正车牌的方法并分析其不足之处，然后提出本系统采用的 一种改进后的倾斜校正车牌方法。之后用投影特征图得到分割后的字符， 为了方便下步的处理，本文随后采用了字符归一化的技术。 4.第五章介绍字符识别算法。考虑到传统的串行，无学习功能的机械式 计算方法的缺陷，本文采用了具有大规模并行处理和分布式信息存储，良 好的自适应，自学习能力的改进即人工神经网络，使得该法成为本文进行 字符识别所使用的主要方法。 5.最后，对本文的工作进行总结，并指出不足和需要进一步改进的地方 。 - 7 - 第二章 车牌预处理及定位与分割算法研究 2.1 图像预处理 采集的车牌图像在进行定位、分割、识别之前需要对原图像预处理， 这是因为一些诸如车牌本身问题及拍摄环境条件等因素的影响，导致图片 模糊，无法直接进行车牌的定位及后续的处理工作。因此在进行车牌定位 之前，都会对采集的原图像进行必要的预处理，比如图像格式转换、平滑 去噪处理、几何变换等。通过图像的预处理，可以使车牌的主要特征更加 突出，便于更好的提取车牌。 2.1.1 灰度化 通过摄像头采集的车牌原始图像都是彩色图像。彩色图像包含大量的 颜色信息，它的每个像素都包含三个不同的颜色分量 R、G、B，占用的存 储空间比较大，对其进行处理时会降低系统的执行速度。灰度图只含亮度 信息不含颜色信息，其中亮度值量化为 256。灰度图进行算法处理相对简单 ，处理灰度图像的速度会比处理彩色空间的图像快很多，因此常常将彩色 图像进行灰度处理后再做下一步的算法分析。常规的灰度化转换方法为： 首先将原始图像从 RGB 空间转化 YCbCr 空间，Y 分量包含亮度信息，Cb 分量包含色度信息，Cr 分量包含饱和度信息，然后仅提取 Y 分量即生成灰 度图。进行灰度转换时使用如公式(2-1)： Y = 0.299 R + 0.58G +0.114B (2-1) 灰度化效果如图 2-1 所示。 （a）原图 （b）灰度化处理后 图 2-1 灰度化处理前后对比 - 8 - 2.1.2 二值化 彩色图片转换成灰度图片后，灰度值是介于 0 到 255 之间的数值，为 了方便识别，还会对灰度图进行二值化，大于阈值以上的值取 1，小于阈值 的值取 0，阈值的选择是车牌图像二值化的关键步骤，通常有全局阈值和局 部阈值。全局阈值的二值化算法是指在整幅图像中使用一个统一的阈值对 灰度图像进行二值化，当图像背景比较单一时，采用全局阈值进行图像处 理一般可得到比较满意的结果，并且算法较简单易于实现。局部阈值的二 值化算法是指在整幅图像中使用多个阈值对灰度图像进行二值化，主要针 对照明不均匀、背景灰度变化较大的图像，根据像素的坐标位置关系自动 确定不同阈值，由像素的灰度值和该像素点周围的像素局部特性来确定像 素的阈值进行二值化。 二值化效果如图 2-2 所示 图 2-2 二值化处理 2.1.3 均值滤波 滤波是一种对图像进行增强的算法，通过对图像进行滤波处理可以实 现图像的光滑、锐化。均值滤波是一种非线性的图形滤波器，它的原理是 基于排序统计理论的一种能有效抑制噪声的信号处理技术，就是把数字图 像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围 的像素值接近的中间值，从而消除孤立的噪声点。图 2-3 显示了对加入了 椒盐噪声的图片进行均值滤波后的效果。 （a）均值滤波前 （b） 均值滤波后 图 2-3 均值滤波前后对比 - 9 - 2.1.4 形态学预处理 数学形态学形成于 1964 年，法国巴黎矿业学院 G.Matheron 和其学生 J. Serra 从事铁矿核的定量岩石学分析，提出了该理论4。它是一门建立在严 格数学理论基础上的学科，其基本思想和方法对图像处理的理论和技术产 生了重大的影响。近年来，数学形态学的应用已经覆盖了图像处理的所有 领域，包括文字识别、医学图像、视觉检测、工业检测、材料科学等。数 学形态学图像处理是一种邻域运算，将这种邻域称作结构元素，在每个像 素位置上，结构元素与对应的区域进行运算，结果作为输出图像的对应像 素。数学形态学的运算对象主要是二值图像。数学形态学运算的效果由结 构元素的大小和逻辑运算决定，通常有膨胀运算、腐蚀运算、开运算和闭 运算。 (1)膨胀运算 膨胀的原理是把与物体接触的全部背景点合并到该物体中，使边界向 外扩张的过程，通熟易懂地理解就是可以对图像进行变粗。定义结构 A 被 结构 B 腐蚀表示为 AB，数学形式可表示为： (2-2) 膨胀运算效果如图 2-4 所示 图 2-4 膨胀处理 (2)腐蚀运算 腐蚀的原理是消除边界点，使图像的边界向内收缩，具有收缩图像的 作用。简单地讲就是用结构元素对一幅图像进行某种操作，通过这种操作 可以消除图像内部不相关的细节。定义结构 A 被结构 B 腐蚀表示为 AB ，数学形式可表示为： - 10 - (2-3) (3)开运算 该运算是先进行腐蚀运算再进行膨胀运算的结合过程，作用是可以消 除图像中一些孤立的毛刺以及小点，同时可以连通两块或几块区域中的小 点，使较大物体图像的边界得到平滑，同时，总的位置和形状没有改变。 定义结构 A 被结构 B 腐蚀表示为 A o B，数学形式可表示为： BBABA)( （2-4） (4)闭运算 和开运算过程相反，即先膨胀后腐蚀。该运算的作用是填平小孔，连 接临近物体图像，平滑物体图像边界，结果是总的位置和形状不变。定义 结构 A 被结构 B 腐蚀表示为 AB，数学形式可表示为： BBABA)( （2-5） 2.1.5 边缘检测 边缘检测是一种对图像进行定位、分割和提取的重要方法，其主要是 对图像的边界进行分析，可以大幅度地减少了数据的运算量，并且可以剔 除一些不相关的信息，这样子就保留了图像原本的一些重要的结构属性。 目前广泛使用的边缘检测的方法有以下几种：Robert 算子，Sobel 算子，Ca nny 算子，Prewitt 算子，log 算子等。在本文的仿真中，采用的是：Robert 算子对图像进行边缘提取，下图为 Robert 算子边缘提取图像，如图 2-5 所 示。 - 11 - 图 2-5 Robert 算子边缘检测图 2.2 车牌定位算法介绍 车牌定位就是将车牌图像从整个待处理的图像中定位分割出来。由于 车牌字符的多样性以及车牌背景的复杂性，使得车牌定位成为车牌识别过 程中关键的一步，目前还没有通用的定位算法。现在常用的车牌定位算法 有基于字符纹理的定位、基于数学形态学的定位、基于边缘检测的定位、 基于颜色空间的定位等方法。下面对这些算法进行比较如表 2-1 所示。 表 2-1 字符定位算法比较 方法复杂度稳定性 纹理特征定位法简单 定位较精确，应用广，缺点是容易受 到车牌图像质量的影响，造成车牌定位失 败 数学形态学定位 法 简单 不受噪声影响，不依赖图像的状况， 定位较精确，适用于对车牌区域进行粗定 位，缺点是对车牌图像的背景环境有一定 要求 边缘检测定位法简单 不受图像形态如倾斜等情况的影响， 定位分割较精确，速度快，适合对车牌进 行粗定位 - 12 - 颜色空间定位法较复杂 根据车牌字符与背景颜色的差别，进 行车牌区域定位，定位准确度较高，缺点 是车牌颜色和车身颜色要有一定的对比度 - 13 - 第三章 汽车牌照字符分割方法研究 3.1 车牌字符的一般特征分析 在对车牌字符进行分割之前，先分析一下车牌中字符的一般特征，为 后面进行字符的分割打下基础。中国的车辆牌照一般由三种字符组成：汉 字、英文字符、阿拉伯数字。牌照的规格也各不相同，各种字符的组合多 种多样，概括起来具有以下一些特征： 车牌中均为七个字符，常规情况第一个字符为汉字，第二个字符为 字母，第三个到第七个字符为字母或者数字； 车牌中七个字符的外接矩形相同，高度和宽度的比例相同（除“1” 外） ； 车牌的牌照架，以前是根据车主的要求牌照架有所不同，有的还没 有安装牌照架，这不适合利用边框信息进行字符分割。 由于多种原因，比如车牌的磨伤和破坏，使得在进行二值化处理的 时候，字符不连续断裂或者粘连在一起； 摄像机在采集车牌图像的时候，由于曝光、焦距等原因，不是字符 的区域会成为高亮度区域； 车牌上面有安装的柳钉，在处理的时候也会受到它的影响。上述特 点只有第一条对字符分割有所帮助，第二条到第六条都给字符分割增加了 困难。 3.2 字符分割方法研究 对字符分割技术的研究从 20 世纪 70 年代研究目前常用的车牌字符分 割算法主要有两种，分别是垂直投影法和连通域法。 3.2.1 基于垂直投影的字符分割算法 由于字符块在竖直方向上的投影不仅在字符间取得局部最 小值，而且 在字符内的间隙处也能取得局部最小值。因此，字符的正确分割位置应该 在上述局部最小值的附近，并且这个位置应满足车牌字符的书写格式、字 符的尺寸限制等条件。基于垂直投影的字符分割算法是在车牌照区域垂直 投影图上从左至右检测各坐标的垂直投影数值，当找到第一个局部最小点 的时候，认为这个点是最左面字符的边界；然后，在水平方向上从右至左 - 14 - 检测坐标的垂直投影数值，当找到第一个局部最小点的时候，认为这个点 是最右面字符的边界；得到两边字符的边界之后，用同样方法可以找到每 个字符的边界。 基于垂直投影法字符分割的步骤为： （1）计算车牌二值图像的垂直投影图，并归一化到合适的范围。 （2）从左到右取投影图外围包络线的波谷点，并将这些波谷点按照横 坐标值升序排列。 （3）根据各波谷点的纵坐标以及相邻波谷点横坐标的差值对所有的波 谷点进行取舍，并将取舍后的波谷点依序重新排列。 （4）从波谷点序列中选取最左和最右的波谷点，作为车牌第一和最后 一个字符的分割界限，并计算两波谷点的距离作为车牌的长度。 （5）由波谷点序列及评判函数来确定其余各字符最佳的分割点，并对 各字符进行分割。 （6）输出分割后的字符图像。 从计算过程可以看出，该算法对字符因断裂分成上下两个部分的情况 有较强的纠错能力。但是，当字符因断裂而形成左右两个部分时，在计算 波谷点时，该算法就会出错。因此，可以利用一些先验知识来做进一步的 处理，通过最左和最右边两个字符的边界估算出整个车牌区域的宽度，标 准车辆牌照由 7 个字符组成，大约 8 个字符宽，可以利用这些先验知识估 计出每个字符的大概宽度，然后把切分过度的字符进行合并，这样可以改 进切分效果。 3.2.2 基于连通域的字符分割算法 车牌上的字符除了第一个是汉字外，其它的都是字母或数字，即在理 想状态下是“全”连通的。因此，可以使用连通域的方法对车牌进行字符 分割。连通域算法的思想是：对车牌图像的二值化图像进行扫描，标记连 通域，将不符合车牌字符特征的连通域删除，对保留的连通域使用某种评 判函数进行评判，选取合适的连通块作为切割后车牌字符。 基于连通域算法的步骤可描述为： （1）找到图像的所有连通域，然后确定对每个连通域的起动和结束位 置，构成最少矩形区包含连通域，表示为 A(i) i=1,2n，n 为连通域总数 。 - 15 - （2）计算的每矩形地周围边境，并分别记为 A(i)l 和 A(i)r。 （3）按顺序从左到右，跟随每个矩形，相比矩形左右边界利用合并、 分割算法将过小区域合并、过大区域分割。然后，依据每个区域的坐标位 置重新组织所得的区域。 （4）利用评判函数将最佳分割位置选取出来，进行字符分割。 （5）输出分割后的字符图像。 但在实际情况中，由于实际车牌图像通常会有噪声，产生字符的断裂 和交叠等情况，因此，单凭连通域很难取得满意的结果。于是提出了许多 改进方法，例如二值化方法的改进，使二值化图像尽量避免字符的粘连和 断裂。也可以考虑利用车牌本身的先验知识对连通域进行合并或者切分。 另外，对字符粘连所产生大的连通域可以考虑重新选取阈值再进行切分的 方法。 3.3 基于垂直投影和优割字符分割方法 由于垂直投影法对车牌照字符的切分容易产生过度切分，将一个字符 切分成两个，而连通域法由于受到二值化算法的限制，容易产生字符粘连 ，产生大的连通域。综合分析以上算法，本文研究了一种基于垂直投影和 优割字符的字符分割算法，该算法综合了垂直投影法和连通域法的优点。 首先将图像二值化，计算垂直方向上的投影图；再利用字符的高度信息来 确定优割字符；最后由优割字符生成各种可能的分割结果，计算评判函数 代价，选择代价最小的组合作为输出的分割结果。 3.3.1 图像预处理 倾斜校正和水平切割后，需要牌照图像二值化，转化为黑底色白字对 不同颜色的牌照处理，采用 CASDA 算法进行二值化处理，然后计算二值 化后的图像垂直投影，结果如图 3-1 所示。 (a) 水平切割图像 - 16 - （b）二值化图像 （c）垂直投影图像 图 3-1 二值图像的垂直投影图 3.3.2 字符垂直切分法 从图 3-1 可以看出，二值化图像有严重断裂、粘连和边框等干扰噪声 的存在，如果直接采用传统的垂直投影或者连通域的方法进行分割，则很 难达到准确分割的目的。为此，本文提出一种优割字符的方法，并将其用 于垂直分割算法。 （1）优割字符确定 通过垂直投影法和连通域法可知，连通域法是在车牌的二值化图像中 寻找外接矩形或中心点符合标准车牌的区域，而投影法是在车牌的二值化 图像的垂直投影图中寻找投影宽度或“波谷”符合的标准车牌的区域。假 设车牌图像在二值化过程中某一字符有下列某种情况：如果发生字符断 裂，使字符分成上下两个部分，那么使用连通域算法进行字符分割时，会 将一个字符判别为两个字符，而使用垂直投影算法则不受此影响。如果 发生字符断裂，使字符分成左右两个部分，那么，不论使用连通域算法还 是使用垂直投影算法都不能准确确定该字符。如果发生字符粘连，使两 个或两个以上字符发生粘连或字符和边框发生粘连形成一个连通部分，那 么使用连通域算法进行字符的确定就会失败，而使用垂直投影算法则应通 过垂直投影图的阈值来排除这种情况，而在一般情况下这个阈值很难确定 。对于外形特殊的字符，例如字符“1” ，通过连通域方法的中心点可以 很好的确定出字符的位置，而投影法常常无能为力。为此，引入优割字符 - 17 - 的概念。优割字符即在车牌的二值图像的垂直投影图中，寻找满足区域连 通，且宽度与车牌高度的比值介于 0.4 与 0.7 之间的投影区域。因为在水平 界精确确定以后，图像的高度即为字符的高度，由理想车牌的先验知识可 知，车牌中字符的高宽比为 2：1。因此，可以确定字符的宽度约为 0.5 倍 的车牌图像宽度。 在确定出优割字符宽度之后，在车牌图像二值化图像的垂直投影图中 ，将符合优割字符条件的区域进行标注，这些区域为字符分割时的优先选 择区域。然后，对垂直投影图进行扫描，将位于两个优割字符之间且宽度 大于一个优割字符宽度的空隙进行优割字符填补，这样就得到了一系列连 续的优割字符。 （2）标准模板的生成 在确定了分割的优割字符之后，即确定了字符的高度和宽度，可由车 牌的先验知识生成理想的车牌结构，包括各字符的位置以及字符的中心点 距离等。 （3）字符的试探分割算法 本算法首先从垂直投影图中的所有优割字符出发进行试探分割。由于 优割字符并不一定就是最后分割出的字符，有时车牌的边框等也满足优割 字符的条件，但它并不是一个车牌字符，因此，需要将这些伪字符在后续 处理中剔除。试探法计算过程描述如下：计算获得的优割字符的平均宽度 ，以该宽度值作为车牌字符的理想宽度，然后结合车牌的高度