复杂背景下车牌定位与字符分割算法研究

复杂背景下车牌定位与字符分割算法研究

姓名：刘鹏申请学位级别：硕士专业：控制理论与控制工程

指导教师：王宏伟

20071201

大连理工大学硕士学位论文摘要随着我国公路交通事业的迅猛发展，智能交通系统已经成为人们关注的焦点问题。车牌识别技术是智能交通领域的重要课题之一，它主要包括车牌定位、字符分割、字符识别三个部分。其中，车牌定位与字符分割算法的处理效果对字符识别起着决定性的作用。虽然车牌识别技术的研究已经有一段时间，但现有的车牌定位算法环境适应性差，在复杂背景下存在着定位困难的问题；字符分割算法在图片噪声较大情况下分割效果也不理想，因此车牌定位和字符分割算法的研究仍有着很深的现实意义。本文在简要介绍国内外车牌识别技术研究现状的基础上，对车牌定位算法及字符分割算法进行了深入的研究，主要完成以下工作：车牌的定位算法设计阶段，本文提出了一种综合利用车牌多重特征的定位算法。该算法充分利用了车牌的纹理，色彩及车牌长宽比等特征。经过水平梯度化，二值化，滤波，区域连通、连通域标记筛选，色彩匹配等几个步骤，最终达到了复杂背景下汽车牌照的定位。在滤波阶段，本文设计了一种基于扫描线的多尺度模板滤波算法，收到了很好的效果。实验结果表明本文设计的定位算法在复杂的背景下定位速度快，准确率高。字符分割方法方面，根据车牌字符的排列规律和字符的几何特征，设计了一种混合字符分割算法，该方法综合了传统的几种分割算法。首先利用二、三字符间波谷长并且二三字符水平方向连通的特性，初步确定前三个字符的匹配模板，并利用最大类间方差的思想计算出车牌准确的分割模板，最终实现了车牌字符的准确分割．关键词：车牌定位；字符分割；多尺度模板滤波；混合字符分割法大连理工大学硕士学位论文ＲｅｓｅａｒｃｈｏｎＶｅｈｉｃｌｅＬｉｃｅｎｓｅＰｌａｔｅＬｏｃａｔｉｏｎａｎｄＣ＇ｈａｒａｃｔｅｒＳｅｇｍｅｎｔａｔｉｏｎｕｎｄｅｒＣｏｍｐｌｉｃａｔｅｄＢａｃｋｇｒｏｕｎｄＡｂｓｔｒａｏｔＷｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｔｒａｎｓｐｏｒｔａｔｉｏｎｉｎａｏｕｒｃｏｕｎｔｒｙ，ｔｈｅＩＴＳ（ＩｎｔｅｌｌｉｇｅｎｔＴｒａｆｆｉｃＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍ）ｂｅｃｏｍｅｓｐｌａｔｅｒｅｃｏｇｎｉｔｉｏｎｉｓａｈｏｔｓｐｏｔｐｒｏｂｌｅｍｗｈｉｃｈｉｓｂｅｉｎｇｐａｉｄｈｉｇｈａｔｔｅｎｔｉｏｎ．ＬｉｃｅｎｓｅｋｅｙｃｏｍｐｏｎｅｎｔｏｆｔｈｅＩＴＳ．Ｉｔｃｏｎｃｌｕｄｅｓｌｉｃｅｎｓｅｐｌａｔｅｌｏｃａｔｉｏｎ，ｃｈａｒａｃｔｅｒｓｅｇｍｅｎｔａｔｉｏｎａｎｄｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅｌｉｃｅｎｓｅｐｌａｔｅｌｏｃａｔｉｏｎａｎｄｃｈａｒａｃｔｅｒｐｌａｙｆｏｒａｓｅｇｍｅｎｔａｔｉｏｎａｓｃｒｕｃｉａｌｒｏｌｅｓｉｎｔｈｅｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ．Ａｌｔｈｏｕｇｈｔｈｉｓｔｅｃｈｎｏｌｏｇｙｈａｓｂｅｅｎｒｅｓｅａｒｃｈｅｄｔｈｅａｐｅｒｉｏｄｏｆｔｉｍｅｓ，ｔｈｅｒｅａｌｅｓｔｉｌｌｓｏｍｅｐｒｏｂｌｅｍｓｉｎｅｘｉｓｔｉｎｇａｌｇｏｒｉｔｈｎａｓ，ｓｕｃｈｏｆｔｈｅａｌｇｏｒｉｔｈｍ’Ｓｅｎｖｉｒｏｎｍｅｎｔａｌａｄａｐｔａｂｉｌｉｔｙｉｓｂａｄａｎｄｔｈｅｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙａｎｄｔｈｅｐｒｏｃｅｓｓｉｎｇｓｐｅｅｄａｒｅｌｏｗｉｎａｃｏｍｐｌｅｘｂａｃｋｇｒｏｕｎｄ．ＳＯｔｈｅＬｏｃａｔｉｏｎａｎｄＳｅｇｍｅｎｔａｔｉｏｎｌｉｃｅｎｓｅｐｌａｔｅｓｉｓａｌｗａｙｓｔｈｅｈｏｔｒｅｓｅａｒｃｈｔｏｐｉｃｏｆｔｈｉｓｄｏｍａｉｎ．Ａｆｔｅｒａｎａｌｙｚｉｎｇｔｈｅｐｏｐｕｌａｒｍｅｔｈｏｄｓ；ｔｈｉｓｐａｐｅｒｉｓｍｏｓｔｌｙｓｔｕｄｙｉｎｇｌｉｃｅｎｓｅｐｌａｔｅｌｏｃａｔｉｏｎａｎｄｃｈａｒａｃｔｅｒｓｅｇｍｅｎｔａｔｉｏｎｔｈａｔｈａｖｅｔｈａｔｃｏｕｌｄｂｅｕｓｅｄｕｎｄｅｒｃｏｍｐｌｃｘｂａｃｋｇｒｏｕｎｄ．Ｔｈｅｍａｉｎｌｙｗｏｒｋｓｂｅｅｎｄｏｎｅｉｎｔｈｉｓｐａｐｅｒｉｎｃｌｕｄｅ：ｐｌａｔｅｌｏｃａｔｉｏｎＡｎｅｗｖｅｈｉｃｌｅｌｉｃｅｎｓｅａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｍｕｆｔｉ—ｃｈａｒａｃｔｅｒｉｓｔｉｃｓｉｓｉｎｔｒｏｄｕｃｅｄａｔｔｈｅｌｉｃｅｎｓｅｐｌａｔｅｌｏｃａｔｉｏｎｐｈａｓｃ．ＴｈｉｓａｌｇｏｒｉｔｈｍｍａｋｅｓｆｕｌｌＵｓｅｏｆｔｈｅｃｏｌｏｒ，ｐｌａｔｅｂｙｓｉｘｔｅｘｔｕｒｅ，ｇｅｏｍｅｔｒｉｃｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｌｏｃａｔｅｓｔｂｅｌｉｃｅｎｓｅｓｔｅｐｓ：ｅｄ薛ｄｅｔｅｃｔｏｒ，ｔｈｅｐｒｏｃｅｓｓｏｆｂｉｎａｒｙｑｕａｎｔｉｆｙｉｎｇ，ｆｉｌｔｅｒｉｎｇ，ａｌｅａｓｃｌｏｓｉｎｇ，ａｒｅａｓｆｉｌｔｅｒｉｎｇ，ｔｈｉｓｐａｐｅｒｅｆｆｅｃｔｉｖｅｌｙ．Ｔｈｅｏｆｌｏｃａｔｉｎｇａｎａｌｙｓｉｓ，ｃｏｌｏｒｍａｔｃｈｉｎｇ，Ｉｎｄｅｓｉｇｎｓａｍｕｌｔｉ－￥Ｃ，ｌｄｅｍｏｄｅｌｆｉｌｔｅｒ．Ａｆｔｅｒｐｒｏｃｅｓｓｉｎｇ，ｔｈｅｎｏｉｓｅｉｓｒｅｄｕｃｅｄａｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｔｈｉｓａｌｇｏｒｉｔｈｍｈａｓｖｅｈｉｃｌｅｌｉｃｅｎｓｅｐｌａｔｅｕｎｄｅｒｔｈｅｃｏｍｐｌｅｘｂａｃｋｇｒｏｕｎｄ．ａｆａｓｔ，ｅｆｆｉｃｉｅｎｔｐｅｒｆｏｒｍａｎｃｅｇｅｏｍｅｔｒｉｃａｌｐｌａｔｅｓｉｓＡｃｃｏｒｄｉｎｇｔｏｔｈｅｒｏｌｅｓｏｆｔｈｅｃｈａｒａｃｔｅｒｓｏｆｆｅａｔｕｒｅｓｏｆｔｈｅｖｅｈｉｃｌｅｌｉｃｅｎｓｅｐｌａｔｅａｎｄｔｈｅｃｈａｒａｃｔｅｒｓ，ａｎｏｎａｐｐｒｏａｃｈｆｏｒｃｈａｒａｃｔｅｒｓｅｇｍｅｎｔａｔｉｏｎｏｆｖｅｈｉｃｌｅｌｉｃｅｎｓｅｐｒｏｐｏｓｅｄｗｈｉｃｈｉｓｂａｓｅｄｔｈｅｌｏｃａｔｉｏｎａｎｄｕｎｉｆｙｉｎｌｅｖｅｌｄｉｒｅｃｔｉｏｎｏｆｔｈｅｓｅｃｏｎｄａｎｄｔｈｉｒｄｃｈａｒａｃｔｅｒ．Ａｔｌａｓｔ，ｔｈｉｓａｌｇｏｒｉｔｈｍｃｏｍｂｉｎｅｓｔｈｒｅｅｔｒａｄｉｔｉｏｎｍｅｔｈｏｄｓｔｏｇｅｔｈｅｒｂｙｖａｒｉａｎｃｅＭａｘｉｍｕｍｂｅｔｗｅｅｎｓｃｌｕｓｔｅｒｓｔｏｌｏｃａｔｅｔｈｅｌｉｃｅｎｓｅｐｌａｔｅ．ＫｅｙＷｏｒｄｓ：Ｌｉｃｅｎｓｅｐｌａｔｅｌｏｃａｔｉｏｎ；ＰｌａｔｅｃｈａｒａｃｔｅｒｓＢｌｅｎｄｓｅｇｍｅｎｔａｔｉｏｎ；Ａｍｕｌｔｉ・ｓｃａｌｅｍｏｄｅｌｆｉｌｔｅｒ；ｓｅｇｍｅｎｔａｔｉｏｎａｌｇｏｒｉｔｈｍ独创性说明作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工作及取得研究成果．尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学或者其他单位的学位或证书所使用过的材料．与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意．作者签名：型选日期：竺竺兰：Ｌ２大连理工大学硕士研究生学位论文大连理工大学学位论文版权使用授权书本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：…：一豳．堕堕丝竺２年』兰月二皇日大连理工大学硕士学位论文１绪论近年来，随着国民经济的快速发展，各种机动车辆不断增加，导致道路交通流量不断增大，交通事故、交通堵塞等问题日益严重，我们正面ｌ临着路网通行能力不能满足交通量增长需求以及交通运输安全等问题。为了解决这些问题，国外发达国家相继推出了适应未来运输需求的智能交通系统（ＩｎｔｅｌｌｉｇｅｎｔＴｒａｆｆｉｃＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍ。ＩＴＳ），我国也将发展智能交通系统作为今后交通建设的一个重要发展方向。作为现代智能交通系统中的一项非常重要的技术，车牌识别（ＬｉｃｅｎｓｅＰｌａｔｅＲｅｃｏｇｎｉｔｉｏｎ，ＬＰＲ）技术是近几年来的研究热点。车牌识别系统既具有重要的理论意义，也具有良好的实际应用价值，并且在现实生活中已经得到一定程度的应用。由于其具有良好的发展前景，所以车牌识别系统的开发和研制在国内外皆受到相当大的关注。其涉及的领域包括模式识别、图像处理、人工智能、信息论、计算机等多门学科，是一门综合的应用技术。本章首先就本课题提出的背景和现实意义进行阐述，然后文的车牌识别技术国内外的研究概况。最后讲述本文的内容安排。１．１课题背景和现实意义进入二十一世纪，世界各国的汽车数量迅速增加，致使公路交通的负担越来越重，交通事故和环境污染问题也日益严重，这些问题引起了各国对公路自动控制和管理及所谓智能交通系统的重视，相关研究也蓬勃的发展起来。１１ｒＳ的核心是针对日益严重的交通需求和环境保护压力，采用信息技术、通信技术、计算机技术、控制技术等对传统交通运输系统进行深入的改造，以提高系统安全性、资源的使用效率并减少消耗和环境污染。由于我国也有相同的需要，因此我国的ＩＴＳ研究也是备受重视。ＩＴＳ中的车牌识别技术是智能交通系统中的关键技术之一，其研究具有相当大的现实意义．车牌识别技术主要实现对行驶车辆牌照进行自动识别，从而完成自动收费，无人停车管理，重要路口的交通管制以及违章车辆的追踪等等功能，以此来节省了人力和资金，同时提高交通管理的效率。随着人们对智能交通系统研究的不断深入，车牌识别系统从最初的在停车场计费、高速公路和大桥入口收费等车辆静态或者低速牌照识别渐渐发展到十字路口车辆监测、高速公路监测等对高速行驶的车辆进行动态车牌识别¨】这就对车牌识别技术有了更高标准的考验，而留给系统的处理时间也更加苛刻，因此也要求系统必须拥有很好的实时性．复杂背景下车牌定位与字符分割算法研究除此之外，车牌识剐系统对拍摄设备、计算机等硬件设备的性能有很大的限制，对系统的施工和拍摄角度的选取条件比较苛刻。这就使得系统的成本比较昂贵【２】。设计一个适应性强的算法，来降低硬件的成本，也是研究中的难点问题。综上所述，车牌识别技术是未来交通领域必不可少的技术，现在进行车牌识别技术的研究和应用开发具有相当的理论价值和现实意义．１．２国内外研究概况从２０世纪９０年代起，国外的研究人员就己经开始了对车牌自动识别的研究，其主要途径就是对车牌的图像进行分析，自动提取车牌信息，确定汽车牌号。在车牌识别过程中，也出现了很多的技术方法，有人使用模糊数学理论１３】，也有人用神经元网络的算法来识别车牌中的字符【４Ⅱ甜。但由于外界环境背景的复杂，光线变化、光路中有灰尘、季节环境变化，以及车牌本身比较模糊等条件的限制和影响，使得ＬＰＲ系统一直是一个有解但一直都不能解决得很好的问题，而且很多的方法都需要大量的数值计算，并没有考虑到实时处理的环境。为了解决图像恶化的问题，目前国内外的研究机构或公司采取的办法是：采用主动红外照明摄像或使用特殊的传感器来提高图像的质量，继而提高识别率。国内外现有的一些类似产品利６】：以色列Ｈｉ－Ｔｅｃｈ公司的Ｓｅｅ／ＣａｒＳｙｓｔｅｍ系列产品，香港ＡｓｉａＶｉｓｉｏｎＴｅｃｈｎｏｌｏｇｙ公司的ＶＥＣＯＮ产品，新加坡Ｏｐｔａｓｉａ公司的ＶＬＰＲＳ产品等。其中ＶＥＣＯＮ和ＶＬＰＲＳ产品，主要适合于香港和新加坡的车牌：Ｈｉ－Ｔｅｃｈ公司的Ｓｅｅ／ＣａｒＳｙｓｔｅｍ有多种变形产品分别适应某一个国家的车牌，Ｓｅｅ／ＣａｒＣｈｉｎｃｓｃ系统可以对中国大陆的车牌进行识别，但也有很大的缺陷，而且不能识别车牌中的汉字，另外日本、加拿大、德国、意大利、英国等西方发达国家都有适合于本国车牌的识别系统。国内做得较好的产品主要有中科院自动化研究所汉王公司的“汉王眼”，国内的亚洲视觉科技有限公司、深圳市吉通电子有限公司、中国信息产业部下属的中智交通电子系统有限公司等都有自己的产品，另外西安交通大学的图像处理与识别研究室、上海交通大学的计算机科学与工程系、清华大学人工智能国家重点实验室、浙江大学的自动化系等也做过类似的研究。但由于我国国情不同，造成了我内的车辆牌照识别系统的开发难度，这主要有以下几个方面【刀。（１）我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字识别与字母和数字的识别有很大的小同，从而增加了识别的难度。（２）国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜色（例如韩国，其车牌底色为红色，车牌字符的颜色为臼色），而我国汽车牌照仅底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、红、白等多种颜色．一２一大连理工大学硕士学位论文（３）其他国家的汽车牌照格式（如汽车牌照的尺寸、大小，牌照上字符的排列等）通常只有一种，而我国则根据小同车辆、车型、用途，规定了多种牌照格式（例如分为军车、警车、使馆车、普通车等），并且通常车牌照中也分大车和小车。此外，车牌规范悬挂位置不唯一，并且附近还可能挂有地方政府设置的营运牌照或贴上商业广告信息。（４）由于环境、道路或人为因素造成汽车牌照的严重污染，这种情况在国外发达国家是不允许上路的，而在我国则由于管理松懈，仍可在路上行驶。以上这些情况的存在，再加上一些进口设备价格昂贵，经济投入难以在短期内回收，因此，应尽快开发出适合我国国情的车牌自动识别系统。１．３本文的内容安排本文以复杂背景下拍摄的交通图片为研究对象，运用图像处理技术来实现车牌照的定位与分割，主要对图像的预处理、车牌的定位、车牌字符切分等一系列过程进行了深入研究。主要工作如下：第一章绪论部分，介绍了本课题的研究背景与现实意义。概述了车辆牌照识别系统国内外的发展和应用现状；简单介绍了车牌识别系统中存在的难点；最后给出了本文的内容安排。第二章车牌识别技术概述．介绍了车牌自动识别系统的组成、我国车辆牌照的规格及车牌识别技术的核心算法，既车牌定位，字符分割和字符识别方法进行简单介绍、分析和比较。第三章详细阐述了本文采用的车牌定位算法的整个设计流程。首先，在讨论了几种基于灰度图像的边缘提取算法的基础上，采用了本文所采用的彩色边缘提取算子ＣｏｌｏｒＰｒｅｗｉｔｔ算子；在利用全局阈值法对水平梯度图像二值化后，采用基于扫描线的多尺度模板滤波对二值图像进行滤波平滑；接着，结合形态学运算进行膨胀运算，并对膨胀后的连通区域进行筛选，最后对剩下的几个区域进行ＨＳＶ模型空间的色彩匹配分析，定位出车牌区域精确位置。随后用实际道路中采集的图片进行实验，证实了本文提出的车牌定位方法定位准确，适应性强。第四章介绍字符分割算法的整体流程。在经过了图像预处理，阈值分割，噪声去除、倾斜校正等处理后，重点阐述了本文设计的综合传统分割算法的混合分割算法，通过对实际拍摄的图片进行实验，表明了本算法有很好的效果。第五章总结全文，并对车牌定位和分割算法的研究加以展望，并提出了有待解决的问题。一３－复杂背景下车牌定位与字符分割算法研究２车牌自动识别技术２．１车牌自动识别系统汽车牌照自动识别系统是以汽车牌照为特定目标的专用计算机视觉系统，是计算机视觉和模式识别技术在智能交通领域应用的重要研究课题之一，它可广泛应用于交通流量检测，交通控制与诱导，机场、港口、小区的车辆管理，不停车自动收费，闯红灯等违章车辆监控以及车辆安全防盗等领域，具有广阔的应用前景。汽车牌照自动识别系统工作原理是：当车辆通过时，车辆检测装置受到触发，启动图像采集设备获取车辆的图像，并将图像传至计算机。由车牌定位模块提取车牌，字符分割模块对车牌上的字符进行切分，最后由字符识别模块进行字符识别并将识别结果送至监控中心或收费处等应用场合。车牌识别系统一般可顺序地分为车辆图像采集、车牌检测、车牌定位、字符分割和字符识别、及交通控制等一系列的处理模块Ｉｓ】．系统实现过程如图２．１所示．图２．１车牌识别系统流程图Ｆｉｇ．２．１ＰｒｏｃｅｄｕｒｅｏｆＬｉｃｅｎｓｅＰｌａｔｅＲｅｃｏｇｎｉｔｉｏｎｓｙｓｔｅｍ（１）图像采集模块：对视频图像进行Ａ／Ｄ变换，形成ＲＧＢ彩色图像，作为待处理的图像信息。（２）车辆检测模块：在一帧图像中，根据一定的规则判断图像中是否存在车辆，并寻找出车辆位置。（３）车牌定位模块：对车流图片进行车牌定位；精确的找到车牌位置。（４）字符切分模块：对车牌子图像进行单个字符的分割处理，分割出单个字符图像。（５）字符识别模块：对分割出的各个字符进行分类识别，晟后输出结果。（６）交通控制模块：依据字符识别模块的识别结果，进行交通控制处理，如车辆的收费或违章处罚等操作。车牌定位及字符分割、字符识别是整个车辆自动识别系统的灵魂，同时也是研究的难点所在【９Ｊ。２．２车牌图像的先验知识根据我国现行的管理制度，在我国境内道路上行使的所有机动车都必须安装、悬挂相应的机动车牌号。机动车车牌是准许机动车在我国境内道路上行驶的法定标志，其号一４一大连理工大学硕士学位论文码为机动车登记编号。目前国内使用的车牌主要是１９９２式车牌，其相应的标准为ＧＡ３６．１９９２《中华人民共和国机动车号牌》００］。该标准规定了各种车牌的尺寸、颜色、适用范围等要求，如表２．１所示。表２．１汽车牌照标准Ｔａｂ．２．１ＳｔａｎｄａｒｄｏｆｔｈｅｌｉｃｅｎｓｅｐｌａｔｅＧＡ３６—１９９２标准针对的是民用机动车的车牌样式，没有包括军警用车。军警用车的车牌底色为白色、黑字，个别字符用红色表示、黑框，尺寸和民用机动车一样。常见的１９９２式车牌的车前的尺寸都统一为４４０Ｘ１４０毫米（宽高比例为３．１４）。这个尺寸包括了整个车牌。根据ＧＡ３６－１９９２规定，车牌中字符区域的标准长度是４０９毫米，高度为９０毫米。相应的宽高比为４．５４。如果把车牌宽度４４０毫米全部计算在内，则得到相应的宽高比为４．８９。所以可以认为理想的车牌区域的宽高比的范围是【４．５４，４．８９】。从上表可以看出我国的车牌种类比较多，不像有些国家车牌式样比较统一。对于我国的车牌图像，灰度化以后图像的底色和字符也不能统一为黑底白字或白底黑字。因此一些国外的车牌定位算法对我国的车牌图像并不适用，而要考虑中国车牌的特点后进行改进。对一些采用颜色特征来定位的方法如果不做改进将根本无法使用。同时由于我国交通管制的不严格，车牌的污损现象比较严重，也对字符分割提出了更大的挑战。一５一复杂背景下车牌定位与字符分割算法研究２．２车牌自动识别技术研究现状车牌识别系统是建立在图像处理技术和模式识别技术的基础上的。在车牌自动识别系统中，车牌识别技术的特点和难点主要集中于软件算法的研发，具体的说，主要包括车牌定位、车牌字符分割和车牌字符识别的算法的研究．２．２．１车牌定位技术的研究现状在基于图像的汽车牌照自动识别技术中，车牌的快速准确定位是至关重要的一步。要从背景复杂的汽车图像中快速准确地将车牌分割出来是非常不易的，这主要要求定位算法对噪声、光照变化、车牌缺损等情况不敏感。车牌定位方法的一个共同出发点是通过牌照区域的特征来判断牌照。可利用的车牌特征可以概括如下：（１）车牌区域内的边缘灰度直方图统计特征：有两个明显且分离的分布中心．（２）车牌的几何特征：车牌的宽、高比例在一定范围内。（３）车牌区域的灰度分布特征：穿过车牌的水平直线其灰度呈现连续的峰、谷、峰的分布。（４）车牌区域水平或垂直投影特征：车牌区域水平或垂直投影呈现连续的峰、谷、峰的分布．（５）车牌形状特征和字符捧列格式特征：车牌有矩形边框，字符位于矩形框中且有间隔．（６）频谱特征：对图形作行或列的ＤＦＴ变换，其频谱图中包含车牌位置信息。除此之外，车牌字符的纹理特征、字符与背景之阋的灰度特征、车牌的字符颜色与底色的固定搭配、车牌的结构特征等越来越多地的车牌特征也正被发掘出来作为车牌定位算法的依据。传统的图像处理技术主要是基于灰度图像的，所以传统的图像分割方法也是基于灰度图像处理技术的。近几年图像采集设备有了很大的发展，目前车牌自动识别系统中采用的摄像机大部分能够采集到ＲＧＢ彩色图像，有些研究者提出了基于彩色图像的车牌定位方法。概括起来，目前的车牌定位方法按照其所用的主要牌照特征可分为四大类：（１）基于边缘检测的车牌定位方法【Ｉｌ】：该类方法特点是定位准确，但速度慢，漏检率高，误检率也高。该类方法最典型的如Ｖａｒｓｈａ勋匝“１２】等用Ｈｏｕｇｈ变换从车辆图像中检测到车牌的边框，实现车牌区域的定位。（２）基于水平方向纹理特征的车牌定位方法［１３，１４１：该类方法特点是速度快，漏检率低，但定位不够准确，误检率高。大连理工大学硕士学位论文（３）基于数学形态学的车牌定位方法【临’７】：该类方法特点是对于某些特定场景定位效果较好・但对背景要求相对简单．且受牌照字符与大小限制较大，速度较慢。该类方法最典型的如ＪｏｅＣ．Ｈ．ＰＯＯｈ！＂增用数学形态学的方法对车牌的二值化图像进行处理，实现定位。（４）基于车牌色彩特征的车牌定位方法【１蛆１】：该类方法特点是定位准确，精度高，但适应性差，对于偏色，以及背景颜色干扰等情况无法做出有效处理，因此～般不单独使用。该类方法最具代表性的如，Ｋｉｍ等［２２１将图像从ＲＧＢ颜色模型转换到ＨＬＳ颜色模型，再在瑚已Ｓ空问计算图像的特征用于车牌的定位：张引等提出了彩色边缘检测算子ＣｏｌｏｒＰｒｃｗｉｔｔ和彩色边缘检测与区域生长相结合的车牌定位算法ＣｏｌｏｒＬＰ。其他还有例如基于小波分析１∞－２４１，神经网络方法［２５１等等，最具代表性的有：王建平瞄】等将车辆灰度图像进行小波分析和高频重构，然后对所取得的重构信息投影，得到车牌区域的位置：Ｓｉｒｉｔｈｉｎａｐｈｏｎｇ＿【２７】等采用四层神经网络从车辆图像中分割出车牌。这些算法都是基于车牌的一些具体特征来研究车牌的定位，因而具有一定的针对性和局限性．同时由于算法本身的复杂性，使得计算时间过长，不适合实际的应用。虽然上述各种车牌定位算法都具有一定的实用性和参考价值，但大都具有一定的针对性和局限性，背景要求比较简单。不能满足当今背景复杂、干扰多等实际场合应用要求。因此对实用的复杂背景下的车牌定位方法需要做进一步研究，设计一套快速性好、鲁棒性强、识别率高的定位算法仍然是值得探索的领域．２．２．２车牌分割技术的研究现状字符分割阶段的主要任务是将汽车牌照中的字符子图像块逐个提取出来，送给后续字符识别阶段进行识别。目前常用的车牌字符分割算法主要有以下三种：垂直投影法［丝４０ｌ、连通区域法［３１－３３１和静态边界法【Ｈ筇】。下面就对三种算法分别阐述。（１）垂直投影法垂直投影法利用了字符块在垂直方向上的投影必然在正确的分割位置上（即字符或者字符内的间隙处）取得了局部最小值，且这个位置要满足车牌照字符规则和字符尺寸限制。对车牌照区域作垂直方向上投影，首先在水平方向上从左至右检测各坐标的垂直投影数值，当找到第一个局部最小值点的时候，认为这个点是最左面字符的边界。然后在水平方向上从右至左检测坐标的垂直投影数值，当找到第一个局部最小值点的时候，认为这个点是最右面字符的边界。得到两边字符的边界之后，用同样方法可以找到每个字符的边界。如果单纯采用垂直投影法进行车牌字符分割，很容易产生字符切分过度的复杂背景下车牌定位与字符分割算法研究现象，即将一个字符的切分成了两块。因为有的字符的中问部分有可能会出现局部的极小值点，如汉字中的。川”，英文字符中的“Ｍ”，这些字符都很可能被过度切分，因此采用垂直投影法一定要首先确定好切分宽度阂值和投影最小值的标准，而它们的取值对于实际情况的依赖较强，并不容易确定。（２）连通区域法采用基于连通域的切分方法是利用了每个字符或字符的一部分构成连通域的特性，把这些连通域切分出来，也就切分出了车牌字符。因为通常情况下车牌上的字符除汉字外，其它的都是字母或数字，它们在理想状态下是全连通的，这样就可以使用连通域的方法来对车牌字符进行分割，而第一个字符可以利用其与后续字符的相对关系，排列规则等信息实现切分。但在实际情况中，车牌区域内往往存在着很多的噪声区域，这些区域与车牌中的字符线条粘连在了一起，使字符的连通域特性变得很不规范，甚至有的时候车牌中的很多字符与车牌上下边框粘连成一个很大的连通区域，如果仍然使用连通区域法进行车牌字符分割将很难得到令人满意的结果。（３）模板匹配法模板匹配法认为定位阶段提取的车牌区域就是车牌的精确位置，即车牌的边界已经准确的定位。利用车牌本身存在的模板特征来分割车牌，但是事实上这对于车牌定位阶段的要求过高，因为定位阶段所能得到的区域边界很难恰好是真正的车牌边界，这就使得应用其进行字符分割的误差较大。有时分割结果可能产生偏移，严重的影响了分割的准确性，而且一旦出现偏移，分割得到的所有字符图像都将是错误的，这时识别结果的可信性将难以保障。但是如果在此基础上加之动态的边界匹配规则，分割准确率会大大的提高，这也正是本文提出的混合分割算法考虑的出发点．２．２．３字符识别技术的研究现状车牌字符识别包括汉字、英文字母和数字的识别技术，一般来说车牌字符识别问题属于印刷体字符的识别问题，但是由于摄像机的性能、车牌的整洁度、光照条件、拍摄时的倾斜角度及车辆运动等因素的影响使牌照中的字符可能出现比较严重的模糊、歪斜、缺损或污迹干扰，这些都给字符识别带来了难度。尽管如此也有大量的学者从事车牌字符识别研究。现己有了一些比较成熟的方法：（１）模板匹配法【３６，３７１模板匹配是图像识别方法中具有代表性的基本方法之一，它是将待识别的字符图像或图像区域ｆＣｉ，ｊ）中提取的若干特征量与ＭｘＮ的模板图像ＴＣｉ，ｊ）中相应的特征量进行点对点比较，计算它们之间规格化的互相关量，其中互相关量最大的一个就表示其相似程度最高，可将图像归于相应的类。模板匹配通常事先建立标准模板库，模板库中的标准模板通常是二值化的数字模板，（０表示背景，１表示字符）并且图像模板大小相同．＿８．大连理工大学硕士学位论文此方法实现简单，当字符较规整时对有少量缺损、污迹干扰等情况的字符图像其适应力比较强，但是对字符图像的旋转、缩放、倾斜、变形等情况的识别容忍度较低，很容易产生误识别。文献【３６皖出了基于模板匹配和神经网络的车牌字符识别方法，该方法集成了模板匹配识别车牌字符和神经网络识别车牌字符的各自优势。对于字符可单独分割出来的一类车牌和字符不可分割或分割困难的另一类车牌，分别采用神经网络和加权模板匹配方法进行识别。从而克服了单一方法很难同时识别这两类车牌中字符的不足，有效地提高车牌字符的识别效率。（２）神经网络法【３ｓ）９】用神经网络法来识别字符分为两个阶段：学习阶段（也ｎｑｉＪｉｌ练阶段）和识别阶段。在学习阶段，输入要学习的样本，按照网络初始设定的权重、阈值及传输函数进行计算，得出每一层神经元的输出，这是从底向上进行的；通过理想输出与最高层输出之间的误差来决定是否对权重、阈值进行修改，这个修改是从高层向下进行的；两个过程反复进行，直到网络收敛为止，权重的学习就是不断调整各个神经元的连接强度，使其能在最小二乘的意义上逼近所对应的输出。经过训练后的网络就可以工作了，对其某一个输入，可以让它认知，达到识别的效果。这种方法的训练网络往往难以收敛，当待识别的类型很多时不仅会严重耗时，而且难以取得理想结果。文献［３８１１３９］给出了基于神经网络的车牌字符识别方法，对于解析度较高（车牌区宽度不小于１２０个象素）和图像比较清晰的车牌，这些神经网络方法能有效地识别车牌中的字符，但对于较低解析度和较为模糊的车牌以上方法是无能为力的，因为这些方法只有在车牌中的每一字符独立分割出来的前提下才能完成识别工作，而独立分割车牌取得字符，对较低解析度和较为模糊的车牌来说是非常困难甚至是不可能的。（３）统计特征法［４０ＡＩ】该方法通过分析字符笔画的方向特征或结构特征，或者字符象素点在图像中的分布情况，或者计算字符图像的全部或部分的期望与方差等等抽取特征的方法，相应地设计各种分类器，来实现字符识别。这种方法虽然对字符的旋转、缩放、变形等具有一定的容忍度，但对字符的短小细节处理分辨率不够，实现起来有困难，许多方法尚在探索之中，总体识别率较低。车牌字符识别的研究在技术上已经取得了很大突破，然而离实用化要求还相差很远，许多新方法仅停留在理论和文章上或者限定在比较狭窄的约束范围内，并不能以产品的形式大范围投入使用。因而车牌字符识别的研究仍然有很长的路要走。复杂背景下车牌定位与字符分割算法研究３车牌定位上一章对目前存在的一些车牌定位方法进行了简要介绍，由于车牌背景的复杂性与车牌特征的多样性，迄今为止，仍没有一个完全通用的智能化车牌提取方法。大多数提取方法局限于某个侧面问题的解决，如牌照的倾斜、光照的干扰，噪声的影响等，离实际应用尚有比较大的距离。因此，如何把现有的研究成果结合起来，同时考虑到现有设备的工作能力。使车牌识别系统具有良好的性能和识别速度是当前研究的方向。本章充分利用车牌的多重特征，设计出了一种快速自适应的车牌定位方法。该方法首先对车牌图像进行彩色边缘检测，然后提出了一种基于扫描线的多尺度模板滤波方法，有效的消除了复杂背景造成的干扰。接着通过形态学运算形成若干闭合区域，接下来本文采用种子搜索标号的连通域分析的方法去除不满足车牌几何特性的区域，最后对剩下的候选区域进行ＨＳＶ空间的色彩匹配分析，从而实现了复杂背景下的车牌定位。３．１车流图像预处理通过ＣＣＤ摄像机或数码相机等设备拍摄的汽车图像以ＢＭＰ位图格式存放在计算机中，在预处理前的图像都是彩色图像。彩色图像又称ＲＧＢ图像，它是利用Ｒ，Ｇ，Ｂ３个分量表示一个像素的颜色，Ｒ，Ｇ。Ｂ分别代表红、绿、蓝３种不同的颜色。通过三基色可以合成出任一颜色。所以对于一个尺寸为ｍｘｎ的彩色图像来说，存储为一个１３３ｘｎ×３的多维数组。由于彩色图像中所含的信息比较分散，而且数据处理量很大，因此我们需要首先对车流彩色图像进行预处理．目的是为了更好的利用车牌的某些特征将车牌从图像中突显出来，为后续的车牌定位打好基础。本节将介绍本文采用的车流图像预处理方法，主要包括边缘检测、二值化和多尺度模板滤波处理．３．１．１图像水平梯度化边缘是图像最基本的特征之一，是图像分割、纹理分析及图像识别所依赖的重要依据。在汽车图像中，牌照区域内含有丰富的边缘包括水平边缘、垂直边缘和斜向边缘，而其它区域则很少具有这个特点，故可通过边缘检测技术来寻找存在较多边缘的区域，来很好的突现车牌区域的水平梯度特征，从而使其与背景图像有效的分开。边缘提取可以基于灰度图像，也可以基于彩色图像，本文对这两种情况都进行了研究并进行了实验对比．（１）灰度边缘检测在灰度图像上提取边缘，首先需要对车流彩色图像进行灰度变换，在ＲＧＢ模型中，如果Ｒ＝Ｇ＝Ｂ，则颜色表示一种灰度颜色，其中Ｒ＝Ｃ．ｒ＝Ｂ的值叫做灰度值。存储灰度图像大连理工大学硕士学位论文只需要一个数据矩阵，矩阵的每个像素表示对应位置的像素的灰度值。彩色图像的像素为ＲＧＢ（Ｒ，Ｇ，Ｂ），灰度图像的像素为ＲＧＢ（ｒ，ｒ，ｒ），Ｒ，Ｇ，Ｂ可由彩色图像的颜色分解获得。而Ｒ，Ｇ，Ｂ的取值范围是０－２５５，所以灰度的级别只有２５６级。灰度化的处理方法主要有如下三种：①最大值法：使Ｒ，Ｇ，Ｂ的值等于三值中最大的一个，即Ｂ②平均值法：使Ｒ，Ｇ，Ｂ的值等于三值和的平均值，即Ｂ（Ｒ＋Ｇ＋Ｂ）／３（３．２）Ｒ…ＧＲ…Ｇｍａｘ（Ｒ，Ｇ，Ｂ）（３．１）③加权平均值法：根据重要性或其它指标给Ｒ，Ｇ，Ｂ赋予不同的权值，并使Ｒ，Ｇ，Ｂ等十它们的值的加权和平均，即Ｒ＝Ｇ＝Ｂ＝（ＷｒｘＲ＋ＷｇｘＧ＋Ｗｂｘ曰１／３（３．３）其中聊，赡，Ｗｂ分别为Ｒ，Ｇ，Ｂ的权值。由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，Ｗｒ＝０．２２９，Ｗｇ＝０．５８７，Ｗｂ＝０．１１４时，能得到最合理的灰度图像。对于图３．１的彩色图像，灰度化实验结果如图３．２所示。幽３．１原彩色幽像Ｆｉｇ．３．１Ｓｏｕｒｃｅｃｏｌｏｒｉｍａｇｅ图３．２灰度图像Ｆｉｇ．３．２Ｇｒａｙｉｍａｇｏ灰度图像中的边缘信息是指灰度强度有反差变化的那些像素点的集合。人的眼睛一般只能分辨大约４０级的灰度。这意味着如果黑与白之问的灰度范围被分为了超过４０个以上的等分，相邻的灰度级对人眼来说可能看起来就会是相同的。然而，视网膜有一种内在的边缘增强能力，使眼睛能检测出远小于总范围１／４０的灰度跃变。考虑一组按灰度级从黑到白顺序排列的２５６个正方形区域，我们很容易便能看到相邻正方形之问存在的边界，即使其灰度差别仅是２５６级中的１级。但是，如果用一个窄条盖住了相邻两个正复杂背景下车牌定位与字符分割算法研究方形间的边界，那么这两个正方形看起来就会具有相同的亮度。也就是说，人眼所能看到的是灰度图像中存在的边缘信息而不是灰度级上的差别【４２】，下边就介绍几种典型的基于灰度图像上的边缘提取算子以及它们的边缘提取效果。常用边缘检测方法的基础是微分运算，边缘点对应于一阶微分幅度大的点，或对应于二阶微分的过零点．①一阶微分在连续情况下，函数ｆ（ｘ，Ｙ）在ｘ，ｙ两个方向上的导数形成一个矢量：彭ｔｘ，协缸Ｖ，．（而ｙ）＝Ｌ‘，．，：】７＝矿“ｙ）砂（３．４）我们知道，梯度方向是方向导数最大的方向，也是函数值变化最快的方向，其方向角度凡吃＝郜ｃｔａ《７形）即于工轴的夹角，在该方向上的变化率为如加ＩｖＩ（工，ｙ）ｌ＝√（翌警）２＋ｐ字）２称为梯度算子，常被简化为（３．５）譬ｋｙ）＝㈨＋川对于数字图像。用差分代替微分。则（３。６’正＝正“ｙ）＝ｆ（ｘ，ｙ）－ｆ（ｘ－Ｉ，力＾＝工（工，Ｙ）＝ｆ（ｘ，ｙ）－ｆ（ｘ，．ｖ－１）（３．７）（３．８）表３．１列出的是一些常用的边缘检测算子形式。用Ｈｌ、Ｈ２表示的模板分别与图像进行卷积运算，可得到Ｚ和Ｌ，最后计算梯度ｇ。设定阈值Ｔ，梯度ｇ大于Ｔ的点则被认为是阶跃型边缘点．②二阶微分Ｌ印ｌａ∞算子是一种二阶微分算子，对于连续函数ｆ（ｘ，ｙ），它定义为：俨厂＝軎＋窘６口ｒＣｒＩ，一（３．９）可以证明，它具有各向同性．即与坐标轴方向无关，坐标轴旋转后结果不变。若Ｖ２ｆ（ｘ，ｙ）在（】【，ｙ）点发生零交叉，则（ｘ，ｙ）点为阶跃型边缘点．大连理工大学硕士学位论文表３．１常见边缘检测算子Ｔａｂ．３．１Ｇｅｎｅｒａｌｅｄｇｅｄｅｔｅｃ：ｔｃ，ｒ儿［；÷；］儿㈥由于ｔ丑ｐｌａｃｅ算子是二阶微分算子，它对噪声更加敏感，需要想办法解决这个问题，一种解决方法是用Ｉ，ａｐｌａｃ蟹－ｏａｕｓｓ算予Ｖ２Ｇ对图像进行卷积运算。设高斯型滤波器的空Ｇ“唧（一等］Ｖ２Ｇ＝等等＝盟孚叫哪（一等）协埘‰Ⅲ复杂背景下车牌定位与字符分割算法研究用Ｖ２Ｇ算子对图像进行处理后，找边缘点的问题就相当于找它的零交叉点。零交叉点的斜率和方向反映了原图像边缘的强度与方向。利用上述的常用灰度边缘算子，对图３．２的车流灰度图像进行水平边缘提取，实验结果如下图３．３所示。图３．３灰度图像边缘检测结果Ｆｉｇ．３．３Ｒｅｍｄｔｏｆｅｄｇｅ－ｄｅｃｔｅｃｔｉｎｇＯｉｌｇｒａｙｉｔｌ｜ａ；ｇＣ从图中我们可以看出，利用Ｓｏｂｅｌ算子和Ｐｒｅｗｉｔｔ算子得到的边缘图像中噪声点过多，同时车牌内部的边缘信息却过于分散，不利于通过连通域分析的方法进行车牌定位。而采用Ｒｏｂｅｒｔ算子和Ｌａｐｌａｃｅ算子得到的边缘图像中，车牌区域并没有被很好突现出来，而且背景干扰区域很多，很难进行车牌定位操作．（２）彩色边缘检测传统的边缘检测方法是对于灰度图像进行运算，但是由于图像的亮度和色彩所反映的边缘并不一直重合，往往会出现多边缘或者宽边缘的情况，这将影响彩色图像边缘检测的效果。在这种情形下，张引等人提出基于彩色图像上的边缘检测ＣｏｌｏｒＰｒｅｗｉｔｔ算子１２０１和ＣｏｌｏｒＲｏｂｅｒｔ算子１４３１。大连理工大学硕士学位论文表３．１常见边缘检测算子Ｔａｂ．３．１Ｇｅｎｅｒａｌｅｄｇｅｄｅｔｅｃ：ｔｃ，ｒ儿［；÷；］儿㈥由于ｔ丑ｐｌａｃｅ算子是二阶微分算子，它对噪声更加敏感，需要想办法解决这个问题，一种解决方法是用Ｉ，ａｐｌａｃ蟹－ｏａｕｓｓ算予Ｖ２Ｇ对图像进行卷积运算。设高斯型滤波器的空Ｇ“唧（一等］Ｖ２Ｇ＝等等＝盟孚叫哪（一等）协埘‰Ⅲ复杂背景下车牌定位与字符分割算法研究图３。５Ｆｉｇ．３．５ＣｏＵｒｔＣｏｌｏｒＰｒｅｗｉｔｔ东平边缘检测ｈｏｒｉｚｏｎｔａｌｅｄｇｅ－ｄｍｅｃ＿ｉｎｇ３．１．２梯度图像的二值化本文提出的汽车牌照定位方法是基于二值梯度空问的，因此我们需要首先将上面得到的梯度图像转换成二值梯度图像。面且，对梯度图像进行二值化同时也可以有效滤掉梯度值较低的干扰区域。二值化算法又称为阈值算法，其目的就是要找出一个合适的阈值，将待处理的区域划分为前景和背景两个部分。本文认为车牌区域是车流图像的前景区，其他的部分都看成是背景区．因此简单来说，对于梯度图像的二值化实际上就是确定一个最佳的分割阙值。假设水平梯度图像为Ｍ行Ｎ列，用ｆ（ｘ，ｙ）（ｏｓ工（Ｍ，０ｓｙ＜Ⅳ＇ｘ和ｙ均为整数）来表示某像素点的梯度值，则二值化处理准则如式（３．１３）所示．ｍ力书八毛）．）＞Ｔ／（五ｙ）ｓＴ（３．１３）本文采用Ｏｓｔｕ算法进行二值化处理。它是在判别最小二乘法的基础上推导出来的．基本思想是：取一个阈值ｔ，将图像中的像素按梯度分为大于等于ｌ和小于ｔ的两类，然后求出两类像素的均值方差辞（类间方差）和两个类各自的均方差砰（类内方差），找出使两个方差比群／研最大的阈值ｔ，该阈值即为二值化图像的最佳阈值。这种方法不论图像的直方图有无明显的双峰，都能得到较为满意的效果，因此这种方法是阔值自动选取的较优方法。设给定图像具有ｌ，２，３，…，Ｌ，共Ｌ级梯度，阈值设为ｋ，把梯度大于ｋ和小于ｋ的像素分为两类．类１中的像素总数为嘭（七），平均梯度为肘。（Ｊ｝），方差为辞（Ｊｉ｝）；类大连理工大学硕士学位论文２中的像素总数为％（七），平均梯度为Ｍ：＠），方差为霹仲），图像中所有像素的平均梯度值为』ｌ，，。类间方差６；和类内方差雹分别由式（３．１４）和（３．１５）计算・《一暇Ⅲ。－Ｍ，）２＋％∽：一Ｍ，）２６：：暇砰＋％霹利用Ｏｓｔｕ全局阈值法对梯度图像进行二值化，算法描述如下：输入：梯度图像输出：阈值ｋ算法：（１）求得图像中最大的梯度ｍ强；（２）令ｋ－－－Ｏ；（３）求出大于和小于ｋ的两类像素总数和像素的梯度平均值；（３．１４）（３．ＩＳ）（４）利用式（３．１４）和式（３．１５）计算出类ｌ＇ａＪＪｊ＂差露和类内方差西；（５）ｋ＝ｋ＋ｌ，循环３－５步，直到ｋ＞ｍａｘ；（６）找出露／砑最大的值，得到相应的阈值ｋ采用此算法可以根据梯度图像的实际情况进行动态二值化，当梯度图像直方图曲线没有明显的两个波峰的时候，仍然能够取得较好的二值化效果，而且实现起来相对简单，时『白】消耗少。原梯度图像二值化后的结果如图３．６所示，图中车牌区域很好的突现出来，其他干扰区域也得到了抑制。幽３．６一值化矧像Ｆｉｇ．３．６Ｂｉｎａｒｙ掣１ｄｉｍａｇｅ复杂背景下车牌定位与字符分割算法研究３．１．３梯度图像的滤波由于二值梯度图像中存在着许多孤立的噪声点，这些噪声点将引起后续连通域分析阶段运算量不必要的增加，同时也会带来一些意想不到的连通区域，给后续的车牌定位造成很大的困难。因此需要采取一定的处理手段对上而得到的二值梯度图像进行平滑滤波，去除这些没有信息的孤立噪声。本文受传统的扫描线定位算法的启发，提出了一种扫描线结合模板匹配的滤波算法，利用了车牌区域梯度图像的连续性和统计特性来去除大量背景干扰，为以后的定位分析带来方便。首先．分析车牌区域特性可知：车牌区域行相比其它非车牌区域行。它体现出的特性就是：连续数行的跳变点间距和跳变次数大于一定次数，通常为１４以上，因为车牌中含有７个字符，每个字符有两个以上跳变；而且车牌区域字符之间的距离有一定的范围，根据以上特性，把不满足此要求的行当作噪声去除掉。具体的算法设计时，为了防止字符的断裂、模糊、车牌倾斜等影响，本文设车牌区域跳变点数为１０．采用从左到右，从上到下的顺序扫描，算法描述如下：（１）从图像的顶端开始向下依次扫描各行像素的跳变点，如果某行有连续１０个以上跳变点、前一个跳变点和后一个跳变点的距离在一定范围内，并且满足要求的跳变点的长度同样满足要求，就记录下此行的位置。（２）设符合（１）条件的连续行的条数为Ｎ，若Ｎ大于设定阈值，就认为这Ｎ个连续行所在的区域是车牌候选区域。记录下此连续行的结束行的行坐标，将不满足要求的行区间像素置０。流程图如图３。７所示，其中Ｂ【ｉ】，Ｅ【ｉ】为满足要求的行区间ｉ开始和结束的行坐标。接着，我们采用模板匹配的思想设计滤波器，来继续去除候选行噪声区域，因为车牌区域的边缘在竖直方向上都是连通的，并且集中在很小的区间内，这样，连续的行扫描跳变点检测后的面积为肌ｉ・ｎｊ的模板区域（％＝Ｅ【ｊ】－Ｂ【ｉ】，即行扫描后满足要求的第ｆ个区域的宽度，罐。为设定的车牌长度，和历；满足车牌长宽比），我们用模板内的跳变点数作为车辆牌照子区域的定位特性，计算的模板密度既指：ｘ‘Ｅｌｉ—ｌ，ｙ－，＋～口．．』型盘生—————————一’）ｉ＝Ｉ（ｇＯ，ｙ）－ｇ（（ｘ一１），），）Ｉ（３．１６）惕。％车辆牌照子区域里的跳变点之和的密度应该大于一定的阈值。如果此密度大于设定阈值，将模板中心点置１，否则为０：将模板中心为。的区域像素置ｏ。经过本算法扫描处理后，大量和车牌无关的信息已经去除，结果如图３．８所示大连理工大学硕士学位论文图３．７扫描线确定水平候选区域流程图Ｆｉ辱３．７Ｓｏｕｒｃｅｃａａｄｉｄａｔｅ糊∞∞∞ｂｙＳｃａｎｌｉｎｅ幽３．８平滑后二值梯度幽像Ｆｉｇ．３．８Ｂｉｎａｒｙｇｒａｙｉｍａｇｅａｎ日舢ｔｈｉａｇ—１９一复杂背景下车牌定位与字符分割算法研究３．２区域连通及标记筛选经过以上的图像处理后，接着对图像进行数学形态学的各种运算。可以形成许多的连通区域。利用车牌拥有固定的长宽比这一形状特性，约为３：１，并且车牌的尺寸有一定的范围，可以删除很多连通区域，为后续的车牌区域的精确定位打下良好的基础。３．２．１形态学运算概述形态学图像处理是图像处理的一个重要研究领埘卅。它的基本思想是利用一个称作结构元素的探针来收集图像信息。当探针在图像中不断移动时，可以通过考察图像各个部分的相互关系来了解图像各部分的结构特征，数学形态学最基本的形态运算是腐蚀和膨胀二值图像的膨胀和腐蚀。按照定义，二值图像上目标边界点是指位于目标内部、且至少有一个邻点位于目标之外的像素。若用Ｂ代表结构元素，Ａ代表图像集合，则Ａ被Ｂ腐蚀定义为ＡＯＢ＝㈦（曰）：∈Ａ｝（３．１７）上式表明Ａ用Ｂ腐蚀的结果是所有Ｚ集合，其中Ｂ平移Ｚ后仍在Ａ中。换句话说，用Ｂ来腐蚀Ａ得到的集合是：集合Ｂ平移后完全包含在Ａ内时位移的集合。腐蚀运算的作用是消除物体的边界点，它可以把小于结构元素的物体去掉，处理结果会使目标缩小，孔洞增大。Ａ被Ｂ膨胀的定义为Ａ（ＤＢ＝川雪）：ｎ彳≠ａ｝（３．１８）上式表明用Ｂ膨胀Ａ的过程是：先对Ｂ取关于原点的映射雪，再将亩平移Ｚ，这里Ａ与Ｂ平移后的映象交集小为空。换句话说，用Ｂ来膨胀Ａ所得到的集合是：当映射雪平移后与集合Ａ至少有一个非零元素相交时位移Ｚ的集合。膨胀运算的作用是将目标物体周围的背景点合并到物体中，处理结果会使目标增大，孔洞缩小，从而形成连通区域。由膨胀和腐蚀的定义，可以进一步导出形态学的另外两种重要算子即开运算和闭运算的定义开运算：■ｏＢ＝（ＡＯＢ）ｏＢ闭运算：彳・丑＝（彳ｏＢ）ＯＢ开运算是Ｂ对Ａ先腐蚀后膨胀．可以消除细小突出，在纤细处分离物体，削弱狭窄的部分以及平滑较大物体的边界。闭运算是Ｂ对Ａ先膨胀后腐蚀。可以填充物体内的细小孔洞，熔合窄的缺口和细长的弯口，填补轮廓缝隙，连接邻近物体以及平滑物体的边界．大连理工大学硕士学位论文３．２．２对二值梯度图像进行形态学运算本文依据数学形态学这些算法的特征和功能对上一步得到的滤波后的垂直边缘二值图像进行形态学运算，根据背景复杂程度等情况的不同，得到的是含一个或多个候选连通区域。本文采用的结构元素Ｂ如图３．９所示，即若二值梯度图像中某个像素点为白点，则对于其左右两侧的像素点，无论先前梯度值如何都将它们置为白点。运用图３．９所示的膨胀算子对图像进行水平方向上的少量扩张，将能够有效的使车牌区域内分散的白点重新粘连起来，为进一步的连通域分析方法做好准备。图３．９膨胀算子Ｆｉｇ．３．９Ｄｉｌａｔｉｏｎｏｐｅｒａｔｏｒ本文只采用了步长为２的短膨胀，即只运用上述膨胀算子进行二次的水平扩张，因为在实验中我们发现如果采用多次膨胀很可能产生车牌区域与干扰区域过度粘连的现象，如当我们运用步长为３（膨胀三次）的水平膨胀时，二值梯度图像产生了如图３．１０的图１）所示车牌左边缘与保险杠粘连的现象，而一次膨胀车牌区域有时不能形成一个闭合整体，如图３．１０中图２）所示。１）三次膨胀产生过度粘连２）一次膨胀朱形成｜＝Ｉｊ合区域图３．１０不同膨胀步长的变换结果Ｆｉｇ．３．１０Ｔｒａｍｌａｔｉｎｇｒｅｓｕｌｔｕｎｄｅｒｄｉｆｆｅｒｅｎｔｄｉｌａｔｉｎｇｓｔｅｐ复杂背景下车牌定位与字符分割算法研究对图３．８所示的二值梯度图像进行步长为２的膨胀处理后，膨胀结果如图３．１１所示。从图中我们看到，图像中边缘较为集中的位置形成了若干连通区域。可以对连通区域进行进一步处理达到定位车牌的目的。通过后续的实验证明，本结构算子对于绝大多数的图像都有和很好的效果Ｉ！｝ｌ３．１１膨胀后的结果Ｆｉｇ．３．１１ＲｅｓｕｌｔａＲｅｒｄｉｌａ［ｉｏｌｌ３．２．３连通域标记筛选由于背景复杂，膨胀后图像的连通区域较多。通过观察发现，多个连通的目标区域其体态特性与车牌的体态特性存在较大差异，我们可以先对图３．１ｌ进行连通域标记，再对标记得到的各个连通域进行体态分析，如连通域长宽比，面积等，排除体态特征不符合的区域。考虑到数学形态学运算可能会去除车牌的边框线，造成车牌对应的连通域变扁的情况，长宽比的容许范围较大（单排字符车牌为２２／７４－０．８．双捧字符车牌为１８／１１±０．５）。具体的算法我们采用文献【４５１提出的种子搜索标号法算法所用的数据结构如下：用于保存各连通域信息的链表结构：ｓＲ＇ｕｃｔＬｉｎｋｈｅａｌｅｒ｛ｉｎｌｎＡｒｅａ；／／面积，即连通域像素数目ＰＯＩＮＴｔｏｐＬｅａ，ｔｏｐＲｉｇｈｔ；／／连通域四个角点坐标ＰＯＩＮＴｂｏｔｔｏｍＬｅｆｔ，ｂｏｔｔｏｍＲｉｇｈｔ：ｉｎｔｎＷｉｄｔｈ，ｎＨｃｉｇｈｔ；／／连通域宽度和高度ＢＯＯＬｂＦｌａｇ；／／是否符合标准车牌体态特征标识Ｌｉｎｋｎｏｄｅ＊ｐＮｏｄｅ；／／指向构成连通域所有像素链表的表头指针Ｔａｂｌｅ—ｈｅａｄｅｒ＊ｐＮｏｘｔ；｝－２２－天硅埋ｌ天罕明士字但记Ｘ用于保存连通域内像素点坐标的链表结构：ｓｔｒｕｃｔＬｉｎｋ＿ｎｏｄｅ｛ＰＯＩＮＴＬｉｎｋｎｏｄｅ；／／像素坐标ｎｏｄｅ＋ｐＮｅｘｔ；／／下～像素｝修改过的种子搜索标号算法描述如下：（１）初始化连通域链表、堆栈及辅助访问标识区。（２）从左至右、从上至下扫描各像素点，若该点为目标色且未被访问过，则将其压栈。同时设置该点已访问标识，并新建一个连通域链表表头节点Ｌｉｎｋ所指的子链表中。②访问弹出像素点的８临域像素，若访问点为目标色且未被访问，则将其压栈，同时设置该点已访问标识。ｈｅａｄｅｒ．ｈｅａｄｅｒ－＞ｐＮｏｄｅ①若栈非空，则弹栈，同时新建一个Ｌｉｎｋ＿ｎ伽ｌｃ节点，将其加至Ｌｉｎｋ⑧跳转至①，重复出栈压栈操作，直至栈空。＋（３）遍历链表，填充连通域链表各节点成员值。对ｂＦＩａｇ＝ＦＡＬＳＥ的连通域将其所指向的所有像素全部设置为背景色（黑色）。对每一个目标色像素点，我们只当其未被访问过时压栈，这样算法与文献【４５１的种子搜索标号法相比大大减少了压栈出栈以及循环的次数。通过体态分析后的结果图像如图３．１２所示，通过面积过滤，我们过滤掉了那些过小和比例不满足要求的区域，使得车牌所在连通域的范围进一步缩小。图３．１２区域标记筛选后的图像Ｆｉｇ．３．１２ｌｌＢａｇｅａｆｔｅｒｆｉｌｔｒａｔｉｏｎ复杂背景下车牌定位与字符分割算法研究３．３基于ＨＳＶ彩色模型的车牌精确定位经过车牌搜索过程后，我们一般会得到几个候选车牌区域（通常候选区域数小于５个）。车牌色彩信息是汽车牌照重要的特征之一，我国几个种类的车牌都有着固定的字符与背景的配色方案（见２．２节）。在研究车牌定位方法的历程中许多学者也利用过车牌的色彩特征，本文在车牌的精确定位阶段想到了车牌的配色特征，同时考虑到有些伪区域也可能满足配色特征，对车牌内两种像素点的比值的范围也进行了试验确定。３．３．１Ｈ．Ｗ色彩模型基本原理从数码相机或数码摄相机输入的彩色图像大多数是以ＲＧＢ位图格式存储的，单纯地利用ＲＧＢ模型，很难进行彩色图像处理【．町。因此，要对彩色车牌照进行颜色判别，需要将这种模型转化到另外一个对色彩识别更为方便的空间中去。我们为方便颜色的提取和对比采用了在视频中使用比较广泛的ＨＳＶ颜色模型。ＨＳＶ模型是面向视觉感知的彩色模型，与人类颜色感知比较接近。在ＨＳＶ模型中，Ｈ表示色调，ｓ表示饱和度，Ｖ表示成像亮度，Ｈ和ｓ合称为色度，记录图像的彩色信息，色度与光照无关。ＨＳＶ色彩空间可以用一个六棱锥空间模型来描述，其以亮度Ｖ为纵轴，色调Ｈ为绕着圆锥截面度量的色环，色饱和度ｓ为穿过中心的半径横轴。亮度值是沿着圆锥的轴线度量的，沿着圆锥轴线上的点表示完全不饱和的颜色。按照不同的灰度等级，最亮点为纯白色，最暗点为纯黑色。圆锥截面的圆周一圈上的颜色为完全饱和的纯颜色。用这种描述ＨＳＶ色彩空间的圆锥模型虽然复杂，但确能把色调、亮度和色饱和度的变化情形表现得很清楚。通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩处理和识别，人的视觉系统经常采用ＨＳＶ色彩空间，它比ＲＧＢ色彩空问更符合人的视觉特性。在图像处理和计算机视觉中大量算法都可在ＨＳＶ色彩空间中方便地使用，它们可以分开处理而且是相互独立的。因此，在ＨＳＶ色彩空间可以大大简化图像分析和处理的工作量。ＨＳＶ色彩空问和ＲＧＢ色彩空间只是同一物理量的不同表示法，因而它们之间存在着转换关系，如公式（３．１９）所示。Ｖ＝ｍａｘ（Ｒ，Ｇ，研弘ｌｏ。Ｉ［ｍａｘ（Ｒ，Ｇ，Ｓ）－ｍｉｎｔＲ，Ｇ，Ｓ）］／ｍａｘ（Ｒ，Ｇ，功ｍ川Ｒ，Ｇ，口）≠０ｔ＇ｑ，ｎ、ｍａｘ（Ｓ，Ｇ，功；０”１。’大连理工大学：顷士学位论文（Ｇ一口）×石３，，［ｍａｘ（Ｒ，Ｇ，口）一ｍｉｎ（Ｒ，Ｇ，Ｂ）Ｉ（曰－Ｒ）ｘｕＨ一Ｒ—ｍａｘ（ｓ，Ｇ，口）３ｘ［ｍａｘ（Ｒ，Ｇ，君）一ｍｉｎ（Ｒ，Ｇ，硼（Ｒ—Ｇ）×石Ｇ—ｍａｘ（Ｒ，Ｇ，口）Ｂ－ｍａｘ（Ｒ，Ｇ，口）３ｘ［ｍａｘ（Ｒ，Ｇ，口）一ｍｉｎ（Ｒ，Ｇ，曰）】ｕｎｄｅｆｉｎｅｄ３．３．２算法流程Ｒ－Ｇ－Ｂ因为在通过拍摄得到的车流图像中，由于车牌新旧、磨损状况、光照强度等众多因素的影响，不同车牌图像的亮度很难达到稳定的统一，而ＨＳＶ彩色模型恰恰可以单独考虑车牌图像中每个象素点的色调、亮度以及饱和度，这给车牌区域的色彩判断与分割带来了很大的方便。由于我国车牌包含了四种不同的配色方案，分别为蓝底白字（以下简称为蓝牌）、黄底黑字（黄牌）、白底黑字（自牌）和黑底白字（黑牌）。通过大量实验并参考文献１４６１１４７１在Ｈｅ［０，３６０］，Ｓｅ［０，１】，Ｖｅｌ０，２５５１变化范围内，得出了四种颜色ＨＳＶ分量分布范围如表３．２所示。表３．２Ｔａｂ．３．２ＨＳＶ三分量范围（一表示该值不予考虑）ｓｃＨＳＶｄｉｓｔｒｉｂｕｔｉｎｇｏｐｅｈｘｐｒｅｓｓｔａｋｅｉｎｇ１１０ａｃｃｏｕｎｔｏｆｔｈｅｖａｌｕｅ）对于普通车牌而言，车牌内的字符区域与车牌底色区域之间的像素比通常是在一个范围内的，可计算如下的两种极端情况。川Ｌ１１１１１”和“赣Ｂ８８８８８”，将这两种情况作为比值大小的范围边界。计算结果为最小比值为０．４３１３５，最大比值为３．５８１１１。再计算该面积比，通过为该值设置阈值（Ｏ．４．３．６）。我们以候选区域的高度作为标度创建平移窗口，设候选区域高度为Ｈ，宽度为ｗ．考虑到形态学横向扩张中可能把非车牌区域扩张在内。设计平移窗口方法如下：复杂背景下车牌定位与字符分割算法研究对于每个闭合区域ｆ，蓝点总数、黄点总数、白点总数及黑点总数分别记为叫。职，叫，川，闭合区域面积记为Ｓ，每种配色方案概率值如式（３．２０）所示。Ｉ砖一心：＋Ｎ０ｆＳｔ｛弓一（艉＋州）／Ｓ（３．２０）Ｉ圪－似＋川）／Ｓ其中露，碍，匕分别为蓝牌、黄牌及白／黑牌的概率值，这里白牌和黑牌的概率值是一致的。至此，车牌配色方案最大概率值严计算方法如式（３．２１）所示：，”－眦｛矿，ｒ，学）（３．２１）设最小配色概率阈值为卸，若Ｐ。‘肇，则认为此区域为伪车牌区域，从而达到一定的去伪效果；若Ｐ“２印，则根据Ｐ“所取的配色方案极大值种类判断车牌的类型。以最常见的蓝底白字车牌为例说明从各个闭合区域中区分车牌区域的具体过程。首先，把原ＲＧＢ图像转换成ＨＳＶ图像。然后在ＨＳＶ图像中对闭合区域ｆ进行扫描，检查它是不是有蓝色像素和白色像素，如果有，计算白色和蓝色像素的比值叫／川。如果闭合区域比值满足阅值要求，同时配色概率大于最小配色概率，那它就是车牌区域。实验证明．以上的设置比较符实际要求。真对图３．１３中的车牌候选区域，图３．１４为车牌定位最终结果。幽３．１３原１ｉ牌恢选区域Ｆｉｇ．３．１３Ｓｏｕｒｃｅｃａｎｄｉｄａｔｅ糊幽３．１４精确定位结果Ｆｉｇ．３．１４Ｐｒｅｃｉｓｅｌｏｃａｔｉｎｇｒｅｓｕｌｔ大连理工大学硕士学位论ｊ３．４车牌定位实验３．４．１来源平台介绍为了验证算法的可靠性和广泛适用性，含有车牌的原始图像是在各种各样的环境中用数码相机采集的图像。就天气而言，有在光线强烈的晴天，也有在比较昏暗的阴天，还有在视线模糊的雨大；就时间而言，分别在早上，中午，黄昏和晚上都进行了拍摄；就背景环境而言，既有背景单一的情况，也有背景复杂，存在各种干扰因素的情况，这些干扰因素包括文字、数目和标示牌，行走的路人等。就车辆而言，包括小轿车，卡车等各种车型。还有就是在车辆的速度不同的情况下，也进行了图像采集，有静止的车辆，也有速度不高的运动车辆，而速度太高则由于设备原因拍摄下来的图像质量太差以至于不适用。本文共采集了１１９幅图像，图像分辨率均在２００万象素，尺寸大小为６４０ｘ４８０像素，具有相当的普遍性。实验采用的计算机ＣＰＵ为Ｃｅｌｅｒｏｎ（Ｒ）ＣＰＵ２．６６ＧＨｚ，５１２Ｍ内存。相机采用佳能ｃＨ七．０编程环境中开发，该系统具有车牌定位、字符分割、以及基本的数字图像处理算法集这三大模块，实验平台截图如图３．１５所示。图３．１５实验平台Ｆｉｇ．３．１５ＰｌａｔｆｏｒｍｏｆｔｈｅｅｘｐｅｒｉｍｅｎｔＰｏｗｅｒＳｈｏｔＡ４０。本系统在Ｖｉｓｕａｌ复杂背景下车牌定位与字符分割算法研究３．４．２试验结果分析在总共１１９张样本图像的试验结果如表３．３所示。表３．３实验仿真结果！坐：ｊ曼墨！璺坐垡！望竖堡塑虫塑！条件采集个数正确个数平均时间定位准确率可以准确定位的图像占到１０６张，定位准确率达到８９％．无法定位的图片当中，经过分析，主要有三种情况。（１）在逆光、直射光、夜晚车灯眩光等光线不足下拍摄，导致车牌内的字符和背景间的边缘难以检测。（２）车牌上已覆盖了很多泥浆和车牌本身褪色过多，掩盖了其部分纹理特征和色彩特征，无法达到滤波和色彩匹配要求以致定位失败。车牌本身已经被折叠，无法达到算法要求的牌照宽度以致定位失败。（３）车速过快，致使拍摄的图像出现模糊，无法检测边缘。第一种情况，要求调整摄像机曝光参数、或者是在辅助光源的帮助下在夜晚进行补光。第二种情况，要督促驾驶员要严格按照牌照管理法规悬挂和清洗车牌。第三种情况，除了相机的性能缺陷原因，如何采用图像处理算法来去除运动模糊，也是值得考虑的。３．４．３牌照定位结果图集图３．１６车牌定位结果ｌＦｉｇ．３．１６ＲｅｓｕｌｔｏｆｔｈｅＬｉｃｅｎｓｅｐｌａｔｅＬｏｃａ矗ｎ９０）大连理工大学硕士学位论文图３．１６车牌定位结果２Ｆｉｇ．３．１６复杂背景下车牌定位与字符分割算法研究３．５本章小结针对实际应用中背景十分复杂的情况，本章提出了一种综合利用车牌多种特征的定位方法．本章主要阐述了车牌定位阶段的算法构成，总结本文定位算法流程如图３．１７所示。图３．１７定位算法流程图眄蛋３．１７Ｐｌ“：ｅｄｕｍｏｆＬｉｃｅｎｓｅＰｌａｔｅＬｏｃａｔｉｏｎａｌｇｏｒｉｔｈｍ在图像预处理阶段，本章首先对比了常用的几种边缘检测算子优缺点之后，采用了ＣｏｌｏｒＰｒｅｗｉｔｔ算子进行边缘检测。此种算法能更好的检测到色彩变化剧烈的区域边缘：对图像进行Ｏｓｔｕ全局阈值化算法运算后的，针对背景复杂，噪声区域过多的情况，本文给出了一种多尺度的模板滤波算法，很好的去除噪声边缘的干扰．一３０－大连理工大学硕士学位论文对图像进行Ｏｓｔｕ全局阈值化算法运算后的，针对背景复杂，噪声区域过多的情况，本文给出了一种多尺度的模板滤波算法，很好的去除噪声边缘的干扰。接着利用数学形态学膨胀处理，形成若干闭合区域；对闭合后的区域，本文采用种子搜索的区域标记法，去除几何形状不满足要求的闭合区域。在对剩余的闭合区域进一步的筛选时，本文想到了车牌配色方案固定的特性，进行ＨＳＶ彩色模型下的色彩匹配分析，来达到精确的定位效果。实验表明，本章提出的车牌定位算法具有很好的实时性，且定位准确率高，能适应复杂背景下车牌定位的要求，为后面的车牌字符分割打下了良好的基础。复杂背景下车牌定位与字符分割算法研究４字符分割算法字符切割是车牌定位和字符识别的桥梁，只有从车牌图像中准确的切割出车牌字符，并进行归一化，才能为之后的神经网络或模板匹配识别器进行识别做好准备工作。在这一章中，我们将讨论对截取的车牌图像所进行一系列处理工作，包括图像预处理、阈值分割、噪声处理，车牌字符倾斜校正等过程，并在对比传统字符分割算法的基础上，提出本文的混合分割算法。４．１图像预处理４．１．１彩色图像的灰度化彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度。由于图像的任意一个像素都具有三个不同的颜色分量，存在许多与识别无关的信息，不便进一步的识别工作，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。采用３．１．１节的加权平均值法对彩色车牌进行处理后，本文分割算法的研究在此基础上展开。４．１．２灰度拉伸对车牌区域进行灰度化处理后，由于在许多拍摄的图像中，灰度级集中在很小的区域内，对比度不良．影响人和机器对图像的理解。此时可以利用灰度的线性拉伸将灰度范围拓展到０－２５５的灰度范围。灰度拉伸是指根据灰度直方图的分布有选择的拉伸某段灰度区间以改善输出图像．如果一幅图像灰度集中在较暗的区域而导致图像偏暗，可以用灰度拉伸功能（斜率Ａ＞Ｉ）来拉伸物体灰度区间以改善图像；同样如果图像灰度集中在较亮的区域而导致图像偏亮，也可以用灰度拉伸功能（斜率Ａ＜Ｉ）来压缩物体灰度区。在０到２５５之间按顺序取两个点ｘ１和ｘ２，它们将０－２５５之问的灰度值划分成【Ｏ，ｘＨ，【ｘｌ，ｘ２］和［ｘ２，２５５］的三个灰度区间。假设车辆牌照区域的前景象素点和背景像素点的灰度值主要分布在【Ｏ，ｘｌ】和ｒｘ２，２５５］两个区间内，采用分段式的线性拉伸方程强化车牌前景和背景的灰度差异，通过调整ｙｌ，ｙ２点的大小来改变灰度拉伸方程在【０，ｘＨ和［ｘ２，２Ｓ５１区间的斜率，加深车牌背景灰度，增亮车牌区域前景字符，从而增加车牌中前景和背景的对比度，突出了字符区域，并且有效的抑制一部分其它的干扰信息。灰度拉伸的变换函数如式（４．１）所示．大连理工大学硕士学位论文丝耳Ｏ＜五）（４．１）ｆｂ，协＝丝边０一ｘＯ＋ｙ乇一玉（五＜ｘＳｘ２）兰堡丑（ｘ－ｘ２）＋ｙ２５一Ｌ７。（ｘ＞ｘ０采用灰度拉伸的方法对图４。１所示直方图进行处理，得到如图４．２所示的拉伸结果，作用于灰度图像上的增强效果如图４．３所示。图４．１原灰度直方图Ｆｉｇ．４．ｉＧｒａｙｈｉｓｔｏｇｒａｍｂｅｆｏｒｅｍｕｍｌａｆｉｎｇ图４．２拉伸后的灰厦直万图Ｆｉｇ．４．２Ｇｒａｙｈｉｓｔｏｇｒａｍａｆｔｅｒｅｘｔｅｎｓｉｏｎ图４．３灰度拉伸增强后结果Ｆｉｇ．４．３Ｅｎｈａａｃ，ｅｍｅｌｌｔｂｙｇｒａｙ－ｅｘｔｅｎｓｉｏｎ４．２车牌图像二值化由于字符分割时要结合车牌的垂直投影来进行，所以在分割前要对其进行二值化处理．由于牌照本身原有颜色的不同，二值化后的牌照会出现黑底白字和白底黑字两种情况，因此，要对其进行统一底色处理，本文是统一为黑底白字的二值图像．复杂背景下车牌定位与字符分割算法研究４．２．１局部二值化算法在第二章的车流图像预处理阶段，由于车牌图像经常由于摆放位置、遮挡、倾斜等因素造成区域亮度的巨大差异。如果采用全局阈值法对车牌图像进行二值分割常常会造成字符局部线条过粗或过细的问题，这些不规则的字符线条会很大程度的影响车牌字符分割准确性。采用局部阙值法进行二值化会很好的改善和解决上述的问题。局部阈值法通过将整幅图像切分成子块，单独对每个子块中进行阈值分割，得到局部子区域阈值。对于光照不均的图像，局部阈值法较全局阈值法稳定性强。本文采用常用的Ｂｅｍｓｅｎ算法。Ｂｅｍｓｅｎ算法的阈值由考察点邻域的灰度确定，考虑以（ｘ，ｙ）为中心的（２Ｗ１＋１）ｘ（２Ｗ２＋１）模板，其中ｗＩ是估计最大笔划宽度，ｗ２是估计最大笔划高度，ｆ（ｘ，）．）表示（ｘ，ｙ）处的灰度值。Ｂｅｍｓｅｎ算法可描述为：（１）计算各点的阙值ｒｏ，ｙ）２０・贸邶ｍａ侧ｘｆ（ｘ＋ｋ，，＋Ｄ＋一哥她ｍ＋．｜｝，ｙ＋ｆ）一吒‘『ｓ码一Ｅ‘ｆ埘（２）逐点进行二值化（４・２）ｇ“力＝｛凇苏嬲和缺点［４Ｓｌ：（１）实现速度慢；（２）有伪影现象；（３）出现笔划断裂现象。他ｓ，Ｂｅｍｓｅｎ算法的阈值由考察点邻域的灰度确定，算法不存在统一阈值，适应性较全局阈值法广，是一种较为常用的局部阈值二值化方法。但Ｂｅｒｎｓｅｎ算法也存在以下问题由于车牌图像水平跨度相对较大，局部灰度差异性很多时候表现在垂直方向，本文采用的局部阈值法是将车牌图像等分成两排四列，以每段区域中间部分的迭代阐值作为该段区域的分割阈值。该方法有效克服了车牌区域纵向光照不均造成的线条不规则现象，且运算速度快。与全局阈值法的比较结果如图４．４所示。图４Ａ全局和局部阈值法比较Ｆｉｇ．４．４ＣｏｍｐａｒｉｓｏｎｏｆｇｌｏｂａｌａｎｄｌｏｃａｌｔｈｒｅｓｈｏｌｄｍｅＩｈｏｄ－３４－大连理工大学硕士学位论文４．２．２车牌图像背景色统一由于待处理的车牌图像有蓝底白字，黄底黑字，白底黑字，白底红字还有黑底白字几种搭配，这几种车牌经过单阈值分割后，会呈现出白底黑字和黑底白字两种情况。为了进行字符分割和识别，必须进行车牌图像背景色的统一，将所有的车牌二值化图像统一为黑色背景白色字符的情况。通常情况下，切割出的车牌二值化后都是背景点多，目标点（字符）的点数少。通过这一特点可通过统计图像中黑白像素的个数来进行图像的确认。考虑到车牌定位也许存在一定的偏差，以及车牌背景的影响，我们选取车牌图像行、列各从１／４至３／４之间的部分，对车牌图像中心的１／４区域进行像素统计，设其中字符像素点所占的比例为ｒｌ，背景像素点所占比例为ｒ２，则必有０＜ｒｌ＜ｒ２＜ｌ。因此统计车牌二值化图像中心区白色像素点所占的比例，设为ｒ，如果ｒ＜５０％则说明该车牌的二值图像为黑底白字，正符合我们的需要，不需要变换：如果ｒ＞５０％则说明该车牌的二值图像为白底黑字，需要对该图像进行反转，即将原来的白色像素点２５５变成黑色０，原来的黑色像素点０变成白色点２５５，这样处理后就所有车牌都统一成为了黑底自字二值图像。图４．５即为图像反转处理，原字符为像素点为０，反转后字符像素为一了各类车牌的目标色与背景色．图４．５车牌底色反转图Ｆｉｇ．４．５ＢａｅｋｇｒｏｔｍｄＲａ，日辩ｏｆｔｈｅ断４．３图像噪声预处理车牌由于所处环境不同，经获取二值化处理后仍然存在各种噪声成分，如孤立噪声、毛刺噪声、空洞和缺陷噪声、断裂噪声等。这些噪声如果不设法滤除会影响后续分割效果，势必也将影响到车牌字符的正确识别。分析噪声的特性可以发现，噪声可以分为两类。一类是高度较小的噪声，另一类是面积较小的噪声。本文采用第三章介绍的种子搜索标号的连通域分析算法，首先找出图像中所有的连通域，对于第一类噪声，计算每个连通域的高度，把高度小于给定阈值的连通域去除，这里的阈值可以取车牌高度的一半；对于第二类噪声，计算每个连通域面积，把面积小于阈值的连通域剔除掉。考虑到汉字部分的复杂性，本文连通域分析方法复杂背景下车牌定位与字符分割算法研究从图像的Ｏ．１５倍宽度开始搜索。通过上述过程，车牌图像的一些噪声基本上可以清除掉，如图４．６所示。给后续的字符分割扫除了障碍．图４．６去噪效果图Ｆｉｇ．４．６Ｎｏｉｓｅｗｉｐｅｏｆｆｏｆｔｈｅ灿４．４图像的倾斜校正从拍摄图像中分割提取出车牌照图像通常存在一定的倾斜，可能是因为摄像机与运动中的汽车间有一定拍摄角度，也可能是汽车在运动中的摆动，或者是汽车车牌安装产生倾斜等。为了方便后面的字符识别，需要对车牌图像进行倾斜校正。４．４．１Ｈｏｕｇｈ变换倾斜角度检测（１）Ｈｏｕｇｈ变换原理【４９ＩＨｏｕｇｈ变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法。在预先知道区域形状的条件下，利用Ｈｏｕｇｈ变换可以方便地得到边界曲线而将不连续的边缘像素点连接起来。Ｈｏｕｇｈ变换的主要优点是受噪声和曲线间断的影响较小。利用Ｈｏｕｇｈ变换还可以直接检测某些已知形状的目标，并有可能确定边界到亚像素精度。设给定图像中的ｎ个点，如果要从中确定连在同一直线上的点的子集。这可看作己检测出一条直线上的若干个点，需要求出它们所在的直线。解决的一种直接方法是先确定所有由任意两点决定的直线（需约ｎ２次运算以确定ｎ（ｎ－１）／２条线），再找出接近具体直线的点的集合（需约∥运算以比较ｉ１个点中的每一个与ｎ（ｎ－１）／２条直线中的每一条）。这么大的计算量在实际中常常是不能满足的。如采用Ｈｏｕｇｈ变换的方法就可用较少的计算量来解决这个问题。Ｈｏｕｇｈ变换的基本思想是点一线的对偶性。在图像空间ＸＹ里，所有过点（ｘ，ｙ）的直线都满足方程：Ｙ２ｐｘ＋ｑ（４．４）其中，Ｐ为斜率，ｑ为截距。式（４．４）也可写成：ｑ＝一ｐｘ＋ｙ（４．５）式“．５）可认为代表参数空间ＰＱ中过点（ｐ，ｑ）的一条直线．大连理工大学硕士学位论文如图４．７，图１）为图像空问，图２）为参数空间。在图像空间ＸＹ中过点（ｘｌ，ｙ１）的通用直线方程按式（４．４）可写为ｙｌ＝ｐｘｌ＋ｇ，也可按式（４．５）写出ｑ＝一叫＋ｙｌ，后者表Ｔ在参数空间ＰＱ的一条直线。同理过点０２，ｙ２）有ｙ２＝ｐｘ２＋ｑ，也可写出ｑ＝－ｐｘ２＋ｙ２。表示在参数空间ＰＱ的另一条直线。设有这２条直线在参数空间ＰＱ里的点（ｐｌ，９１）相交，这里点ｐｌ，９１）对应图像空间ｘＹ中一条过（Ｊｌ，ｙ１）和（ｘ２，ｙ２）的直线因为它们满足ｙ２＝ｐｌｘ２＋ｑｌ和，’－ｐｌｘｌ＋ｑ１由此可见图像空间ＸＹ中过点（巩ｙ１）和（工２，），２）的直线上的何个点都对应在参数空间ＰＱ里的一条直线，这些直线相交十点（ｐｌ，ｑ１）。由此可知在图像空间中共线的点对应在参数空问里相交的线。反过来．在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。这就是点一线的对偶性。Ｈｏｕｇｈ变换根据这些关系把在图像空间中的检测问题转换到参数空间里，通过在参数空间里进行简单的累加统计完成检测任务。ＹＱ●ｌ—ｑ‘．ｐｘｌ＋ｙｌ哪Ｐｐｌｘ１）图像空间２）参数空间图４．７图像空间和参数空阃中点和线的对偶关系Ｆｉｇ．４．７Ｄｕａｌｉｔｙｏｆｐｏｉｎｔａｎｄｌｉｎｅｉｎｉｍａｇｅｓｐａｃｅａｎｄｐｍ＇ａｍｅ钯ｒｓｐａｃｅ（２）Ｈｏｕｇｈ变换的实现在具体计算时需要在参数空间ＰＱ里建立一个２－Ｄ的累加数组。设这个累加数组为Ａ（ｐ，ｇ），其中Ｐ仨［ｐｎ，‰】，ｑＥ【鼋面，‰】，【ｐ‘，Ｐ，ｍ］ｆ阳ｑＥ【ｇｍ，‰】为预期的斜率和截距的取值范围。开始时置数组Ａ为零，然后对应一个图像空间中的给定点，让Ｐ取遍Ｐ轴上所有可能的值，并根据式（４．５）算出对应的ｑ。再根据Ｐ和ｑ的值（设都已取整）对Ａ累加：ａ（ｐ，ｇ）＝Ａ（ｐ，ｑ）＋１。累加结束后，根据Ａ（ｐ，ｑ）的值就可知道有多少点是共线的，ａ（ｐ，曰）的值就复杂背景下车牌定位与字符分割算法研究是在（Ｐ，ｑ）处共线点的个数。同时（Ｐ，ｑ）值也给出了直线方程的参数，使得我们得到了点所在的线。由以上分析可知，传统的Ｈｏｕｇｈ变换对整幅图像的每个像素进行计算，以求出图像中可能存在的直线。这样计算量大，不能满足系统的实时要求。本文的方法是对图像中牌照上下边界可能存在的部分点集中进行计算，从而减少计算量满足系统的实时要求．求解车牌照图像倾斜角度过程如下：①对汽车车牌图像进行二值化，设列号ｉ＝０；②在图像中第ｉ列从上往下扫描，找到第～个和最后一个值为“２５５”的点，分别记作（耳”咒１），（而２，咒：）；③ｆ＝ｉ＋ｌ重复步骤二，直到ｆ等于车牌照图像宽度睨，这样对宽度为Ｅ的车牌照图像最多有Ⅳ０个点。设定一组点的直线方程为：Ｊ，＝—ｂ＋６（４．６）其中：ｋ为斜率，ｈ为截距。对所有（而，＊。），（玉：，乃：）点进行Ｈｏｕｇｈ变换，根据参数空间累加数组的值，求出该点集中共线点最多的点的子集，“。，％）点子集共线所代表的直线的斜率毛作为上边界的斜率。“：，％）点子集共线所代表的直线的斜率岛作为下边界的斜率。若毛，岛相差很小时，则求其平均值ｋ，否则，在参数空间另外选择点的子集，以毛，七２尽量～致，并求其平均值ｋ。车牌照图像倾斜角度为口＝ａｍ＇ｔａｎｋ，即边框与水平线之间的夹角．４，４．２图像倾斜校正计算出牌照图像的倾斜角度后，接下来就是进行牌照图像的旋转校正，使得旋转后牌照图像能保持水平放置。为了进行对牌照图像的旋转，首先选定旋转中心，在本系统中，我们以车牌照图像中心位置作为旋转中心来进行旋转。如图４．８显示了旋转变换中各坐标系问的相互关系，其中坐标系ｘｏｙ为屏幕坐标系，坐标系ｉｏ“Ｙ为用户坐标系。如图４．８所示，０１为图像的中心，同时也是坐标系ｉｏ＇Ｊ的坐标原点，设图像中的一点在坐标系ｘｏｙ上的坐标为瓴，儿），在坐标系一口’），，上的坐标为“，“），则有似以１）＝“％１）ｆｆｌ００ｌ０１０ｌ叫由ｌＪｌ（４．７）Ｆｉ。４宇三三。两，坐孽系间的转换及图像旋转示意图他４湛ｃ阻啪蛔ａｎａ蒜蔷＝＝＝ｉ黧～……“８２孙月“，州）’该点在坐标“爿归㈨，忾子芎多“．８）“刑啪圳㈤“．９）？ｆ１《玉咒１）＝ｋ凡１）Ｊ－ｓｉｎ０ｏ秒驴【叫Ｏ●杏吖放？跚。０１（１０卜∞肌础漂麓毗蝴栅嚣釜小黧麓蠢勰鬻系嚣麓裂紫訾碱椭嫩舭鳓撕咖黼坐标系劬上的坐标为“，ｙｊ），则由此可得：复杂背景下车牌定位与字符分割算法研究图４．９倾斜校正前后对比Ｆｉｇ．４．９ｓｌｏｐｅ∞嘶分ｏｆｔｈｅｐｌａｔｅ４．５车牌上下边框去除由于车牌上下边框的干扰对车牌的分割非常不利，它使原来应该作为分割依据的零值投影点的数值不为零，因此，必须去除车牌的上下边框。采用行扫描方法是由车牌高度的上面１／３处往上扫描，车牌高度的下面１／３处往下扫描。为了更加准确的区分，将字符区域在整个牌照中大致的位置（即高度比例信息）作为先验知识，限定由扫描得到的差别点。字符与背景的分割处有明显的从白到黑的跳变，当搜索到字符与背景的分界行时，将这个分界行所界定的字符区域之处部分全部切除。对于下边框干扰的去除，除了加上牌照本身的长度约束之处，方法大致一样。根据以上方法，去除边框效果如图４．１０所示．从图中可以看出，去除边框的同时也达到了字符水平切割的目的。图４．１０车牌去除边框前后对比Ｆｉｇ．４．１０ＣｏｍｐⅡｅｏｆｍｃｐｈｔｅａｆｔｅｒｆｒｍｅｗｉｐｅｏｆｆ４．６基于混合分割法的字符分割算法根据我国车牌号ＧＡ３６－９２标准（军车、警车、教练车、领事馆车除外），字符样式为ｘｌｘ２ｘ３ｘ４ｘ５ｘ６ｘ７，其中ｘ１是各省、直辖市的简称，Ｘ２是英文字符，ｘ３是英文字符或阿拉伯数字，Ｘ４ＸＳＸ６Ｘ７是四个阿拉伯数字。以最常用的小型汽车或大型汽车签牌为例，其标准格式如图４．１ｌ所示。车牌总长度为４４０ｒａｍ。其中单个字符宽度为４５ｒａｍ（字符“ｌ”的空间包括左右空出来的空间），第二字符与第三字符之问的间隙为３４ｍｍ。其他字符间隙为１２ｍｍ。大连理工大学硕士学位论文图４．１１车牌尺寸标准格式Ｆｉｇ．４．１１Ｓｔａｎｄａｒｄｓｉｚｅｏｆｔｈｅｐｌａｔｅ由于第一个字符为汉字，因此可能是一个非连通体，如“川”、“浙”等，往往具有连通性的特点，图４．１２表示的就是一个车牌的垂直投影和水平投影。然而它在垂直方向上的投影往往具有一定的宽度。后六个字符为数字或字母，而数字和字母图４．１２二值化车牌投影图Ｆｉｇ．４．１２Ｐｒｏｊｅｃｔｉｏｎｏｆｔｈｅｐｌａｔｅ本文采用的混合分割法综合运用连通域分析法、垂直投影法与字符模板匹配法对车牌字符进行分割，即首先通过车牌排列特性确定二、三字符位置，通过－－＿－－字符的连通性确定前三字符的模板，最后利用最大类问方差的原理确定精确的匹配模板．．４．６．１常用分割算法分析常用的字符分割算法有垂直投影法，连通区域法和静态边界法，如２．２．２节所述，它们都在不同的条件下存在弊端。复杂背景下车牌定位与字符分割算法研究分析模板匹配法可知，模板匹配法成功率偏低的原因在于我们定位的车牌图像往往不是非常精确的，往往带有一定的误差。这些定位误差并没有影响到车牌字符，但却会使模板匹配法的定位同时发生误差，从而导致对字符分割错误。但模板匹配法也有其优势，它计算简单，速度快，只要定位准确就不会受到其他因素干扰。所以关键是要给模板匹配法找到一个准确的定位基准点。如在对车牌字符运用垂直投影法分割时，分割如“川”、“湘”、“浙”“辽”等汉字时，由于该类汉字具有左右偏旁，在垂直方向上的投影往往不在同一个区域或者中间的连接区域投影过少，如果根据投影值直接分割，可能会导致字符不能分割为一个区域。４．６．２混合分割法介绍如图４．１３所示，根据车牌的字符模板排列规则，第二和第三字符间距要比其它字符间距大，即使考虑字符粘连和二值化的因素影响，实际对二值化牌照图像垂直投影后，第二和第三字符间必定会出现一个稳定的值为０的波谷。根据此波谷向前或向后连通域搜索可以找到第二或第三个字符的位置。以此作为模板匹配法的初步定位基准点．并根据最大类问方差法的分析【５Ｉ】。设定一种调整定位基准点的方法．ｓｔ、ｅｎｄｒｓｔ２ｅｎｄ２吼ｅｎｄ，…”ｓ１１ｅｎｄ７Ｘ图４．１３模板示意图Ｆｉｇ．４．１３Ｔｅｍｐｌａｔｅｃｏｏｒｄｉａａｔｃｏｆ血ｃｐｌａｔｅ车牌字符分割算法的流程如下：（１）从左到右将字符区域向Ｘ方向投影，由于第二和第三字符间距最大，因此检测投影图中波谷最长的区域，搜索点范围：［１１６ｘ４４ｕｎｗｉｄｔｈ－，一１５２ｘ４４Ｕｎｗｉｄｔｈ］・初步得到二三字符区间位置，进而求出ｅｎｄ２和蹁．（２）连通域分析法确定二、三字符位置：确定连通域宽度最小：—４５１ｘｎｉｗ矿ｉｄ—ｔｈ一２；由ｅｎｄ２向左搜索连通域，若连通域宽度满足要求，财确定第２个字符左边界搜索点，同理，由ｓｆ３向右搜索连通域，确定第３个字符右边界搜索点・大连理工大学硕士学位论文（３）模板匹配法计算观、ｅｎｄ，：调整二、三字符和二、三字符间距关系，确定匹配模板，按模板匹配法确定踱，ｅｎｄＩ范围，设此时第一、二、三字符区域模板内像素点数‰，字符问距模板内像素点数‰一，计算，ｋ一～。・（４）调整匹配模板：二、三字符起始位置分别进行４个像素的调整，转到（３）。（５）确定匹配模板：调整结束，选择ｍ缸Ｏ。一厅．。）时候对应的匹配模板。（６）完成字符分割：应用（５）步确定的分割模板，对字符进行模板匹配法分割。上述算法处理流程图如图４．１４所示。对图４．１５的ｌ图进行字符分割。图２为投影法，图３为连通域分析法。图４为本文采用方法。可见采用本文的算法分割效果好，能够克服汉字和字符粘连部分造成的分割错误．根据垂直投影图确定最长波谷位置连通区域法确定２，３字符粗略位置Ｉ模板匹配法确定第一字符位置ｌ计算ｎ＿ｃｈａｒ－ｎ＿ｓｐａｃｅ★调整２，３字符左右边界各２个像素Ｉ：采用ｍａｘ（ｎ＿ｃｈａｒ－ｎ＿ｓｐａｃｅ）时的模板●铲模板匹配确定其他字符位置图４．１４混合分割算法流程图Ｆｉｇ．４．１４Ｐｒｏｃｅｄｕｒｅｏｆｌ＿ｉｃｅｎｓｅＰｌａｔｅｓｅｇｍｅｎｔａｌｇｏｒｉｔｈｍ复杂背景下车牌定位与字符分割算法研究图４．１５分割算法结果对比图Ｆｉｇ，４．１５Ｃｏｍｐａｒｉｓｏｎｏｆｔｈｅｓｅｇｍｅｎｔａｌｇｏｒｉｔｌｍ４．７车牌字符分割实验本实验利用第三章的实验平台，采用预处理达到期望要求的９２幅汽车牌照图像进行分割，应用本文算法，有８３张车牌正确分割，有效分割率达到９０９６。结果表明所设计的分割算法能够有效分割出传统算法无法分割的噪声干扰严重的字符，在车牌倾斜度小以及存在车牌边框、铆钉干扰的情况下也能获得正确的结果。对未分割成功的车牌图片分析可知，一种是车牌污损过于严重，车牌二值化效果不理想；二是二、三字符间引起了粘连和二三字符本身的污染过于严重，使得形状失真，造成模板匹配部分的基准点定位错误；最后一种情况是倾斜角度过大引起角度检测的失败或倾斜校正后字符失真。因此，滤波阶段算法和二值化阶段算法的选取和倾斜校正算法的研究也还要进一度的考虑和优化。４．８本章小结本章主要阐述了车牌字符分割阶段的算法构成。具体流程图如图４．１６所示，灰度拉伸、去噪处理。边框去除、二值化算法的采取和Ｈｏｕｇｈ变换倾斜校正的具体实现步骤进行了详细的阐述。讨论了车牌字符的字符断裂、粘连情况下基于投影法与模板匹配的字符分割方法的优劣，并提出了自己的混合字符分割算法。实验表明，本章提出的字符分割方法分割成功率高，对二值化效果不佳的车牌图像仍有很好的效果，为后面的车牌字符识别打下了良好的基础。大连理工大学硕士学位论文（输如车牌图像）图像预处理阈值分割ｌ上倾斜校正上去除噪声Ｊｒ混合投影法上字符归一化工（输出车牌字符）／，、＼／／图４．１６分割算法流程图ＰｌｒｏｃｅＡＪｕｌｅｏｆＬｉｃｅｎｓｅＰｌａｔｅｓｅｇｍｅｎｔａｌｇｏｒｉｔｈｍＦｉｇ．４．１６复杂背景下车牌定位与字符分割算法研究结论近年来，车牌识别技术作为智能交通技术的重要组成技术，其研究受到了广泛的关注，并已经有很多产品投入使用。但是，随着应用领域的不断深入，目前的车牌识别技术由于对拍摄条件、计算机等硬件设备的性能的限制比较严重，难以解决如今的许多监视区域比较复的应用场合面临的问题。本文以不同的环境下采集到的大小为６４０ｘ４８０像素的数码汽车牌照图片为研究对象，从车牌定位、车牌字符分割两个方面，对车牌识别技术进行了深入的研究。在车牌定位阶段，本文提出了一种基于车牌多重特征的车牌定位算法，能在复杂背景下很好的定位出车牌区域，针对定位过程中边缘检测后背景复杂，噪声区域过多的情况。本文给出了一种多尺度的模板滤波算法，很好的去除噪声边缘的干扰。在车牌字符分割阶段。本文结合传统的字符分割算法，设计了一种混合字符分割算法。实验结果证明，该字符分割方法对于噪声很大的车牌字符仍能切分准确，实验证明其优于传统的字符分割方法。在车牌识别系统的性能指标中，识别率和识别速度难以同时提高。除了图像处理技术不够成熟，还受到拍摄设备、计算机等硬件设备的性能的限制。当然，车牌识别技术也存在一些不足，仍有许多研究性的工作还需要进一步探索。（１）字符定位和分割算法的丰富在实际应用场合中车速较高的情况比比皆是，在字符定位中会导致图像边缘检测的失败。因此定位算法中可以加入一些去除运动模糊的算法，完善定位处理流程。在字符分割算法中，滤波阶段算法和二值化阶段算法的选取和倾斜校正算法的研究也还要进一度的考虑和优化。（２）一幅图像有多个车牌的识别问题的研究目前的车牌识别系统只能处理单个车牌的车辆图像，对于从一幅图像中多个车牌的识别出有效车牌则有些力不从心。例如闯红灯，高速路监控等，很多应用场合都会出现同一张图片中含有多辆汽车图像的问题。而且如今的许多实际应用场合，监视区域比较复杂，现有的方法无法直接应用，如在移动交替稽查、高速公路的监视与监控、城市交通要道的监视与监控中，所监控的区域一般会同时出现多辆汽车，背景也比较复杂，有广告牌、树木、建筑物、斑马线以及各种背景文字等。多车牌图像相对于单车牌图像，车牌及其字符清晰度不高、车牌大小不同和背景复杂等因素都给车牌识别带来了困难。如果能深入研究多车牌的识别问题，在同一幅车辆图像中准确、高速识别多个车牌，并从中得到有效信息则，可以大大降低系统成本，提高工作效率。－４６＂－大连理工大学硕士学位论文参考文献Ⅲ圆ⅢⅢ夏劲，郭红卫．国内外城市智能交通系统的发展概况与趋势及启示．科技进步与对策．２００３，８（１）：１７６—１７９．张芮，姚明海，顾勤龙．车辆牌照识别系统的一个新的实现方法．控制工程．２００３，１０（１）：５９－６１．Ｓｈｉｇｅｏ，ＭｉｎｇＳｈｏｎｇＬａｎ．ＡＣｌａｓｓｉｆｉｅｒｕｓｉｎｇＦｕｚｚｙＲｕｌｅｓｅｘｔｒａｃｔｅｄｄｉｒｅｃｔｌｙｆｒｏｍｎｕｍｅｒｉｃａｌｄａｔａＰｒｏｃ．ＩＥＥＥＣｏｎｆ０ｎＦｕｚｚｙＳｙｓｔｅｍ．２００３：１１９１一１１９８．Ｒ．Ｐａｒｉｓｉ．ＣａｒＰｌａｔｅＲｅｃｏｇｎｉｔｉｏｎｂｙｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄＩｍａｇｅＵＳＡ，１９９８：１９５—１９８．Ｐｒｏｃｅｓｓｉｎｇ．Ｉ陬ＩＳｃ＾ｓ，ａ哪旧Ｋａｎａｙａｎｅｋ，Ｎａｉｔｏｔ．Ａｐｐｌｉｃａｔｉｏｎｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｗｉｔｈｃｏｍｐｕｔｅｒｖｉｓｉｏｎｆｏｒｖｅｈｉｃｌｅｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍ．ＪＯＩＩＮＷＩＬＥＹ＆ＳＯＮＰｒｅｓｓ，Ｃｈｉｃｈｅｓｔｅｒ。１９９７：４７５—４８８．胡爱明．复杂背景下的车牌自动识别技术研究：（博士学位论文）．北京：北京航空航天大学，２００２．刘海峰．车牌定位在电子警察中的工程应用．电子技术应用．２００３，ｌ（１）：１２—１４．Ⅲ嘲ＪｉｌｉｎＬｉｕ，ＪｉａｔａｎＳｏｎｇ，ＬｉｙａＤｉｎｇ．ＶｅｈｉｃｌｅＬｉｃｅｎｓｅＰｌａｔｅＲｅｃｏｇｎｉｔｉｏｎＳｙｓｔｅｍｗｉｔｈｈｉｇｈｐｅｒｆｏｒｍａｎｃｅ．自动化学报．２００３，２９（３）：４５７—４６５．叶晨洲，杨杰．宣国荣．车辆牌照字符识别．上海交通大学学报．２００４，３４（６）：６７２－６７５．中华人民共和国公安部．ＧＡ３６—１９９２．中华人民共和国机动车号牌．嘲呻叭眦ＤａｎｉａｎＺｈｅｎｇ，ＹａｎｎａｎＺｈａｏ，ＪｉａｘｉｎＷａｎｇ，ＡＩｌｅｆｆｉｃｉｅｎｔｍｅｔｈｏｄｏｆｌｉｃｅｎｓｅｐｌａｔｅｌｏｃａｔｉｏｍＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ，２００５．２６（２６）：２４３卜２４３８．Ｇａｎｅｓａｎ．＾ｌｌｅｆｆｉｃｌｅｎｔｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅＨｏｕｇｈＶａｒｓｈａＫａｍａｔ．ＳｕｂｒｅｍａｎｉａｍｔｒａｎｓｆｏｒｍｆｏｒｄｅｔｅｃｔｉｎｇｖｅｈｉｃｌｅｌｉｃｅｎｓｅｐｌａｔｅｕｓｉｎｇＤＳＰ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＲｅａｌＴｉｍｅＴｅｃｈｎｏｌｏｇｙａｎｄＡｐｐｌｉｅａｔｉｏｎｓＳｙａｐｏｓｉｔｍ：ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＰｒｅｓｓ［ｃ］。ｃＡ，ＵＳＡ，１９９５：５８—５９．［１３］［１４］［１５］郭捷，施鹏飞．基于彩色和纹理分析的车牌定位方法．中国图像图形报．２００２，７（５）：４７２—４７６．陈智斌，黎绍发，余棉水．车辆牌照定位算法研究．计算机工程．２００６，２７（２１）：４０５８—４０６１．胡爱明，周孝宽，利用形态特征的汽车车牌图像分割方法．计算机辅助设计与图形学报．２００３．１５（６）：７１６－７１９．ＨｓｉｅｈＪｕｎ－Ｗｅｉ，ＹｕＳｈｉｈ－Ｈａｏ，ＣｈｅｎＹｕｎｇ－Ｓｈｅｎｇ．Ｈｏｒｐｈｏｌｏｇｙ－ｂａｓｅｄｌｉｃｅｎｓｅｐｌａｔｅｄｅｔｅｃｔｉｏｎ［１６】ｆｒｏｍ［１７］［１８］ｃｏｍｐｌｅｘｓｃｅｎｅｓ．ＩＣＰＲ．２００２，１６（３）：１７６—１７９．卢雅琴，邬凌超．基于数学形态学的车牌定位方法．计算机工程．２００５，３１（３）：２２４—２２６．ＪｏｅＣ．ＦＬＰｏｏｎ．ＨｕｆｆａｄｄａｌＧｈａｄｉａｌｉ，ＧａｒｙＭ．Ｔ．Ｍａｎ，ｅｔａ１．Ａｒｏｂｕｓｔｖｉｓｉｏｎｓｙｓｔｅｍｆｏｒｖｅｈｉｃｌｅｌｉｃｅｎｓｅｐｌａｔｅｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｇｒａｙ－ｓｃａｌｅｍｏｒｐｈｏｉｏｇｙ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩ髓ＥＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＩｎｄｕｓｔｒｉａｌＥｌｅｃｔｒｏｎｉｃｓ，ＮＪ，ＵＳＡ，１９９５：３９４—３９９．复杂背景下车牌定位与字符分割算法研究ｎ９］［２０］［２１］李文举，榘德群，张旗，樊鑫．基于边缘颜色对的车牌定位新方法．计算机学报．２００４，２７（２）：２０４—２０８．张引，潘云鹤．彩色汽车图像牌照定位新方法．中国图像图形学报．２００１，６（４）：３７４—３７７．陈锻生，谢志鹏．刘征凯．复杂背景下彩色图像车牌提取与字符分割．小型微型计算机系统．２００２．２３（９）：１１４４一１１４８．ＫｉｍＳＫ，ＫｉｍＤＬＫｉｍＨＪ．ＡｒｅｃｏｇｎｉｔｉｏｎｏｆｖｅｈｉｃｌｅｌｉｃｅｎｓｅｐｌａｔｅｕｓｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｓｅｇｍｅｎｔａｔｉｏｍＰｒｏｃｅｅｄｉｎｇｓｏｆａｇｅｎｅｔｉｃｏｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｌａｕｓａｎｎｅ，Ｓｗｉｔｚｅｒｌａｎｄ，１９９６：６６１—６６４．［２３３戴青云，余英林．一种基于小波与形态学的车牌图像分割方法．中国图形图像学报．２０∞。３（５）：４ｌｌ一４１５．［２４］（２５］陈景航，杨宜民．基于小波变换和神经网络的车牌识别系统．计算机工程．２００５，（１５）：１７５－１７７．ＮｅｎａｄＳｔａｎｉｃ．Ｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇ２００２：１３５—１３８．ａｃｅｌｌｕｌａｒｎｅｕｒａｌｎｅｔｗｏｒＬＩ旺ＥＮｅｕｒａｌ．［２６］王建平，姜滔．基于小波分析的汽车牌照分割．合肥工业大学学报（自然科学版）．２００２，２５（６）：１１３９－１１４２．［２７】ＳｉｒｉｔｈｉｎａｐｈｏｎｇＴ．．ＣｈｅｚｍｏｎｇｔｈａｉＫ．Ｅｘｔｒａｃｔｉｎｇｏｆｃａｒｌｉｃｅｎｓｅｐｌａｔｅｕｓｉｎｇｍｏｔｏｒｖｅｈｉｃｌｅｒｅｇｕｌａｔｉｏｎａｎｄｃｈａｒａｃｔｅｒｐａｔｔｅｒｒｅｃｏｇｎｉｔｉｏｎ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＡｓｉａ－ＰａｃｉｆｉｃＣｏｎｆｅｒｅｎｃｅｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓ，１９９８，２４—２７：５５９—５６２．吴大勇，魏平，侯朝桢．刘永信．一种车牌图像中的字符快速分割与识别算法．计算机工程与应用．２０∞，２（３）：２１２－２１５．ＹａｎｕｍｕｒａＹ．，ＧｏｔｏＭ．，ＮｉｓｈｉｙａｍａＤ。ｅｔａ１．ＥｘｔｒａｃｔｉｏｎａｎｄｕｓｉｎｇＨｏｕｇｈｔｒａｎｓｆｏｒｍａｎｄｖｏｔｅｄｂｌｏｃｋＳｙｍｐｏｓｉｕｍ，２００３：２４３—２４６．ｔｒａｃｋｉｎｇｏｆｔｈｅｌｉｃｅｎｓｅｐｌａｔｅｍａｔｃｈｉｎｇ．ＩＥ髓ＩＶ２００３ＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓ［３０】［３１］［３２】吴进军，社树新．车牌字符分割新方法．工业控制计算机．２００５，８（４）：６９－７５．罗文村．基于阈值法与区域生长法综合集成的图像分割法．现代计算机．２００１，ｌ（５）：４３－４７．Ｚｕｎｉｎｏ，Ｒｏｄｏｌｆｏ，Ｒｏｖｅｔｔａ，ｅｔａ１．Ｖｉｓｕａｌｌｏｃａｔｉｏｎｏｆ１ｉｃｅｎｓｅｐｌａｔｅｓｂｙｑｕａｎｔｉｚａｔｉｏｍＰｒｏｃｅｅｄｉｎｇｓＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍ１３５－１３８．ｏｎｖｅｃｔｏｒＳｙｓｔｅｍ’ｓＣｉｒｃｕｉｔｓａｎｄｓｙｓｔｅｍｓ．１９９９：［３３］任明亮，范勇，蒋欣荣等．一种快速精确的汽车牌照字符切分算法．四川大学报．２００２，３９（３）：４５０—４５４．［３４］左奇，史忠科．一种基于数学形态学的实时车牌图像分割方法．中国图像图形报．２００３，８（３）：２８１—２８５．［３５］［３６］刘志勇，刘迎建．车牌识别中的图像提取与分割．中文信息报．２００４，１４（４）：２９－３４．ＳｈｙａｎｇＬｉｈＣｈａｎｇ，ＬｉＳｈｉｅｎＣｈｅｎ，ＹｕｎＣｈｕｎｇＣｈｕｎｇ，ｅｔａ１．ＡｕｔｏｍａｔｉｃＬｉｃｅｎｓｅＰｌａｔｅＲｅｃｏｇｎｉｔｉｏｎ．ＩⅡ’ＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎｓｙｓｔｅｍｓ．２００４．５（１）：４２—５３．大连理工大学硕士学位论文ｍ随啪魏武，黄心汉．张起森等．基于模板匹配和神经网络的车牌字符识别方法．模式识别与人工智；ｉ；ｊ］能．２００１，１４（１）：１２３—１２７．万国红，王敏，黄心汉．基于神经网络的汽车牌照自动识别技术研究．计算机工程与应用．２００２，６（８）：２０４—２０５．ＹａｏｑｕａｎＹａｎｇ。ＪｉｅＢａｉ．ＲｕｉｌｉｂａｓｅｄｏｎｏｎＴｉａｎ，ｅｔａ１．ＡＶｅｈｉｃｌｅＬｉｃｅｎｓｅＰｌａｔｅＲｅｃｏｇｎｉｔｉｏｎＳｙｓｔｅｍＦｏｕｒｔｈｆｉｘｅｄｃｏｌｏｒｃｏｌｌｏｃａｔｉｏｎ．Ｐｒｏｃ．Ｉ眦ｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＣｙｂｅｒｎｅｔｉｃｓ．６ｕａｎｇｚｈｏｕ．２００５：１８—２１．啪Ⅲｍｍｍｍｍｍｍｍ＿呈宋加涛。刘济林，车辆牌照上英文和数字字符的结构特征分析及提取．中国图像图形学报．２００２．７（９）：９４６－９４９．丙挺，沈春林。张金林．基于字符特征的车牌英文和数字字符自联想识别．模式识别．２００４，３（２）：２５８—２６０．李朝晖．张弘．数字图象处理及应用．北京：机械工业出版社，２００４：２９－３２．张引，潘云鹤，面向彩色图像和视频的文本提取新方法．计算机辅助设计与图形学学报．２００２．１４（１）：３６－４０．Ｋｅｎｎｅｔｈ．ｒ。Ｃａｓｔｌｅｍａｎ著．朱恚刚等译，数字图像处理．电子工业出版社，２００２：５８－６５杨育彬，陈世福，林辉．一种基于颜色连通的图像纹理检索新方法，电子学报．２００５。４（３３）：５７—６２．杨家辉，王建英．基于色彩分割与体态纹理分析的车牌定位系统．计算机与现代化．２００４，１（１１）：２２—２５．郑建桦，郝重阳，雷方元等．利用色彩直方图特征进行偏色图像的自动检测和校正．中国图像图形学报（Ａ版），２００３，８（９）：１００１—１００７．陈丹，张峰。贺贵明．一种改进的文本图像二值化算法．计算机工程．２００３，２９（１３）：８５－８６．何斌，马天予，王运坚等．ＶｉｓｕａｌＣ＋＋数字图像处理．人民邮电出版社，２００２：４３—５５，２０７－２２０．张云刚，张长水．利用Ｈｏｕｇｈ变换和先验知识的车牌字符分割算法．计算机学报．２００１，８（９）：１００ｌ一１００７．ｍ］王兴玲．最大类问方差车牌字符分割的模扳匹配算法．计算机工程．２００６，１９（３２）：１９３－１９５－４９－复杂背景下车牌定位与字符分割算法研究攻读硕士学位期间发表学术论文情况刘鹏，王宏伟．一种复杂背景下的车牌定位算法的研究与实现．大连理工大学研究生网络学刊（已录用）（属于学位论文第２，３章）大连理工大学硕士学位论文致谢在此论文即将完成之际，谨向给予我指导、帮助和关怀的老师、同学和家人表示衷心的感谢！首先感谢我的导师王宏伟老师。感谢王老师两年半来对我学术上和生活上大量的指导与帮助。王老师严谨的治学态度、认真负责的工作热情、学术上创新进取的精神以及平易近人的生活作风都深深的感染了我，为我在校期间的科研与学习乃至今后的工作与生活都树立了最好的榜样。感谢顾宏老师。顾老师渊博的学识、敏捷的思维和精益求精的工作态度令我由衷的敬仰，顾老师的教诲使我受益匪浅。两年半来，顾老师为我提供了丰富的科研、实践等学习机会，对于我各方而的成长都是最宝贵的财富，在此深深的感谢顾老师对我的教导与关怀。感谢王哲龙老师一直以来对我的指导与帮助。王老师严禁的治学态度令我印象深刻。在撰写毕业论文期间，王老师对我也给予了一定的帮助和启发。在此我表示深切的谢意。此外，还要感谢田江、乔爽、李明涛、张宇涵、赵海建、王刚、陈颖、张威、姜爱丽等实验室的同学们，两年来他们在学习和生活上都给了我许多无私的帮助。最后，再次感谢本教研室所有的老师和同学们对我的关心与爱戴，令我的硕士生活增添了许多美好的回忆；感谢我的家人对我始终不渝的关怀与支持，让我拥有追求进步的动力和面对失败的勇气。衷心祝愿我们研究室的明天更加辉煌、成功！我的老师、家人和同学们永远健康、快乐！