一种基于投影法和数学形态学的车牌提取方法

暂无

技术领域\n本发明属于图象处理技术领域，特别涉及车牌识别技术中的复杂背景中的车牌提取方 法。\n背景技术\n智能交通是当前交通管理发展的主要方向，是目前世界交通运输领域的前沿研究课题。 汽车牌照自动识别技术则是智能交通系统的核心。它是解决高速公路管理问题的重要手段， 是计算机图像处理技术和模式识别技术在智能交通领域的应用。该技术在解决高速公路的 诸多问题，如车辆收费和管理，交通流量检测，停车场收费管理，违章车辆监控，假牌照 车辆识别等具体问题中应用广泛，具有巨大的经济价值和现实意义。同时，它在城市道路、 港口和机场等项目管理中占有重要地位。随着计算机性能的提高和图像处理技术的发展， 车牌识别系统已经日趋成熟。详见文献：T.Vaito，T.Tsukada，K.Yamada，K.Kozuka，and S.Yamamoto，“Robust license-plate recognition method for passing vehicles under outside environment，”IEEE Trans.Veh.Technol.，vol.49，pp.2309-2319，Nov.2000和文献： Shyang-Lih Chang，Li-Shien Chen，YunChung Chung，Sei-Wan Chen，Automatic license plate recognition，Intelligent Transportation Systems，IEEE Transactions on，March 2004所述。\n在自动车牌识别技术中，车牌的定位是整个识别技术的重点和难点。车牌的定位时间 和精度直接影响整个车牌识别系统的性能。在实际生活中，由于受背景的复杂性、光照条 件的不均匀性和天气变换的不定性等环境因素，以及车牌本身倾斜程序、受污染程度等因 素的影响，目前的多数车牌定位方法只是局限在某些侧面或者限定在特定的条件下，才能 完成对车牌的准确定位。通用的、能适用于所有环境和条件的车牌定位方法还没有成功研 究出来。因此，如何在现有所有有价值的研究成果之上，提高车牌定位系统的通用性、缩 短定位时间和提高定位精度将成为我们当前研究的主要方向。详见文献：Chacon M，M.I. Zimmerman.A License plate location based on a dynamic PCNN scheme Neural Networks. Proceedings of the International Joint Conference，20-24July 2003，1195-1200vol.2和文献： D.Irecki & D.G.Bailey，“Vehicle registration plate localization and recognition”，Proceedings of the Electronics New Zealand Conference，ENZCon’01，New Plymouth，New Zealand，September 2001。\n现在通常使用的车牌提取的方法有：\n(1)基于扫描行的车牌提取方法。它通过扫描行经过车牌区域会有规律的起伏的特 性，达到识别车牌区域的目的。其缺点是适用于车牌图像亮度变化比较均匀的情况。但是 在实际应用中车牌图像处于变化光源的环境中，亮度极不均匀，从而限制了上述方法的使 用。详见文献Agui T，Choi H J，Kajima N.Method of extracting car number plates by image processing[J].System and Computers，1998，19(3)：45～52，\n(2)基于彩色的车牌提取方法。它是通过提取车牌的不同于其他区域的特殊彩色特 征来区别车牌区域和背景区域，从而提取出车牌。其缺点是难以解决在照明不均匀环境下 定位准确率问题，并且定位速度慢，难以达到实时性识别的要求。详见文献Davies P，Emmott N，Ayland N.License plate recognition technology for toll violation enforcement[J].Proceedings of IEEE Colloquium on Image Analysis for Transport Applications，1990，35(2)：711～715，\n(3)基于边缘检测的方法。它通过提取图像的边缘信息进行分析，进而测得车牌边 缘。其缺点是要求图像边缘的连续性要好，但实际拍摄的车牌边框往往不连续。详见文献 Fu Yuqing，Shen Wei，Huang Xinhua.Research on vehicle license plate character extraction from complex background[J].Pattern Recognition and Artificial Intelligence，2000，13(3)： 345～348(in Chinese)，\n(4)基于人工神经网络的方法。它利用神经网络的自适应、自学习能力，通过训练 来达到车牌识别的目的。其优点是融若干预处理和识别于一体、识别速度快；缺点是当特 征定义遇到困难时，效果不能令人满意。详见文献Rausm，Kreftl.Reading car license plates by the use of artificial neural networks In：Proceedings of the 1995 IEEE 38th Midwest Symposium on Circuits and Systems，NJ，USA：IEEE 1995，Part 1(of2)：538-541，\n上述的四种车牌提取算法的共同点是：这些方法都是针对一个特定的条件，容易受天 气、背景、光照等因素的限制，鲁棒性不好。一旦条件发生变化，它们的分割准确率就会 发生较大的波动，从而整个车牌识别系统的性能大大降低。\n发明内容\n本发明的任务是提供一种基于投影法和数学形态学的车牌提取方法，它具有在照明不 均匀环境下定位准确率高和识别率高的特点。\n为了方便地描述本发明内容，首先对一些术语进行定义。\n定义1：车牌。悬挂于车辆的前端或者后部的用于标识车辆身份的号码牌。其外观为 矩形，有统一的尺寸规格，共包含7个字符。不同用途的车辆，车牌的标准可能是不一样 的。\n定义2：投影法。投影法就是通过对含有车牌的原始图像进行水平和竖直投影，利用 车牌区域的投影特性，从投影图中分割出车牌区域的方法。\n定义3：数学形态学。数学形态学以图像分析为基础，用具有一定形态结构的“结构 元素”去度量图像的形态，以解决图像理解问题。形态学的基础是腐蚀和膨胀运算，以及 由此而产生的开、闭运算。腐蚀和膨胀运算的公式分别为：$U=\mathrm{A\Theta B}=\{U:B+U⋐A\},$ $V=A\oplus B=\{V:(-B+V)\cap A\ne \Phi \};$开和闭运算的公式分别为： $A·B=(A\oplus B)\mathrm{\Theta B}.$其中，A为原始图像，B为结构元素，U为原始图像经腐蚀 后得到的图像，V为原始图像经膨胀后得到的图像，Θ为腐蚀运算符号，为膨胀运算符 号，。为开运算符号，·为闭运算符号，Ф为空集符号。\n定义4.：R、G、B分量。R、G、B分量是指组成一幅彩色图像的红、绿、蓝三种基色。 其中R代表红色，G代表绿色，B代表蓝色。\n定义5：灰度图像。图像中只包含亮度信息而没有任何其他颜色信息的图像。\n定义6：灰度变换。一种把彩色图像转化为灰度图像的变换方式，其变换公式为： f(i，j)＝0.114*I(i，j，1)+0.587*I(i，j，2)+0.299*I(i，j，3)。其中，i表示图像的行位置，j表 示图像的列位置，f(i，j)表示转换后的灰度图像中第i行第j列的象素的灰度值，I(i，j，1)， I(i，j，2)和I(i，j，3)分别表示彩色图像中第i行第j列的象素的R，G，B分量的值，*为乘法运 算符号。\n定义7：水平一阶差分。图像中，每一行的后一个象素的灰度值减去前一个象素的灰 度值，得到该图像的水平一阶差分值。其公式为：gV(i，j)＝|f(i，j+1)-f(i，j)|。其中，i表 示图像的行位置，j表示图像的列位置，f(i，j)表示第i行第j列的象素的灰度值，f(i，j+1) 表示第i行第j+1列的象素的灰度值，gV(i，j)表示相应的水平一阶差分。水平一阶差分能 够突出图像的垂直细节信息，便于边缘提取。\n定义8：水平一阶差分的水平投影。一种通过水平方向累加，现实把二维空间中的图 像灰度水平差分值转换到一维空间中的方法，该变换函数为$T_H\left(i\right)=\underset{j=1}{\overset{n}{\Sigma }}{g}_V(i,j).$其中gV(i，j)表 示第i行第j列的水平一阶差分值，TH(i)为第i行的投影值，j的变化范围是从1到n，n代 表图像的长度。\n定义9：高斯滤波器。图像处理中最常用的平滑滤波器之一，通过高斯函数与一阶差 分水平投影作卷积来平滑投影图中的毛刺，达到滤波和平滑的效果。滤波函数为 $T_H^{\prime }\left(i\right)=\frac{1}{k}\{T_H\left(i\right)+\underset{j=1}{\overset{w}{\Sigma }}{[T}_H(i-j)h(j,\sigma )+T_H(i+j)h(j,\sigma )]\}.$其中T′H(i)是滤波后的一阶差分水平投影 值，i的变化范围是从1到n，n代表图像的长度；w表示了平滑区域的宽度大小，此处取 8；$h(j,\sigma )=\exp \left(\frac{-j^2}{{2\sigma }^2}\right)$是高斯函数，$k=2\underset{j=1}{\overset{w}{\Sigma }}h(j,\sigma )+1,$σ表示灰度图像的均方差；TH(i) 表示第i个一阶差分水平投影值，TH(i-j)表示第(i-j)个一阶差分水平投影值，TH(i+j)表 示第(i+j)个一阶差分水平投影值。\n定义10：波峰。曲线上的值的一种特征；在该处的曲线值比紧邻的前一个曲线值和紧 邻的后一个曲线值都大。\n定义11：波谷。曲线上的值的一种特征；在该处的曲线值比紧邻的前一个曲线值和紧 邻的后一个曲线值都小。\n定义12：波峰积分值。一种计算坐标轴表示法中曲线覆盖下的区域的面积的数学手段； 此处专指两个波谷间的面积。\n定义13：一阶差分水平投影的曲线扫描。一种搜寻曲线上较大波峰值或波峰积分值的 方法，具体方法为：从曲线的起点寻找波峰，找到波峰后计算该波峰积分值，同时记录下 大的波峰值的位置和波峰积分值较大的波峰的位置，如此搜寻直到曲线的终点。\n定义14：车牌水平定位。确定车牌区域在整幅图像中的水平位置，即车牌的上边界和 下边界的过程。由于车牌的底色和车牌字的颜色形成强烈对比，而且在相对小的范围内变 换频繁，故车牌水平位置的一阶差分水平投影值比较大。\n定义15：车牌水平位置候选区域。经车牌水平定位后得到的可能包含车牌的一个或多 个条状区域。这些区域具有较大的一阶差分水平投影值，而且区域宽度限制在一定范围之 间，约等于车牌的宽度，区域的上边界为车牌水平位置候选区域的上边界，区域的下边界 为车牌水平位置候选区域的下边界。\n定义16：竖直一阶差分。图像中，每一列的下一个象素的灰度值减去上一个象素的灰 度值，得到该图像的竖直一阶差分值。其公式为：gH(i，j)＝|f(i+1，j)-f(i，j)|。其中，i表 示图像的行位置，j表示图像的列位置，f(i，j)表示第i行第j列的象素的灰度值，f(i+1，j) 表示第i+1行第j列的象素的灰度值，gH(i，j)表示第i行第j列的象素的竖直一阶差分。竖 直一阶差分能够突出图像的水平细节信息，便于边缘提取。\n定义17：竖直一阶差分的竖直投影。一种通过竖直方向累加，现实把二维空间中的图 像灰度竖直差分值转换到一维空间中的方法，该变换函数为$T_v\left(j\right)=\underset{i=1}{\overset{m}{\Sigma }}{g}_H(i,j).$其中 gH(i，j)表示第i行第j列的竖直一阶差分值，TV(j)为第j列的投影值，i的变化范围是从1 到m，m代表图像的宽度。\n定义18：二值化过程。把整幅图像的所有值转化成只有两种值的过程，一般这两种值 为0和1或者0和255。当图像上的值大于等于二值化的阀值的时候，该点的值二值化为1 (或255)；当图像上的值小于二值化阀值的时候，该点的值二值化为0。\n定义19：二值化的阀值。对图像进行二值化时所选用的门限。二值化阀值的计算公式 为：T＝t*aver  ，其中T为二值化阀值，aver为经过高斯滤波后的一阶差分水平投影 的均值，t为权值，*为乘法运算符号。选用适当的阀值可以实现突出车牌区域、去除噪声 的目的。\n定义20：车牌竖直定位。确定车牌区域在整幅图像中的竖直位置，即车牌的左边界和 右边界的过程。\n按照本发明的一种基于投影法和数学形态学的车牌定位方法，它包含下列步骤：\n步骤1.通过安装于公路路口或者停车场的适当位置的摄像装置，对进入摄像范围内的 车辆进行图像采集，得到含有车牌图像的原始图像；\n步骤2.采用灰度变换公式对原始图像进行灰度转换，得到一幅包含车牌的灰度图像； 灰度转换公为f(i，j)＝0.114*I(i，j，1)+0.587*I(i，j，2)+0.299*I(i，j，3)；其中，i表示图像的 行位置；j表示图像的列位置；f(i，j)表示转换后的灰度图像中第i行第j列的象素的灰度 值；*是乘法运算符号；I(i，j，1)，I(i，j，2)和I(i，j，3)分别表示彩色图像中第i行第j列的象 素的R，G，B分量的值；\n步骤3.计算灰度图像的水平一阶差分，得到一个包含有车牌的车辆灰度图像的水平 一阶差分图；具体方法为采用公式gV(i，j)＝|f(i，j+1)-f(i，j)|进行计算，其中i表示图像 的行位置，j表示图像的列位置，f(i，j)表示第i行第j列的象素的灰度值，f(i，j+1)表示 第i行第j+1列的象素的灰度值，gV(i，j)表示第i行第j列的水平一阶差分值；\n步骤4.对水平一阶差分图进行水平投影，得到一阶差分的水平投影曲线；一阶差分的 水平投影的计算公式为$T_H\left(i\right)=\underset{j=1}{\overset{n}{\Sigma }}{g}_V(i,j),$其中gV(i，j)表示第i行第j列的水平一阶差分 值，TH(i)为第i行的水平投影值，j的变化范围是从1到n，n代表图像的长度；\n步骤5.对步骤4中的一阶差分水平投影曲线进行高斯滤波，得到一个平滑的一阶差分 水平投影曲线；在实际的方法中，采用离散高斯平滑方法对投影值进行平滑处理，具体方 法如下$T_H^{\prime }\left(i\right)=\frac{1}{k}\{T_H\left(i\right)+\underset{j=1}{\overset{w}{\Sigma }}{[T}_H(i-j)h(j,\sigma )+T_H(i+j)h(j,\sigma )]\};$其中T′H(i)是滤波后的一阶差分水 平投影值；i的变化范围是从1到n；n代表图像的长度；w表示平滑区域的宽度大小，此 处取8；$h(j,\sigma )=\exp \left(\frac{-j^2}{{2\sigma }^2}\right)$是高斯函数；$k=2\underset{j=1}{\overset{w}{\Sigma }}h(j,\sigma )+1;$σ表示灰度图像的均方差； TH(i)表示第i个一阶差分水平投影值；TH(i-j)表示第(i-j)个一阶差分水平投影值； TH(i+j)表示第(i+j)个一阶差分水平投影值；\n步骤6.对步骤5中所得到的平滑的一阶差分水平投影曲线进行一阶差分水平投影曲线 扫描，通过对所有波峰值的比较，得到大于设定阈值的波峰值和大于设定阈值的波峰积分 值在平滑的一阶差分水平投影曲线中的位置坐标；具体方法为：从曲线的起点寻找波峰， 找到波峰后计算该波峰积分值，同时记录大于设定阈值的波峰值和大于设定阈值的波峰积 分值的位置坐标，如此搜寻直到曲线的终点。波峰所覆盖的面积应满足大于1300象素点且 小于10000象素点；\n步骤7.利用步骤6中所得到的波峰位置坐标进行车牌水平定位运算，得到一个或多个 车牌水平位置候选区域在原始图像中的位置坐标；具体方法为：根据步骤6提供的曲线的 大于设定阈值的波峰值和大于设定阈值的波峰积分值的位置坐标来搜索与该波峰紧邻的左 右两个波谷的位置坐标，左边波谷的位置坐标对应的是车牌在原始图像中的上边界的位置 坐标，此处用top来表示车牌的上边界位置坐标，右边波谷的坐标对应的是车牌在原始图 像中的下边界的位置坐标，此处用bottom来表示车牌的下边界位置坐标；\n步骤8.计算灰度图像的竖直一阶差分，得到灰度图的竖直一阶差分图；具体方法为 采用公式gH(i，j)＝|f(i+1，j)-f(i，j)|；其中，i表示图像的行位置，j表示图像的列位置， f(i，j)表示第i行第j列的象素的灰度值，f(i+1，j)表示第i+1行第j列的象素的灰度值， gH(i，j)表示第i行第j列的象素的竖直一阶差分；\n步骤9.对竖直一阶差分图进行竖直投影，得到竖直一阶差分的竖直投影曲线；竖直一 阶差分的竖直投影的计算公式为$T_v\left(j\right)=\underset{i=1}{\overset{m}{\Sigma }}{g}_H(i,j);$其中，gH(i，j)表示第i行第j列的竖直 一阶差分值，Tv(j)为第j列的投影值，i的变化范围是从1到m，m代表图像的宽度；\n步骤10.对竖直一阶差分的竖直投影进行数学形态学变换；具体的数学形态学变换为 闭运算：$f_T=T_v·B=(T_v\oplus B)\mathrm{\Theta B},$即先对竖直一阶差分的竖直投影进行膨胀运算， 再对膨胀的结果进行腐蚀运算；其中，Tv为竖直一阶差分的竖直投影；B为结构元素，其 值为各个元素都是1的1*31矩阵；fT为经过闭运算后的竖直一阶差分的竖直投影；Θ为 腐蚀运算符号；为膨胀运算符号；·为闭运算符号；\n步骤11.计算二值化的阀值；二值化阀值的计算公式为T＝t*aver；其中，T为 二值化的阀值；aver为经过数学形态学变换后的竖直一阶差分竖直投影的均值；*为乘法运 算符号；t为权值，其取值范围为1.1～2.5；\n步骤12.二值化经过数学形态学变换后的竖直一阶差分的竖直投影，得到竖直一阶差 分的竖直投影曲线的二值化图；具体的二值化方法为：如果竖直一阶差分的竖直投影曲线 上的值大于或等于二值化阀值，就把该处的值设置为1；否则，把该处的值设置为0；经过 二值化，竖直一阶差分的竖直投影曲线转化为由一系列0和1组成的序列；由连续的1组 成的序列表示一阶差分竖直投影值较大的区域；由连续的0组成的序列表示一阶差分竖直 投影值较小的区域；0到1或者1到0的跳变表示两种区域的边界，分别把0到1和1到0 的跳变位置记录到堆栈stack1和stack2中；\n步骤13.利用二值化图进行车牌竖直定位，确定车牌区域；在二值化图中，连续的1 组成的序列是车牌可能出现的区域，stack1中的值为车牌区域的左边界left，stack2中的值 为车牌区域的右边界right，plate_length＝stack2-stack1的值为车牌区域的长度；根据车牌 这些特性，剔除长宽比小于2.2和长宽比大于3.5的伪车牌候选区域，以及长度小于100象 素的伪车牌候选区域，得到真正的车牌区域；\n步骤14.利用步骤7和步骤13得到的车牌区域的四个边界值，提取车牌区域；具体的 车牌提取步骤如下：首先根据步骤7中得到的车牌上边界top和下边界bottom的值，计算 出车牌的宽度plate_width＝bottom-top；根据步骤13得到的车牌长度plate_length，定义一个 大小为plate_width*plate_length的矩阵car_plate用来存储分割以后的车牌；最后，把原始 图像中top行到bottom行、left列到right列的数值赋值给car_plate，此时，矩阵car_plate 即为汽车车牌。\n通过以上步骤，我们就从原始含有车牌的图像中提取出车牌图像。\n需要说明的是：\n1.步骤2中如果采集到的包含有车牌的原始车辆图像是灰度图像，则不再做灰度转换 处理。\n2.步骤3中的水平一阶差分计算是因为车牌区域内的象素值变化快且集中，而且更明 显的集中在水平一阶差分方面。\n3.步骤4中采用一阶差分水平投影是因为车牌区域一定位于具有相当高的一阶差分密 度值的小区域内，所以我们首先进行水平投影定位车牌的水平候选区域。\n4.步骤5中，由于由步骤4得到的一阶差分水平投影曲线毛刺很多，不利于方法的精 确定位，必须采用高斯函数对投影值进行平滑处理。\n5.步骤6中搜索波峰的时候并不是所有满足波峰条件的波峰均采纳，只有当那些波峰 所覆盖的面积满足一定值范围时才认为是波峰，在本发明中波峰所覆盖的面积应满足大于 1300象素点且小于10000象素点，在这个范围之外的波峰不能达到理想的效果。\n6.步骤7中，在搜索与满足条件的波峰紧邻的左右两个波谷时，只有当那些波谷满足 一定值范围时，才认为是真波谷。由于曲线上有小起伏，从而导致了假波峰的存在，因此 本发明中通过采用“真波谷必须满足小于最大波峰值的一半”这个特征来剔除虚假波谷， 得到真正的波谷。\n7.步骤10中，数学形态学变换的作用是通过对图像进行腐蚀和膨胀运算，从而突出 车牌区域，便于车牌的分割。\n8.步骤11中，二值化阀值的计算是为了便于对数学形态学变换后的竖直一阶差分的 竖直投影曲线进行二值化，实现突出车牌区域、去除噪声的目的。\n9.在步骤13中，因为车牌的底色和车牌字的颜色形成强烈对比，而且在相对小的范 围内变换频繁，所以车牌区域的竖直一阶差分的竖直投影值比较大。因此，在二值化图中 连续的1组成的序列是车牌可能出现的区域。\n本发明采用水平定位和竖直定位相结合，首先采用投影法突出了车牌区域，实现了车 牌的水平定位；然后通过数学形态学变换对车牌区域进行特征突出，实现了车牌的竖直定 位；最后根据得到的车牌水平位置和竖直位置信息，从原始图像中提取出车牌。采用本发 明提出的基于投影法和数学形态学相结合的方法，可以有效地提高系统的通用性和定位精 度等性能。\n本发明的创新之处在于：\n充分利用投影法和数学形态学知识的相关特性，通过分别对车牌进行水平定位和竖直 定位，从而获得车牌的水平和竖直位置信息，达到分隔车牌的目的。本发明首先采用投影 法，利用水平一阶差分图的水平投影进行车牌水平定位。通过对一阶差分水平投影曲线进 行扫描，得到较大的波峰值或波峰积分值较大的波峰在平滑的一阶差分水平投影曲线中的 位置坐标，进而利用这些波峰位置坐标进行车牌水平定位运算，得到一个或多个车牌水平 位置候选区域在原始图像中的位置坐标。利用波峰值和波峰积分值相结合的方法进行车牌 候选区域的选取是本发明投影法的一个特色，与一般的仅仅利用波峰值进行定位的投影法 相比，本发明的投影法的识别率要高3个百分点。然后在竖直定位时，本发明结合数学形 态学的特性，利用闭运算，在原始图像中突出车牌区域的位置，通过合理选择二值化阀值， 对变换后的图像进行二值化，实现车牌竖直定位，克服了基于扫描行的车牌提取方法和基 于彩色的车牌提取方法难以解决在照明不均匀环境下定位准确率的问题。\n附图说明\n图1是含有车牌的原始图像示意图；\n其中，1表示车辆的挡风玻璃；2表示车辆的引擎盖；3表示安装车灯、悬挂车牌和保 险杆的区域；4表示车牌；5表示轮子。在4所表示的车牌中，大写字母A，B，C，D，E， F和G分别代表车牌的第一个，第二个，第三个，第四个，第五个，第六个和第七个字符， 其中第二个字符和第三个字符的间距要稍大些。\n图2是本发明最终得到的车牌图像示意图；\n其中，A，B，C，D，E，F和G分别表示车牌的第一个，第二个，第三个，第四个， 第五个，第六个和第七个字符。\n图3是本发明方法的流程图。\n具体实施方式\n采用本发明的方法，首先使用Matlab语言编写车牌识别软件；然后在高速公路的入口 处、收费站和其他任何合适位置采用摄像装置自动拍摄车辆的原始图像；接着把拍摄到的 车辆原始图像作为源数据输入到车牌识别软件中进行处理；经过车牌水平定位和竖直定位 后得到一幅包含可识别字符的车牌图像。采用360张实地拍摄的、包括雨天、雾天、晴天 等不同天气和车牌水平、车牌倾斜、车辆运动、车辆静止等不同状态下的彩色车辆图像作 为源数据，水平定位出355张，水平定位准确率为98.61％，竖直定位出352张，定位准确 率为97.78％，定位一幅包含有可识别字符的车牌图像仅需50ms。\n综上所述，本发明的方法充分利用投影法和数学形态学的特性，结合车牌区域的纹理 特征，从而实现快速准确地从所提供的车辆原始图像中定位出包含有可识别字符的车牌图 像。