著录项信息
专利名称 | 一种基于视频的交通车辆检测识别系统和方法 |
申请号 | CN201210078707.5 | 申请日期 | 2012-03-22 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2012-08-15 | 公开/公告号 | CN102637257A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06K9/62 | IPC分类号 | G;0;6;K;9;/;6;2;;;G;0;6;K;9;/;0;0;;;G;0;8;G;1;/;0;1;7查看分类表>
|
申请人 | 北京尚易德科技有限公司 | 申请人地址 | 北京市石景山区阜石路165号中国华录大厦8层
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 北京尚易德科技有限公司 | 当前权利人 | 北京尚易德科技有限公司 |
发明人 | 张凤春;童剑军;刘劲松 |
代理机构 | 北京三聚阳光知识产权代理有限公司 | 代理人 | 张建纲 |
摘要
本发明所述的基于视频的交通车辆检测识别系统和方法,包括目标特征数据库模块,运动目标检测模块和交通车辆识别模块,通过所述目标特征数据库模块来建立交通车辆样本目标特征数据库并进行存储。当运动目标检测模块检测出运动目标区域后,由交通车辆识别模块建立搜索窗口并进行车辆识别。解决了现有技术中基于视频的车辆检测在背景运动显著、车辆粘连和车辆遮挡等情况下区分交通车辆能力差、分辨精度不高的技术问题,是一种具有较好的车辆区分能力、高精度的基于视频的交通车辆检测识别系统和方法。
1.一种基于视频的交通车辆检测识别系统,其特征在于,包括:
(1)目标特征数据库模块,存储有对交通车辆样本图像进行模式识别训练后,根据归一化类型、角度类型和车辆类型得到的交通车辆样本目标特征数据库,所述目标特征数据库模块包括
样本图像预处理单元,从交通视频中裁剪出非交通车辆样本图像和所述交通车辆样本图像,对所述交通车辆样本图像和所述非交通车辆样本图像进行图像预处理,所述图像预处理包括归一化处理和灰度化处理;
交通车辆样本图像分类单元,与所述样本图像预处理单元连接,对归一化处理后的所述交通车辆样本图像进行角度分类和车辆种类分类,所述车辆种类分类指将所述交通车辆样本图像分为小型车、不包含公交车辆的大型车和公交车辆三类;
样本图像特征提取单元,与所述交通车辆样本图像分类单元连接,对所述非交通车辆样本图像和分类后的所述交通车辆样本图像提取其灰度化处理后的图像特征,所述图像特征包括积分特征、Haar特征和梯度特征;
样本图像模式识别训练单元,与所述样本图像特征提取单元连接,对所述交通车辆样本图像和所述非交通车辆样本图像的所述积分特征、所述Haar特征和所述梯度特征进行模式识别训练,所述模式识别训练采用Adaboost算法或SVM算法;
目标特征数据库存储单元,与所述样本图像模式识别训练单元连接,存储所述样本图像模式识别训练单元根据归一化类型、角度类型和车辆类型得到交通车辆样本目标特征数据库;
(2)运动目标检测模块,与交通视频设备连接,从获得的交通视频图像序列中检测出运动目标区域,过程包括:
读取交通视频图像序列,采用混合高斯模型,对所述交通视频图像序列进行背景建模,获取对所述交通视频图像序列的二值图像;
对所述二值图像进行形态学滤波,然后运用连通域分析进行目标区域标定,得到若干运动目标区域;
对于所述运动目标区域,当交通视频图像的单个像素点在所述运动目标区域内时,则这个所述像素点不进行背景更新过程,否则进行背景更新过程;
(3)交通车辆识别模块,与所述运动目标检测模块进行数据传输,加载所述交通车辆样本目标特征数据库,对所述运动目标检测模块识别出的所述运动目标区域进行车辆识别,所述交通车辆识别模块包括
车辆搜索窗口单元,在所述运动目标区域内设置一个车辆搜索窗口;
搜索窗口特征提取单元,与所述车辆搜索窗口单元连接,获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征;
比对单元,与所述搜索窗口特征提取单元和所述目标特征数据库存储单元连接,将所述搜索窗口特征提取单元获得的所述积分特征、所述Haar特征和所述梯度特征与所述目标特征数据库存储单元中的所述交通车辆样本目标特征数据库进行比对,对所述车辆搜索窗口内的车辆进行识别。
2.一种使用权利要求1所述的基于视频的交通车辆检测识别系统的交通车辆检测识别方法,其特征在于,包括如下步骤:
建立交通车辆样本目标特征数据库
首先,从交通视频中裁剪出交通车辆样本图像和非交通车辆样本图像,通过样本图像预处理单元对所述交通车辆样本图像和所述非交通车辆样本图像进行图像预处理,所述图像预处理包括归一化处理和灰度化处理;
然后,通过交通车辆样本图像分类单元对归一化处理后的所述交通车辆样本图像进行角度分类和车辆种类分类,所述车辆种类分类指将所述交通车辆样本图像分为小型车、不包含公交车辆的大型车和公交车辆三类,并通过样本图像特征提取单元对所述非交通车辆样本图像和分类后的所述交通车辆样本图像提取其灰度化处理后的图像特征,所述图像特征包括积分特征、Haar特征和梯度特征;
最后,调用样本图像模式识别训练单元对所述交通车辆样本图像和所述非交通车辆样本图像的所述积分特征、所述Haar特征和所述梯度特征进行模式识别训练,所述模式识别训练采用Adaboost算法或SVM算法,根据归一化类型、角度类型和车辆类型得到交通车辆样本目标特征数据库,并将得到的所述交通车辆样本目标特征数据库存储在所述目标特征数据库存储单元;
②读取交通视频图像序列,从所述交通视频图像序列中检测出运动目标区域,所述检测出运动目标区域的过程包括如下步骤:
(1)读取交通视频图像序列,采用混合高斯模型,对所述交通视频图像序列进行背景建模,获取对所述交通视频图像序列的二值图像;
(2)对所述二值图像进行形态学滤波,然后运用连通域分析进行目标区域标定,得到若干运动目标区域;
(3)对于所述运动目标区域,当交通视频图像的单个像素点在所述运动目标区域内时,则这个所述像素点不进行背景更新过程,否则进行背景更新过程;
③加载所述交通车辆样本目标特征数据库,对所述运动目标区域进行车辆识别:首先通过车辆搜索窗口单元在每一个所述运动目标区域内定义一个车辆搜索窗口,然后调用搜索窗口特征提取单元来获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征;最后调用比对单元将所述积分特征、Haar特征和梯度特征与所述交通车辆样本目标特征数据库进行比对,对所述车辆搜索窗口内的车辆进行识别。
3.根据权利要求2所述的交通车辆检测识别方法,其特征在于:在所述步骤③中,将所述车辆搜索窗口与所述交通车辆样本目标特征数据库进行比对时,根据归一化处理后的所述交通车辆样本图像与所述非交通车辆样本图像的样本图像大小对所述车辆搜索窗口进行比例缩放,对所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征与所述交通车辆样本目标特征数据库进行匹配,如果匹配度小于匹配阈值,则认为所述车辆搜索窗口为非车辆区域,否则,则认为所述车辆搜索窗口为车辆区域,获得匹配的角度类型和车辆类型。
4.根据权利要求3所述的交通车辆检测识别方法,其特征在于:所述步骤(1)中还包括对所述交通视频图像序列进行浮雕运算的步骤。
5.根据权利要求2-4中任一项所述的交通车辆检测识别方法,其特征在于:所述步骤中所述交通车辆样本图像和所述非交通车辆样本图像归一化处理得到24×24、32×32、
48×48三种大小的样本图像。
6.根据权利要求5所述的交通车辆检测识别方法,其特征在于:所述步骤 中所述角
0 0 0
度分类是指按照所述交通车辆样本图像中车身倾斜角度进行分类,分为:-30 至+30、-25
0 0 0 0 0 0 0
至-55 以及+25 至+55、-50 至-80 以及+50 至+80 三类。
一种基于视频的交通车辆检测识别系统和方法\n技术领域\n[0001] 本发明涉及图像处理和模式识别技术领域,具体是一种基于视频的交通车辆检测识别系统和方法。\n背景技术\n[0002] 近年来,随着电子产业尤其是新型传感器和大规模存储设备的迅猛发展,视频监测技术以其灵活性和全面性越来越受到人们的青睐,它以实时动态信息为核心,综合运用计算机、控制技术等现代高新技术,灵活快速的对视频图像进行实时处理,达到实时监控。\n车辆检测是交通系统中的重要环节,为交通监管、交通控制提供信息,常用的车辆检测方法包括线圈检测、雷达检测、激光检测等。线圈检测的安装和维修工程量大,破坏路面,影响道路的寿命,而激光检测和雷达检测不仅成本高,而且容易对人体造成危害。\n[0003] 基于视频的车辆检测识别技术可以从视频图像中提取出车辆信息,不仅灵活方便,不破坏路面,而且可以为交通监控提供大量的检测信息,为交通管理提供可视化信息。\n基于视频的车辆检测识别技术作为新兴的车辆检测方法,日益受到人们的关注。\n[0004] 中国专利文献CN101719217A提出了一种基于弹性松弛算法的车型识别系统及方法,该系统包括以数据线相连的摄像机、图像采集卡、图像处理和显示设备,该方法是先用摄像机采集车辆视频,将采集的图像建立基于高斯平均背景模型,以此作为检测前景区域;\n再通过帧差操作方法,将运动目标所在的前景区域从背景中分割提取出来作为前景图像,用弹性松弛算法对前景图像处理获取车长和车高,然后根据国家车型识别标准判定车型结果。中国专利文献CN102332167A公开了一种智能交通监控中车辆和行人的目标检测方法,对视频帧序列进行背景模型的初始化,独立建立饱和度分量和亮度分量的混合高斯背景分量模型并取分量均值;将视频帧序列中的当前帧跟背景帧相差分,对前景帧进行二值化处理后再去除阴影和噪声并进行形态学滤波;用更新因子更新得到的混合高斯背景模型的分量的权值、均值和方差;将要进行匹配的运动目标像素点值与更新后的混合高斯背景模型中的每一个分布的Jeffrey值进行比较,利用Jeffrey值判断运动目标像素点是否属于前景点。中国专利文献CN102222346A公开了一种车辆检测和跟踪方法,首先对视频中的每一帧图像建立高斯背景模型;利用帧差法对相邻两帧做差分处理,得到粗略的运动区域和静止区域;对获得的静止区域进行背景更新,运动区域不更新;对当前帧图像和获得的更新后的背景图像做差分,得到精确的运动区域;利用每个像素点匹配方法对获得的相邻两帧运动区域图像找出重叠区域,并比较重叠区域与给定阈值大小;如果重叠区域大于给定阈值,则判断是否发生目标重合;如果是,则计算相邻两帧中的第一帧运动区域的长宽比,通过这个比例检测和跟踪该运动车辆;如果不是,则判断为同一车辆;如果重叠区域小于给定阈值,则求出多个目标框的最小外接矩形来正确对车辆检测和跟踪。\n[0005] 上述三篇专利文献,在车辆检测过程中,基本上都基于图像的单个像素点建模,识别车辆,利用的是图像单点信息,判断当前像素点是前景像素(车辆像素)还是背景像素(非车辆像素),没有考虑到像素点之间的相关性问题,即图像的面信息,所以在车辆检测过程中会存在如下问题:例如,在树枝轻微晃动或摄像机轻微抖动的情况下,上述专利文献可以满足车辆检测识别,但是在树枝晃动比较明显,摄像机抖动比较明显的情况时,基于单个像素点建模的车辆检测识别会产生很多误报,尤其是在图像的边缘信息越丰富,所产生的误报干扰就越多;在车辆粘连和车辆遮挡的情况时,不能有效的把每个单独车辆区分开,会把几个车辆识别成一个车辆以及把一个车辆识别成几个车辆等等,从而影响每个单独车辆的跟踪,进而影响后面车辆的行为分析(非法逆行,闯红灯,非法变道等);另外,对于交通图像中的行人目标和车辆目标,也不能有效地进行区分。\n[0006] 在视频识别技术中,需要对图像信息进行特征提取,提取的特征包括Harr特征、积分特征和角度特征,Haar特征分为三类:边缘特征、线性特征、中心特征和对角线特征,组合成特征模板。特征模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。积分特征指图像中任意一点的数值等于从图像的左上角到这个点所构成的矩形区域内所有点像素之和。梯度特征描述了图像的边缘、角点等局部区域变化的信息,对于光照的变化具有较强的鲁棒性,广泛运用在目标特征描述、图像匹配和目标检测中。\n发明内容\n[0007] 为此,本发明所要解决的是现有基于视频的车辆检测在背景运动显著、车辆粘连和车辆遮挡等情况下区分交通车辆能力差、分辨精度不高的技术问题,提供一种具有较好的车辆区分能力、高精度的基于视频的交通车辆检测识别系统和方法。\n[0008] 为解决上述技术问题,本发明采用的技术方案如下:\n[0009] 一种基于视频的交通车辆检测识别系统,包括:包括:\n[0010] (1)目标特征数据库模块,存储有对交通车辆样本图像进行模式识别训练后,根据归一化类型、角度类型和车辆类型得到的交通车辆样本目标特征数据库,所述目标特征数据库模块包括\n[0011] 样本图像预处理单元,从交通视频中裁剪出非交通车辆样本图像和所述交通车辆样本图像,对所述交通车辆样本图像和所述非交通车辆样本图像进行图像预处理,所述图像预处理包括归一化处理和灰度化处理;\n[0012] 交通车辆样本图像分类单元,与所述样本图像预处理单元连接,对归一化处理后的所述交通车辆样本图像进行角度分类和车辆种类分类;\n[0013] 样本图像特征提取单元,与所述交通车辆样本图像分类单元连接,对所述非交通车辆样本图像和分类后的所述交通车辆样本图像提取其灰度化处理后的图像特征,所述图像特征包括积分特征、Haar特征和梯度特征;\n[0014] 样本图像模式识别训练单元,与所述样本图像特征提取单元连接,对所述交通车辆样本图像和所述非交通车辆样本图像的所述积分特征、所述Haar特征和所述梯度特征进行模式识别训练,所述模式识别训练采用Adaboost算法或SVM算法;\n[0015] 目标特征数据库存储单元,与所述样本图像模式识别训练单元连接,存储所述样本图像模式识别训练单元根据归一化类型、角度类型和车辆类型得到交通车辆样本目标特征数据库;\n[0016] (2)运动目标检测模块,与交通视频设备连接,从获得的交通视频图像序列中检测出运动目标区域;\n[0017] (3)交通车辆识别模块,与所述运动目标检测模块进行数据传输,加载所述交通车辆样本目标特征数据库,对所述运动目标检测模块识别出的所述运动目标区域进行车辆识别,所述交通车辆识别模块包括\n[0018] 车辆搜索窗口单元,在所述运动目标区域内设置一个车辆搜索窗口;\n[0019] 搜索窗口特征提取单元,与所述车辆搜索窗口单元连接,获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征;\n[0020] 比对单元,与所述搜索窗口特征提取单元和所述目标特征数据库存储单元连接,将所述搜索窗口特征提取单元获得的所述积分特征、所述Haar特征和所述梯度特征与所述目标特征数据库存储单元中的所述交通车辆样本目标特征数据库进行比对,对所述车辆搜索窗口内的车辆进行识别。\n[0021] 一种使用所述的基于视频的交通车辆检测识别系统的交通车辆检测识别方法,包括如下步骤:\n[0022] ①建立交通车辆样本目标特征数据库\n[0023] 首先,从交通视频中裁剪出交通车辆样本图像和非交通车辆样本图像,通过样本图像预处理单元对所述交通车辆样本图像和所述非交通车辆样本图像进行图像预处理,所述图像预处理包括归一化处理和灰度化处理;\n[0024] 然后,通过交通车辆样本图像分类单元对归一化处理后的所述交通车辆样本图像进行角度分类和车辆种类分类,并通过样本图像特征提取单元对所述非交通车辆样本图像和分类后的所述交通车辆样本图像提取其灰度化处理后的图像特征,所述图像特征包括积分特征、Haar特征和梯度特征;\n[0025] 最后,调用样本图像模式识别训练单元对所述交通车辆样本图像和所述非交通车辆样本图像的所述积分特征、所述Haar特征和所述梯度特征进行模式识别训练,所述模式识别训练采用Adaboos t算法或SVM算法,根据归一化类型、角度类型和车辆类型得到交通车辆样本目标特征数据库,并将得到的所述交通车辆样本目标特征数据库存储在所述目标特征数据库存储单元;\n[0026] ②读取交通视频图像序列,从所述交通视频图像序列中检测出运动目标区域;\n[0027] ③加载所述交通车辆样本目标特征数据库,对所述运动目标区域进行车辆识别:\n首先通过车辆搜索窗口单元在每一个所述运动目标区域内定义一个车辆搜索窗口,然后调用搜索窗口特征提取单元来获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征;最后调用比对单元将所述积分特征、Haa r特征和梯度特征与所述交通车辆样本目标特征数据库进行比对,对所述车辆搜索窗口内的车辆进行识别。\n[0028] 所述的交通车辆检测识别方法,在所述步骤②中,所述检测出运动目标区域的过程包括如下步骤:\n[0029] (1)读取交通视频图像序列,采用混合高斯模型,对所述交通视频图像序列进行背景建模,获取对所述交通视频图像序列的二值图像;\n[0030] (2)对所述二值图像进行形态学滤波,然后运用连通域分析进行目标区域标定,得到若干运动目标区域;\n[0031] (3)对于所述运动目标区域,当交通视频图像的单个像素点在所述运动目标区域内时,则这个所述像素点不进行背景更新过程,否则进行背景更新过程。\n[0032] 所述的交通车辆检测识别方法,在所述步骤③中,将所述车辆搜索窗口与所述交通车辆样本目标特征数据库进行比对时,根据归一化处理后的所述交通车辆样本图像与所述非交通车辆样本图像的样本图像大小对所述车辆搜索窗口进行比例缩放,对所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征与所述交通车辆样本目标特征数据库进行匹配,如果匹配度小于匹配阈值,则认为所述车辆搜索窗口为非车辆区域,否则,则认为所述车辆搜索窗口为车辆区域,获得匹配的角度类型和车辆类型。\n[0033] 所述的交通车辆检测识别方法,所述步骤(1)中还包括对所述交通视频图像序列进行浮雕运算的步骤。\n[0034] 所述的交通车辆检测识别方法,所述步骤①中所述交通车辆样本图像和所述非交通车辆样本图像归一化处理得到24×24、32×32、48×48三种大小的样本图像。\n[0035] 所述的交通车辆检测识别方法,所述步骤①中所述角度分类是指按照所述交通车辆样本图像中车身倾斜角度进行分类,分为:-30°至+30°、-25°至-55°以及+25°至+55°、-50°至-80°以及+50°至+80°三类。\n[0036] 所述的交通车辆检测识别方法,所述步骤①中所述车辆种类分类指将所述交通车辆样本图像分为小型车、不包含公交车辆的大型车和公交车辆三类。本发明的上述技术方案相比现有技术具有以下优点:\n[0037] (1)本发明所述的基于视频的交通车辆检测识别系统和方法,包括目标特征数据库模块,运动目标检测模块和交通车辆识别模块,在所述目标特征数据库模块中,通过样本图像预处理单元来对交通车辆样本图像和非交通车辆样本图像进行归一化和灰度化处理,通过交通车辆样本图像分类单元对预处理后的车辆样本图像进行角度分类和车辆种类分类,通过样本图像特征提取单元来对非交通车辆样本图像和分类后的交通车辆样本图像进行特征提取,然后通过样本图像模式识别训练单元对提取的所述特征进行训练和模式识别,建立交通车辆样本目标特征数据库并进行存储。当运动目标检测模块检测出运动目标区域后,由交通车辆识别模块建立车辆搜索窗口并进行车辆识别。在建立交通车辆样本目标特征数据库过程中,对交通车辆样本图像根据归一化种类、角度种类和车辆种类进行分类,然后进行特征提取,提高了识别精度和运算时间;在车辆样本的训练过程中,本发明利用Adaboost模式识别算法或者SVM算法识别交通车辆,该算法把交通车辆图像中各个像素点之间相关性考虑进去,Adaboost模式识别算法对车辆进行识别利用的是图像的面信息,将点信息和面信息有机的结合起来,可以克服树枝晃动、摄像机抖动以及车辆粘连等情况所带来的干扰,对于交通图像中的非车辆目标(如行人)可能更好的区分,可以更好地、更有效地进行车辆检测识别。在进行车辆识别的过程中,通过定义车辆搜索窗口来对所述运动目标区域进行搜索,可以根据运动目标区域的大小来设定搜索步长,保证了搜索的速度和精度,提高了搜索效率和搜索质量。本发明所述的基于视频的交通车辆检测识别系统和方法,通过建立交通车辆目标特征数学模型,研究车辆目标特征提取技术,建立交通车辆样本目标特征数据库,研究背景自动更新技术,实现交通事件和交通状态的纯视频检测,其计算准确、误判少的特点提供了准确、实用、直观的技术手段,可以很好地适应城市交通比较复杂的路况,具有极高的实用性。\n[0038] (2)本发明所述的交通车辆检测识别方法,在所述检测出运动目标区域的过程中采用混合高斯模型对交通视频图像序列进行背景建模,对获取的二值图像进行形态学滤波和连通域分析,对于所述运动目标区域,当交通视频图像的单个像素点在所述运动目标区域内时,则这个所述像素点不进行背景更新过程,否则进行背景更新过程,提高了运动目标区域的检测精度。通过对混合高斯建模后的二值图像进行形态学滤波,可以减小图像噪声,有助于得到运动目标区域。采用这种检测运动目标的区域,可以将背景建模和Adaboost模式识别相结合的方法,Adaboost模式识别不需要对整幅图像进行搜索,只需在混合高斯背景建模后提取到感兴趣区域内进行搜索识别车辆,大大提高运算速度;在混合高斯建模提取到的感兴趣区域比较小的情况下,Adaboost识别时可以减小搜索的步长,提高精度;在混合高斯建模提取到的感兴趣区域比较大的情况下,Adaboost识别时可以稍微扩大搜索步长,实现动态搜索步长的调整,而不再采用单一固定的缩放比例,在保证运算速度的情况下,提高精度,同时在交通车辆目标在远距离的情况下,依然可以准确的进行检测识别,可以克服光照、阴影、树叶晃动、摄像机抖动等不利因素,对车辆粘连和车辆遮挡刚能得以较好的解决。\n[0039] (3)本发明所述的交通车辆检测识别方法,将所述车辆搜索窗口与所述交通车辆样本目标特征数据库进行比对时,根据归一化处理后的所述交通车辆样本图像与所述非交通车辆样本图像的样本图像大小对所述车辆搜索窗口进行比例缩放。首先,选取较小的车辆搜索窗口进行特征提取和车辆识别,然后逐步扩大车辆搜索窗口再进行特征提取和车辆识别,车辆搜索窗口直至扩大到运动目标区域大小,车辆识别结束,最终获得车辆识别的角度类型和车辆的种类类型。此车辆识别过程中,在视频场景比较远的情况时,可以选取较小的搜索步长,视频场景比较近的情况时,可以选取较大的所搜步长,这样在提高车辆的识别效率的同时提高了车辆识别的准确度。\n[0040] (4)本发明所述的交通车辆检测识别方法,对交通视频图像序列进行浮雕运算,使图像中的黑暗区域增加一些亮度,减小了图像的明暗度,有助于混合高斯建模。\n[0041] (5)本发明所述的交通车辆检测识别方法,所述步骤①中所述交通车辆样本图像和所述非交通车辆样本图像归一化处理得到24×24、32×32、48×48三种大小的样本图像,这三种图像样本在获得的视频图像的大小中分布均匀,有助于以后的车辆样本训练和对视频图像进行车辆识别。\n[0042] (6)本发明所述的交通车辆检测识别方法,所述步骤①中所述角度分类是指按照所述交通车辆样本图像中车身倾斜角度进行分类,分为:-30°至+30°、-25°至-55°以及+25°至+55°、-50°至-80°以及+50°至+80°三类。采用这种分类方式,既可以综合车辆倾斜位置,全面反应各个角度的图像特征,又尽量减少角度的种类,从而减少交通车辆样本目标特征数据库中的数据类型,提高识别过程中的匹配速度。\n[0043] (7)本发明所述的交通车辆检测识别方法,所述步骤①中所述车辆种类分类指将所述交通车辆样本图像分为小型车、不包含公交车辆的大型车和公交车辆三类,由于这三类车型不仅概括了绝大多数车辆的类型,而且这些车型的数据信息为交通管理和路况检测提供更多的信息,因此将车辆种类分为此三类,便于车辆识别时的分类。\n[0044] (8)本发明所述的交通车辆检测识别方法,车辆样本训练的训练过程需要收集大量的交通车辆样本图像和非交通车辆样本图像,非交通车辆样本图像大部分来源于交通视频图像中的非交通车辆部分,交通车辆样本图像作为正样本,非交通车辆样本图像作为负样本,正样本和负样本一起纳入车辆检测的训练器中,通过训练获得有较强特征的车辆模板,可以有效得区分车辆图像和非车辆图像,提高车辆识别的精度。\n附图说明\n[0045] 为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中\n[0046] 图1为本发明一个实施例的基于视频的交通车辆检测识别系统结构框图;\n[0047] 图2为图1所示基于视频的交通车辆检测识别系统的识别方法的建立交通车辆样本目标特征数据库流程图;\n[0048] 图3为图1所示基于视频的交通车辆检测识别系统的识别方法的运动目标检测流程图;\n[0049] 图4为图1所示基于视频的交通车辆检测识别系统的识别方法的对运动目标区域进行车辆识别流程图;\n[0050] 图5和图6为使用图1所示实施例系统对一帧图像进行运动区域检测的仿真效果图;\n[0051] 图7和图8为使用图1所示实施例系统对图像进行识别的仿真效果图。\n[0052] 图中附图标记表示为:1-运动目标检测模块;2-目标特征数据库模块;21-样本图像预处理单元;22-交通车辆样本图像分类单元;23-样本图像特征提取单元;24-样本图像模式识别训练单元;25-目标特征数据库存储单元;3-交通车辆识别模块;31-车辆搜索窗口单元;32-搜索窗口特征提取单元;33-比对单元。\n具体实施方式\n[0053] 实施例1:\n[0054] 下面给出本发明所述的一种基于视频的交通车辆检测识别系统的一个具体的实施方式,参见图1所示,本实施例中的基于视频的交通车辆检测识别系统,包括:\n[0055] (1)目标特征数据库模块2,存储有对交通车辆样本图像进行模式识别训练后,根据归一化类型、角度类型和车辆类型得到的交通车辆样本目标特征数据库,包括样本图像预处理单元21、交通车辆样本图像分类单元22、样本图像特征提取单元23、样本图像模式识别训练单元24以及目标特征数据库存储单元25,下面分别对上述单元进行详细介绍。\n[0056] 样本图像预处理单元21,从交通视频中裁剪出非交通车辆样本图像和所述交通车辆样本图像,对所述交通车辆样本图像和所述非交通车辆样本图像进行图像预处理,所述图像预处理包括归一化处理和灰度化处理。本实施例中,采取从交通视频中裁剪出8000张交通车辆样本图像和12000张非交通车辆样本图像,对8000张所述交通车辆样本图像和12000张所述非交通车辆样本图像进行归一化处理和灰度化处理,所述归一化处理得到\n24×24、32×32、48×48三种大小的样本图像。\n[0057] 交通车辆样本图像分类单元22,与所述样本图像预处理单元21连接,对归一化处理后的所述交通车辆样本图像进行角度分类和车辆种类分类。所述角度分类是指按照所述交通车辆样本图像中车身倾斜角度进行分类(以场景视觉方向为0°方向),本实施例中分为:-30°至+30°、-25°至-55°以及+25°至+55°、-50°至-80°以及+50°至+80°三类。所述车辆种类分类在本实施例中将所述交通车辆样本图像分为小型车、不包含公交车辆的大型车和公交车辆三类。\n[0058] 样本图像特征提取单元23,与所述交通车辆样本图像分类单元22连接,对所述非交通车辆样本图像和分类后的所述交通车辆样本图像提取其灰度化处理后的积分特征、Haar特征和梯度特征。\n[0059] 积分特征是指图像中任意一点的数值等于从图像的左上角到这个点所构成的矩形区域内所有点像素的和。Haar特征分为三类:边缘特征、线性特征、中心特征和对角线特征,组合成特征模板。特征模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。在确定了特征形式后Harr-like特征的数量就取决于训练样本图像矩阵的大小,特征模板在子窗口内任意放置,一种形态称为一种特征,找出所有子窗口的特征是进行弱分类训练的基础。梯度特征描述了图像的边缘、角点等局部区域变化的信息,对于光照的变化具有较强的鲁棒性,广泛运用在目标特征描述、图像匹配和目标检测中。图像的积分特征、Haar特征、梯度特征在OpenCV里面的人脸识别、头肩识别已有详细的说明和具体的获得方法,采用现有技术中的方法可以获得交通车辆样本图像的积分特征、Haar特征和梯度特征。OpenCV的全称是Open Source Computer Vision Library,OpenCV于1999年由Intel建立,现在由Willow Garage提供支持。OpenCV是一个基于BSD许可证授权(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。OpenCV中提供的方法可以直接识别图像中的积分特征、Haar特征、梯度特征。\n[0060] 样本图像模式识别训练单元24,与所述样本图像特征提取单元23连接,对所述交通车辆样本图像和所述非交通车辆样本图像的所述积分特征、所述Haar特征和所述梯度特征进行Adaboost算法模式识别训练。Adaboost是一种将任意强于随机猜测的弱分类器组合成强分类器的通用算法。Viola最先将Adaboost理论与Haar矩形特征相结合,应用于人脸检测,实现了实时人脸检测,该方法是将多个基于单个特征的弱分类器级联成一个强分类器,然后将多个强分类器级联成一个完成的目标检测器。在本实施例中AdaBoost车辆样本的训练过程和OpenCV里面的人脸训练过程基本上一致。\n[0061] 目标特征数据库存储单元25,与所述样本图像模式识别训练单元24连接,存储所述样本图像模式识别训练单元24根据归一化类型、角度类型和车辆类型得到27种交通车辆样本目标特征数据库。\n[0062] (2)运动目标检测模块1,与交通视频设备连接,此处的交通视频设备可以为设置在路口或路段上的视频采集设备如摄像头、摄像机等,也可以为采集好的记录下来的视频设备,从获得的交通视频图像序列中检测出运动目标区域。\n[0063] (3)交通车辆识别模块3,与所述运动目标检测模块1进行数据传输,加载所述目标特征数据库存储单元25存储的27种所述交通车辆样本目标特征数据库,对所述运动目标检测模块1识别出的所述运动目标区域进行车辆识别。\n[0064] 所述交通车辆识别模块3包括:车辆搜索窗口单元31,在所述运动目标区域内设置一个车辆搜索窗口。\n[0065] 搜索窗口特征提取单元32,与所述车辆搜索窗口单元31连接,获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征。\n[0066] 比对单元33,与所述搜索窗口特征提取单元32和所述目标特征数据库存储单元\n25连接,将所述搜索窗口特征提取单元32获得的所述积分特征、所述Haar特征和所述梯度特征与所述目标特征数据库存储单元25中的所述交通车辆样本目标特征数据库进行比对,对所述车辆搜索窗口内的车辆进行识别。\n[0067] 一种使用本实施例所述的基于视频的交通车辆检测识别系统的交通车辆检测识别方法,包括如下步骤:\n[0068] ①建立交通车辆样本目标特征数据库,如图2所示:\n[0069] S01:从交通视频中裁剪出8000张交通车辆样本图像和12000张非交通车辆样本图像,通过样本图像预处理单元21对所述交通车辆样本图像和所述非交通车辆样本图像进行归一化处理和灰度化处理,所述归一化处理得到24×24、32×32、48×48三种大小的样本图像。\n[0070] S02:对归一化处理后的所述交通车辆样本图像进行角度分类和车辆种类分类,调用交通车辆样本图像分类单元22进行分类,所述角度分类是指按照所述交通车辆样本图像中车身倾斜角度进行分类,分为:-30°至+30°、-25°至-55°以及+25°至+55°、-50°至-80°以及+50°至+80°三类,所述车辆种类分类指将所述交通车辆样本图像分为小型车、不包含公交车辆的大型车和公交车辆三类。分类后,通过样本图像特征提取单元23对所述非交通车辆样本图像和分类后的所述交通车辆样本图像提取其灰度化处理后的积分特征、Haar特征和梯度特征。\n[0071] S03:对所述交通车辆样本图像和所述非交通车辆样本图像的积分特征、Haar特征和梯度特征进行Adaboost算法模式识别训练,根据归一化类型、角度类型和车辆类型得到27种交通车辆样本目标特征数据库,此处的27种是根据3种归一化类型、3种角度类型和3种车辆类型组合(3×3×3)获得的27种。\n[0072] ②读取交通视频图像序列,从所述交通视频图像序列中检测出运动目标区域。此处可以采用现有技术中运动目标检测方法来实现,例如基于码书的运动方法。\n[0073] ③加载所述交通车辆样本目标特征数据库,对所述运动目标区域进行车辆识别,如图4所示:\n[0074] D01:在每一个所述运动目标区域内定义一个车辆搜索窗口;\n[0075] D02:获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征;\n[0076] D03:将所述车辆搜索窗口内的所述积分特征、Haar特征和梯度特征与所述交通车辆样本目标特征数据库进行比对,对所述车辆搜索窗口内的车辆进行识别,获得匹配度最高的车辆模型的角度和车辆类型,作为所述车辆搜索窗口内的车辆角度和车辆类型。\n[0077] 在本实施例中,其中交通车辆样本的训练是根据裁减交通车辆样本图像归一化大小24×24、32×32、48×48类型,角度类型-30°至+30°一类、-25°至-55°以及+25°至+55°一类、-50°至-80°以及+50°至+80°一类,车辆类型小型车、大型车(不包含公交车辆)、公交车辆共同进行分类训练,根据归一化大小、角度、车辆类型一共分成27种类型,然后分别进行训练,共得到27种交通车辆目标特征数据库模型。最为可以变换的实施方式,归一化类型可以根据常用的图像大小设置为其他类型,如24×24、28×28、32×32、\n36×36、48×48、56×56等类型中的几种。角度类型也可以根据需要设置为更多类进行细分,如-20°至+20°一类、-20°至-50°以及+20°至+50°一类、-50°至-80°以及+50°至+80°一类,分为3-6类都可以,根据需要来设置。车辆类型也可以分为其他的一些类型如增加货运打车、面包车等类型,根据需要分出的车辆类型来设置。\n[0078] 实施例2:\n[0079] 在上述实施例的基础上,所述交通车辆检测识别方法的步骤②中还可以采用特定的方法检测出运动目标区域。所述步骤③中可以通过依次扩大搜索窗口的方式逼近运动目标区域的大小。具体的步骤如下:\n[0080] ②读取交通视频图像序列,从所述交通视频图像序列中检测出运动目标区域的过程如下,参见图3所示:\n[0081] T01:读取交通视频图像序列,进行浮雕运算,浮雕运算的原理是把图像的一个像素与其相邻左上方的像素进行差值运算再加上一个常数(为了保持图像的灰度,这里的常量可设置为128),使黑暗区域增加一些亮度。进行浮雕运算后然后采用混合高斯模型,对所述交通视频图像序列进行背景建模,获取对所述交通视频图像序列的二值图像。\n[0082] 混合高斯背景建模基本思想是:首先定义K个状态表示每一个像素点的颜色,其中K的取值一般在3~5之间,K值越大,处理波动能力越强,速度越慢。K中的每一个状态用一个高斯核函数表示,这些状态一部分表示背景的像素值,其余部分则表示运动前景的像素值。如每个像素点颜色取值用变量Xt表示,其概率密度函数可由如下K个三维高斯函数表示:\n[0083] \n[0084] η(x,μi,t,∑i,t)是t时刻的第i个高斯分布,其均值为μi,t,协方差矩阵为∑i,t=(σi,t)2,ωi,t是第i个高斯分布的权重,且有 其中i=1,2,...,K (2)\n[0085] 式中n表示Xt的维数。\n[0086] 随着场景的不断变化,每个像素的混合高斯模型都需要不断地学习更新,方法是将混合高斯模型中的K个高斯成分ωi,t/σi,t由大到小排序,然后用当前像素值Xt与混合高斯模型中的K个高斯成分逐一比较,如果当前像素值Xt与第i个高斯成分中的均值μi,t之间的差值小于该高斯成分标准差σi,t的2.5至3.5倍,则对混合高斯模型进行更新,更新方程如下:\n[0087] ωi,t+1=(1-α)ωi,t-αMi,t (3)[0088] μi,t+1=(1-ρ)μi,t-ρxi (4)[0089] (σi.t+1)2=(1-ρ)(σi,t)2-ρ(xi-μi,t)T(xi-μi,t) (5)[0090] ρ=α/ωi,t (6)[0091] 其中α是混合高斯模型的学习率,当第i个高斯成分与Xt匹配时,Mi,t为1,否则为0;如果当前像素值Xt与混合高斯模型中的K个高斯成分都不匹配时,则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分所取代,新的高斯成分的均值用当前像素值代替,初始标准差及权重设置为默认值,在更新完成后,各高斯成分的权值重新被归一化。\n[0092] 在对交通视频图像高斯建模的过程中,针对混合高斯模型,进行了离散数字化处理,这样大大优化了混合高斯的运算速度,根据实际场景的仿真,本实施例中建立了K=3的混合高斯背景模型。\n[0093] T02:对所述二值图像进行形态学滤波,然后运用连通域分析进行目标区域标定,得到若干运动目标区域;\n[0094] T03:对于所述运动目标区域,当交通视频图像的单个像素点在所述运动目标区域内时,则这个所述像素点不进行背景更新过程,否则进行背景更新过程。\n[0095] ③加载所述交通车辆样本目标特征数据库,对所述运动目标区域进行车辆识别:\n[0096] D01:在每一个所述运动目标区域内定义一个车辆搜索窗口;\n[0097] D02:获得所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征;\n[0098] D03:将所述车辆搜索窗口与所述交通车辆样本目标特征数据库进行比对时,根据归一化处理后的所述交通车辆样本图像与所述非交通车辆样本图像的样本图像大小对所述车辆搜索窗口进行比例缩放,对所述车辆搜索窗口内的灰度图像的积分特征、Haar特征和梯度特征与所述交通车辆样本目标特征数据库进行匹配。也就是说在每个运动目标区域内定义一个车辆搜索窗口,所述车辆搜索窗口根据一定的步长自动的增长,根据所述车辆搜索窗口的大小,自动与27个交通车辆样本目标特征数据库中的样本类型为24×24、\n32×32、48×48的目标特征数据进行对比识别。此过程中如果匹配成功度小于匹配阈值,则认为所述车辆搜索窗口为非车辆区域,否则,则认为所述车辆搜索窗口为车辆区域,获得匹配的角度类型和车辆类型。\n[0099] 本发明所述的交通车辆检测识别方法,是采用将背景建模和模式识别相结合的方法,可以将检测识别到的车辆根据角度和车辆类型进行分类,同时交通车辆目标在远距离的情况下,依然可以准确的检测识别到,提高了识别精度,同时可以克服光照、阴影、树叶晃动、摄像机抖动等不利因素,对车辆粘连和车辆遮挡刚能得以较好的解决。\n[0100] 图5和图6为使用上述实施例所述的交通车辆检测识别系统对一帧图像进行运动区域检测的仿真效果图,其中图6中的线框内表示是运动检测区域范围,图5是对交通视频图像序列运用混合高斯模型进行建模得到的二值分类结果,图6是对图5进行目标标定处理得到的两个矩形框,分别为车辆和行人,这里也就有了两个运动目标区域——车辆区域和行人区域。\n[0101] 图7和图8为使用上述实施例所述的交通车辆检测识别系统对图像进行识别的仿真效果图,图7是对图5得到的运动目标区域进行车辆识别,在这里面把行人过滤掉了,只剩下我们感兴趣的交通车辆;图8是另外一个时间点识别到交通车辆,识别出了两个交通车辆目标,一个为小型车,另外一个为大型车。\n[0102] 作为其他可以变换的实施方式,所述Adaboost算法可以用SVM算法代替。\nSVM(support vector machine支持向量机)是一种可训练的机器学习方法,SVM的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。由于SVM算法训练速度快,但是车辆识别速度慢,此时需要一个专门的硬件加速器支持;其它同上述实施例。同样能实现本发明的目的,属于本发明的保护范围。\n[0103] 显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
法律信息
- 2021-03-12
未缴年费专利权终止
IPC(主分类): G06K 9/62
专利号: ZL 201210078707.5
申请日: 2012.03.22
授权公告日: 2014.07.02
- 2014-07-02
- 2012-10-03
实质审查的生效
IPC(主分类): G06K 9/62
专利申请号: 201210078707.5
申请日: 2012.03.22
- 2012-08-15
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| | 暂无 |
2012-03-22
| | |
2
| |
2011-09-21
|
2010-03-05
| | |
3
| |
2011-06-08
|
2011-03-07
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |