一种基于视频检测的前后车牌识别方法及装置

1.一种基于视频检测的前后车牌识别方法，通过垂直于地面安装、且具有90°以上的广角镜头的第一车牌抓拍识别设备，识别车辆的前后车牌，其特征在于，包括以下步骤：
目标检测步骤，用于捕获经过预设监控区域的运动目标，并筛选出机动车目标车辆；
跟踪抓拍步骤，用于跟踪检测到的车辆在监控区域内的运动轨迹，对同一目标车辆抓拍前、后车牌图片；其中所述跟踪抓拍步骤利用运动目标的时空关联特性，确保设备抓拍到的前后车牌属于同一个目标车辆，其进一步包括跟踪子步骤和抓拍子步骤，所述跟踪子步骤与抓拍子步骤紧密关联，即在跟踪子步骤中实时监控车牌区域内的图片像素信息，并根据车牌区域图片像素信息量来判断是否启动抓拍子步骤，当车牌区域图片像素信息量达到可进行目标识别的要求时，启动抓拍子步骤进行目标车头或车尾车牌图片的抓拍；
车牌识别步骤，用于处理抓拍到的前、后车牌图片，获得前、后车牌的识别结果；
关联比对步骤，将车牌识别步骤输出的前、后车牌的识别结果进行比对，输出比对结果；
结果输出步骤，根据比对结果，将同一辆车前、后车牌不一致的车辆筛选出来，并输出同一辆车前、后车牌不一致的疑似套牌车辆的车牌信息。
2.根据权利要求1所述的方法，其特征在于，所述目标检测步骤的检测方法包括：基于HOG的目标检测算法、或基于背景建模的目标检测算法、或基于上下文的目标检测算法。
3.根据权利要求2所述的方法，其特征在于，所述跟踪子步骤的算法包括采用基于机器学习的检测跟踪算法、或基于特征匹配的目标跟踪算法、或基于多子模板匹配跟踪算法、或基于角点的跟踪算法。
4.根据权利要求3所述的方法，其特征在于，进一步包括车辆补充信息获取步骤，通过增加设置与地面成40-50度角度安装、且具有90°以上的广角镜头的第二车牌抓拍识别设备(B)，对车头或车尾进行抓拍来获得包括车辆描述信息在内的车辆相关信息。
5.根据权利要求4所述的方法，其特征在于，进一步包括匹配关联步骤，将所述第二车牌抓拍识别设备(B)获得的车辆相关信息与所述第一车牌抓拍识别设备(A)获得的车牌结果匹配并进行信息关联以获得所述疑似套牌车辆的详细描述信息。
6.一种基于视频检测的前后车牌识别装置，其特征在于，包括：
第一车牌抓拍识别设备，具有90°以上的广角镜头，以垂直地面的方式被安装，所述第一车牌抓拍识别设备包括以下模块：
第一目标检测模块，用于捕获经过预设监控区域的运动目标，并筛选出机动车目标车辆；
第一跟踪抓拍模块，用于跟踪检测到的车辆在监控区域内的运动轨迹，对同一目标车辆抓拍前、后车牌图片；其中所述第一跟踪抓拍模块利用运动目标的时空关联特性，确保设备抓拍到的前后车牌属于同一个目标车辆，其进一步执行跟踪子步骤和抓拍子步骤，所述跟踪子步骤与抓拍子步骤紧密关联，即在跟踪子步骤中实时监控车牌区域内的图片像素信息，并根据车牌区域图片像素信息量来判断是否启动抓拍子步骤，当车牌区域图片像素信息量达到可进行目标识别的要求时，启动抓拍子步骤进行目标车头或车尾车牌图片的抓拍；
第一车牌识别模块，用于处理抓拍到的前、后车牌图片，获得前、后车牌的识别结果；
第一关联比对模块，将车牌识别步骤输出的前、后车牌的识别结果进行比对，输出比对结果；
第一结果输出模块，根据比对结果，将同一辆车前、后车牌不一致的车辆筛选出来，输出前后车牌结果不一致的疑似套牌车辆的车牌信息。
7.根据权利要求6所述的装置，其特征在于，进一步包括：
与地面成40-50度角度安装、且具有90°以上的广角镜头以对车头或车尾进行抓拍的第二车牌抓拍识别设备(B)、以及匹配关联单元，
所述第二车牌抓拍识别设备(B)包括以下模块:
第二目标检测模块，用于捕获经过预设监控区域的运动目标，并筛选出机动车目标车辆；
第二跟踪抓拍模块，用于跟踪检测到的车辆在监控区域内的运动轨迹，并根据具体的安装方案，抓拍同一车辆的车头或车尾图片；
第二车辆信息分析模块，用于处理抓拍到的车头或车尾图片，并分析获取车辆相关信息，从车头图片中获取包括车牌、车标、车型、车身颜色在内的车辆描述信息、驾驶员人脸抠图信息、包括是否系安全带、是否在打手机、是否有遮阳板在内的驾驶员姿态信息；从所述车尾图片获取包括车牌、车标、车型、车身颜色在内的车辆描述信息。
8.根据权利要求7所述的装置，其特征在于，所述匹配关联单元，根据所述第二车牌抓拍识别设备(B)获得的车辆相关信息与所述第一车牌抓拍识别设备(A)获得的车牌信息，通过将对应的前车牌或后车牌的车牌识别结果进行匹配，并进行信息关联，从而获得所述疑似套牌车辆的详细描述信息。

一种基于视频检测的前后车牌识别方法及装置\n技术领域\n[0001] 本发明涉及交通记录设备的领域，尤其涉及一种基于视频检测的前后车牌识别方法及装置。\n背景技术\n[0002] 目前，交通车辆记录设备一般包括一台智能抓拍摄像机，该摄像机对车辆的车牌进行抓拍和记录。但是，这样的交通记录设备无法实现用一台智能抓拍摄像机同时对同一辆车的前后车牌进行抓拍和记录，亦无法捕获到同一辆车前后车牌不一致的疑似套牌的违法行为，存在执法漏洞，威胁交通治安管理。\n发明内容\n[0003] 本发明针对上述问题，提出一种基于视频检测的前后车牌识别方法，可以同时对同一辆车的前后车牌进行抓拍和记录，实现快速定位并输出同一车辆前后车牌不一致的疑似套牌车目标。\n[0004] 本发明的一种基于视频检测的前后车牌识别方法，通过垂直于地面安装、且具有\n90°以上的广角镜头的第一车牌抓拍识别设备，识别车辆的前后车牌，其特征在于，包括以下步骤：\n[0005] 目标检测步骤，用于捕获经过预设监控区域的运动目标，并筛选出机动车目标车辆；\n[0006] 跟踪抓拍步骤，用于跟踪检测到的车辆在监控区域内的运动轨迹，并并抓拍同一车辆的前、后车牌图片；\n[0007] 车牌识别步骤，用于处理抓拍到的前、后车牌图片，获得前、后车牌的识别结果；\n[0008] 关联比对步骤，将车牌识别步骤输出的前、后车牌的识别结果进行比对，输出比对结果；\n[0009] 结果输出步骤，根据比对结果，将同一辆车前、后车牌不一致的车辆筛选出来，并输出同一辆车前、后车牌不一致的疑似套牌车车辆的车牌信息。\n[0010] 优选地，所述目标检测步骤可选用的检测方法包括：基于HOG的目标检测算法或基于背景建模的目标检测算法或基于上下文的目标检测算法。\n[0011] 优选地，所述跟踪抓拍步骤充分利用运动目标的时空关联特性，确保设备抓拍到的前后车牌属于同一个目标车辆，其进一步包括跟踪子步骤和抓拍子步骤，所述跟踪子步骤可选用的算法包括采用基于机器学习的检测跟踪算法、或基于特征匹配的目标跟踪算法、或基于多子模板匹配跟踪算法、或基于角点的跟踪算法。\n[0012] 优选地，所述跟踪子步骤与抓拍子步骤紧密关联，即在跟踪子步骤中实时监控车牌区域内的图片像素信息，并根据车牌区域图片像素信息量来判断是否启动抓拍子步骤，当车牌区域图片像素信息量达到可进行目标识别的要求时，启动抓拍子步骤进行目标车头或车尾车牌图片的抓拍。\n[0013] 优选地，进一步包括车辆补充信息获取步骤，通过增加设置与地面成40-50度角度安装、且具有90°以上的广角镜头的第二车牌抓拍识别设备(B)，对车头或车尾进行抓拍来获得包括车辆描述信息在内的车辆相关信息。\n[0014] 优选地，进一步包括匹配关联步骤，将所述第二车牌抓拍识别设备(B)获得的车辆相关信息与所述第一车牌抓拍识别设备(A)获得的车牌结果匹配并进行关联以获得所述车辆的详细描述信息。\n[0015] 本发明还提供了一种基于视频检测的前后车牌识别装置，包括：\n[0016] 第一车牌抓拍识别设备，具有90°以上的广角镜头，以垂直地面的方式被安装，所述第一车牌抓拍识别设备包括以下模块：\n[0017] 第一目标检测模块，用于捕获经过预设监控区域的运动目标，并筛选出机动车目标车辆；\n[0018] 第一跟踪抓拍模块，用于跟踪检测到的车辆在监控区域内的运动轨迹，并抓拍同一车辆的前、后车牌图片；\n[0019] 第一车牌识别模块，用于处理抓拍到的前、后车牌图片，获得前、后车牌的识别结果；\n[0020] 第一关联比对模块，将车牌识别步骤输出的前、后车牌的识别结果进行比对，输出比对结果；\n[0021] 第一结果输出模块，根据比对结果，将同一辆车前、后车牌不一致的车辆筛选出来，输出前后车牌结果不一致的疑似套牌车辆的车牌信息。\n[0022] 优选地，进一步包括：\n[0023] 与地面成40-50度角度安装、且具有90°以上的广角镜头以对车头或车尾进行抓拍的第二车牌抓拍识别设备(B)、以及匹配关联单元，\n[0024] 所述第二车牌抓拍识别设备(B)包括以下模块:\n[0025] 第二目标检测模块，用于捕获经过预设监控区域的车辆；\n[0026] 第二跟踪抓拍模块，用于跟踪检测到的车辆在监控区域内的运动轨迹，并根据具体的安装方案，抓拍同一车辆的车头或车尾图片；\n[0027] 第二车辆信息分析模块，用于处理抓拍到的车头或车尾图片，并分析获取车辆相关信息，从车头图片中获取包括车牌、车标、车型、车身颜色在内的车辆描述信息、驾驶员人脸抠图信息、包括是否系安全带、是否在打手机、是否有遮阳板在内的驾驶员姿态信息；从所述车尾图片获取包括车牌、车标、车型、车身颜色在内的车辆描述信息；\n[0028] 优选地，所述匹配关联单元，根据所述第二车牌抓拍识别设备(B)获得的车辆相关信息与所述第一车牌抓拍识别设备(A)获得的车牌信息，通过将对应的前车牌或后车牌的车牌识别结果进行匹配，并进行信息关联，从而获得所述疑似套牌车辆的详细描述信息。\n[0029] 本发明的有益效果在于：\n[0030] 通过本发明方法，可以实现同时对同一辆车的前后车牌进行抓拍和记录，监控到同一辆车前后车牌不一致的疑似套牌的违法行为，弥补执法漏洞，加强交通治安管理。\n附图说明\n[0031] 图1(a)、图1(b)是本发明的基于视频检测的前后车牌识别方法的流程图。\n[0032] 图2是本发明的基于视频检测的前后车牌识别装置的结构框图。\n[0033] 图3是车牌抓拍摄像机(A)抓拍方法的示意图。\n[0034] 图4是车牌抓拍摄像机(A)+车牌抓拍摄像机(B)对车头抓拍方法的示意图。\n[0035] 图5是车牌抓拍摄像机(A)+车牌抓拍摄像机(B)对车尾抓拍方法的示意图。\n具体实施方式\n[0036] 以下结合附图对本发明进行详细说明。以下实施例并不是对本发明的限制。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中。\n[0037] 如图1所示为本发明的基于视频检测的前后车牌识别方法的流程图。本发明方法通过第一车牌抓拍识别设备识别车辆的前后车牌，包括以下步骤。\n[0038] 首先是目标检测步骤(S1)，用于捕获监控区域内的运动目标，并筛选出机动车目标车辆，为后续单元提供原始数据。\n[0039] 该步骤中，本系统选用基于HOG的目标检测算法完成目标检测，同时还可选用基于背景建模的目标检测算法、基于上下文的目标检测算法等。\n[0040] 基于HOG的目标检测，即构建多尺度检测窗，在相机抓拍到视频图片传至目标检测模块，在视频图片中进行窗口滑动，在窗口区域内进行目标特征提取，并将特征与分类样本信息进行比对，实现目标的检测及识别。\n[0041] 基于背景建模的目标检测，即视频数据处理过程中，先构建检测区域的背景模型，再将拍摄到的视频图像逐帧与该背景模型做背景减法，进而检测出目标前景。该方法背景建模常用算法有基于混合高斯建模的背景建模，或基于贝叶斯建模的背景建模。\n[0042] 基于上下文的目标检测，利用视频图像帧之间的关联性，提取相邻两帧或多帧视频图像间的几何、位置等关联性，实现对运动目标的检测。\n[0043] 接下来是跟踪抓拍步骤(S2)，用于跟踪检测到的车辆在监控区域内的运动轨迹，利用视频运动目标的时空关联性，抓拍同一车辆的前牌、后牌图片。\n[0044] 该跟踪抓拍步骤还包括跟踪子步骤和抓拍子步骤。跟踪子步骤中采用基于机器学习的检测跟踪算法、或基于特征匹配的目标跟踪算法、或基于多子模板匹配跟踪算法、或基于角点的跟踪算法等。\n[0045] 各算法的实现原理如下：\n[0046] 基于检测的跟踪算法，该方法实际是基于机器学习的检测跟踪方法，在对目标进行跟踪之前，先针对特定的跟踪目标，搜集该目标各种条件(可能发生的各种形变、各种尺度、姿态变化以及光照变化等)下的海量目标数据，结合特征提取及机器学习，生成目标模型数据，在跟踪过程中通过模型匹配来实现目标的持续检测与跟踪。\n[0047] 基于目标特征匹配的跟踪算法，通过提取跟踪目标的刚性特征，如目标灰度图像、二值分割图像、边缘点、角点、颜色直方图等特征，进行目标跟踪。\n[0048] 基于多子模板匹配跟踪法，该方法基于多目标模型，在跟踪的过程中，通过匹配误差来判定目标轨迹，结合灰度相关匹配实现目标的长时间持续跟踪。\n[0049] 基于角点的跟踪算法，是在检测到运动目标的基础上，提取目标关键特征点，视频图像中，通过目标特征点匹配来实现目标的跟踪。该算法中常用的经典方法为Mean Shift算法。\n[0050] 跟踪子步骤与抓拍子步骤紧密关联，即在跟踪子步骤中实时监控车牌区域内的图片像素信息，并根据车牌区域图片像素信息量来判断是否启动抓拍子步骤，当车牌区域图片像素信息量达到可进行目标识别的要求时，启动抓拍子步骤进行目标车头或车尾车牌图片的抓拍。\n[0051] 接着是车牌识别步骤(S3)，用于处理抓拍到的前、后车牌图片，获得前、后车牌的识别结果。车牌识别具体包括车牌定位、字符分割、车牌识别、结果输出四步，完成对抓拍到的前、后车牌图片的处理，输出识别结果。\n[0052] 关联比对步骤(S4)，将车牌识别步骤(S3)输出的前、后车牌的识别结果进行比对，输出比对结果。\n[0053] 结果输出步骤(S5)，根据比对结果，将同一辆车前、后车牌不一致的车辆筛选出来，并输出同一辆车前、后车牌不一致的疑似套牌车车辆的车牌信息。该车牌信息即指车牌识别步骤(S3)中获得的该车辆的前、后车牌的识别结果。\n[0054] 本发明的优选实施例中，进一步包括车辆补充信息获取步骤(S6)，通过增加设置与地面成40-50度角度安装、且具有90°以上的广角镜头的第二车牌抓拍识别设备(B)，对车头或车尾进行抓拍来获得车头图片或车尾图片，并从图片中分析获取更多的车辆相关信息，包括如下：从车头图片中获取包括车牌、车标、车型、车身颜色等在内的车辆描述信息、驾驶员人脸抠图信息、包括是否系安全带、是否在打手机、是否有遮阳板等在内的驾驶员姿态信息；从所述车尾图片可获取包括车牌、车标、车型、车身颜色等在内车辆描述信息。\n[0055] 在获得车辆补充信息后，还进一步包括匹配关联步骤(S7)，将所述第二车牌抓拍识别设备(B)获得的车辆相关信息与所述第一车牌抓拍识别设备(A)获得的车牌信息进行车牌识别结果匹配(车牌匹配)，并进行信息关联，从而获得所述疑似套牌车辆的详细描述信息，即包括第一车牌抓拍识别设备获得的该车辆的信息以及第二车牌抓拍识别设备获得的该车辆的信息。\n[0056] 图2是本发明的基于视频检测的前后车牌识别装置的结构框图。如图所示，优选实施例中，本发明的前后车牌识别装置10包括第一车牌抓拍识别设备(A)1、第二车牌抓拍识别设备(B)2以及匹配关联单元3。在另外的实施例中，也可以仅包括第一车牌抓拍识别设备(A)1。\n[0057] 本发明中，第一车牌抓拍识别设备(A)为基于视频检测的车牌抓拍摄像机，以垂直地面的方式被安装监测路面状况，且具有90°以上的广角镜头以及内置算法单元。采用视频抓拍识别摄像机配合广角镜头，摄像机镜头向下安装，能够对车辆通行的道路进行全天候监控。另外，广角镜较常规镜头，拥有更大的视角范围，可获取更多监控区域内的车辆信息，利于有效获取车头车牌和车尾车牌信息。\n[0058] 所述第一车牌抓拍识别设备(A)1包括以下模块：\n[0059] 第一目标检测模块11，用于捕获经过预设监控区域的车辆；\n[0060] 第一跟踪抓拍模块12，用于跟踪检测到的车辆在监控区域内的运动轨迹，并抓拍同一车辆的前、后车牌图片；\n[0061] 第一车牌识别模块13，用于处理抓拍到的前、后车牌图片，获得前、后车牌的识别结果；\n[0062] 第一关联比对模块14，将车牌识别步骤输出的前、后车牌的识别结果进行比对，输出比对结果；\n[0063] 第一结果输出模块15，根据比对结果，将同一辆车前、后车牌不一致的车辆筛选出来，并输出同一辆车前、后车牌不一致的疑似套牌车车辆的车牌信息。\n[0064] 第二车牌抓拍识别设备(B)2包括以下模块:\n[0065] 第二目标检测模块21，用于捕获经过预设监控区域的车辆；\n[0066] 第二跟踪抓拍模块22，用于跟踪检测到的车辆在监控区域内的运动轨迹，并抓拍同一车辆的前车头图片和车尾图片；\n[0067] 第二车辆信息分析模块23，用于处理抓拍到的车头或车位尾图片，并从图片中分析获取更多的车辆相关信息。例如从车头图片中获取车牌、车标、车型、车身颜色等车辆描述信息、驾驶员人脸抠图信息、驾驶员姿态(是否系安全带、是否在打手机、是否有遮阳板等)；从所述车尾图片可获取车牌、车标、车型、车身颜色等车辆描述信息。\n[0068] 匹配关联单元3，用于将所述第二车牌抓拍识别设备(B)获得的信息与所述第一车牌抓拍识别设备(A)获得的输出结果进行车牌识别结果匹配，并进行信息关联，以获得该疑似套牌车辆的详细描述信息。详细描述信息包括车牌、车标、车型、车身颜色等在内的车辆描述信息、驾驶员人脸抠图信息、包括是否系安全带、是否在打手机、是否有遮阳板等在内的驾驶员姿态信息。\n[0069] 本发明中，视频抓拍摄像机使用内置算法单元(目标检测模块)而非地感线圈或者雷达检测来往车辆，就可以实现对车牌自动定位抓拍、识别，降低了装置的硬件成本。\n[0070] 在上述实施例中，如图3所示，仅采用一台摄像机，对通行车辆的前车牌、后车牌同时进行记录和识别。使得通行车辆的记录更完整，用于对车辆的前后车牌的管理，可有效监控到同一辆车前后车牌不一致的疑似套牌的违法行为，弥补执法漏洞，加强了交通治安管理。\n[0071] 在另外的实施例中，如图4～5所示，在第一车牌抓拍识别设备(A)的基础上进一步增加设置第二车牌抓拍识别设备(B)，以增加对车辆信息的捕获，可以获得车辆的详细描述信息(全貌信息)。\n[0072] 显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。