基于双目立体视觉的车辆检测系统和方法

1.一种基于双目立体视觉的车辆检测方法，采用基于双目立体视觉的车辆检测系统对路面上的车辆进行检测，该系统包括双目平行摄像机、DSP处理器、通信模块和上位主机，所述双目平行摄像机包括左摄像机A1、右摄像机A2，分别与DSP处理器相连，用于采集左右图像；所述DSP处理器通过通信模块与上位主机相连，用于数据通信及实时数字视频传输；其特征在于，该方法步骤如下：
(1)、采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，具体步骤为：
(1-1)、通过实际测量，得到双目平行摄像机的固有参数，包括左右摄像机间的基线距离B，左右摄像机焦距f；并测出双目平行摄像机的离地高度H；
(1-2)、根据平行双目系统测距原理，计算理论视差值，公式为：
其中，P0和xl-xr为地面像素点水平方向的理论视差值，f、B和H分别为上述所描述的焦距、左右摄像机间基线距离以及摄像机离地高度；
(1-3)、通过鼠标选取待匹配图像，即右图像中位于地面上的一个特征点并记录图像坐标(xr,yr)，利用区域匹配算法，以像素点(xr,yr)为中心的矩形窗口m×n为匹配基元，其中m，n表示矩形窗口的长宽，单位：像素，在匹配图像，即左图像相同坐标的周围一定范围内进行搜索匹配，得到相似度最高的同名像素点(xl,yl)；
(1-4)、根据获取到的左右图像的匹配像素点，分别计算水平方向和垂直方向的实际视差值，公式为：
其中，Px和Py分别表示水平x方向和垂直y方向的视差值；
(1-5)、利用得到的理论视差值以及实际视差值，得到较为精确的双目摄像机两个坐标方向上的主点差参数dx,dy，公式如下：
(2)、实时采集左右图像，在左图像中通过高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取；
(3)、依据主点差进行位置校正，对已提取获得的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像；
(4)、对得到的视差图像进行后续处理，包括：5点中值滤波平滑、去误检区，同时计算前景区域中每个像素点对应的二维地平面的高度及位置，得到二维地平面映射图像；
(5)、通过获取到的二维映射图像以及视差和前景区域的参数信息，检测车辆并计算获得车速、车高、车型相关参数。
2.根据权利要求1所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤(2)中的实时采集左右图像，在左图像中通过高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取，其具体如下：
(2-1)、利用高斯模型构建图像背景帧，在T帧训练样本内建立初始高斯模型η(x,μ0,σ0)，其中：
μ0,σ0为初试模型的均值和均方差，对当前帧图像每个像素点建立高斯模型η(x,μt,σt)，下标t表示帧序号，xt,μt,σt分别表示当前帧右图像的像素值，均值和均方差，高斯背景模型的更新公式为：
其中xt-1,μt-1,σt-1分别表示上一帧右图像的像素值、均值和均方差，α是引入的常数，表示背景更新速度的快慢；
(2-2)、根据当前帧图像与背景图像的差值运算，检测判断前景目标区域并提取：
其中，x,y表示像素位置坐标，fk(x,y)表示当前帧，即第k帧右图像，Bk(x,y)表示背景帧图像，Dk为满足阈值条件的右图像像素点的灰度值，T表示背景差的阈值，由实验确定。
3.根据权利要求1所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤(3)中的依据主点差进行位置校正，对已提取的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像，其具体如下：
(3-1)、实时采集左右摄像机的图像，根据步骤(1)所述的左右摄像机主点差，对左图像进行两个坐标方向的平移(dx,dy)，以校正主点差对立体匹配的影响，用于精确视差的计算；
(3-2)、针对步骤(2)提取的右图像前景目标区域Dk(x,y)，得到视差图像，首先设Dk(x,y)为参考图像，左图像为匹配图像，将Dk(x,y)中的像素点为中心，大小为m×n像素的块的一个自适应窗口为匹配基元，然后在匹配图像中以视差范围内每个像素点为中心，大小同为m×n的窗口，依次计算Dk(x,y)中待匹配像素的窗口相关性测量值，记为NCC(x,y,d)，其相关性测量值表达式如下：
其中，x,y为图像像素坐标，Ir,Il分别表示Dk(x,y)和左图像中的像素灰度值， 分别表示Dk(x,y)和左图像中以匹配像素点为中心的窗口内像素平均灰度值，d为沿基线方向在视差范围内的偏移量，对相关性测量NCC(x,y,d)值进行三节点插值，得到相关性测量NCC(x,y,d)最大值所对应的偏移量d，即是所得的视差；
利用上述区域匹配的方法对Dk(x,y)中所有灰度值大于0的像素点进行视差计算得到当前帧前景区域的视差图像，每一像素点的初始自适应窗口宽度为5列，高度是3行，在初始大小的窗口内统计像素的灰度方差，如果灰度方差小于某一门限，说明窗口内包含太少的结构信息，则将匹配窗口的宽度放大50％，继续其灰度方差的判断，直至大于门限或窗口大小达到12×6，所用门限值由实验确定。
4.根据权利要求1所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤(4)中的对得到的视差图像进行后续处理，包括：5点中值滤波平滑、去误检区，同时计算前景区域中每个像素点对应的二维地平面的高度，得到二维映射图像，其具体如下：
(4-1)、采用5点中值滤波的方法进行中值平滑滤波处理，消除弱纹理区域的错误匹配以及孤立视差点；
(4-2)、去除地面阴影区域，在前期获取到地面的视差值Pg后，视差图中前景目标两侧视差值与Pg相等的像素区域，分别为Zl和Zr，根据车辆左右对称的特征，适当消除其中面积较大的部分，使其与另一侧对称；
(4-3)、计算前景车辆目标图像中每个像素点对应的二维地平面的垂直投影位置，生成二维映射图像，坐标映射关系为：
其中，u和v为图像像素坐标系中的像素坐标，u0和v0为图像的主点坐标，pg和p0分别为地面视差值及该坐标前景点的视差值；
(4-4)、根据上述步骤获取到前景目标视差图后，根据平行双目测距原理，将视差值转换为高度值，转换计算公式为：
其中，dg,do分别表示前景目标和地面离双目摄像机的距离，f,B分别表示焦距和基线距离，xl-xr为通过步骤(3)计算的前景目标像素点的视差值，Ho表示前景目标点的离地高度，转换后得到前景目标的深度图，即每个像素点的值表示前景目标高度。
5.根据权利要求1所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤(5)中的通过获取到的二维映射图像以及视差和前景区域的参数信息，检测车辆并计算获得车速、车高、车型相关参数，其具体如下：
(5-1)、根据步骤(4)得到的前景目标深度图，取前景目标高度的最大值作为车身高度，对最大高度值有效性做判断：当最大高度值的数量大于阈值时，判定其有效，否则舍去最大值，选取下一个最大值再次做有效性判断，阈值由实验确定；
(5-2)、根据步骤(2)提取的前景目标区域，获得该区域的长宽信息，通过世界坐标系与图像坐标系的等比关系公式，获得车身的长宽参数，公式为：
其中L和W表示前景目标的像素长宽，Xp和Yp表示图像的像素长宽，即分辨率，单位：像素，x和y为双目平行摄像机拍摄视角的实际长度和宽度，单位：cm，l和w表示前景区域实际长宽数据，单位：cm；
(5-3)、根据步骤(4)获取的表示目标高度的深度图，对深度图逐列进行扫描，统计每列的最大高度值，作为绘制车身侧面轮廓的点；
(5-4)、根据相邻两帧前景目标在图像中的位置差计算车速；首先，以步骤(5-3)的获取的车身轮廓作为匹配基元，将前一帧的车身轮廓图作为参考图像，当前帧的作为匹配图像检测两帧之间的位置差，采用以下公式计算获得车速信息：
其中D为两帧间车身轮廓位置差，单位：像素，Xp表示图像的长度，单位：像素，x表示双目平行摄像机拍摄视角的实际长度，单位：cm，d为前景车辆目标的每秒移动距离，单位：cm/秒，式中24为帧率，即拍摄视频的每秒帧数。

基于双目立体视觉的车辆检测系统和方法\n技术领域\n[0001] 本发明涉及计算机视觉技术应用领域，具体地说是涉及一种基于双目立体视觉的车辆检测系统和方法。\n背景技术\n[0002] 随着城市交通系统的智能化的发展，对道路交通车辆的检测和统计的需求日益增加。现有的车辆检测方法主要有超声波、红外、环感应圈检测，但应用中存在抗干扰能力不强、检测精度不高、无法适应多车道的检测环境以及无法获取到车速、车型等车辆相关参数等缺陷。而目前基于计算机视觉的车辆检测方法已成为研究热点和未来发展趋势。该类方法分为：基于单目视觉的方法和基于双目立体视觉的方法。\n[0003] 基于单目视觉的方法采用单个摄像机拍摄道路车辆画面，具有图像采集、运动目标检测、目标跟踪、车辆统计等步骤。该方法成本较低，实施方便。但是，由于很难处理光照变化、透视效应及遮挡阴影等的影响，造成前景目标的检测困难和前景目标的分割误差，导致统计精度较差。\n[0004] 基于双目立体视觉的方法采用双目摄像机拍摄道路交通视频图像，利用立体视觉中深度感知原理，从双目视频图像中得到目标的深度信息，再利用深度信息进行前景目标的检测、分割，进而达到车辆检测的目的。该类方法虽然理论上可以有效地处理光照变化、透视效应及阴影等所造成的影响。但是，该类方法摄像机标定繁琐，视差匹配和目标分割算法的计算量大、精度不高，由此得到的车辆检测器的实时性和适应性较差，精度低。\n发明内容\n[0005] 本发明的目的在于针对现有的基于单目视觉车辆检测技术中存在的问题，提供一种基于双目立体视觉的车辆检测系统和方法，不仅不易受场景光线变化、阴影、透视效应及遮挡的影响，而且设备简单，算法计算量较低，能有效提高车辆的检测精度和实时性，同时可获得检测车辆的模型参数(如车高、车长、车速等)。\n[0006] 为了达到上述目的，本发明采用的技术方案是：\n[0007] 一种基于双目立体视觉的车辆检测系统，包括双目平行摄像机、DSP处理器、通信模块和上位主机，所述双目平行摄像机包括左摄像机A1、右摄像机A2，分别与DSP处理器相连，用于采集左右图像；所述DSP处理器通过通信模块与上位主机相连，用于数据通信及实时数字视频传输。\n[0008] 一种基于双目立体视觉的车辆检测方法，采用上述系统对路面上的车辆进行检测，该方法步骤如下：\n[0009] (1)、采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数；\n[0010] (2)、实时采集左右图像，在左图像中通过高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取；\n[0011] (3)、依据主点差进行位置校正，对已提取获得的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像；\n[0012] (4)、对得到的视差图像进行后续处理，包括：5点中值滤波平滑、去误检区，同时计算前景区域中每个像素点对应的二维地平面的高度及位置，得到二维地平面映射图像；\n[0013] (5)、通过获取到的二维映射图像以及视差和前景区域的参数信息，检测车辆并计算获得车速、车高、车型相关参数。\n[0014] 上述步骤(1)中的人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，具体步骤如下：\n[0015] (1-1)、通过实际测量，得到双目平行摄像机的固有参数，包括左右摄像机间的基线距离B，左右摄像机焦距f；并测出双目平行摄像机的离地高度H；\n[0016] (1-2)、根据平行双目系统测距原理，计算理论视差值，公式为：\n[0017]\n[0018] 其中，P0和xl-xr为地面像素点水平方向的理论视差值，f、B和H分别为上述所描述的焦距、左右摄像机间基线距离以及摄像机离地高度；\n[0019] (1-3)、通过鼠标选取待匹配图像，即右图像中位于地面上的一个特征点并记录图像坐标(xr,yr)，利用区域匹配算法，以像素点(xr,yr)为中心的矩形窗口m×n为匹配基元(m，n表示矩形窗口的长宽，单位：像素)，在匹配图像，即左图像相同坐标的周围一定范围内进行搜索匹配，得到相似度最高的同名像素点(xl,yl)；\n[0020] (1-4)、根据获取到的左右图像的匹配像素点，分别计算水平方向和垂直方向的实际视差值，公式为：\n[0021]\n[0022] 其中，Px和Py分别表示水平x方向和垂直y方向的视差值。\n[0023] (1-5)、利用得到的理论视差值以及实际视差值，得到较为精确的双目摄像机两个坐标方向上的主点差参数dx,dy，公式如下：\n[0024]\n[0025] 上述步骤(2)中的实时采集左右图像，在左图像中通过高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取，其具体如下：\n[0026] (2-1)、利用高斯模型构建图像背景帧，在T帧训练样本内建立初始高斯模型η(x,μ0,σ0)，其中：\n[0027]\n[0028] μ0,σ0为初试模型的均值和均方差，对当前帧图像每个像素点建立高斯模型η(x,μt,σt)，下标t表示帧序号，xt,μt,σt分别表示当前帧右图像的像素值，均值和均方差，高斯背景模型的更新公式为：\n[0029]\n[0030] 其中xt-1,μt-1,σt-1分别表示上一帧右图像的像素值、均值和均方差，α是引入的常数，表示背景更新速度的快慢；\n[0031] (2-2)、根据当前帧图像与背景图像的差值运算，检测判断前景目标区域并提取：\n[0032]\n[0033] 其中，x,y表示像素位置坐标，fk(x,y)表示当前帧右图像(第k帧)，Bk(x,y)表示背景帧图像，Dk为满足阈值条件的右图像像素点的灰度值，T表示背景差的阈值，由实验确定。\n[0034] 上述步骤(3)中的依据主点差进行位置校正，对已提取的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像，其具体如下：\n[0035] (3-1)、实时采集左右摄像机的图像，根据步骤(1)所述的左右摄像机主点差，对左图像进行两个坐标方向的平移(dx,dy)，以校正主点差对立体匹配的影响，用于精确视差的计算；\n[0036] (3-2)、针对步骤(2)提取的右图像前景目标区域Dk(x,y)，得到视差图像，首先设Dk(x,y)为参考图像，左图像为匹配图像，将Dk(x,y)中的像素点为中心，大小为m×n像素的块的一个自适应窗口为匹配基元，然后在匹配图像中以视差范围内每个像素点为中心，大小同为m×n的窗口，依次计算Dk(x,y)中待匹配像素的窗口相关性测量值，记为NCC(x,y,d)，其相关性测量值表达式如下：\n[0037]\n[0038] 其中，x,y为图像像素坐标，Ir,Il分别表示Dk(x,y)和左图像中的像素灰度值，分别表示Dk(x,y)和左图像中以匹配像素点为中心的窗口内像素平均灰度值，d为沿基线方向在视差范围内的偏移量，对相关性测量NCC(x,y,d)值进行三节点插值，得到相关性测量NCC(x,y,d)最大值所对应的偏移量d，即是所得的视差；\n[0039] 利用上述区域匹配的方法对Dk(x,y)中所有灰度值大于0的像素点进行视差计算得到当前帧前景区域的视差图像，每一像素点的初始自适应窗口宽度为5列，高度是3行，在初始大小的窗口内统计像素的灰度方差，如果灰度方差小于某一门限，说明窗口内包含太少的结构信息，则将匹配窗口的宽度放大50％，继续其灰度方差的判断，直至大于门限或窗口大小达到12×6，所用门限值由实验确定。\n[0040] 上述步骤(4)中的对得到的视差图像进行后续处理，包括：5点中值滤波平滑、去误检区，同时计算前景区域中每个像素点对应的二维地平面的高度，得到二维映射图像，其具体如下：\n[0041] (4-1)、采用5点中值滤波的方法进行中值平滑滤波处理，消除弱纹理区域的错误匹配以及孤立视差点；\n[0042] (4-2)、去除地面阴影区域，在前期获取到地面的视差值Pg后，视差图中前景目标两侧视差值与Pg相等的像素区域，分别为Zl和Zr，根据车辆左右对称的特征，适当消除其中面积较大的部分，使其与另一侧对称；\n[0043] (4-3)、计算前景车辆目标图像中每个像素点对应的二维地平面的垂直投影位置，生成二维映射图像，坐标映射关系为：\n[0044]\n[0045] 其中，u和v为图像像素坐标系中的像素坐标，u0和v0为图像的主点坐标，pg和p0分别为地面视差值及该坐标前景点的视差值；\n[0046] (4-4)、根据上述步骤获取到前景目标视差图后，根据平行双目测距原理，将视差值转换为高度值，转换计算公式为：\n[0047] Ho＝dg-do\n[0048]\n[0049] 其中，dg,do分别表示前景目标和地面离双目摄像机的距离，f,B分别表示焦距和基线距离，xl-xr为通过步骤(3)计算的前景目标像素点的视差值，Ho表示前景目标点的离地高度，转换后得到前景目标的深度图，即每个像素点的值表示前景目标高度。\n[0050] 上述步骤(5)中的通过获取到的二维映射图像以及视差和前景区域的参数信息，检测车辆并计算获得车速、车高、车型相关参数，其具体如下：\n[0051] (5-1)、根据步骤(4)得到的前景目标深度图，取前景目标高度的最大值作为车身高度，对最大高度值有效性做判断：当最大高度值的数量大于阈值时，判定其有效，否则舍去最大值，选取下一个最大值再次做有效性判断，阈值由实验确定；\n[0052] (5-2)、根据步骤(2)提取的前景目标区域，获得该区域的长宽信息，通过世界坐标系与图像坐标系的等比关系公式，获得车身的长宽参数，公式为：\n[0053]\n[0054] 其中L和W表示前景目标的像素长宽，Xp和Yp表示图像的像素长宽，即分辨率，单位：\n像素，x和y为双目平行摄像机拍摄视角的实际长度和宽度，单位：cm，l和w表示前景区域实际长宽数据，单位：cm；\n[0055] (5-3)、根据步骤(4)获取的表示目标高度的深度图，对深度图逐列进行扫描，统计每列的最大高度值，作为绘制车身侧面轮廓的点；\n[0056] (5-4)、根据相邻两帧前景目标在图像中的位置差计算车速；首先，以步骤(5-3)的获取的车身轮廓作为匹配基元，将前一帧的车身轮廓图作为参考图像，当前帧的作为匹配图像检测两帧之间的位置差，采用以下公式计算获得车速信息：\n[0057]\n[0058] 其中D为两帧间车身轮廓位置差，单位：像素，Xp表示图像的长度，单位：像素，x表示双目平行摄像机拍摄视角的实际长度，单位：cm，d为前景车辆目标的每秒移动距离，单位：cm/秒，式中24为帧率，即拍摄视频的每秒帧数。\n[0059] 本发明与现有基于单目视觉处理的车辆检测方法相比较，具有如下特征和优点：\n[0060] 本发明采用双目摄像机，利用立体视觉原理，得到物体的深度信息，解决了单目视觉技术普遍存在的对光线变化敏感、易受阴影干扰的问题；利用目标映射到二维平面实现对车型、车高、车长、车宽等车辆相关信息的获取，达到道路车辆检测的目的。本发明提出的基于双目立体视觉的车辆检测系统，能有效的对拍摄到的道路车辆进行检测，并获取到车型、车高、车速等车辆相关信息，且不易受场景光线变化、阴影、透视效应及遮挡的影响，能够有效的进行车辆的统计和信息收集。\n附图说明\n[0061] 图1是本发明基于双目立体视觉的车辆检测系统的硬件系统构成示意图。\n[0062] 图2是本发明基于双目立体视觉的车辆检测方法的示意图。\n[0063] 图3是本发明基于双目立体视觉的车辆检测方法的流程图。\n[0064] 图4是本发明基于双目立体视觉的车辆检测方法的具体实施流程示意图。\n具体实施方式\n[0065] 以下结合附图对本发明作进一步的详细描述。\n[0066] 如图1所示，一种基于双目立体视觉的车辆检测系统，包括双目平行摄像机、DSP处理器、通信模块和上位主机，所述双目平行摄像机包括左摄像机A1、右摄像机A2，分别与DSP处理器相连，用于采集左右图像；所述DSP处理器通过通信模块与上位主机相连，用于数据通信及实时数字视频传输。\n[0067] 如图2所示，检测系统安装时，位于道路上方，自顶向下安装，左右摄像机参数一致，光轴平行，并与地面垂直；两个摄像机的基线方向与车道平行。\n[0068] 如图3、图4所示，一种基于双目立体视觉的车辆检测方法，包括如下步骤：\n[0069] (1)、采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，其具体步骤如下：\n[0070] (1-1)、通过实际测量，得到双目平行摄像机的固有参数，包括左右摄像机间的基线距离B，左右摄像机焦距f；并测出双目平行摄像机的离地高度H；\n[0071] (1-2)、根据平行双目系统测距原理，计算理论视差值，公式为：\n[0072]\n[0073] 其中，P0和xl-xr为地面像素点的理论视差值(水平方向)，f、B和H分别为上述所描述的焦距、左右摄像机间基线距离以及摄像机离地高度；\n[0074] (1-3)、通过鼠标选取待匹配图像(右图像)中位于地面上的一个特征点并记录坐标(xr,yr)，利用区域匹配算法，以像素点(xr,yr)为中心的矩形窗口m×n为匹配基元(m，n表示矩形窗口的长宽，单位：像素)，在匹配图像(左图像)相同坐标的周围一定范围内进行搜索匹配，得到相似度最高的同名像素点(xl,yl)；\n[0075] (1-4)、根据获取到的左右图像的匹配像素点，分别计算水平方向和垂直方向的实际视差值，公式为：\n[0076]\n[0077] 其中，Px和Py分别表示水平x方向和垂直y方向的视差值。\n[0078] (1-5)、利用得到的理论视差值以及实际视差值，可以得到较为精确的双目摄像机两个坐标方向上的主点差参数dx,dy，公式如下：\n[0079]\n[0080] (2)、实时采集左右图像，在左图像中通过高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取，其具体步骤如下：\n[0081] (2-1)、利用高斯模型构建图像背景帧，在T帧训练样本内建立初始高斯模型η(x,μ0,σ0)，其中：\n[0082]\n[0083] μ0,σ0为初试模型的均值和均方差。对当前帧图像每个像素点建立高斯模型η(x,μt,σt)，下标t表示帧序号，xt,μt,σt分别表示当前帧右图像的像素值，均值和均方差。高斯背景模型的更新公式为：\n[0084]\n[0085] 其中xt-1,μt-1,σt-1分别表示上一帧右图像的像素值、均值和均方差。α是引入的常数，表示背景更新速度的快慢。\n[0086] (2-2)、根据当前帧图像与背景图像的差值运算，检测判断前景目标区域并提取：\n[0087]\n[0088] 其中，x,y表示像素位置坐标，fk(x,y)表示当前帧右图像(第k帧)，Bk(x,y)表示背景帧图像，Dk为满足阈值条件的右图像像素点的灰度值，T表示背景差的阈值，由实验确定。\n[0089] (3)、依据主点差进行位置校正，对已提取的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像，其具体步骤如下：\n[0090] (3-1)、实时采集左右摄像机的左右图像，根据步骤(1)所述的左右摄像机主点差，对左图像进行两个坐标方向的平移(dx,dy)，以校正主点差对立体匹配的影响，用于精确视差的计算；\n[0091] (3-2)、针对步骤(2)提取的右图像前景目标区域Dk(x,y)，得到视差图像。首先设Dk(x,y)为参考图像，左图像为匹配图像。将Dk(x,y)中的像素点为中心，大小为m×n像素的块的一个自适应窗口为匹配基元，然后在匹配图像中以视差范围内每个像素点为中心，大小同为m×n的窗口，依次计算Dk(x,y)中待匹配像素的窗口相关性测量值，记为NCC(x,y,d)，其相关性测量值表达式如下：\n[0092]\n[0093] 其中，x,y为图像像素坐标，Ir,Il分别表示Dk(x,y)和左图像中的像素灰度值，分别表示Dk(x,y)和左图像中以匹配像素点为中心的窗口内像素平均灰度值，d为沿基线方向在视差范围内的偏移量，对相关性测量NCC(x,y,d)值进行三节点插值，得到相关性测量NCC(x,y,d)最大值所对应的偏移量d，即是所得的视差；\n[0094] 利用上述区域匹配的方法对Dk(x,y)中所有灰度值大于0的像素点进行视差计算得到当前帧前景区域的视差图像，每一像素点的初始自适应窗口宽度为5列，高度是3行。在初始大小的窗口内统计像素的灰度方差，如果灰度方差小于某一门限，说明窗口内包含太少的结构信息，则将匹配窗口的宽度放大50％，继续其灰度方差的判断，直至大于门限或窗口大小达到12×6，所用门限值由实验确定。\n[0095] (4)、对得到的视差图像进行后续处理，包括：5点中值滤波平滑、去误检区等，同时计算前景区域中每个像素点对应的二维地平面的高度，得到二维映射图像,其具体步骤如下：\n[0096] (4-1)、采用5点中值滤波的方法进行中值平滑滤波处理，消除弱纹理区域的错误匹配以及孤立视差点。\n[0097] (4-2)、去除地面阴影区域，在前期获取到地面的视差值Pg后，视差图中前景目标两侧视差值与Pg相等的像素区域，分别为Zl和Zr，根据车辆左右对称的特征，适当消除其中面积较大的部分，使其与另一侧对称。\n[0098] (4-3)、计算前景车辆目标图像中每个像素点对应的二维地平面的垂直投影位置，生成二维映射图像，坐标映射关系为：\n[0099]\n[0100] 其中，u和v为图像像素坐标系中的像素坐标，u0和v0为图像的主点坐标，pg和p0分别为地面视差值及该坐标前景点的视差值；\n[0101] (4-4)、根据上述步骤获取到前景目标视差图后，根据平行双目测距原理，将视差值转换为高度值，转换计算公式为：\n[0102] Ho＝dg-do\n[0103]\n[0104] 其中，dg,do分别表示前景目标和地面离双目摄像机的距离，f,B分别表示焦距和基线距离，xl-xr为通过步骤(3)计算的前景目标像素点的视差值，Ho表示前景目标点的离地高度。转换后得到前景目标的深度图，即每个像素点的值表示前景目标高度。\n[0105] (5)、通过获取到的二维映射图像以及视差和前景区域的参数信息，检测车辆并计算获得车速、车高、车型等相关参数。其具体如下：\n[0106] (5-1)、根据步骤(4)得到的前景目标深度图，取前景目标高度的最大值作为车身高度。对最大高度值有效性做判断：当最大高度值的数量大于阈值时，判定其有效，否则舍去最大值，选取下一个最大值再次做有效性判断。阈值由实验确定。\n[0107] (5-2)、根据步骤(2)提取的前景目标区域，获得该区域的长宽信息，通过世界坐标系与图像坐标系的等比关系公式，获得车身的长宽参数，公式为：\n[0108]\n[0109] 其中L和W表示前景目标的像素长宽，Xp和Yp表示图像的像素长宽(即分辨率，单位：\n像素)，x和y为双目平行摄像机拍摄视角的实际长度和宽度(单位：cm)，l和w表示前景区域实际长宽数据，单位cm。\n[0110] (5-3)、根据步骤(4)获取的表示目标高度的深度图，对深度图逐列进行扫描，统计每列的最大高度值，作为绘制车身侧面轮廓的点。\n[0111] (5-4)、根据相邻两帧前景目标在图像中的位置差计算车速。首先，以步骤(5-3)的获取的车身轮廓作为匹配基元，将前一帧的车身轮廓图作为参考图像，当前帧的作为匹配图像检测两帧之间的位置差。采用以下公式即可计算获得车速信息：\n[0112]\n[0113] 其中D为两帧间车身轮廓位置差(单位：像素)，Xp表示图像的长度(单位：像素)，x表示双目平行摄像机拍摄视角的实际长度(单位：cm)，d为前景车辆目标的每秒移动距离(单位：cm/秒)，式中24为帧率，即拍摄视频的每秒帧数。重复步骤(2)-(5)即可实时的进行车辆检测。