车辆前方障碍物检测跟踪方法

1.一种车辆前方障碍物检测跟踪方法，其特征在于，所述的车辆前方障碍物检测跟踪方法包括如下步骤：
1）建立毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系；
2）按照毫米波雷达数据解算协议，采用二进制位截断重组的方式进行毫米波雷达数据的接收解算与处理，毫米波雷达数据包括：前方障碍物的距离Range、角度Angle、相对速度RangeRate、反射强度Power、宽度Width和唯一不变的自动编号ID；
3）摄像机图像的采集与预处理；
4）车辆前方障碍物的分类：首先，利用毫米波雷达数据对车辆前方障碍物的进行初步分类；然后，根据毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系将毫米波雷达获取的障碍物信息映射到摄像机图像上建立感兴趣区域ROI；最后，在摄像机图像上建立感兴趣区域ROI内，依据毫米波雷达的初步分类不同采取不同的图像处理算法对障碍物的类型进一步确认；
5）车辆前方障碍物的跟踪过程，当没有新障碍物出现时，根据毫米波雷达数据信息对于车辆前方障碍物采用卡尔曼滤波方法进行跟踪，当有新障碍物出现时，按照车辆前方障碍物分类方法进行确认，然后进行跟踪。
2.按照权利要求1所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的建立毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系包括如下步骤：
1）建立毫米波雷达坐标系与三维世界坐标系的坐标转换关系的步骤如下：
a.X0O0Z为毫米波雷达水平平面的坐标系，O0为其坐标原点即毫米波雷达安装位置，位置在上的X0O0Z水平平面与三维世界坐标系O-XYZ的XOZ平面平行，两个平面之间距离Y1，Y1为毫米波雷达的安装高度，O为世界坐标系原点；
b.得到毫米波雷达扫描范围内障碍物P与毫米波雷达之间相对距离R和相对角度a的坐标系数据，PO0=R，单位.mm，∠PO0Z＝α，单位.度；
c.将毫米波雷达坐标系中的障碍物P，转换到三维世界坐标系中：
2）建立摄像机坐标系与三维世界坐标系的坐标转换关系的步骤如下：
a.摄像机坐标系为竖直平面内的二维坐标系xoy，o为摄像机坐标系坐标原点，其坐标平面与三维世界坐标系O-XYZ的XOY平面平行，O为世界坐标系的坐标原点，同时也是摄像机的镜头中心，即Oo=f，f为摄像机有效焦距，单位.mm；
b.使摄像机的光轴与地面平行，即在世界坐标系中Y值保持不变，即Y＝Y0，Y0为摄像机的安装高度，单位.mm；
c.将三维世界坐标系中障碍物P(X，Y0，Z)，转换到摄像机坐标系中的图像平面上，其转换关系如下：
其中f摄像机有效焦距，单位.mm；
3）由第1）步骤中的c步骤和第2）步骤中的c步骤可以得到毫米波雷达坐标系和摄像机坐标系的坐标转换关系如下：
3.按照权利要求1所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的按照毫米波雷达数据解算协议，采用二进制位截断重组的方式进行毫米波雷达数据的接收解算与处理，毫米波雷达数据包括：前方障碍物的距离Range、角度Angle、相对速度RangeRate、反射强度Power、宽度Width和唯一不变的自动编号ID，包括如下步骤：
1）毫米波雷达接收到车辆前方的障碍物P有效数据：前方障碍物P的距离Range、角度Angle、相对速度RangeRate、反射强度Power、宽度Width和唯一的不变的自动编号ID；
2）对接收到的数据按照毫米波雷达数据解算协议进行二进制位截断重组，将第1）步骤中接收到的有效数据提取出来；
3）根据障碍物P的反射强度Power和宽度Width，对障碍物P进行初步分类，把障碍物P初步分为行人类和车辆类，其步骤如下：
a.统计行人的宽度阈值W0和反射强度阈值Pr0；
b.当障碍物P宽度Width≤W0并且反射强度Power≤Pr0时，把障碍物P初步分到行人类，否则，将障碍物P分到车辆类；
c.为了在摄像机图像上建立大小合理的毫米波雷达窗口即感兴趣区域ROI，设定车辆类高度阈值H1、宽度阈值W1和行人类的高度阈值H2、宽度阈值W2。
4.按照权利要求1所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的摄像机图像的采集与预处理包括如下步骤：
1）摄像机图像的采集与毫米波雷达数据的接收同步进行，包括下列步骤a.毫米波雷达与摄像机的扫描区域重合，即实现摄像机采集的图像与毫米波雷达接收的数据在空间上同步；
b.保证摄像机和毫米波雷达采集的数据是同一时刻的信息，即实现摄像机采集的图像与毫米波雷达接收的数据在时间上同步；
2）为消除噪声、光照等因素对原始图像的影响，对原始图像进行预处理，包括下列步骤：
a.利用中值滤波进行图像的滤波处理，既保护图像边缘，又能去除噪声；
b.利用灰度拉伸，增强原图各部分的反差，增强感兴趣灰度区域，使图像中目标更加突出；
c.利用Soble边缘检测算子进行边缘检测，同时对噪声起到平滑的作用，提供较为精确的边缘方向信息；为后续目标障碍物的检测提供良好的基础。
5.按照权利要求1所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的利用毫米波雷达数据和摄像机图像进行车辆前方障碍物的分类包括如下步骤：
1）采用毫米波雷达和单目视觉融合的方法，将毫米波雷达数据扫描点投影到摄像机坐标系上，在图像上建立障碍物P的感兴趣区域ROI；
2）在图像上建立的感兴趣区域ROI内，针对不同障碍物P的初步分类，采取不同的图像处理算法对障碍物P的类型进行确认。
6.按照权利要求5所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的采用毫米波雷达和单目视觉融合的方法，将毫米波雷达数据扫描点投影到摄像机坐标系上，在图像上建立障碍物P的感兴趣区域ROI包括下列步骤：
a.将毫米波雷达目标有效信息转换为视觉图像中信息，确定障碍物P在摄像机坐标系中的位置；
b.根据毫米波雷达对障碍物P的分类不同，选定车辆类的高度阈值H1与宽度阈值W1或行人类的高度阈值H2与宽度阈值W2，同时考虑毫米波雷达数据中障碍物P的宽度信息，在图像上建立随距离的远近进行调节的毫米波雷达窗口即感兴趣区域ROI。
7.按照权利要求5所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的在图像上建立的感兴趣区域ROI内，针对不同障碍物P的初步分类，采取不同的图像处理算法对障碍物P的类型进行确认包括下列步骤：
a.对于已建立的感兴趣区域ROI内的障碍物P，若初步确定其为行人类目标，则利用基于行人外部特征的检测方法，判断当前区域内的障碍物P是否为行人，若检测成功是行人，则记录其毫米波雷达自动编号ID；
b.对于第a步骤中的已建立的感兴趣区域ROI内初步分类为行人类的障碍物P若检测结果是非行人类，将其分到车辆类，重新调整窗口大小，利用基于车辆外部特征的检测方法进行识别，若检测成功是车辆，则记录其毫米波雷达自动编号ID；
c.对于第b步骤中的重新调整窗口内的障碍物P若检测结果是非车辆类，将其视为其它障碍物并不再识别其类型，同样记录其毫米波雷达自动编号ID；
d.对于已建立的感兴趣区域ROI内的障碍物P若初步确定为车辆类目标，则利用基于车辆外部特征的检测方法，判断当前区域内的障碍物P是否为车辆，若检测成功是车辆，则记录其毫米波雷达自动编号ID；
e.对于第d步骤中的已建立的感兴趣区域ROI内初步分类为车辆类的障碍物P若检测结果是非车辆类，将其分到行人类，重新调整窗口大小，然后利用基于行人外部特征的检测方法进行识别，若检测成功是行人，则记录其毫米波雷达自动编号ID；
f.对于第e步骤中的重新调整窗口内的障碍物P若检测结果是非行人类，则将其视为其他障碍物并不再识别其类型，同样记录其毫米波雷达自动编号ID。
8.按照权利要求1所述的车辆前方障碍物检测跟踪方法，其特征在于，所述的车辆前方障碍物的跟踪过程，当没有新障碍物出现时，根据毫米波雷达数据信息对于车辆前方障碍物采用卡尔曼滤波方法进行跟踪，当有新障碍物出现时，按照车辆前方障碍物分类方法进行确认，然后进行跟踪，包括如下步骤：
1）读取下一周期的毫米波雷达数据，按照卡尔曼滤波的方式对其进行一致性检验，其步骤如下：
a.采用卡尔曼滤波算法对本周期的障碍物P在下一周期的状态进行预测；
b.对障碍物P在下一周期内实际测量值和卡尔曼预测值进行目标一致性检验；
c.对于满足目标一致性检验的障碍物P，更新其数据信息，为下一次目标跟踪做准备；
d.对于不满足目标一致性检验的障碍物P，将其视为新出现障碍物P；
2）对于新出现的障碍物P从毫米波雷达数据的接收解算与处理步骤开始依次执行至车辆前方障碍物的跟踪步骤。

车辆前方障碍物检测跟踪方法\n技术领域\n[0001] 本发明涉及属于智能车辆安全辅助驾驶领域中的一种方法，更确切地说，本发明涉及一种车辆前方障碍物检测跟踪方法。\n背景技术\n[0002] 对车辆行驶前方障碍物（重点是车辆和行人）进行检测和跟踪已成为国际智能车辆研究领域热点，是提高行车安全性和改善交通环境的一项重要措施。\n[0003] 目前国内外车辆行驶前方障碍物检测使用的传感器主要有机器视觉传感器（立体视觉、单目视觉）、红外成像传感器、雷达和激光测距传感器等。\n[0004] 由于机器视觉传感器安装方便、价格便宜，同时随着图像处理技术的迅速发展，机器视觉传感器在车辆前方障碍物检测系统中得到了广泛的应用。然而，基于机器视觉传感器的障碍物检测系统易受光照、遮挡影响。虽然立体视觉可以获得目标的距离方位信息，但存在标定漂移，精度、速度、鲁棒性较差，适用范围较小等缺点。与机器视觉传感器相比，红外摄像机可以用在白天和夜间，而且由于没有颜色和强烈的纹理特征使得障碍物检测更加容易。但是，其易受到环境高温或强烈的太阳照射的影响。雷达系统具有远距离测距能力，它能提供车辆前方道路和目标车辆的方位和速率信息。激光雷达由于光学系统的脆弱性(如不易维护,易受环境的影响等)，同时测量速度较慢，实时性也受到一定限制，因此，在障碍物检测系统的应用受到了限制。障碍物检测系统现在一般倾向于采用毫米波雷达，毫米波的工作不受环境的影响。下雨、大雾或黑夜等天气状况对毫米波的传输几乎无影响，可在各种环境下可靠地工作。毫米波雷达系统的工作频率倾向于采用76-77GHz。并且随着单片微波集成电路技术的发展,毫米波雷达的价格和外型尺寸都有很大的下降,这也是毫米波雷达在障碍物检测系统得到广泛应用的原因之一。毫米波雷达的不足是其目标识别能力差。\n[0005] 鉴于单一类型传感器都存在一定的缺陷和不足，目前在车辆前方障碍物检测方面广泛采用了传感器融合的方法，主要有机器视觉传感器和激光传感器的融合、机器视觉传感器与毫米波雷达的融合，以及毫米波雷达和惯性传感器的融合等。\n[0006] 雷达的距离测量精度较高，对天气的鲁棒性较好，利用雷达技术可以得到车辆周围的深度信息，从而可以准确地发现车辆前方的车辆与行人等障碍物。机器视觉传感器具有检测信息丰富等优点，对物体的形状纹理特征有很好的解析能力。因此，雷达和机器视觉传感器进行信息融合可以有效地提高障碍物的检测与识别能力。\n发明内容\n[0007] 本发明所要解决的技术问题是克服了单一类型传感器都存在一定的缺陷和不足的问题，提供了一种车辆前方障碍物检测跟踪方法。\n[0008] 为解决上述技术问题，本发明是采用如下技术方案实现的：所述的车辆前方障碍物检测跟踪方法包括如下步骤：\n[0009] 1.建立毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系；\n[0010] 2.按照毫米波雷达数据解算协议，采用二进制位截断重组的方式进行毫米波雷达数据的接收解算与处理，毫米波雷达数据包括：前方障碍物的距离Range、角度Angle、相对速度RangeRate、反射强度Power、宽度Width和唯一不变的自动编号ID；\n[0011] 3.摄像机图像的采集与预处理；\n[0012] 4.车辆前方障碍物的分类：首先，利用毫米波雷达数据对车辆前方障碍物的进行初步分类；然后，根据毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系将毫米波雷达获取的障碍物信息映射到摄像机图像上建立感兴趣区域ROI；最后，在摄像机图像上建立感兴趣区域ROI内，依据毫米波雷达的初步分类不同采取不同的图像处理算法对障碍物的类型进一步确认；\n[0013] 5.车辆前方障碍物的跟踪过程，当没有新障碍物出现时，根据毫米波雷达数据信息对于车辆前方障碍物采用卡尔曼滤波方法进行跟踪，当有新障碍物出现时，按照车辆前方障碍物分类方法进行确认，然后进行跟踪。\n[0014] 技术方案中所述的建立毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系包括如下步骤：\n[0015] 1）建立毫米波雷达坐标系与三维世界坐标系的坐标转换关系的步骤如下：\n[0016] a.X0O0Z为毫米波雷达水平平面的坐标系，O0为其坐标原点即毫米波雷达安装位置，位置在上的X0O0Z水平平面与三维世界坐标系O-XYZ的XOZ平面平行，两个平面之间距离Y1，Y1为毫米波雷达的安装高度，单位.mm，O为世界坐标系原点。\n[0017] b.得到毫米波雷达扫描范围内障碍物P与毫米波雷达之间相对距离R和相对角度a的坐标系数据，PO0=R，单位.mm，∠PO0Z＝α，单位.度；\n[0018] c.将毫米波雷达坐标系中的障碍物P，转换到三维世界坐标系中：\n[0019] \n[0020] 2）建立摄像机坐标系与三维世界坐标系的坐标转换关系的步骤如下：\n[0021] a.摄像机坐标系为竖直平面内的二维坐标系xoy，o为摄像机坐标系坐标原点，其坐标平面与三维世界坐标系O-XYZ的XOY平面平行，O为世界坐标系的坐标原点，同时也是摄像机的镜头中心，即Oo=f，f为摄像机有效焦距，单位.mm；\n[0022] b.使摄像机的光轴与地面平行，即在世界坐标系中Y值保持不变，即Y＝Y0，Y0为摄像机的安装高度，单位.mm；\n[0023] c.将三维世界坐标系中障碍物P(X，Y0，Z)，转换到摄像机坐标系中的图像平面上，其转换关系如下：\n[0024] 其中f摄像机有效焦距，单位.mm；\n[0025] 3）由第1）步骤中的c步骤和第2）步骤中的c步骤可以得到毫米波雷达坐标系和摄像机坐标系的坐标转换关系如下：\n[0026] \n[0027] 技术方案中所述的按照毫米波雷达数据解算协议，采用二进制位截断重组的方式进行毫米波雷达数据的接收解算与处理，毫米波雷达数据包括：前方障碍物的距离Range、角度Angle、相对速度RangeRate、反射强度Power、宽度Width和唯一不变的自动编号ID，包括如下步骤：\n[0028] 1）毫米波雷达接收到车辆前方的障碍物P有效数据：前方障碍物P的距离Range、角度Angle、相对速度RangeRate、反射强度Power、宽度Width和唯一的不变的自动编号ID；\n[0029] 2）对接收到的数据按照毫米波雷达数据解算协议进行二进制位截断重组，将第1）步骤中接收到的有效数据提取出来；\n[0030] 3）根据障碍物P的反射强度Power和宽度Width，对障碍物P进行初步分类，把障碍物P初步分为行人类和车辆类，其步骤如下：\n[0031] a.统计行人的宽度阈值W0和反射强度阈值Pr0；\n[0032] b.当障碍物P宽度Width≤W0并且反射强度Power≤Pr0时，把障碍物P初步分到行人类，否则，将障碍物P分到车辆类；\n[0033] c.为了在摄像机图像上建立大小合理的毫米波雷达窗口即感兴趣区域ROI，设定车辆类高度阈值H1、宽度阈值W1和行人类的高度阈值H2、宽度阈值W2。\n[0034] 技术方案中所述的摄像机图像的采集与预处理包括如下步骤：\n[0035] 1）摄像机图像的采集与毫米波雷达数据的接收同步进行，包括下列步骤：\n[0036] a.毫米波雷达与摄像机的扫描区域重合，即实现摄像机采集的图像与毫米波雷达接收的数据在空间上同步；\n[0037] b.保证摄像机和毫米波雷达采集的数据是同一时刻的信息，即实现摄像机采集的图像与毫米波雷达接收的数据在时间上同步；\n[0038] 2）为消除噪声、光照等因素对原始图像的影响，对原始图像进行预处理，包括下列步骤：\n[0039] a.利用中值滤波进行图像的滤波处理，既保护图像边缘，又能去除噪声；\n[0040] b.利用灰度拉伸，增强原图各部分的反差，增强感兴趣灰度区域，使图像中目标更加突出；\n[0041] c.利用Soble边缘检测算子进行边缘检测，同时对噪声起到平滑的作用，提供较为精确的边缘方向信息；为后续目标障碍物的检测提供良好的基础。\n[0042] 技术方案中所述的利用毫米波雷达数据和摄像机图像进行车辆前方障碍物的分类包括如下步骤：\n[0043] 1）采用毫米波雷达和单目视觉融合的方法，将毫米波雷达数据扫描点投影到摄像机坐标系上，在图像上建立障碍物P的感兴趣区域ROI；\n[0044] 2）在图像上建立的感兴趣区域ROI内，针对不同障碍物P的初步分类，采取不同的图像处理算法对障碍物P的类型进行确认。\n[0045] 技术方案中所述的采用毫米波雷达和单目视觉融合的方法，将毫米波雷达数据扫描点投影到摄像机坐标系上，在图像上建立障碍物P的感兴趣区域ROI包括下列步骤：\n[0046] a.将毫米波雷达目标有效信息转换为视觉图像中信息，确定障碍物P在摄像机坐标系中的位置；\n[0047] b.根据毫米波雷达对障碍物P的分类不同，选定车辆类的高度阈值H1与宽度阈值W1或行人类的高度阈值H2与宽度阈值W2，同时考虑毫米波雷达数据中障碍物P的宽度信息，在图像上建立随距离的远近进行调节的毫米波雷达窗口即感兴趣区域ROI。\n[0048] 技术方案中所述的在图像上建立的感兴趣区域ROI内，针对不同障碍物P的初步分类，采取不同的图像处理算法对障碍物P的类型进行确认包括下列步骤：\n[0049] a.对于已建立的感兴趣区域ROI内的障碍物P，若初步确定其为行人类目标，则利用基于行人外部特征的检测方法，判断当前区域内的障碍物P是否为行人，若检测成功是行人，则记录其毫米波雷达自动编号ID；\n[0050] b.对于a步骤中的已建立的感兴趣区域ROI内初步分类为行人类的障碍物P若检测结果是非行人类，将其分到车辆类，重新调整窗口大小，利用基于车辆外部特征的检测方法进行识别，若检测成功是车辆，则记录其毫米波雷达自动编号ID；\n[0051] c.对于b步骤中的重新调整窗口内的障碍物P若检测结果是非车辆类，将其视为其它障碍物并不再识别其类型，同样记录其毫米波雷达自动编号ID；\n[0052] d.对于已建立的感兴趣区域ROI内的障碍物P若初步确定为车辆类目标，则利用基于车辆外部特征的检测方法，判断当前区域内的障碍物P是否为车辆，若检测成功是车辆，则记录其毫米波雷达自动编号ID；\n[0053] e.对于d步骤中的已建立的感兴趣区域ROI内初步分类为车辆类的障碍物P若检测结果是非车辆类，将其分到行人类，重新调整窗口大小，然后利用基于行人外部特征的检测方法进行识别，若检测成功是行人，则记录其毫米波雷达自动编号ID；\n[0054] f.对于e步骤中的重新调整窗口内的障碍物P若检测结果是非行人类，则将其视为其他障碍物并不再识别其类型，同样记录其毫米波雷达自动编号ID。\n[0055] 技术方案中所述的车辆前方障碍物的跟踪过程，当没有新障碍物出现时，根据毫米波雷达数据信息对于车辆前方障碍物采用卡尔曼滤波方法进行跟踪，当有新障碍物出现时，按照车辆前方障碍物分类方法进行确认，然后进行跟踪，包括如下步骤：\n[0056] 1）读取下一周期的毫米波雷达数据，按照卡尔曼滤波的方式对其进行一致性检验，其步骤如下：\n[0057] a.采用卡尔曼滤波算法对本周期的障碍物P在下一周期的状态进行预测；\n[0058] b.对障碍物P在下一周期内实际测量值和卡尔曼预测值进行目标一致性检验；\n[0059] c.对于满足目标一致性检验的障碍物P，更新其数据信息，为下一次目标跟踪做准备；\n[0060] d.对于不满足目标一致性检验的障碍物P，将其视为新出现障碍物；\n[0061] 2）对于新出现的障碍物P从毫米波雷达数据的接收解算与处理步骤开始依次执行至车辆前方障碍物的跟踪步骤。\n[0062] 与现有技术相比本发明的有益效果是：\n[0063] 1.本发明所述的车辆前方障碍物检测跟踪方法根据毫米波雷达测量车辆行驶前方障碍物的反射强度和宽度，对障碍物进行初步分类，解决了车辆和行人难以同时分类识别的难题。\n[0064] 2.本发明所述的车辆前方障碍物检测跟踪方法通过毫米波雷达数据信息实现了车辆行驶前方障碍物的精确定位，解决了图像处理时感兴趣区域难以确定的问题。\n[0065] 3.本发明所述的车辆前方障碍物检测跟踪方法的毫米波雷达扫描点投影在摄像机图像平面上，建立感兴趣区域，感兴趣区域窗口大小由障碍物类型决定，同时考虑雷达数据中前方障碍物的宽度信息，且窗口大小随距离的远近进行调节。这样可以准确控制感兴趣区域的大小，减少图像处理范围，提高处理速度。\n[0066] 4.本发明所述的车辆前方障碍物检测跟踪方法在前方障碍物跟踪方面，利用卡尔曼滤波算法对下一周期的信息进行预测，通过对已经存在毫米波雷达自动编号ID的障碍物进行预测值与测量值一致性的方法，对前方障碍物进行跟踪，而对新出现障碍物重新进行检测分类。这样，既可以避免已经检测并成功分类障碍物的重复性检测，又可以防止突然闯入的障碍物无法及时识别，而对本车构成威胁。提高了障碍物跟踪的实时性和鲁棒性。\n[0067] 5.本发明所述的车辆前方障碍物检测跟踪方法可以实现对车辆行驶前方不同类型的多个目标同时检测跟踪，改善了现有方法只对单一目标检测跟踪的不足，减少了系统的漏警率。\n附图说明\n[0068] 下面结合附图对本发明作进一步的说明：\n[0069] 图1为本发明所述的车辆前方障碍物检测跟踪方法中的毫米波雷达坐标系与世界坐标系转换关系的示意图；\n[0070] 图2为本发明所述的车辆前方障碍物检测跟踪方法中的摄像机坐标系与世界坐标系坐标转换关系的示意图；\n[0071] 图3为本发明所述的车辆前方障碍物检测跟踪方法的流程框图；\n[0072] 图中：r1.毫米波雷达远距离扫描区域，r2.毫米波雷达中距离扫描区域。\n具体实施方式\n[0073] 下面结合附图对本发明作详细的描述：\n[0074] 本发明所述的车辆前方障碍物检测跟踪方法是采用毫米波雷达和单目视觉（摄像机）融合的方法，实现了车辆前方障碍物的检测识别与跟踪。其特征在于：\n[0075] 1.本发明利用毫米波雷达获取前方障碍物的数据信息，其主要包括距离、角度、速度、前方障碍物的反射强度及宽度信息等。\n[0076] 2.本发明根据获得的毫米波雷达数据信息中的前方障碍物的反射强度和宽度信息，初步把前方障碍物分为：行人类、车辆类。\n[0077] 3.本发明根据毫米波雷达和单目视觉（摄像机）的融合的方法，把毫米波雷达扫描点投影到摄像机图像上，在摄像机坐标系上形成动态的感兴趣区域ROI，这样有利于缩小前方车辆、行人识别与跟踪的搜索区域，从而减少系统计算的时间，提高系统实时性。\n[0078] 4.本发明在建立的感兴趣区域ROI内，根据毫米波雷达数据信息的初步分类，运用不同的图像处理算法对ROI内障碍物分别进行识别。对分类识别后的障碍物分别记录其自动编号ID。\n[0079] 5.本发明对车辆前方障碍物的跟踪，对于已经存在的毫米波雷达自动编号ID的障碍物，只需要按照卡尔曼滤波的方式对其进行一致性检验，而对新出现的障碍物按前述的车辆前方障碍物检测算法进行识别。这样既可以避免重复性检验提高系统的实时性，又可以防止突然闯入的障碍物无法及时识别而对本车构成威胁。\n[0080] 参阅图3，本发明所述的车辆前方障碍物检测跟踪方法包括如下步骤：\n[0081] 1.建立毫米波雷达坐标系与摄像机坐标系之间的实现数据转换的关系[0082] 毫米波雷达坐标系为水平平面内的二维坐标系，摄像机坐标系为竖直平面内的二维坐标系，建立毫米波雷达坐标系与三维世界坐标系和建立摄像机坐标系与三维世界坐标系的关系，实现毫米波雷达坐标系与摄像机坐标系下的数据转换。\n[0083] 1）参阅图1，建立毫米波雷达坐标系与三维世界坐标系的坐标转换关系，其过程包括下列步骤：\n[0084] a.毫米波雷达坐标系为水平平面内的二维坐标系，如图中所示X0O0Z为毫米波雷达坐标系，其坐标平面与三维世界坐标系O-XYZ的XOZ平面平行，且X0O0Z平面位于XOZ平面下方Y1处，Y1为毫米波雷达的安装高度，将三维世界坐标系O-XYZ的XOZ平面垂直投影到毫米波雷达坐标系X0O0Z上，OX轴与O0X0之间相距Z0。O为世界坐标系原点，O0为毫米波雷达坐标系坐标原点也就是毫米波雷达安装位置。\n[0085] b.得到毫米波雷达扫描范围内前方的障碍物P（P为毫米波雷达扫描范围内所有障碍物中一具体实例，下面以P为例进行说明，其他障碍物按同样的方法处理）与毫米波雷达之间相对距离R和相对角度a的坐标系数据。因此，PO0=R，单位.mm，∠PO0Z＝α，单位.度。\n[0086] c.将毫米波雷达坐标系中的障碍物P，转换到三维世界坐标系中：\n[0087] \n[0088] 2）参阅图2，建立摄像机坐标系与三维世界坐标系的坐标转换关系，其过程包括下列步骤：\n[0089] a.图中所示摄像机坐标系为竖直平面内的二维坐标系xoy，o为摄像机坐标系坐标原点，其坐标平面与三维世界坐标系O-XYZ的XOY平面平行。其中O为世界坐标系的坐标原点，同时也是摄像机的镜头中心，即Oo＝f，f为摄像机有效焦距，单位.mm。\n[0090] b.摄像机安装过程中要求其光轴与地面平行，即在世界坐标系中Y值保持不变，即Y＝Y0，Y0为摄像机的安装高度，单位.mm。\n[0091] c.将三维世界坐标系中障碍物P(X，Y0，Z)，转换到摄像机坐标系中的图像平面上，其转换关系如下：\n[0092] 其中f摄像机有效焦距，单位.mm。\n[0093] 3）由第1）步骤中的c步骤的 和第2）步骤中的c步骤的\n可以得到毫米波雷达坐标系和摄像机坐标系下的坐标转换关系如下：\n[0094] \n[0095] 2.毫米波雷达数据的接收解算与处理，其具体过程包括下列步骤：\n[0096] 1）毫米波雷达接收车辆前方的障碍物P有效数据，其中包括前方障碍物P与本车之间的距离Range、角度Angle、相对速度RangeRate、以及前方障碍物P的反射强度Power和宽度Width。同时，毫米波雷达为车辆前方的每一障碍物分配唯一自动编号ID，且在毫米波雷达跟踪障碍物P过程中自动编号ID保持不变。\n[0097] 2）对接收到的数据按照毫米波雷达数据解算协议进行二进制位截断重组，将第2步骤的第1）步骤中接收到的有效数据：障碍物P与本车之间的距离Range、角度Angle、相对速度RangeRate、障碍物P的反射强度Power和宽度Width提取出来。\n[0098] 3）根据障碍物P的反射强度Power和宽度Width，把本车前方的障碍物P初步分为行人类和车辆类。其具体过程包括下列步骤：\n[0099] a.统计行人的宽度阈值W0和反射强度阈值Pr0。\n[0100] b.当车辆前方的障碍物宽度Width≤W0并且反射强度Power≤Pr0时，把障碍物P初步分到行人类，否则，将障碍物P分到车辆类。\n[0101] c.为了在摄像机图像上建立大小合理的毫米波雷达窗口即感兴趣区域ROI，设定车辆类高度阈值H1、宽度阈值W1和行人类的高度阈值H2、宽度阈值W2。\n[0102] 3.摄像机图像的采集与预处理，其具体过程包括下列步骤：\n[0103] 1）摄像机图像的采集与毫米波雷达数据的接收同步进行。\n[0104] a.毫米波雷达与摄像机的扫描区域重合，前方的障碍物P由毫米波雷达与摄像机测量的距离和角度按第1步骤中的第3）步骤建立的透射投影关系转化之后必须保持一致。\n即实现摄像机采集的图像与毫米波雷达接收的数据在空间上同步。\n[0105] b.保证摄像机和毫米波雷达采集的数据是同一时刻的信息，即实现摄像机采集的图像与毫米波雷达接收的数据在时间上同步。\n[0106] 2）为消除噪声、光照等因素对原始图像的影响，对原始图像进行预处理，包括下列步骤：\n[0107] a.利用中值滤波进行图像的滤波处理，既保护图像边缘，又能去除噪声；\n[0108] b.利用灰度拉伸，增强原图各部分的反差，增强感兴趣灰度区域，使图像中目标更加突出；\n[0109] c.利用Soble边缘检测算子进行边缘检测，同时对噪声起到平滑的作用，提供较为精确的边缘方向信息；为后续目标障碍物的检测提供良好的基础。\n[0110] 4.利用毫米波雷达数据和摄像机图像进行车辆前方障碍物的分类，具体过程包括下列步骤：\n[0111] 1）采用毫米波雷达和单目视觉融合的方法，将毫米波雷达数据扫描点投影到摄像机坐标系上，在图像上建立车辆前方的障碍物P的感兴趣区域ROI。具体过程包括下列步骤：\n[0112] a.按照第1步骤中第3）步骤的 关系式将毫米波雷达目标有\n效信息（距离Range、角度Angle等）转换为视觉图像中信息，确定车辆前方的障碍物P在摄像机坐标系中的位置；\n[0113] b.根据毫米波雷达对车辆前方的障碍物P的分类不同，考虑到第2步骤的第3）步骤的第c步骤中设定的车辆类高度阈值H1、宽度阈值W1和行人类的高度阈值H2、宽度阈值W2，选定车辆类的高度阈值H1、宽度阈值W1或行人类的高度阈值H2、宽度阈值W2，同时考虑毫米波雷达数据中车辆前方的障碍物P的宽度信息，在图像上建立毫米波雷达窗口即感兴趣区域ROI，且窗口大小随距离的远近进行调节。\n[0114] 2）在图像上建立的感兴趣区域ROI内，针对不同障碍物P的初步分类，采取不同的图像处理算法对车辆前方的障碍物P的类型进行确认，其具体过程包括下列步骤：\n[0115] a.对于已建立的感兴趣区域ROI内的障碍物P若初步确定其为行人类目标，则利用基于行人外部特征的检测方法，判断当前区域内的障碍物P是否为行人，若检测成功（是行人），则记录其毫米波雷达自动编号ID。\n[0116] b.对于第4步骤的第2）步骤的a步骤中的已建立的感兴趣区域ROI内初步分类为行人类的障碍物P若检测结果是非行人类，将其分到车辆类，重新调整窗口大小，利用基于车辆外部特征的检测方法进行识别，若检测成功（是车辆），则记录其毫米波雷达自动编号ID。\n[0117] c.对于第4步骤的第2）步骤的b步骤中的重新调整窗口内的障碍物P若检测结果是非车辆类，将其视为其它障碍物并不再识别其类型，同样记录其毫米波雷达自动编号ID。\n[0118] d.对于已建立的感兴趣区域ROI内的障碍物P若初步确定为车辆类目标，则利用基于车辆外部特征的检测方法，判断当前区域内的障碍物P是否为车辆，若检测成功（是车辆），则记录其毫米波雷达自动编号ID。\n[0119] e.对于第4步骤中第2）步骤中d步骤中的已建立的感兴趣区域ROI内初步分类为车辆类的障碍物P若检测结果是非车辆类，将其分到行人类，重新调整窗口大小，然后利用基于行人外部特征的检测方法进行识别，若检测成功（是行人），则记录其毫米波雷达自动编号ID。\n[0120] f.对于第4步骤中第2）步骤中e步骤中的重新调整窗口内的障碍物P若检测结果是非行人类，则将其视为其他障碍物并不再识别其类型，同样记录其毫米波雷达自动编号ID。\n[0121] 5.车辆前方障碍物的跟踪，具体过程包括下列步骤：\n[0122] 1）读取下一周期的毫米波雷达数据，按照卡尔曼滤波的方式对其进行一致性检验，其步骤如下：\n[0123] a.采用卡尔曼滤波算法对本周期的障碍物P在下一周期的状态进行预测。\n[0124] b.对障碍物P在下一周期内实际测量值和卡尔曼预测值进行目标一致性检验；\n[0125] c.对于满足目标一致性检验的障碍物P，更新其数据信息，为下一次目标跟踪做准备。\n[0126] d.对于不满足目标一致性检验的障碍物P，将其视为新出现的障碍物P；\n[0127] 2）对于新出现的障碍物P从毫米波雷达数据的接收解算与处理步骤开始依次执行至车辆前方障碍物的跟踪步骤。\n[0128] 本申请的贡献点：\n[0129] 1、本发明所述的车辆前方障碍物检测跟踪方法采用毫米波雷达和单目视觉两传感器融合的方式，雷达波雷达可以得到车辆周围的深度信息，可以准确地发现车辆前方的车辆与行人等障碍物。机器视觉传感器具有检测信息丰富优点，对物体的形状纹理特征有很好的解析能力，因此，充分发挥两传感器优势，既可以弥补毫米波雷达目标类型识别能力差的缺点，又可以弥补单目视觉定位精度低的缺点，提高了障碍物检测系统的鲁棒性、准确性和实时性。\n[0130] 2.本发明所述的车辆前方障碍物检测跟踪方法根据毫米波雷达测量车辆行驶前方障碍物的反射强度和宽度，对障碍物进行初步分类，把障碍物分为车辆类和行人类，针对不同的初步分类采取不同的图像处理算法对障碍物类型进行精确划分，避免了必须逐一采用两种图像处理算法对每一障碍物类型进行检测，节省系统运算时间，同时提高系统检测准确性。\n[0131] 3.本发明所述的车辆前方障碍物检测跟踪方法通过毫米波雷达数据信息实现了车辆行驶前方障碍物的精确定位，根据建立的透射投影关系将雷达数据扫描点投影在摄像机图像平面上，建立感兴趣区域，解决了图像处理时感兴趣区域难以确定的问题。感兴趣区域窗口大小由障碍物类型决定，同时考虑雷达数据中前方障碍物的宽度信息，且窗口大小随距离的远近进行调节。这样可以准确控制感兴趣区域的大小，在进行图像处理时只需要对感兴趣区域进行处理，减少图像处理范围，提高处理速度。\n[0132] 4.本发明所述的车辆前方障碍物检测跟踪方法在前方障碍物跟踪方面，利用卡尔曼滤波算法对下一周期的信息进行预测，对已经存在毫米波雷达自动编号ID的障碍物采用预测值与测量值一致性检验的方法对其进行跟踪，而对新出现障碍物按照本发明所述的障碍物检测方法检测分类并进行跟踪。这样，既可以避免已经检测并成功分类障碍物的重复性检测，又可以防止突然闯入的障碍物无法及时识别，而对本车构成威胁。提高了障碍物跟踪的实时性和鲁棒性。\n[0133] 5.本发明所述的车辆前方障碍物检测跟踪方法可以实现对车辆行驶前方不同类型的多个目标同时检测跟踪，改善了现有方法只对前方对本车构威胁最大的唯一目标检测跟踪的不足，提高了系统的鲁棒性，减少了系统的漏警率。