一种全景泊车辅助系统

1.一种全景泊车辅助系统，其特征在于至少包含如下模块：
摄像头输入模块，置于车体前后左右四个方向上的多个超广角摄像头；
用于图像畸变校正的处理模块；
用于图像鸟瞰透视变换的处理模块；
用于图像拼接合成的处理模块；
用于图像直方图均衡化的处理模块；
用于图像显示的模块；
所述摄像头输入模块、畸变校正模块、透视变换模块、图像拼接模块、图像均衡模块和图像显示模块依次连接；
所述的一种全景泊车辅助系统，具体工作步骤如下：
1）将多个摄像头安装在车身的四个方向，并将安装的角度根据摄像头输出图像的情况调节到一个合适的位置；
2）将多个摄像头输出信号与该系统硬件上的视频输入接口连接；
3）根据摄像头的内部参数和畸变模型，将每个摄像头的输入视频图像进行畸变校正；
4）根据摄像头的安装角度和透视变换原理，将每个摄像头畸变校正后的图像进行角度透视变换，生成俯视图像；
5）根据摄像头安装位置的三维坐标和汽车尺寸，将多个摄像头的俯视图像进行拼接，以得到一个全景俯视图；
6）根据图像直方图均衡原理，对全景俯视图进行直方图均衡化；
7）将最终的全景俯视图输出给显示设备；
所述全景泊车辅助系统根据每个摄像头的安装角度，运用鸟瞰透视变换原理将每个方向上的校正后图像转换为鸟瞰俯视图，形成视角的转换，具体方法是得到透视变换的单应性矩阵H：
若（x1,y1），（x2,y2）分别表示畸变校正后的图像平面与鸟瞰图平面的对应点，则两者的映射关系为：
即
其中ρ为比例缩放因子，a为摄像头安装的垂直倾角，b为摄像头安装的水平偏离角。

一种全景泊车辅助系统\n技术领域\n[0001] 本发明涉及将汽车四周的状况直观地展示给驾驶员，以提高汽车泊车的安全性和稳定性，属于汽车电子领域和机器视觉领域，尤其是涉及汽车安全辅助驾驶领域。\n背景技术\n[0002] 近年来，随着汽车产业的迅速发展和人们生活水平的不断提高，我国的汽车数量正逐年增加。同时汽车驾驶人员中非职业汽车驾驶人员的比例也逐年增加。在公路、街道、停车场、车库等拥挤、狭窄的地方倒车时，驾驶员既要前瞻，又要后顾，稍微不小心就会发生汽车碰撞事故。\n[0003] 因此各种汽车驾驶辅助系统应运而生，如超声波测距的倒车雷达系统，在车辆后方架设摄影机建立后视系统等等。它们都在一定程度上减轻了驾驶员的负担，但都仍然有着易受干扰，不够直观等缺点。比较理想的辅助驾驶是能够得到俯视汽车的画面。通过安装在车身前后左右的摄像头对周围路面情况进行拍摄，然后利用图像处理技术将其合成为一个完整的俯视画面显示在液晶屏上。这样汽车驾驶员只要在车内就能完成的看到整个车前后左右各个部分，完全没有任何的死角和盲区。这种技术被称为车载全景成像技术，可以为汽车驾驶和行车安全带来极大方便。\n[0004] 专利申请号200810163310.X提出了一种全景辅助泊车系统的标定方法，采用了张正友的摄像头标定方法进行摄像头内参和外参的计算，但是在图像拼接时，使用的是固定位置的拼接方法，对于不同车型和摄像头震动的适应性不强。专利申请号\n200910119475.1提出了一种全景可视泊车系统，采用了FPGA芯片来进行视频处理和合成，但是需要另一个MCU芯片来进行协处理。\n[0005] 本发明支持矫正180度超广角摄像头，并且采用了直方图均衡化算法，使系统对车型和摄像头震动的适应性更强，使泊车全景图像不存在任何盲区，为驾驶员呈现真正的\n360度汽车四周的情况，有效地避免了碰撞事故的发生。\n发明内容\n[0006] 本发明的目的在于提供一种全景泊车辅助系统，能够更直观地为驾驶员呈现汽车周围的状况，以提高车辆泊车的过程中的安全性和稳定性。\n[0007] 为实现该目的，本发明采取以下技术方案：\n[0008] 本发明提供一种全景汽车辅助系统，用于汽车泊车进行全景成像及辅助驾驶，包括：\n[0009] 摄像头输入模块，通过置于车体前后左右四个方向上的多个180度超广角摄像头对车体周围状况进行拍摄，摄像头参数为D1格式、PAL制式，分辨率为720x576，并将安装的角度根据摄像头输出图像的情况调节到一个合适的位置；\n[0010] 图像校正模块，根据摄像头的内部参数和畸变模型，将每个摄像头的输入视频图像进行畸变校正；\n[0011] 鸟瞰透视模块，根据摄像头的安装角度和透视变换原理，将每个摄像头畸变校正后的图像进行角度透视变换，生成俯视图像；\n[0012] 图像拼接模块，根据每个摄像头安装位置的三维坐标和汽车的尺寸，借助于铺设在车辆四周地面上的方格线，将每个方向上的俯视图像拼凑在一个图像中，组成一个全景俯视图；\n[0013] 图像直方图均衡化模块，通过直方图均衡化算法，将每个拼接区域之间存在的亮度不同的现象进行消除，以达到更好的显示效果；\n[0014] 图像显示单元，将最终的全景俯视图输出给显示设备，显示设备可以是模拟显示器，也可以是液晶显示屏。\n[0015] 所述摄像头输入模块、畸变校正模块、透视变换模块、图像拼接模块、图像均衡模块和图像显示模块依次连接。\n[0016] 依据上述的功能模块的连接顺序，本系统的具体工作步骤如下：\n[0017] 1)将多个摄像头安装在车身的四个方向，并将安装的角度根据摄像头输出图像的情况调节到一个合适的位置；\n[0018] 2)将多个摄像头输出信号与该系统硬件上的视频输入接口连接；\n[0019] 3)根据摄像头的内部参数和畸变模型，将每个摄像头的输入视频图像进行畸变校正；\n[0020] 4)根据摄像头的安装角度和透视变换原理，将每个摄像头畸变校正后的图像进行角度透视变换，生成俯视图像；\n[0021] 5)根据摄像头安装位置的三维坐标和汽车尺寸，将多个摄像头的俯视图像进行拼接，以得到一个全景俯视图；\n[0022] 6)根据图像直方图均衡原理，对全景俯视图进行直方图均衡化；\n[0023] 7)将最终的全景俯视图输出给显示设备。\n[0024] 系统可以支持四个或八个摄像头输入，分别安装于车身前部、后车厢尾部和车身两侧。由于车型和车的大小不一致，因此摄像头安装的角度也应该根据车身的情况进行调节，使对应方向180度的情况都能拍摄到，而且使得车身周围的图像能够呈现在拍摄图像的中间区域。\n[0025] 摄像头的安装一般采用斜向下倾斜安装，这样可以较好地得到车体四周的图像，具体的安装角度根据不同的车型和车身大小而有所不同。拍摄角度的不同，会直接影响到四周状况在图像中的显示位置，同时不同的显示位置的畸变校正参数也不相同，因此摄像头的安装角度颇为重要。\n[0026] 在现有的许多汽车可视设备中，由于采用的广角摄像头的视角有限，在车身45度的角上会存在盲区。本发明由于最大可以校正180度的超广角摄像头，因此在车身四个角上的车身周围的图像也依然能够清晰的看到，这样就为得到一幅无盲点的全景图像提供了条件。\n[0027] 本系统最大可以支持八路D1格式摄像头的数据输入，八个摄像头分别安装在车身四周，使得本发明能够适用于大型货车、客车、工程车等车身较大的车辆。\n[0028] 本发明所使用的主处理芯片为DSP芯片，它的主频高，指令执行效率高，有多个视频输入输出接口，而且它强大的视频处理能力，能够实时地处理多路视频数据。因此本系统可以实时地处理四路或八路D1格式、PAL制式(分辨率为720x576)的摄像头的输入图像。\n[0029] 本发明的视频输出信号既可以支持CVBS信号输出，也可以支持LVDS信号输出。其中LVDS信号也是车载视频信号中常用的信号格式。\n[0030] 所述全景泊车辅助系统的核心算法主要分为以下三个步骤：\n[0031] 1)图像畸变校正算法，通过多项式拟合的畸变模型进行畸变参数的计算，得到畸变点与校正点的一一对应关系。\n[0032] 数字图像的畸变是由于采用了广角镜头而引入的，因此首先从纯光学的角度分析畸变产生的原理。轴外点成像，无论是宽光束还是细光束都有像差存在，即使只有主光线通过光学系统，由于球差的影响，它仍不能和理想的近轴光相一致。因此，主光线和高斯像面交点的高度不等于理想像高。一对共轭物象平面上的放大率不为常值时，将使像相对于物失去了相似性。这种缺陷就是系统的畸变。\n[0033] 无畸变镜头的成像，其线放大率与物体成像偏离光轴的距离无关，即各部分的线放大倍率都是一样的。而有畸变的镜头成像，其线放大率则随物体的理想位置离开光轴距离的变化而变化，这样，就使得物体经过畸变镜头后成像偏离理想位置，偏离理想位置距离的大小称为畸变。\n[0034] 畸变主要包括径向畸变和切向畸变。切向畸变主要由于实际光学系统非轴对称因素引起的，如光学材料不均匀性，光学零件局部变形，光学系统中零件安装位置与光轴不对称等。所以它主要是由加工造成的。径向畸变通常在光学设计时，可以校正到一定程度，但这往往不能满足精度要求，尤其在大视场的系统残余量会对结果产生一定影响。\n[0035] 以几何运算的基本数学模型为基础，我们通常将畸变校正分为两步。第一步是对原图像进行像素坐标空间进行几何变换，这样做的目的是使原图像上的畸变点对应到正确的坐标点上，然而在我们通常实际操作时，为了使校正后的每个像素点都有原图像像素与之对应，我们经常从校正后的目标的图像来找畸变原图像中与之对应的像素点；第二步是重新确定新像素的像素值。这是因为经过上面的坐标变换后，对应的像素点不一定会落在离散的整数坐标点上，因此需要更合理地确定对应的像素值。这里我们通常是采用双线性插值算法。\n[0036] 2)鸟瞰透视变换算法，通过计算投影的单应性矩阵H，得到倾斜拍摄得到的图像与俯视透视图的点与点的一一映射矩阵；\n[0037] 鸟瞰变换处理，属于空间透视变换，将摄像头倾斜拍摄到的图像转换为垂直向下拍摄到的图像。透视投影使用中心投影法，沿着一系列最终汇聚到一个被称为投影中心的点的投影线，将三维物理世界中的点投影变换到二维图像平面中。投影变换是一种特定的单应性变换，是将同一个三维物体分别投影到两个不同投影平面下的两幅图像联系起来。\n因此鸟瞰变换处理的关键在于得到投影单应性矩阵H。\n[0038] 3)直方图均衡化算法，通过计算整个全景拼接图的直方图，进行直方图均衡，从而消除各个方向上摄像头拍摄时产生的亮度不一的现象。\n[0039] 图像直方图是图像处理中一种十分重要的图像分析工具，它所描述的是数字图像中各灰度级与其出现频率的统计关系。在数学意义上，图像直方图是图像各灰度级统计特性与图像灰度级的函数，它反映的是一幅图像中各个灰度级出现的次数或概率。\n[0040] 直方图均衡化方法把原图像的直方图通过灰度变换函数修正为灰度均匀分布的直方图，然后按均衡直方图修正原图像。当图像的直方图为一均匀分布时，图像的信息熵最大，此时图像包含的信息量最大，图像看起来就显得清晰，亮度也一致。该方法以累计分布函数为基础，其变换函数取决于图像灰度直方图的累积分布函数。它对整幅图像进行同一个变换，也称为全局直方图均衡化。\n[0041] 所述全景泊车辅助系统的具体软件流程为：\n[0042] 1)根据已知的畸变参数和畸变模型，对各个方向上的畸变图像进行畸变校正；\n[0043] 为了摄像头的拍摄角度更广，为了不存在视野盲区，前后左右方向上安装的摄像头为180度的广角摄像头，因此各个方向上拍摄的影像必然存在很大的畸变，对畸变图像的校正就成为了算法的关键。\n[0044] 假设(x，y)是校正前图像上的一点，采用多项式拟合算法，点(x，y)与校正后的对应点(u，v)之间的关系为：\n[0045] \n[0046] 其中，n为多项式拟合次数，aij、bij即为系统需要的畸变校正调节参数。\n[0047] 为了求得最佳的aij、bij，按最小二乘法，让拟合误差平方最小，以求得空间坐标变换系数aij、bij。求取aij的公式即为：\n[0048] \n[0049] 另外，由于校正后的整数点(u，v)通过计算得到一个浮点数点(x，y)，为了使像素值取值更加合理，这里使用了双线性插值算法进行像素的对应。双线性插值的具体原理如下：\n[0050] 假设x′＝(int)x，y′＝(int)y，\n[0051] 则Δx＝x-x′，Δy＝y-y′。\n[0052] 假设f(x′，y′)是原始输入图像上x′行y′列的像素值，f′(u，v)是校正后的图像上的对应点的像素值，则使用双线性插值算法可得：\n[0053] f′(u，v)＝(1-Δx)*(1-Δy)*f(x′，y′)+(1-Δx)*Δy*f(x′，y′+1)[0054] +Δx*(1-Δy)*f(x′+1，y′)+Δx*Δy*f(x′+1，y′+1)\n[0055] 2)根据摄像头的安装角度和鸟瞰透视原理，将畸变校正后的图像变换为鸟瞰效果图像；\n[0056] 畸变校正之后，为了能使全景图像有一种从空中俯视的全局视觉效果，需要对各个方向上的影像进行鸟瞰透视变换，使图像看起来就像摄像头是从空中往下拍摄回来的，因此我们需要得到透视变换的单应性矩阵H；\n[0057] 若(x1，y1)，(x2，y2)分别表示畸变校正后的图像平面与鸟瞰图平面的对应点，则两者的映射关系为：\n[0058] \n[0059] 即\n[0060] \n[0061] 其中ρ为比例缩放因子，a为摄像头安装的垂直倾角，b为摄像头安装的水平偏离角。通常我们认为摄像头的水平方向偏离角b为0，因此我们只需要确定摄像头安装的垂直倾角，就可以计算得到透视变换的单应性矩阵H，也就能得到一幅对应方向的鸟瞰图。\n[0062] 3)根据各个方向上摄像头安装位置的三维坐标和汽车的尺寸，借助于铺设在车辆四周地面上的方格线，将各个方向上的鸟瞰图拼接在同一幅图像上。\n[0063] 图像拼接问题是计算机视觉、图像处理中的难点。借助于铺设在汽车四周地面上的方格线，对任一两幅图的交接部分进行有效地融合和过渡连接，这种方法简单快速，便于实施与调试。因此，本系统采用这种方法。\n[0064] 为了得到全景效果，系统需要将各个方向上的鸟瞰图像拼接在一起，使驾驶员一眼就能看到车体周围各个方向上的状况。这里，我们已知汽车的长宽，和各个方向上摄像头安装位置的三维坐标，就可以将软件流程2)所得到的各个方向的鸟瞰图大致地拼凑在一个矩形区域内，但是为了要得到一个比较满意的拼接效果，就需要借助于铺设在车辆四周地面上的方格线。在系统安装调试的过程中，各个方向鸟瞰图交接处的拼接效果的质量好坏，决定了整个全景图的拼接效果，所以，我们根据地面上的方格线在各个交接处的重合和过渡的情况，来对各个鸟瞰图的摆放位置和效果进行微调，从而达到一个比较满意的全景拼接效果。\n[0065] 可以通过以下的微调的步骤，来实现每个交接处比较满意的过渡和连接：\n[0066] (1)可以微调每个摄像头的高度，来使对应的鸟瞰区域的面积进行略微的放大和缩小，使得四个鸟瞰区域处于同一个水平面上；\n[0067] (2)可以微调摄像头水平角度，来使对应的鸟瞰区域的左右水平性一致；\n[0068] (3)可以微调摄像头距离汽车中心的坐标，也就是平移对应的鸟瞰图的摆放位置，来使交接处的方格连接更连贯。\n[0069] 4)根据直方图均衡化算法，将全景拼接图进行亮度均衡化，以消除由于不同方向拍摄图像的亮度不同造成的视觉影响。具体方法如下：\n[0070] (1)根据下式，计算原始图像的灰度直方图，将原始图像的灰度值分为256个等分：\n[0071] \n[0072] 其中n为原始图像的像素总数，k表示第k个灰度级，nk表示图像中灰度级k出现的像素的个数，Pk表示原始图像的所有像素中，灰度级k出现的概率；\n[0073] (2)根据步骤(1)计算原始图像的灰度累计分布函数Yk，并根据累计分布函数求出灰度变换映射表：\n[0074] \n[0075] \n[0076] 其中，Dk为第k个灰度级变换映射所对应的灰度值，加上0.5的作用是四舍五入；\n[0077] (3)根据步骤(2)所得到的变换映射表，将原始图像的所有像素的灰度值映射到新的灰度值。\n[0078] 直方图均衡化处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是把给定图像的直方图分布改变成均匀分布直方图分布。\n附图说明\n[0079] 图1为本发明系统的整体功能模块流程框图；\n[0080] 图2为本发明系统的软件模块流程框图；\n[0081] 图3为本发明在四摄像头实施时的实施原理和摄像头拍摄范围示意图；\n[0082] 图4为本发明在四摄像头实施时的硬件结构框图；\n[0083] 图5为本发明的全景拼接合成图；\n[0084] 图6为本发明在八摄像头实施时的安装示意图；\n[0085] 图7为本发明在八摄像头实施时的硬件结构框图。\n具体实施方式\n[0086] 以下所述仅为本发明的较佳实施例，并不因此而限定本发明的保护范围。\n[0087] 图1为本发明的整体功能模块的流程图，各个模块之间依次连接，其中的畸变校正模块、透视变换模块、图像拼接模块和图像均衡模块都是由软件算法来实现其功能。\n[0088] 图2显示了所述系统的软件流程框图，从图中可以清晰地看出，所述全景泊车辅助系统的核心算法主要分为以下三个步骤：\n[0089] 1)图像畸变校正；\n[0090] 2)鸟瞰透视变换；\n[0091] 3)直方图均衡化。\n[0092] 第一实施例\n[0093] 此实施例为使用四个180度超广角摄像头来实现本发明的功能。\n[0094] 图3为本发明在四摄像头实施时的实施原理和摄像头拍摄范围示意，四个180度的超广角摄像头110、120、130和140分别安装于前车标、后车厢把手、两个侧后视镜下方，捕获到四个拍摄区域分别为110a、120a、130a和140a。由于这四个摄像头的角度接近180度，因此四个摄像头的拍摄区域110a、120a、130a和140a的视角很大，从而为构成360度全景图像提供为条件。为了获得车体四周的全部图像，四个摄像头拍摄的图像在边界上有重叠部分，这些重叠部分会在图像合成拼接时处理好。\n[0095] 图4显示了系统在四摄像头实施时硬件结构框图，四路摄像头201、202、203和204\n2\n是模拟信号摄像头，输出信号为CVBS信号，系统运行时，主处理器206通过IC总线配置视频解码器205，使视频解码器205可以接收四路CVBS摄像头信号输入，然后转换输入的模拟信号为数字信号，之后将四路数字信号传输给主处理器206。存储器207作为主处理器的程序和数据的存储空间。主处理器206将四路数字信号依次经过畸变校正、鸟瞰透视、合成拼接、直方图均衡化的软件处理后，形成了一幅全景鸟瞰图像，最后，将这幅图像数据传输给液晶显示屏208显示，使驾驶员能够很好地观看四周。\n[0096] 图5显示了在四摄像头实施例时，最终的全景鸟瞰拼接效果图，系统将汽车车身俯视图像放置在拼接图像的中间，将四个方向上的鸟瞰图像根据摄像头的安装位置和车身的长宽比例，成比例地放置在对应的方向上，经过合成拼接和直方图均衡化之后，就将车身四周的图像直观地呈现在驾驶员面前了。\n[0097] 第二实施例\n[0098] 此实施例为使用八个180超广角摄像头来实现本发明的功能。\n[0099] 由于大型货车、客车、工程车的车身都比较长，驾驶员很难看清车尾部和车旁的情况，但是如果只安装四个摄像头，又很难将360度的周围景象覆盖，因此，本实施例使用了八个摄像头，来解决在大型车辆上的实施问题。\n[0100] 图6为本发明在八摄像头实施时的示意图。摄像头301、302、303、304和四摄像头实施时安装位置相同，摄像头305、306、307和308则安装在车身的四个对角附近，这样，使得摄像头能够得到全部的景象。\n[0101] 图7为本发明在八摄像头实施时的硬件结构框图，主处理器411有两个视频输入口，可以分别接收四路D1格式摄像头输入，因此，使用两个视频解码器，分别解码四路摄像头数据。八路摄像头401、402、403、404、405、406、407和408是模拟信号摄像头，输出信号\n2\n为CVBS信号，系统运行时，主处理器411通过IC总线配置视频解码器409和410，使视频解码器409和410可以分别接收四路CVBS摄像头信号输入，然后转换输入的模拟信号为数字信号，之后分别将四路数字信号传输给主处理器411。存储器412作为主处理器的程序和数据的存储空间。主处理器411将八路数字信号依次经过畸变校正、鸟瞰透视、合成拼接、直方图均衡化的软件处理后，形成了一幅全景鸟瞰图像，最后，将这幅图像数据传输给液晶显示屏413显示，使驾驶员能够很好地观看四周。\n[0102] 综上所述，本发明综合了多种机器视觉和数字图像处理的处理算法，融合了机器视觉领域的多项先进技术，使汽车泊车过程具有更高的安全性和稳定性，而且基于低成本、高性能及可移植性强等优点，便于大面积推广应用。\n[0103] 尽管本发明中未罗列更多的具体实施方式，但是对于本领域内普通技术人员而言均可理解，任何对本发明各个技术特征进行简单的替换以完成实现相同技术效果的行为，均应视为不超脱本发明的创新精神的。