一种车载环视显示方法及系统

1.一种车载环视显示方法，其特征在于，在车辆每节车厢的左右两侧分别安装至少一个摄像头，在车辆前后方分别安装至少一个摄像头，在每节车厢分别安装至少一个角度传感器，所述车载环视显示方法预先建立查找表及使用时将图像实时拼接并输出的步骤，所述预先建立查找表的步骤具体为：建立记录原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息的查找表；
所述使用时将图像实时拼接并输出的过程如下：
通过各角度传感器检测其对应车厢的旋转角度，通过各摄像头分别采集原始图像；
根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系；
输出显示全景显示图像。
2.根据权利要求1所述的车载环视显示方法，其特征在于，所述根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系的步骤具体如下：
查找表中各车厢对应图像的像素点分别根据其车厢的旋转角度进行相应的角度变换；
根据全景显示图像中各像素点的车厢归属情况及各角度传感器检测对应车厢的旋转角度计算全景显示图像像素点与查找表中首次拼接全景图像像素点的映射关系；
根据查找表查找首次拼接全景图像像素点与原始图像像素点的映射关系，根据全景显示图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像像素点与原始图像像素点的映射关系得到全景显示图像像素点与原始图像像素点的映射关系。
3.根据权利要求2所述的车载环视显示方法，其特征在于：所述查找表中各车厢对应图像的像素点分别根据其车厢的旋转角度进行相应的角度变换的步骤具体为查找表中各车厢对应图像的各顶点及其连接点分别根据其车厢的旋转角度进行相应的角度变换。
4.根据权利要求3所述的车载环视显示方法，其特征在于：所述根据全景显示图像中各像素点的车厢归属情况及各角度传感器检测对应车厢的旋转角度计算全景显示图像像素点与查找表中首次拼接全景图像像素点的映射关系的步骤包括判断全景显示图像中各像素点的车厢归属情况的步骤。
5.根据权利要求4所述的车载环视显示方法，其特征在于，所述判断全景显示图像中各像素点的车厢归属情况的步骤具体为：采用凸多边形内点判断方法判断全景显示图像中各像素点是否在查找表中各车厢对应图像的各顶点角度变换后组成的凸多边形内。
6.根据权利要求5所述的车载环视显示方法，其特征在于，所述采用凸多边形内点判断方法判断全景显示图像中各像素点是否在查找表中各车厢对应图像的各顶点角度变换后组成的凸多边形内的步骤具体判断过程如下：
判断全景显示图像中各像素点与凸多边形各顶点的夹角之和是否等于360度，若等于则是该凸多边形内点，否则，是该凸多边形外点；
若全景显示图像中的待判断点只属于第i节车厢图像对应的凸多边形，则该待判断点为第i节车厢图像的像素点；若待判断点既属于第i节车厢图像对应的凸多边形又属于第j节车厢图像对应的凸多边形，则该待判断点为第i(i7.根据权利要求1至6任一项所述的车载环视显示方法，其特征在于，所述建立记录原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息的查找表的过程如下：
s101在车辆各节车厢夹角为零时，通过各摄像头采集车辆周围的原始图像；
s102对各摄像头采集的原始图像分别进行畸变校正；
s103对各畸变校正后的图像进行鸟瞰视角变换；
s104将各鸟瞰视角变换后的图像拼接生成首次拼接全景图像；
s105将首次拼接全景图像与原始图像的映射关系及首次拼接全景图像中各像素点的车厢归属信息进行存储得到查找表。
8.一种车载环视显示系统，其特征在于，包括：
摄像头，在车辆每节车厢的左右两侧分别安装至少一个，在车辆前后方分别安装至少一个，用于采集车辆周围的原始图像；
畸变校正单元，对各摄像头采集的原始图像分别进行畸变校正；
鸟瞰视角变换单元，对各畸变校正后的图像分别进行鸟瞰视角变换；
首次图像拼接单元，将各鸟瞰视角变换后的图像拼接生成各节车厢夹角为零时的首次拼接全景图像；
主控制单元，将原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢归属信息输入至存储单元；
存储单元，用于存储摄像头采集的原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢归属信息的查找表；
角度传感器，在车辆每一节车厢分别安装至少一个，用于检测其所在车厢的旋转角度；
合成及处理单元，根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系，并将相应的显示全景显示图像输出至输出显示单元；
输出显示单元，用于输出显示全景显示图像。
9.根据权利要求8所述的车载环视显示系统，其特征在于：所述角度传感器为地磁传感器。

一种车载环视显示方法及系统\n技术领域\n[0001] 本发明涉及车载环视技术领域，具体涉及一种车载环视显示方法及系统，尤其适用于多节车厢的车辆。\n背景技术\n[0002] 随着人们生活水平的提高，交通业越来越发达，汽车已经成为人们出行必不可少的交通工具、运送货物的运输工具。然而随着用地的日益紧张和稀缺，公路、街道、停车场等场所的停车位大小有限，对驾驶员的泊车技术要求甚高。对于泊车技术有限的驾驶员很难准确泊车，而且经常出现在泊车过程中对周围的车辆或物体等产生碰撞的事故。\n[0003] 针对上述泊车存在的安全隐患，市面上出现了全景泊车系统，让驾驶员在驾驶室内能清楚看到汽车周围360度的全景，降低泊车引起安全事故的发生概率。但，目前市面上的泊车系统，大部分是针对私家小轿车。现有的泊车系统一般在车身的前、后、左、右各安装\n1个摄像头，各摄像头分别采集视野范围内的数据，然后通过处理单元将所采集的图像进行整合，去除重叠部分，形成360度全景图在显示屏进行输出显示。如申请日为2010-12-15，申请号为201010590428.8的中国发明专利“一种车载环视显示系统”提供一种能够更直观地为驾驶员呈现汽车周围的状况，以提高车辆泊车的过程中的安全性和稳定性的车载环视显示系统，但该车载环视显示系统仅适用于单个车厢的汽车，如私人小轿车等，对于具有多节车厢的车辆，如拖挂车等车载环视显示效果差。由于车辆连接有一个以上的车厢，在倒车或者车辆转弯时，车头和各车厢不在同一个角度，如果采用小轿车的泊车方法，直接通过剪裁、拼接图片无法准确显示车辆周围情况，辅助车辆安全泊车或安全转弯的效果差，无法有效避免车辆泊车或转弯时引起的事故。\n发明内容\n[0004] 本发明的目的是克服现有技术的不足和缺陷，提供一种车载环视显示方法，实时显示车辆周围环境情况，提高车辆行驶、泊车的安全性，有效避免车辆行驶、泊车时引起的事故。\n[0005] 本发明的目的通过以下技术方案来实现：一种车载环视显示方法，在车辆每节车厢的左右两侧分别安装至少一个摄像头，在车辆前后方分别安装至少一个摄像头，在每节车厢分别安装至少一个角度传感器，所述泊车辅助方法预先建立查找表及使用时图像实时拼接并输出的步骤，\n[0006] 所述预先建立查找表的步骤具体为：建立记录原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息的查找表；\n[0007] 所述使用时图像实时拼接并输出的过程如下：\n[0008] 通过各角度传感器检测其对应车厢的旋转角度，通过各摄像头分别采集原始图像；\n[0009] 根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系；\n[0010] 输出显示全景显示图像。\n[0011] 进一步地，所述根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系的步骤具体如下：\n[0012] 查找表中各车厢对应图像的像素点分别根据其车厢的旋转角度进行相应的角度变换；\n[0013] 根据全景显示图像中各像素点的车厢归属情况及各角度传感器检测对应车厢的旋转角度计算全景显示图像像素点与查找表中首次拼接全景图像像素点的映射关系；\n[0014] 根据查找表查找首次拼接全景图像像素点与原始图像像素点的映射关系，根据全景显示图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像像素点与原始图像像素点的映射关系得到全景显示图像像素点与原始图像像素点的映射关系。\n[0015] 进一步地，所述查找表中各车厢对应图像的像素点分别根据其车厢的旋转角度进行相应的角度变换的步骤具体为查找表中各车厢对应图像的各顶点及其连接点分别根据其车厢的旋转角度进行相应的角度变换。\n[0016] 进一步地，所述根据全景显示图像中各像素点的车厢归属情况及各角度传感器检测对应车厢的旋转角度计算全景显示图像像素点与查找表中首次拼接全景图像像素点的映射关系的步骤包括判断全景显示图像中各像素点的车厢归属情况的步骤。\n[0017] 进一步地，所述判断全景显示图像中各像素点的车厢归属情况的步骤具体为采用凸多边形内点判断方法判断全景显示图像中各像素点是否在查找表中各车厢对应图像的各顶点角度变换后组成的凸多边形内。\n[0018] 进一步地，所述采用凸多边形内点判断方法判断全景显示图像中各像素点是否在查找表中各车厢对应图像的各顶点角度变换后组成的凸多边形内的步骤具体判断过程如下：\n[0019] 判断全景显示图像中各像素点与凸多边形各顶点的夹角之和是否等于360度，若等于则是该凸多边形内点，否则，是该凸多边形外点；\n[0020] 若全景显示图像中的待判断点只属于第i节车厢图像对应的凸多边形，则该待判断点为第i节车厢图像的像素点；若待判断点既属于第i节车厢图像对应的凸多边形又属于第j节车厢图像对应的凸多边形，则该待判断点为第i（i1）节车厢的像素点时，该像素点与查找表中对应像素点的映射关系如下：\n[0024]\n[0025]\n[0026] 其中，as(xs,ys)为全景显示图像中的像素点， 为查找表中与as(xs,ys)对应的像素点。\n[0027] 进一步地，所述建立记录原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息的查找表的过程如下：\n[0028] 在车辆各节车厢夹角为零时，通过各摄像头采集车辆周围的原始图像；\n[0029] 对各摄像头采集的原始图像分别进行畸变校正；\n[0030] 对各畸变校正后的图像进行鸟瞰视角变换；\n[0031] 将各鸟瞰视角变换后的图像拼接生成首次拼接全景图像；\n[0032] 将首次拼接全景图像与原始图像的映射关系及首次拼接全景图像中各像素点的车厢归属信息进行存储得到查找表。\n[0033] 一种实现上述车载环视显示方法的系统，包括：\n[0034] 摄像头，在车辆每节车厢的左右两侧分别安装至少一个，在车辆前后方分别安装至少一个，用于采集车辆周围的原始图像；\n[0035] 畸变校正单元，对各摄像头采集的原始图像分别进行畸变校正；\n[0036] 鸟瞰视角变换单元，对各畸变校正后的图像分别进行鸟瞰视角变换；\n[0037] 首次图像拼接单元，将各鸟瞰视角变换后的图像拼接生成各节车厢夹角为零时的首次拼接全景图像；\n[0038] 主控制单元，将原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢归属信息输入至存储单元；\n[0039] 存储单元，用于存储摄像头采集的原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢归属信息的查找表；\n[0040] 角度传感器，在车辆每一节车厢分别安装至少一个，用于检测其所在车厢的旋转角度；\n[0041] 合成及处理单元，根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系，并将相应的显示全景显示图像输出至输出显示单元；\n[0042] 输出显示单元，用于输出显示全景显示图像。\n[0043] 进一步地，所述角度传感器为地磁传感器。\n[0044] 本发明相比现有技术包括以下优点及有益效果：\n[0045] （1）通过建立记录原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息的查找表，通过各角度传感器检测其对应车厢的旋转角度并计算全景显示图像像素点与首次拼接全景图像像素点的映射关系，实现全景显示图像的实时拼接并输出，尤其适用于具有多节车厢的车辆，在车辆泊车或转弯时为驾驶员提供车辆周围状况的图像，提高车辆泊车或转弯的安全性，有效避免车辆泊车或转弯时引起的事故。\n[0046] （2）通过预先建立查找表，实际使用时可通过查找表直接查找原始图像与首次拼接全景图像的映射关系，不需要对每一次获取的原始图像进行畸变校正、鸟瞰视角变换、将各鸟瞰视角变换后的图像拼接生成首次拼接全景图像等计算操作，减少系统运算符合，提高系统的性能，同时节省了上述计算操作的时间，系统的实时性好。\n[0047] （3）通过在车辆每节车厢的左右两侧分别安装至少一个摄像头，在车辆前后方分别安装至少一个摄像头，可全面地获取车辆周围的图像，全景图像显示的效果好，避免盲点的存在。\n[0048] （4）在每节车厢安装一角度传感器用于实时检测对应车厢的旋转角度，实现简单、成本低。\n[0049] （5）本发明提供的方法及系统应用广泛，可在车辆行驶过程中根据实际需要查看车辆周围的情况，例如在车辆启动、车辆需要低速通过狭窄路段、泊车、经过坑洼不平路段、经过狭窄空间的倒车、出库、转弯等情形时通过全景图查看车辆周围的情况，提高行车安全性。\n附图说明\n[0050] 图1为车辆为两节时摄像头的安装位置示意图；\n[0051] 图2为实施例中车载环视显示方法的流程图；\n[0052] 图3为实施例中预先建立查找表的流程图；\n[0053] 图4为实施例中计算全景显示图像像素点与首次拼接全景图像像素点的映射关系流程图；\n[0054] 图5为车辆为两节时的首次拼接全景图像示意图；\n[0055] 图6为实施例中车载环视显示系统的原理框图。\n具体实施方式\n[0056] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。\n[0057] 实施例\n[0058] 以具有N节车厢的车辆为例，车厢节数以车尾所在车厢为基准，依次往车头方向加，即尾节车厢为第1节车厢，车头车厢为第N节车厢。如图1所示，一种车载环视显示方法，在车辆每节车厢的左右两侧分别安装一个摄像头，在车辆前后方分别安装一个摄像头，在每节车厢分别安装一角度传感器，如图2所示，所述泊车辅助方法预先建立查找表及使用时图像实时拼接并输出的步骤，具体过程如下：\n[0059] S1预先建立记录原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息的查找表。如图3所示，所述建立查找表的过程如下：\n[0060] s101在车辆各节车厢夹角为零时，通过各摄像头采集车辆周围的原始图像；\n[0061] s102对各摄像头采集的原始图像分别进行畸变校正，具体可根据摄像头的鱼眼镜头投影模型使用相对应的畸变校正模型对原始图像进行校正或采用多项式进行拟合实现畸变校正。在本实施例中，根据摄像头的鱼眼镜头投影模型使用相对应的畸变校正模型对原始图像进行校正，过程如下：设点a(x,y)是待校正图像Pd上的一点，点a'(x',y')是点a在校正后的图像Pu的相对应点a(x,y)的点，点c(cx,cy)是待校正图像Pd的光心，点c'(c'x,c'y)是待校正图像Pu的光心，f是摄像头的焦距，P(θ)为摄像头投影模型，θ是点a的入射角，[0062]\n[0063]\n[0064] ru＝ftan(θ)    （3）\n[0065] 其中，ru是点a'到Pu图像中心的欧式距离，\n[0066] θ＝P-1(rd)    （4）\n[0067] 其中，\n[0068] P-1是镜头投影模型的逆映射。\n[0069] 鱼眼镜头投影模型主要有四种，分别为等距投影（equidistant）、等立体角投影（equisolid angle）、正交投影（orthographic）及体视投影（stereographic），其中，[0070] equidistant projection：r＝fθ；\n[0071] equisolid angle projection：\n[0072] orthographic projection：r＝fsin(θ)；\n[0073] stereographic projection：r＝2ftan(θ/2)。\n[0074] 在具体实施时可根据实际需要采用相应的镜头投影模型。\n[0075] s103对各畸变校正后的图像进行鸟瞰视角变换。具体可采用欧拉公式或者单应性矩阵进行视角变换，在本实施例中采用单应性矩阵进行视角变换：\n[0076]\n[0077]\n[0078] 其中，L1,L2,L4,L5,L6,L8,L9,L10是单应性矩阵的参数，点a'(x',y')鸟瞰视角变换前的图像Pu的一点，点aT(xT,yT)鸟瞰视角变换后的图像PT的相对应点a'(x',y')的点。\n[0079] 具体标定方法可以通过找出n对（n大于或等于4）世界坐标系（原始图像坐标系）和鸟瞰视角变换后的图像坐标系的对应。具体过程为：在所拍摄的原始图像中通过手动选取n个已知点并设置其在对应的鸟瞰视角变换后的图像的坐标，然后采用最小二乘法求解参数L1,L2,L4,L5,L6,L8,L9,L10。对于不同位置的摄像头需要选取不同的对应点，且对应点还需要根据车体的长、宽、高进行选取。\n[0080] s104将各鸟瞰视角变换后的图像拼接生成首次拼接全景图像，如图5所示，为车辆有两节时的首次拼接全景图像示意图。\n[0081] s105将首次拼接全景图像像素点与原始图像像素点的映射关系及首次拼接全景图像中各像素点的车厢归属信息进行存储得到查找表。\n[0082] S2通过各角度传感器检测其对应车厢的旋转角度，通过各摄像头分别采集原始图像。\n[0083] S3根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系，如图4所示，其具体过程如下：\n[0084] s301查找表中各车厢对应图像的像素点分别根据其车厢的旋转角度进行相应的角度变换。具体为查找表中各车厢对应图像的各顶点及其连接点分别根据其车厢的旋转角度进行相应的角度变换：\n[0085] 尾节车厢为第1节车厢，依次往前，车厢的数目递增，车头车厢为第N节车厢，设第i节车厢图像的顶点为4个，则第i节（i大于1）车厢图像的顶点为ai1(x1,y1)，ai2(x2,y2),ai3(x3,y3),ai4(x4,y4)，其与第i-1节车厢的连接点O(xc(i-1),yc(i-1))经过角度变换后为O'(x'c(i-1),y'c(i-1))，其与第i+1节车厢的连接点O(xci,yci)经过角度变换后为O'(x'ci,y'ci，旋转角度αi后上述四个顶点所在的位置为a'i1(x'1,y'1)，a'i2(x'2,y'2)，a'i3(x'3,y'3)，a'i4(x'4,y'4)，则车辆各节车厢的连接点与各顶点的变换关系为：\n[0086]\n[0087]\n[0088]\n[0089]\n[0090] 其中，j为任意车厢对应图像的顶点数；dk为第k节车厢的长度。\n[0091] s302判断全景显示图像中各像素点的车厢归属情况。在本实施例采用凸多边形内点判断方法判断全景显示图像中各像素点是否在查找表中各车厢对应图像的各顶点角度变换后组成的凸多边形内。具体为判断过程如下：\n[0092] 判断全景显示图像中各像素点与凸多边形各顶点的夹角之和是否等于360度，若等于则是该凸多边形内点，否则，是该凸多边形外点；\n[0093] 若全景显示图像中的待判断点只属于第i节车厢图像对应的凸多边形，则该待判断点为第i节车厢图像的像素点；若待判断点既属于第i节车厢图像对应的凸多边形又属于第j节车厢图像对应的凸多边形，则该待判断点为第i（i1）节车厢的像素点时，该像素点与查找表中对应像素点的映射关系如下：\n[0097]\n[0098]\n[0099] 其中，as(xs,ys)为全景显示图像中的像素点， 为查找表中与as(xs,ys)对应的像素点。\n[0100] s304根据查找表查找首次拼接全景图像像素点与原始图像像素点的映射关系，根据全景显示图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像像素点与原始图像像素点的映射关系得到全景显示图像像素点与原始图像像素点的映射关系，具体通过查找表查找点 对应原始图像中的点as(xs,ys，并在全景显示图像中点as(xs,ys)对应输s s s\n出显示原始图像中点a(x ,y )的图像，其映射过程为：\n[0101] S4输出显示全景显示图像。\n[0102] 如图6所示，一种实现上述车载环视显示方法的系统，包括：摄像头、角度传感器、畸变校正单元、鸟瞰视角变换单元、首次图像拼接单元、主控制单元、存储单元、合成及处理单元及输出显示单元。\n[0103] 所述摄像头，在车辆每节车厢的左右两侧分别安装一个，在车辆前后方分别安装一个，用于采集车辆周围的原始图像。\n[0104] 所述畸变校正单元对各摄像头采集的原始图像分别进行畸变校正，并将畸变校正后的图像传输至鸟瞰视角变换单元。\n[0105] 所述鸟瞰视角变换单元对各畸变校正后的图像分别进行鸟瞰视角变换，并将鸟瞰视角变换后的图像传输至首次图像拼接单元。\n[0106] 所述首次图像拼接单元将各鸟瞰视角变换后的图像拼接生成各节车厢夹角为零时的首次拼接全景图像。\n[0107] 所述主控制单元将原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢归属信息输入至存储单元。\n[0108] 所述存储单元用于存储摄像头采集的原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢归属信息的查找表。\n[0109] 所述角度传感器在车辆每一节车厢分别安装一个，用于检测其所在车厢的旋转角度，所述角度传感器为地磁传感器。\n[0110] 所述合成及处理单元根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系，并将相应的显示全景显示图像输出至输出显示单元。\n[0111] 所述输出显示单元用于输出显示全景显示图像。\n[0112] 在建立查找表时，设置各节车厢夹角为零，摄像头分别采集车辆周围的原始图像，并输入至畸变校正单元，畸变校正单元分别将各原始图像进行畸变校正，并将畸变校正后的图像输入至鸟瞰视角变换单元，鸟瞰视角变换单元分别将各畸变校正后的图像进行鸟瞰视角变换，并输入至首次图像拼接单元，首次图像拼接单元将各鸟瞰视角变换后的图像拼接生成首次拼接全景图像，存储单元将记录摄像头采集的原始图像像素点与首次拼接全景图像像素点的映射关系及首次拼接全景图像中每一像素点的车厢显示图像归属信息的查找表进行存储。\n[0113] 在驾驶过程通过全景显示图像辅助泊车时，各摄像头分别实时采集车辆周围的原始图像，各角度传感器分别实时检测其对应车厢的旋转角度，合成及处理单元根据各角度传感器检测其对应车厢的旋转角度计算全景显示图像像素点与首次拼接全景图像像素点的映射关系，并将相应的显示全景显示图像输出至输出显示单元，通过输出显示单元输出显示全景显示图像。\n[0114] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。