著录项信息
专利名称 | 摄像头外部参数校正方法、装置及辅助泊车系统 |
申请号 | CN201310092299.3 | 申请日期 | 2013-03-21 |
法律状态 | 暂无 | 申报国家 | 中国 |
公开/公告日 | 2013-07-31 | 公开/公告号 | CN103226827A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06T7/00 | IPC分类号 | G;0;6;T;7;/;0;0;;;H;0;4;N;5;/;2;3;2查看分类表>
|
申请人 | 深圳市汉华安道科技有限责任公司 | 申请人地址 | 广东省深圳市南山区南山街道月亮湾大道2076号高科集团大楼7楼79049
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 深圳市博维远景科技有限公司 | 当前权利人 | 深圳市博维远景科技有限公司 |
发明人 | 周建波;罗海风;吴泽俊;王婷 |
代理机构 | 深圳鼎合诚知识产权代理有限公司 | 代理人 | 郭燕;彭家恩 |
摘要
本申请公开了一种摄像头外部参数校正方法、装置及辅助泊车系统,将调试模板置于至少两个摄像头均可以探测到的区域,其中部分摄像头具有可靠外部参数,某一摄像头需要进行外部参数校正,从各摄像头拍摄的源图像中获得同一调试模板对应的模板图像,并对其进行拟合,得到至少两个拟合图像,根据各拟合图像的尺寸参数,确定与摄像头外部参数相关的拟合图像的参数误差,并以参数误差校正上述某一摄像头的外部参数,这样,只需使调试模板展开置于摄像头可探测到的区域,并设置具有可靠外部参数的摄像头,就可以采用上述方法进行摄像头外部参数的调整,简化了调试模板的铺设条件,进而提高了摄像头外部参数校正效率。
1.一种摄像头外部参数校正方法,其特征在于,包括:
获得具有可靠外部参数的第一摄像头对展开的第一调试模板拍摄的第一源图像、待进行外部参数校正的第二摄像头对展开的所述第一调试模板及与第一调试模板相同的第二调试模板拍摄的第二源图像,以及具有可靠外部参数的第三摄像头对所述第二调试模板拍摄的第三源图像;
从所述第一源图像中获得第一调试模板对应的第一模板图像,从所述第二源图像中获得第一调试模板对应的第二模板图像以及第二调试模板对应的第三模板图像,从所述第三源图像中获得第二调试模板对应的第四模板图像;
以与所述第一调试模板形状对应的拟合形状分别对第一模板图像、第二模板图像、第三模板图像及第四模板图像进行拟合,得到第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像;
分别获得所述第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数;
由所述第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数确定与第二摄像头的外部参数相关的参数误差和;
以所述参数误差和校正第二摄像头的外部参数。
2.如权利要求1所述的方法,其特征在于,当所述第一调试模板形状及第二调试模板形状为圆形时,所述拟合形状为椭圆形;所述第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数分别包括第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的中心坐标,以及所述第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的轴长;所述参数误差和包括第一参数误差及第二参数误差,所述第一参数误差为依据所述中心坐标所得的第一拟合图像与第二拟合图像的中心间距的平方以及第三拟合图像与第四拟合图像的中心间距的平方之和;所述第二参数误差为所述第二拟合图像及第三拟合图像的轴长与预设标准半径的差的平方和。
3.如权利要求2所述的方法,其特征在于,重复进行所述校正,直到所述校正的次数达到预定次数,或者所述校正后的参数误差和小于预定阈值。
4.如权利要求3所述的方法,其特征在于,将处理所得的第一摄像头、第二摄像头及第三摄像头的最终图像进行拼接。
5.一种摄像头外部参数校正装置,其特征在于,包括:
图像获取模块,用于具有可靠外部参数的第一摄像头对展开的第一调试模板拍摄的第一源图像、待进行外部参数校正的第二摄像头对展开的所述第一调试模板及与第一调试模板相同的第二调试模板拍摄的第二源图像,以及具有可靠外部参数的第三摄像头对所述第二调试模板拍摄的第三源图像;
模板图像检索模块,用于从所述第一源图像中获得第一调试模板对应的第一模板图像,从所述第二源图像中获得第一调试模板对应的第二模板图像以及第二调试模板对应的第三模板图像,从所述第三源图像中获得第二调试模板对应的第四模板图像;
拟合模块,用于以与所述第一调试模板形状对应的拟合形状分别对第一模板图像、第二模板图像、第三模板图像及第四模板图像进行拟合,得到第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像;
参数计算模块,用于分别获得所述第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数;
误差计算模块,用于由所述第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数确定与第二摄像头的外部参数相关的参数误差和;
校正模块,用于以所述参数误差和校正第二摄像头的外部参数。
6.如权利要求5所述的装置,其特征在于,所述校正模块包括:
调整模块,用于校正整所述第二摄像头的外部参数;
控制模块,用于在每进行一次所述校正,控制所述图像获取模块、模板图像检索模块、拟合模块、参数计算模块及误差计算模块进行对应处理,直到所述校正的次数达到预定次数,或者所述校正后的参数误差和小于预定阈值。
7.一种辅助泊车系统,包括至少两个摄像头,其特征在于,所述系统还包括:
如权利要求5-6中任一项所述的摄像头外部参数校正装置,以及,
输出装置,用于在对所述第二摄像头进行外部参数校正后,将各摄像头拍摄的最终图像进行拼接并输出。
摄像头外部参数校正方法、装置及辅助泊车系统\n技术领域\n[0001] 本申请涉及摄像技术领域,尤其涉及一种摄像头外部参数校正方法、装置及辅助泊车系统。\n背景技术\n[0002] 随着汽车数量的不断增加,日渐拥堵的道路环境给驾驶员带来越来越多的不便。\n驾驶员在泊车时,会受到视野和车位狭小等客观条件的限制,极易发生擦碰事故,进而带来不必要的损失。目前,各种辅助泊车系统中,可视化的全景辅助泊车系统能够提供车身周围实时的俯视图像,而且其提供的全景图像消除了车身周围的视野盲区,能给驾驶员泊车提供有效的辅助。\n[0003] 汽车上使用的全景辅助泊车系统一般采用多个广角摄像头,并且分别设置在车身周围,分别采集车身周围一定范围内的图像。系统对各个摄像头采集到的图像进行处理,并且拼接成一幅车周的鸟瞰图。由于摄像头在安装时会有一定的安装误差,导致并不能拼接出鸟瞰图,因此,需要在安装的同时对摄像头的外部参数进行校正。\n[0004] 现有的摄像头外部参数校正严格依赖于基于车身几何边界构建的世界坐标系,世界坐标系包括以车身某一端点作为原点,基于右手螺旋法则建立有相互垂直的x轴、y轴及z轴,摄像头外部参数与世界坐标系对应,其主要包括x轴旋转参数、y轴旋转参数、z轴旋转参数、x轴平移参数、y轴平移参数及z轴平移参数等,而调试模板需要严格依照车身的几何边界大面积铺设,如图1所示,调试模板一般采用2-4块不同规格黑白格子相间的矩形布\n101,矩形布101的边需要与车身边界对齐(如图1中矩形布边a与车身边界b、矩形布边c与车身边界d等所示),系统内部存储有与矩形布101对应的标准图像,系统从摄像头拍摄的源图像中提取模板图像之后,可将标准图像与模板图像进行对比,根据对比所得图像差值调整摄像头的外部参数,使最终获得的模板图像与标准图像近似,进而完成摄像头外部参数校正。但是,由于调试模板的铺设条件较严格,在进行辅助泊车系统摄像头外部参数校正时,需要对停好的每一辆车都严格进行调试模板的铺设,极大地降低了摄像头外部参数校正的效率,尤其是在辅助泊车系统大批量安装时,安装效率会因此受到很大程度的制约。\n发明内容\n[0005] 本申请提供一种摄像头外部参数校正方法、装置及辅助泊车系统,以简化调试模板的铺设条件,提高摄像头外部参数校正效率。\n[0006] 根据本申请的第一方面,本申请提供一种摄像头外部参数校正方法,包括:\n[0007] 获得具有可靠外部参数的第一摄像头及待进行外部参数校正的第二摄像头对展开的调试模板分别拍摄的第一源图像及第二源图像;\n[0008] 从所述第一源图像中获得调试模板对应的第一模板图像,从所述第二源图像中获得调试模板对应的第二模板图像;\n[0009] 以与所述调试模板形状类似的拟合形状分别对第一模板图像及第二模板图像进行拟合,得到第一拟合图像及第二拟合图像;\n[0010] 分别获得所述第一拟合图像及第二拟合图像的第一组尺寸参数及第二组尺寸参数;\n[0011] 由所述第一组尺寸参数与第二组尺寸参数确定与第二摄像头的外部参数相关的参数误差和;\n[0012] 以所述参数误差和校正第二摄像头的外部参数。\n[0013] 根据本申请的第二方面,本申请提供一种摄像头外部参数校正方法,包括:\n[0014] 获得具有可靠外部参数的第一摄像头对展开的第一调试模板拍摄的第一源图像、待进行外部参数校正的第二摄像头对展开的所述第一调试模板及与第一调试模板相同的第二调试模板拍摄的第二源图像,以及具有可靠外部参数的第三摄像头对所述第二调试模板拍摄的第三源图像;\n[0015] 从所述第一源图像中获得第一调试模板对应的第一模板图像,从所述第二源图像中获得第一调试模板对应的第二模板图像以及第二调试模板对应的第三模板图像,从所述第三源图像中获得第二调试模板对应的第四模板图像;\n[0016] 以与所述第一调试模板形状类似的拟合形状分别对第一模板图像、第二模板图像、第三模板图像及第四模板图像进行拟合,得到第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像;\n[0017] 分别获得所述第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数;\n[0018] 由所述第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数确定与第二摄像头的外部参数相关的参数误差和;\n[0019] 以所述参数误差和校正第二摄像头的外部参数。\n[0020] 根据本申请的第三方面,本申请提供一种摄像头外部参数校正装置,包括:\n[0021] 图像获取模块,用于获得具有可靠外部参数的第一摄像头及待进行外部参数校正的第二摄像头对展开的第一调试模板分别拍摄的第一源图像及第二源图像;\n[0022] 模板图像检索模块,用于从所述第一源图像中获得调试模板对应的第一模板图像,从所述第二源图像中获得调试模板对应的第二模板图像;\n[0023] 拟合模块,用于以与所述调试模板形状类似的拟合形状分别对第一模板图像及第二模板图像进行拟合,得到第一拟合图像及第二拟合图像;\n[0024] 参数计算模块,用于分别获得所述第一拟合图像及第二拟合图像的第一组尺寸参数及第二组尺寸参数;\n[0025] 误差计算模块,用于由所述第一组尺寸参数与第二组尺寸参数确定与第二摄像头的外部参数相关的参数误差和;\n[0026] 校正模块,用于以参数误差和校正第二摄像头的外部参数。\n[0027] 根据本申请的第四方面,本申请提供一种摄像头外部参数校正装置,包括:\n[0028] 图像获取模块,用于具有可靠外部参数的第一摄像头对展开的第一调试模板拍摄的第一源图像、待进行外部参数校正的第二摄像头对展开的所述第一调试模板及与第一调试模板相同的第二调试模板拍摄的第二源图像,以及具有可靠外部参数的第三摄像头对所述第二调试模板拍摄的第三源图像;\n[0029] 模板图像检索模块,用于从所述第一源图像中获得第一调试模板对应的第一模板图像,从所述第二源图像中获得第一调试模板对应的第二模板图像以及第二调试模板对应的第三模板图像,从所述第三源图像中获得第二调试模板对应的第四模板图像;\n[0030] 拟合模块,用于以与所述第一调试模板形状类似的拟合形状分别对第一模板图像、第二模板图像、第三模板图像及第四模板图像进行拟合,得到第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像;\n[0031] 参数计算模块,用于分别获得所述第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数;\n[0032] 误差计算模块,用于由所述第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数确定与第二摄像头的外部参数相关的参数误差和;\n[0033] 校正模块,用于以所述参数误差和校正第二摄像头的外部参数。\n[0034] 根据本申请的第五方面,本申请提供一种辅助泊车系统,包括至少两个摄像头,所述系统还包括:\n[0035] 如上述的摄像头外部参数校正装置,以及,\n[0036] 输出装置,用于在对所述第二摄像头进行外部参数校正后,将各摄像头拍摄的最终图像进行拼接并输出。\n[0037] 本申请的有益效果是:\n[0038] 通过提供一种摄像头外部参数校正方法、装置及辅助泊车系统,将调试模板置于至少两个摄像头均可以探测到的区域,其中部分摄像头具有可靠外部参数,某一摄像头需要进行外部参数校正,从各摄像头拍摄的源图像中获得同一调试模板对应的模板图像,并对其进行拟合,得到至少两个拟合图像,根据各拟合图像的尺寸参数,确定与摄像头外部参数相关的拟合图像的参数误差,并以参数误差校正上述某一摄像头的外部参数,这样,只需使调试模板展开置于摄像头可探测到的区域,并设置具有可靠外部参数的摄像头,就可以采用上述方法进行摄像头外部参数的调整,简化了调试模板的铺设条件,进而提高了摄像头外部参数校正效率,当进行辅助泊车系统大批量安装时,只需在预定位置展开放置调试模板,车辆只需以流水线作业方式开到指定位置,即可进行摄像头外部参数大批量校正,使得辅助泊车系统安装效率大大提高。\n附图说明\n[0039] 图1为现有技术的摄像头外部参数校正时的调试模板铺设示意图;\n[0040] 图2为本申请实施例一的摄像头外部参数校正时的调试模板铺设示意图;\n[0041] 图3为本申请实施例一的摄像头外部参数校正方法的流程图;\n[0042] 图4为本申请实施例一的调试模板、摄像头、源图像及模板图像之间的关系示意图;\n[0043] 图5为本申请实施例一的摄像头外部参数校正装置的结构示意图;\n[0044] 图6为申请实施例二的摄像头外部参数校正时的调试模板铺设示意图;\n[0045] 图7为本申请实施例二的摄像头外部参数校正方法的流程图;\n[0046] 图8为本申请实施例二的调试模板、摄像头、源图像及模板图像之间的关系示意图。\n具体实施方式\n[0047] 下面通过具体实施方式结合附图对本申请作进一步详细说明。\n[0048] 实施例一:\n[0049] 本实施例的摄像头外部参数校正方法主要基于一种辅助泊车系统,其包括两个摄像头、一个调试模板、摄像头外部参数校正装置,以及输出装置,其中第一摄像头203具有可靠的外部参数,换言之,第一摄像头203具有比较精确的外部参数。如图2所示,校正前,调试模板201被展开放置于图中区域202中,区域202是两个摄像头203、204均能探测到的区域,调试模板201可以采用白色软性材料或者装饰有图案等。基于此,上述方法主要包括如图3所示的流程:\n[0050] 步骤301,获得两个摄像头203、204对展开的调试模板201分别拍摄的两个源图像\n401、403,具体地,第一摄像头203拍摄的第一源图像401中存在调试模板201对应的第一模板图像402,如图4所示,而第二摄像头204拍摄的第二源图像403中存在调试模板201对应的第二模板图像404,由于摄像头安装误差,使得第一模板图像402及第二模板图像404会产生扭曲,例如,原本为圆形的调试模板,第一模板图像402及第二模板图像404将会被扭曲成边界类似椭圆的图像,而原本为正方形的调试模板,第一模板图像402及第二模板图像404将会被扭曲成边界类似菱形或矩形的图像等;\n[0051] 步骤302,从第一源图像401中获得第一模板图像402,从第二源图像403中获得第二模板图像404,具体地,可通过先验知识,排除源图像中的干扰(如光线阴影、其他物体、地面纹路等在图像中的显像干扰),获得模板图像;\n[0052] 步骤303,以与调试模板201形状类似的拟合形状分别对第一模板图像402及第二模板图像404进行拟合,得到第一拟合图像及第二拟合图像,具体地,由于第一模板图像\n402及第二模板图像404是分别存在于第一源图像401及第二源图像403中的像素点的集合,拟合时,可根据调试模板201的形状选择对应的拟合形状对第一模板图像402及第二模板图像404进行拟合,一种实施方式是,人为配置与调试模板201的形状对应的一个拟合形状,或者当预置有与调试模板201形状对应的至少两个预置形状时,随机从预置形状中选择一个作为拟合形状进行后续处理,例如,当调试模板201的形状为圆形,那么可选择拟合形状为椭圆形对第一模板图像402及第二模板图像404进行拟合,所得到的第一拟合图像及第二拟合图像就是椭圆形;当调试模板201的形状为圆形,那么可选择拟合形状为矩形或菱形对第一模板图像402及第二模板图像404进行拟合,所得到的第一拟合图像及第二拟合图像就是矩形或菱形;拟合可采用将图像二值化、抽取轮廓,并用霍夫(Hough)变换拟合模板图像的轮廓,进而得到拟合图像;\n[0053] 步骤304,分别获得第一拟合图像及第二拟合图像的第一组尺寸参数及第二组尺寸参数,具体地,当拟合形状为椭圆形时,拟合图像的尺寸参数可以包括中心坐标及轴长等,轴长可包括短轴长与长轴长;当拟合形状为菱形时,拟合图像的尺寸参数可以包括菱形两边的夹角、中心坐标及中心到菱形边的距离等;\n[0054] 步骤305,由第一组尺寸参数与第二组尺寸参数确定与第二摄像头204的外部参数相关的参数误差和,具体地,一般摄像头的外部参数是基于一世界坐标系确定的,该世界坐标系以车身某一端点为原点,基于右手螺旋法则建立有相互垂直的x轴、y轴及z轴,摄像头的外部参数与世界坐标系对应,其主要包括x轴旋转参数、y轴旋转参数、z轴旋转参数、x轴平移参数、y轴平移参数及z轴平移参数,即三个旋转参数及三个平移参数;而基于上述尺寸参数可以获得与第二摄像头204的外部参数相关的参数误差和,例如,当拟合形状为椭圆形时,参数误差和可包括两部分:第一部分是依据中心坐标所得的第一拟合图像与第二拟合图像的中心间距的平方,第二部分是第一拟合图像及第二拟合图像的各轴长与预设标准半径的差的平方和;当拟合形状为菱形时,参数误差和可类似确定;\n[0055] 步骤306,以参数误差和校正第二摄像头204的外部参数,具体地,由于第二摄像头204的外部参数与上述参数误差和相关,那么可建立以参数误差和为因变量,以第二摄像头204的外部参数为自变量的函数,当变动第二摄像头204的外部参数时,依据上述步骤\n301-305所得参数误差和也会相应变化,直到参数误差和小于一个预定阈值或者上述校正外部参数的次数达到预定次数,此时所得第二摄像头204的外部参数才基本符合要求,对每个需要校正外部参数的摄像头均同样处理,各摄像头所拍摄的最终图像才能完成拼接。\n[0056] 相应地,本实施例的辅助泊车系统中,摄像头外部参数校正装置可包括如图5所示的结构:\n[0057] 图像获取模块501,用于获得两个摄像头203、204对展开的调试模板201分别拍摄的两个源图像401、403;第一摄像头203具有可靠的外部参数,第二摄像头204待进行外部参数校正;\n[0058] 模板图像检索模块502,用于从第一摄像头203拍摄的第一源图像401中获得调试模板201对应的第一模板图像402,从第二摄像头204拍摄的第二源图像403中获得调试模板201对应的第二模板图像404;\n[0059] 拟合模块503,用于以与调试模板201形状类似的拟合形状分别对第一模板图像\n402及第二模板图像404进行拟合,得到第一拟合图像及第二拟合图像;\n[0060] 参数计算模块504,用于获得第一拟合图像及第二拟合图像的第一组尺寸参数及第二组尺寸参数;\n[0061] 误差计算模块505,用于由第一组尺寸参数与第二组尺寸参数确定与第二摄像头\n204的外部参数相关的参数误差和;\n[0062] 校正模块506,用于以参数误差和校正第二摄像头204的外部参数,具体地,校正模块506可包括:\n[0063] 调整模块,用于校正第二摄像头204的外部参数;\n[0064] 控制模块,用于在每进行一次第二摄像头204的外部参数的校正,都控制图像获取模块501、模板图像检索模块502、拟合模块503、参数计算模块504及误差计算模块505进行对应处理,使所得到的参数误差和不断变小,直到校正外部参数的次数达到预定次数,或者所得到的参数误差和小于预定阈值,具体可采用梯度下降算法、模拟退火算法、遗传算法、微粒群算法、进化算法等算法来实现,主要是在高维曲面上寻找极值点。\n[0065] 而相应的输出装置用于将第一摄像头203拍摄的图像及经外部参数校正后第二摄像头204拍摄的最终图像进行拼接并输出,形成全景图像供驾驶员泊车所用。\n[0066] 在实施例一中,由于仅基于一个调试模板201对应的模板图像进行摄像头外部参数的校正,因此,基本上可实现第二摄像头204部分外部参数的校正,但同样能起到校正的效果。\n[0067] 实施例二:\n[0068] 本实施例的摄像头外部参数校正方法主要基于一种辅助泊车系统,其包括四个摄像头、四个调试模板、摄像头外部参数校正装置,以及输出装置,其中第一摄像头603、第三摄像头607具有可靠的外部参数,换言之,第一摄像头603及第三摄像头607均具有比较精确的外部参数。如图6所示,校正前,第一调试模板601被展开放置于图中第一区域602中,第一区域602是两个摄像头603、604均能探测到的区域,与第一调试模板601相同的第二调试模板605被展开放置于图中第二区域606中,第二区域606是两个摄像头604、607均能探测到的区域,第三调试模板608被展开放置于图中第三区域609中,第三区域609是两个摄像头607、610均能探测到的区域,第四调试模板611被展开放置于图中第四区域612中,第四区域612是两个摄像头610、603均能探测到的区域,调试模板均采用白色软性材料,并且同一规格为固定大小的圆形。基于此,上述方法主要包括如图7所示的流程,该流程是为了校正第二摄像头604的外部参数,当然校正其他摄像头的外部参数也同样类似处理:\n[0069] 步骤701,获得三个摄像头603、604、607对展开的第一调试模板601分别拍摄的三个源图像801、802、803,具体地,第一摄像头603拍摄的第一源图像801中存在第一调试模板601对应的第一模板图像804以及第四调试模板611对应的第二模板图像805,如图8所示,而第二摄像头604拍摄的第二源图像802中存在第一调试模板601对应的第三模板图像806以及第二调试模板605对应的第四模板图像807,而第三摄像头607拍摄的第三源图像803中存在第二调试模板605对应的第五模板图像808以及第三调试模板608对应的第六模板图像809,由于摄像头安装误差,使得第一模板图像804、第二模板图像805、第三模板图像806、第四模板图像807、第五模板图像808及第六模板图像809会产生扭曲,原本为圆形的调试模板,第一模板图像804、第二模板图像805、第三模板图像806、第四模板图像807、第五模板图像808及第六模板图像809将会被扭曲成边界类似椭圆的图像;\n[0070] 步骤702,从第一源图像801中获得第一模板图像804,从第二源图像802中获得第三模板图像806以及第四模板图像807,从第三源图像803中获得第五模板图像808;\n[0071] 步骤703,以与调试模板形状类似的拟合形状即椭圆形分别对第一模板图像804、第三模板图像806、第四模板图像807及第五模板图像808进行拟合,得到第一拟合图像、第三拟合图像、第四拟合图像及第五拟合图像,具体地,由于第一模板图像804、第三模板图像806、第四模板图像807及第五模板图像808是分别存在于第一源图像801、第二源图像\n802及第三源图像803中的像素点的集合,拟合时,可根据调试模板为圆形选择对应的拟合形状即椭圆形对第一模板图像804、第三模板图像806、第四模板图像807及第五模板图像\n808进行拟合;\n[0072] 步骤704,分别获得第一拟合图像、第三拟合图像、第四拟合图像及第五拟合图像的第一组尺寸参数、第三组尺寸参数、第四组尺寸参数及第五组尺寸参数,具体地,由于拟合形状为椭圆形,拟合图像的尺寸参数包括中心坐标(Xi,Yi)及轴长等,轴长包括短轴长Li1与长轴长Li2,其中i为拟合图像的编号;\n[0073] 步骤705,由第一组尺寸参数、第三组尺寸参数、第四组尺寸参数及第五组尺寸参数确定与第二摄像头604的外部参数相关的参数误差和,具体地,一般摄像头的外部参数是基于一世界坐标系确定的,该世界坐标系以车身某一端点为原点,基于右手螺旋法则建立有相互垂直的x轴、y轴及z轴,摄像头的外部参数与世界坐标系对应,其主要包括x轴旋转参数、y轴旋转参数、z轴旋转参数、x轴平移参数、y轴平移参数及z轴平移参数,即三个旋转参数及三个平移参数;而基于上述参数可以获得与第二摄像头604的外部参数相关的两个参数误差,第一参数误差是依据中心坐标(Xi,Yi)所得的第一拟合图像与第三拟合图像的中心间距的平方以及第四拟合图像与第五拟合图像的中心间距的平方之和ED,第二参数误差为第三拟合图像及第四拟合图像的轴长与预设标准半径的差的平方和ER,具体计算如下:\n[0074] \n[0075] \n[0076] \n[0077] 其中,A及A'分别代表第一拟合图像及第三拟合图像,B及B'分别代表第四拟合图像及第五拟合图像;\n[0078] \n[0079] 其中,Lstandard代表预设标准半径,其与调试模板的半径存在一个固定比例k,则若调试模板半径为R,那么Lstandard则为kR;\n[0080] 步骤706,以第一参数误差及第二参数误差的参数误差和E校正第二摄像头604的外部参数,具体地,误差和E=ED+ER,由于第二摄像头604的外部参数与上述参数误差相关,那么可建立以参数误差和E为因变量,以第二摄像头604的外部参数为自变量的函数,当变动第二摄像头604的外部参数时,依据上述步骤701-705所得参数误差和E也会相应变化,直到参数误差和E小于一个预定阈值或者上述校正外部参数的次数达到预定次数,此时所得第二摄像头604的外部参数才符合要求,对其他每个需要校正外部参数的摄像头均同样处理,各摄像头603、604、607、610所拍摄的最终图像才能完成拼接;\n[0081] 步骤707,对摄像头610的外部参数进行如步骤701-706的处理,并将摄像头603、\n604、607、610的最终图像进行拼接并输出,形成全景图像供驾驶员泊车所用。\n[0082] 相应地,本实施例的辅助泊车系统中,摄像头外部参数校正装置可包括仍如图5所示的结构:\n[0083] 图像获取模块501,用于获得四个摄像头对展开的第一调试模板601、第二调试模板605、第三调试模板608及第四调试模板611分别拍摄的四个源图像;第一摄像头603及第三摄像头607具有可靠的外部参数;第一调试模板601、第二调试模板605、第三调试模板\n608及第四调试模板611均相同;\n[0084] 模板图像检索模块502,用于从第一摄像头603拍摄的第一源图像801中获得第一调试模板601对应的第一模板图像804,从第二摄像头604拍摄的第二源图像802中获得第一调试模板601对应的第三模板图像806以及第二调试模板605对应的第四模板图像\n807,从第三摄像头607拍摄的第三源图像803中获得第二调试模板605对应的第五模板图像808;\n[0085] 拟合模块503,用于以与第一调试模板601形状即圆形类似的拟合形状即椭圆形分别对第一模板图像804、第三模板图像806、第四模板图像807及第五模板图像808进行拟合,得到第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像;\n[0086] 参数计算模块504,用于分别获得第一拟合图像、第二拟合图像、第三拟合图像及第四拟合图像的第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数;\n[0087] 误差计算模块505,用于由所述第一组尺寸参数、第二组尺寸参数、第三组尺寸参数及第四组尺寸参数确定与第二摄像头604的外部参数相关的参数误差和;\n[0088] 校正模块506,用于以参数误差和校正第二摄像头604的外部参数,具体地,校正模块506可包括:\n[0089] 调整模块,用于校正第二摄像头604的外部参数;\n[0090] 控制模块,用于在每进行一次第二摄像头604的外部参数的校正,都控制图像获取模块501、模板图像检索模块502、拟合模块503、参数计算模块504及误差计算模块505进行对应处理,使所得到的参数误差和不断变小,直到校正外部参数的次数达到预定次数,或者所得到的参数误差和E小于预定阈值,具体可采用梯度下降算法、模拟退火算法、遗传算法、微粒群算法、进化算法等算法来实现,主要是在高维曲面上寻找极值点。\n[0091] 而相应的输出装置用于在第二摄像头604经外部参数校正后,将各摄像头拍摄的最终图像进行拼接并输出,形成全景图像供驾驶员泊车所用。\n[0092] 在实施例二中,由于基于四个调试模板对应的模板图像进行摄像头外部参数的校正,因此,能实现摄像头的全部外部参数的校正。\n[0093] 实施本申请的摄像头外部参数校正方法、装置及辅助泊车系统,将调试模板置于至少两个摄像头均可以探测到的区域,其中部分摄像头具有可靠外部参数,某一摄像头需要进行外部参数校正,从各摄像头拍摄的源图像中获得同一调试模板对应的模板图像,并对其进行拟合,得到至少两个拟合图像,根据各拟合图像的尺寸参数,确定与摄像头外部参数相关的拟合图像的参数误差,并以参数误差校正上述某一摄像头的外部参数,这样,只需使调试模板展开置于摄像头可探测到的区域,并设置具有可靠外部参数的摄像头,就可以采用上述方法进行摄像头外部参数的调整,简化了调试模板的铺设条件,进而提高了摄像头外部参数校正效率,当进行辅助泊车系统大批量安装时,只需在预定位置展开放置调试模板,车辆只需以流水线作业方式开到指定位置,即可进行摄像头外部参数大批量校正,使得辅助泊车系统安装效率大大提高。\n[0094] 以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干简单推演或替换。
法律信息
- 2018-04-24
专利权的转移
登记生效日: 2018.04.08
专利权人由深圳市汉华安道科技有限责任公司变更为深圳市博维远景科技有限公司
地址由518055 广东省深圳市南山区桃源街道丽山大学城创业园804室变更为518000 广东省深圳市南山区南山街道月亮湾大道2076号高科集团大楼7楼79049
- 2016-04-27
- 2013-08-28
实质审查的生效
IPC(主分类): G06T 7/00
专利申请号: 201310092299.3
申请日: 2013.03.21
- 2013-07-31
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2011-05-04
|
2010-12-15
| | |
2
| |
2009-05-06
|
2008-12-15
| | |
3
| |
2007-12-26
|
2007-06-22
| | |
4
| |
2011-12-28
|
2011-08-16
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |