著录项信息
专利名称 | 一种基于视觉的机器人里程计校正系统及方法 |
申请号 | CN201510287924.9 | 申请日期 | 2015-05-29 |
法律状态 | 暂无 | 申报国家 | 中国 |
公开/公告日 | 2015-08-26 | 公开/公告号 | CN104864889A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G01C25/00 | IPC分类号 | G;0;1;C;2;5;/;0;0查看分类表>
|
申请人 | 山东鲁能智能技术有限公司 | 申请人地址 | 山东省济南市高新孙村片区飞跃大道以南、26号路以东(ICT产业园内)电力智能机器人生产项目101
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 国网智能科技股份有限公司 | 当前权利人 | 国网智能科技股份有限公司 |
发明人 | 冀肖彤;孙杨;刘加科;孔令文;田晓璐;付崇光;韩磊;孙凯;秦振华 |
代理机构 | 济南圣达知识产权代理有限公司 | 代理人 | 张勇 |
摘要
本发明公开了一种基于视觉的机器人里程计校正系统及方法,系统包括移动机器人平台、工控机、行程计算装置和视觉检测装置,其中,视觉检测装置设置于移动机器人平台前端,采集地面上预先设置的标识线信息,将采集的标识线图像传输给工控机,工控机根据标识线图像确定移动机器人相对于标识线的航向角信息,工控机连接行程计算装置,行程计算装置接收速度传感器的信号,对航迹进行计算,工控机根据计算的航迹和移动机器人相对于标识线的航向角信息,对行程计算装置进行校正。本发明通过视觉定位这一绝对定位方式与里程计航迹推算这一相对定位方式的结合,有效的消除了里程计航迹推算过程中普遍存在的累计误差问题。
1.一种基于视觉的机器人里程计校正系统,其特征是:包括移动机器人平台、工控机、行程计算装置和视觉检测装置,其中,视觉检测装置设置于移动机器人平台前端,采集地面上预先设置的标识线信息,将采集的标识线图像传输给工控机,工控机通过视觉检测装置获取t时刻标识线的图像,对该图像进行视觉处理,计算出机器人相对于标识线的航向角,确定机器人在工作区域全局中的航向角信息,实现视觉定位,工控机将视觉定位计算出的航向角信息反馈给行程计算装置,行程计算装置通过加权计算和补偿系数计算对自身的航向角进行校正,将校正后的航向角输入到行程计算装置下一时间的航迹推算过程,工控机根据行程计算装置计算的航迹和移动机器人相对于标识线的航向角信息,对行程计算装置进行校正。
2.如权利要求1所述的一种基于视觉的机器人里程计校正系统,其特征是:所述视觉检测装置,包括摄像机,摄像机镜头面平行于运行路径上的标识线且摄像机图像的垂直中轴线平行于标识线,在摄像机周围安装有打光LED等阵列。
3.如权利要求1所述的一种基于视觉的机器人里程计校正系统,其特征是:所述标识线,为明显区别于地面的色带或线,标识线在机器人工作区域的全局航向角信息是确定的。
4.一种基于如权利要求1-3中任一项所述的系统的校正方法,其特征是:包括以下步骤:
(1)移动机器人平台沿着预设的行走路径运动,保证标识线一直在摄像机视野中,行程计算装置对移动机器人平台测速传感器信号进行实时检测,并对航迹进行推算,将t时刻的机器人位置和航向信息传输给工控机;
(2)工控机通过视觉检测装置获取t时刻标识线的图像,对该图像进行视觉处理,计算出机器人相对于标识线的航向角,确定机器人在工作区域全局中的航向角信息,实现视觉定位;
(3)工控机将视觉定位计算出的航向角信息反馈给行程计算装置,行程计算装置通过加权计算和补偿系数计算对自身的航向角进行校正,将校正后的航向角输入到行程计算装置下一时间的航迹推算过程,完成了一个周期的里程计校正;
(4)重复步骤(1)-步骤(3)。
5.如权利要求4所述的校正方法,其特征是:所述步骤(1)中,航迹推算的方法为:
按照公式:
其中Sr(t-1),Sl(t-1)分别为移动机器人平台右轮和左轮在t-1时刻到t时刻时间间隔走过的距离,d为移动机器人平台轮距;
输出t时刻机器人位置信息和航向角信息[X(t),Y(t),W(t)],并将位置信息和航向角信息通过通信线上传到工控机。
6.如权利要求4所述的校正方法,其特征是:所述步骤(2)中,工控机通过视觉检测装置获取t时刻标识线的图像,并对该图像进行视觉处理,处理步骤包括:
(2-1)图像标定:使用相机标定阶段获取的标定参数对每一帧图像进行标定,以消除相机镜头带来的图像畸变;
(2-2)对彩色对象进行颜色模型转变,需要识别的是有颜色的标识色带或线,需要通过对图像感兴趣的颜色模型进行提取;
(2-3)目标图像分割,提取出特征对比图像;
(2-4)形态学处理,通过图像结构元素对图像特征进行度量和提取,通过腐蚀和膨胀的形态学方法对图像处理,以方便对特征的识别和分析;
(2-5)提取目标特征,通过边缘检测确定每行目标特征中心点坐标,通过粒子分析计算出标识线与图像垂直中轴线的夹角,确定机器人在工作区域全局中的航向角信息w(t),即实现视觉定位。
7.如权利要求5所述的校正方法,其特征是:所述步骤(2-2)中,具体方法为:系统使用的彩色图形处理空间模型为HSI模型,该模型受光照条件变化的影响小,H代表色调、S代表饱和度、I代表亮度,把RGB模型转换为HSI模型图像。
8.如权利要求5所述的校正方法,其特征是:所述步骤(2-3)的具体方法为:目标图像分割,在HSI模型图像中选择RIO(关注区域),通过学习阶段确定的H和S的阈值对图像进行分割,提取出特征对比图像。
9.如权利要求5所述的校正方法,其特征是:所述步骤(2-5)中,目标特征提取使用的方法是使用8连通域对图像进行扫描。
10.如权利要求4所述的校正方法,其特征是:所述步骤(3)中,计算得到的航向角w(t)下传给里程计,里程计通过加权计算和补偿系数计算对里程计本体的航向角W(t)’进行校正,校正公式如下:
W(t)'=c*W(t)+(1-c)*w(t)+Pe
上式中c为权值系数,通过在调试过程中根据经验进行设定,Pe为补偿系数,因为里程计和视觉图像处理过程中数据存在不同步,在校正公式中加入一定量的补偿系数,这一补偿系数要结合系统采样速度和计算速度而定,校正得到的航向角W(t)’在输入到里程计新周期t+1时刻的航迹推算过程中即完成了一个周期的里程计校正。
一种基于视觉的机器人里程计校正系统及方法\n技术领域\n[0001] 本发明涉及一种基于视觉的机器人里程计校正系统及方法。\n背景技术\n[0002] 在移动机器人领域中,定位与导航是机器人实现自主运动的核心环节。导航是指机器人按照预先规划路径或根据输入条件自主规划路径并实现运动的技术。定位是指机器人通过对传感器获得的环境信息融合处理,实时确定机器人本体在全局环境中的位置信息和航向信息的技术。定位是实现机器人导航的前提,所以使用高效准确的定位方案是实现机器人可靠运行的关键。移动机器人一般通过使用里程计按照运动学模型对轮速信息进行解算实现位置信息和航向信息的获取,但是这是一种相对定位方式,单纯使用里程计存在累计误差,长时间或大尺度运行定位精度不高,为了提高里程计的精度需要对里程计进行校正,目前里程计的校正方式主要有以下几种:\n[0003] 1、陀螺仪校正里程计的方式。该方式是,首先里程计实时计算并输出机器人的位置信息和航向信息,另外控制系统通过对陀螺仪数据积分得到机器人运动的航向角信息,并将该航向角信息反馈给里程计,实现对里程计的校正。该方式属于相对定位方式,虽然该方式有效降低了里程计的累计误差,但是累计误差仍然存在,另外该方式陀螺仪积分容易受颠簸等干扰影响,且对于数据的同步性要求高。\n[0004] 2、在与具有激光定位或视觉定位功能的机器人系统中使用,通过激光和视觉等绝对定位方式,结合先验环境信息,实现对里程计的校正。该方式虽然有效消除了累计误差,但是该方式方案复杂,成本高,对于简单的机器人系统应用不合适。\n[0005] 所以亟需一种方案简单,成本低,精度高,利于推广,尤其是适合在简单机器人系统上应用的里程计校正方式,从而消除里程计累计误差,实现机器人位置信息和航向信息的准确感知。\n发明内容\n[0006] 本发明为了解决上述问题,提出了一种基于视觉的机器人里程计校正系统及方法,本方法有效消除里程计累计误差,提高里程计航迹计算精度,降低成本,尤其是在简单的机器人应用系统中利于实现推广。\n[0007] 为了实现上述目的,本发明采用如下技术方案:\n[0008] 一种基于视觉的机器人里程计校正系统,包括移动机器人平台、工控机、行程计算装置和视觉检测装置,其中,视觉检测装置设置于移动机器人平台前端,采集地面上预先设置的标识线信息,将采集的标识线图像传输给工控机,工控机根据标识线图像确定移动机器人的相对于标识线的航向角信息,工控机连接行程计算装置,行程计算装置接收速度传感器的信号,对航迹进行计算,工控机根据行程计算装置计算的航迹和移动机器人相对于标识线的航向角信息,对行程计算装置进行校正。\n[0009] 所述航迹包括移动机器人位置信息和航向角信息。\n[0010] 所述视觉检测装置,包括摄像机,摄像机镜头平面平行于运行路径上的标识线且摄像机图像的垂直中轴线平行于标识线。\n[0011] 所述标识线,为明显区别于地面的色带或线,标识线在机器人工作区域的全局航向角信息是确定的。\n[0012] 所述行程计算装置为里程计。\n[0013] 一种基于上述系统的校正方法,包括以下步骤:\n[0014] (1)移动机器人平台沿着预设的行走路径运动,保证标识线一直在摄像机视野中,行程计算装置对移动机器人平台速度传感器信号进行实时检测,并对航迹(位置信息和航向角信息)进行推算,将t时刻的机器人位置和航向角信息传输给工控机;\n[0015] (2)工控机通过视觉检测装置获取t时刻标识线的图像,对该图像进行视觉处理,计算出机器人相对于标识线的航向角信息,由于标识线在机器人工作区域的全局航向角信息确定,所以机器人在工作区域全局中的航向角信息也可确定,此过程便实现了视觉定位;\n[0016] (3)工控机将上一步骤的航向角信息反馈给行程计算装置,行程计算装置通过加权计算和补偿系数计算对自身的航向角信息进行校正,将校正后的航向角信息输入到行程计算装置下一时间的航迹推算过程,完成了一个周期的里程计校正;\n[0017] (4)重复步骤(1)-步骤(3)。\n[0018] 所述步骤(1)中,航迹推算的方法为:按照公式:\n[0019]\n[0020]\n[0021]\n[0022] 其中Sr(t-1),Sl(t-1)分别为移动机器人平台右轮和左轮在t-1时刻到t时刻时间间隔走过的距离,d为移动机器人平台轮距;\n[0023] 输出t时刻机器人位置信息和航向角信息[X(t),Y(t),W(t)],并将该数据通过通信线上传到工控机。\n[0024] 所述步骤(2)中,工控机通过视觉检测装置获取t时刻标识线的图像,并对该图像进行视觉处理,处理步骤包括:\n[0025] (2-1)图像标定:使用相机标定阶段获取的标定参数对每一帧图像进行标定,以消除相机镜头带来的图像畸变;\n[0026] (2-2)对彩色图象进行颜色模型转变,需要识别的是有颜色的标识色带或线,需要通过对图像感兴趣的颜色模型进行提取;\n[0027] (2-3)目标图像分割,提取出特征对比图像;\n[0028] (2-4)形态学处理,通过图像结构元素对图像特征进行度量和提取,通过腐蚀和膨胀的形态学方法对图像处理,以方便对特征的识别和分析;\n[0029] (2-5)提取目标特征,通过边缘检测确定每行目标特征中心点坐标,通过粒子分析计算出标识线与图像垂直中轴线的夹角,确定机器人在工作区域全局中的航向信息w(t),即实现视觉定位。\n[0030] 所述步骤(2-2)中,具体方法为:系统使用的彩色图形处理空间模型为HSI模型,该模型受光照条件变化的影响小,H代表色调、S代表饱和度、I代表亮度,把RGB模型转换为HSI模型图像。\n[0031] 所述步骤(2-3)的具体方法为:目标图像分割,在HSI模型图像中选择RIO(关注区域),通过学习阶段确定的H和S的阈值对图像进行分割,提取出特征对比图像。\n[0032] 所述步骤(2-5)中,目标特征提取使用的方法是使用8连通域对图像进行扫描。\n[0033] 所述步骤(3)中,计算得到的航向角w(t)下传给里程计,里程计通过加权计算和补偿系数计算对里程计本体的航向角W(t)’进行校正,校正公式如下:\n[0034] W(t)'=c*W(t)+(1-c)*w(t)+Pe\n[0035] 上式中c为权值系数,通过在调试过程中根据经验进行设定,Pe为补偿系数,因为里程计和视觉图像处理过程中数据存在不同步,在校正公式中加入一定量的补偿系数,这一补偿系数要结合系统采样速度和计算速度而定,校正得到的航向角W(t)’在输入到里程计新周期t+1时刻的航迹推算过程中即完成了一个周期的里程计校正。\n[0036] 本发明的有益效果为:\n[0037] (1)通过视觉定位这一绝对定位方式与里程计航迹推算这一相对定位方式的结合,有效的消除了里程计航迹推算过程中普遍存在的累计误差问题;\n[0038] (2)方案简单,计算量小,成本低,利于在简单的机器人应用中得到推广。\n附图说明\n[0039] 图1为本发明的结构示意图;\n[0040] 图2为本发明流程示意图;\n[0041] 其中,1、移动机器人平台,2、工控机,3、里程计,4、视觉检测装置,5、驱动轮,6、标识线。\n具体实施方式:\n[0042] 下面结合附图与实施例对本发明作进一步说明。\n[0043] 如图1所示,一种基于视觉的机器人里程计校正系统,包括移动机器人平台1,在该平台上有工控机2,里程计3,视觉检测装置4,里程计3和视觉检测装置4通过通信线路与工控机2连接,该实施例中移动平台1是轮式所以具有驱动轮5,在工作环境行走路径上布置有标识线6。\n[0044] 移动机器人平台1,是该发明应用的实施例载体,其特点是该平台搭载了机器人系统运行的设备,该平台可以实现自主运动。\n[0045] 工控机2,与里程计3和视觉检测装置4连接,通过通信线进行数据交互;\n[0046] 里程计3,具有与测速传感器连接的接口,这些接口与测速传感器连接接收测试传感器信号;\n[0047] 视觉检测装置4,其核心元件是摄像机,在摄像机周围安装有打光LED灯阵列,其特点是安装于移动机器人平台上,移动平台在平面上,摄像机镜头面平行于运行路径上的标识线且摄像机图像的垂直中轴线平行于标识线;\n[0048] 标识线6,是明显区别于地面的色带或线,标识线在机器人工作区域的全局航向角信息是确定的;\n[0049] 下面结合附图2对本发明涉及到的一种基于视觉的机器人里程计校正方法做进一步说明。\n[0050] 移动机器人平台沿着行走路径运动,保证标识线一直在摄像机视野中:\n[0051] [1]里程计对移动机器人平台测速传感器信号进行实时检测,并按照运动学常用航迹推算公式对航迹进行推算,一种常用航迹推算公式如下:\n[0052]\n[0053]\n[0054]\n[0055] 其中Sr(t-1),Sl(t-1)分别为移动机器人平台右轮和左轮在t-1时刻到t时刻时间间隔走过的距离,d为移动机器人平台轮距。\n[0056] 输出t时刻机器人位置信息和航向角信息[X(t),Y(t),W(t)],并将该数据通过通信线上传到工控机。\n[0057] [2]工控机通过视觉检测装置获取t时刻标识线的图像,并对该图像进行视觉处理。主要处理步骤为:(1)图像标定。使用相机标定阶段获取的标定参数对每一帧图像进行标定,以消除相机镜头带来的图像畸变。(2)对彩色图象进行颜色模型转变。由于本系统需要识别的是有颜色的标识色带或线,所以需要通过对图像感兴趣的颜色模型进行提取。本系统使用的彩色图形处理空间模型为HSI模型,该模型受光照条件变化的影响小,H代表色调、S代表饱和度、I代表亮度。把RGB模型转换为HSI模型图像。(3)目标图像分割。在HSI模型图像中选择RIO(关注区域),通过学习阶段确定的H和S的阈值对图像进行分割,提取出特征对比图像。(4)形态学处理。通过图像结构元素对图像特征进行度量和提取,通过腐蚀和膨胀等形态学方法对图像处理以方便对特征的识别和分析。(5)目标特征提取和参数计算。目标特征提取使用的方法是使用8连通域对图像进行扫描。特征提取出来之后,通过边缘检测确定每行目标特征中心点坐标,通过粒子分析计算出标识线与图像垂直中轴线的夹角,因为标识线在机器人工作区域的全局航向信息是确定的,此时刻机器人相对于标识线的航向角已计算出便可确定机器人在工作区域全局中的航向信息w(t),即实现了视觉定位,这是一种绝对定位方式。\n[0058] [3]工控机将步骤[2]中通过视觉计算得到的航向角w(t)下传给里程计,里程计通过加权计算和补偿系数计算对里程计本体的航向角W(t)’进行校正。校正公式如下:\n[0059] W(t)'=c*W(t)+(1-c)*w(t)+Pe\n[0060] 上式中c为权值系数,通过在调试过程中根据经验进行设定,Pe为补偿系数,因为里程计和视觉图像处理过程中数据存在不同步,但这一不同步又是相对比较固定的,所以在校正公式中加入一定量的补偿系数,这一补偿系数要结合系统采样速度和计算速度而定。\n[0061] 步骤[3]中校正得到的航向角W(t)’在输入到里程计新周期t+1时刻的航迹推算过程中即完成了一个周期的里程计校正。\n[0062] [4]重复上述步骤[1]~[3],里程计是相对定位方式,视觉图像处理定位是一种绝对定位方式,通过绝对定位与相对定位方式结合,里程计将得到更准确的校正。\n[0063] 上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
法律信息
- 2019-10-11
专利权人的姓名或者名称、地址的变更
专利权人由山东鲁能智能技术有限公司变更为国网智能科技股份有限公司
地址由250101 山东省济南市高新区(历下区)新泺大街2008号银荷大厦B座626变更为250101 山东省济南市高新孙村片区飞跃大道以南、26号路以东(ICT产业园内)电力智能机器人生产项目101
- 2018-05-29
- 2018-05-15
著录事项变更
发明人由刘加科 孔令文 田晓璐 付崇光韩磊 孙凯 秦振华变更为冀肖彤 孙杨 刘加科 孔令文田晓璐 付崇光 韩磊 孙凯秦振华
- 2015-09-23
实质审查的生效
IPC(主分类): G01C 25/00
专利申请号: 201510287924.9
申请日: 2015.05.29
- 2015-08-26
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2012-11-21
|
2012-08-14
| | |
2
| |
2013-09-11
|
2013-05-27
| | |
3
| |
2014-12-03
|
2014-08-27
| | |
4
| | 暂无 |
2011-07-12
| | |
5
| |
2014-12-10
|
2014-08-27
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |