1.一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:其步骤包括:
(1)首先排爆专家与机器人进行排爆训练,在机器人大脑中建立初始排爆知识库;
(2)当排爆任务下达后,排爆专家携带安装有排爆专家系统的计算机进入排爆区域外围监控地点开始工作,排爆机器人携带两台摄像机、超声波传感器、激光测距仪及无线通讯设备进入排爆区域入口,准备执行排爆搜索;
(3)排爆任务开始前,先进行机器人与排爆专家之间的连通性测试;然后利用机器人的双目视觉系统实时采集图像并利用无线装置传回至排爆专家系统计算机,进行三维场景构建;
(4)根据构建的三维场景,排爆专家实时控制机器人进行排爆搜索任务,与此同时,利用电波帽实时采集排爆专家的脑电波信号,经处理后传送给机器人,供机器人在线学习,并更新排爆知识库;
(5)当排爆专家和机器人之间通信出现故障,则机器人利用可变力场法进行自主导航,并根据自身知识库来匹配实时图像继续进行排爆搜索任务;
(6)发现爆炸物,排爆专家通过无线通讯装置,实时控制排爆机器人进行排爆,同时利用脑机结合的方法实现机器人在线学习以及知识库的更新;若通讯中断,则排爆机器人利用自身所存储的排爆知识进行自主排爆;
(7)所有区域搜索完毕,排爆任务完成,机器人安全返回;
所述步骤(1)中,所述机器人进行排爆训练,在机器人大脑中建立初始排爆知识库的步骤如下:
(1a)在机器人控制系统中植入一块DSP芯片,构建机器人大脑,并把该芯片划分四个区域,分别对应人脑的左脑、右脑、后脑和中枢;
(1b)训练时,排爆专家佩戴电波帽进行排爆演习,排爆专家根据训练用的排爆场景图像进行相应的排爆操作,用电波帽实时采集排爆专家的脑电波信号;
(1c)把采集的脑电波信号进行滤波、波形提取,通过A/D转换,把对应排爆行为的脑电波模拟信号转换成数字信号;并通过进行多次训练,采用求平均的方法,得到对应特定排爆行为知识的精确脑电波数据;
(1d)把代表排爆专家经验知识的脑电波数据存储在机器人大脑芯片相应区域中,作为机器人的初始排爆知识库;
所述步骤(5)中,所述可变力场法是指目标物对机器人产生引力,障碍物对机器人产生斥力,利用力的合成对机器人进行导航;所述可变力场法的计算步骤如下:
(5a)计算可变引力:该计算可变引力的公式如下:
t
其中,f(x,y,z,t)表示第k个目标产生的吸引力;Kk表示弹性系数;βk表示偏向力;
表示第k个目标的位置向量;
(5b)计算可变斥力;该计算可变斥力的公式如下:
其中, 表示第k个目标产生的斥力;ωk和λk是比例因子;bk是常数;
表示离第k个目标点最近的圆或球体;r(x,y,z)表示位置向量; 表示到最近的那个目标点的距离;
(5c)计算合力:根据可变引力和可变斥力,可得到可变合力;然后根据可变合力来规划出机器人的路径。
2.根据权利要求1所述的一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:所述步骤(3)中基于双目视觉进行三维场景构建,其具体步骤如下:
(3a)摄像机内外参数标定;首先对摄像机进行参数标定,采用内外参数分离的标定法;
(3b)利用机器人上的两台摄像机分别获取物体不同角度的两幅图像,由图像处理模块进行立体特征匹配;
(3c)立体特征匹配完成后,进行三维坐标的数值计算;三维坐标计算时,使用摄相机参数矩阵和目标图像中心的坐标计算出三维投影线的方程,继而获得目标物的空间位置,完成三维场景重建。
3.根据权利要求2所述的一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:所述步骤(3a)中,对摄像机的内参数的标定为:
设(u,v)为理想的图像像素坐标,(u’,v’)为观测到的受到畸变的图像像素坐标,(x,y)为归一化后的理想图像坐标,(x’,y’)为观测到的图像坐标,则摄像机的内参数的标定公式如下:
2 2 2 2 2
u'=u+(u-u0)[k1(x+y)+k2(x+y)]
2 2 2 2 2
v'=v+(v-v0)[k1(x+y)+k2(x+y)]
其中,k1、k2均为径向失真系数;(u0,v0)是采集图像的中心点坐标;
系数k1、k2的计算公式如下:
T -1 T
K=(DD) Dd
其中,D为由未知数构成的变换矩阵,d为相应的图像坐标。
4.根据权利要求2或3所述的一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:所述步骤(3a))中,所述摄像机外参数的标定方法如下:
令世界坐标和左摄像机的中心坐标重合,得到该摄像机的相对旋转矩阵为R左=E,ET
为一三维单位矩阵,平移矩阵T左=[0,0,0] ;同样可得到右摄像机的外参数为R右=E,其平移矩阵为T右=[TxT,0,0],其中TxT=B,B为两台摄像机中心点间的距离。
5.根据权利要求2所述的一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:所述步骤(3b))中,所述立体特征匹配采用Harris-SIFT算法进行特征匹配,具体方法如下:
首先载入左右摄像机的图像到计算机,然后对图像进行初始化,再分别在左右图像中检测Harris特征点,计算特征点的主方向,生成SIFT特征点描述算子,最终完成特征匹配。
6.根据权利要求5所述的一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:所述SIFT特征点描述算子的计算公式如下:
2
R=Δ(C)-ktr(C)
其中,Δ为矩阵行列式;tr为矩阵直迹;C为相关矩阵,k为摄相机参数矩阵。
7.根据权利要求1所述的一种基于脑机结合的机器人排爆系统的排爆方法,其特征在于:所述步骤(4)和步骤(6)中机器人在线学习以及知识库的更新具体步骤如下:
(6a)实时采集排爆专家不同排爆行为的脑电波信号,经过滤波,波形提取,A/D转换,得到在线学习的数据,通过无线装置传送给机器人大脑;
(6b)机器人大脑根据得到的学习数据与知识库已有数据进行匹配计算,得到匹配系数w,并设置一个更新阈值p;
当w>p时,则认为该排爆知识已经存在,不进行存储;
当w