基于视觉的无人直升机目标跟踪系统

1.一种基于视觉的无人直升机目标跟踪系统，其特征在于：包括地面控制中心和空中飞行载体两部分；地面控制中心包括控制计算机、无线通讯模块和遥控器，控制计算机与无线通讯模块之间为电气连接；空中飞行载体包括无人直升机、中心处理单元、视觉单元、GPS单元、陀螺仪惯性导航单元、高度计、无线通讯装置和电池组，各部分之间电连接；
其中，空中飞行载体部分的中心处理单元包括嵌入式计算机系统和连接传感器设备的接口，传感器设备包括GPS单元、陀螺仪惯性导航单元和高度计，传感器设备采集的数据全部进入到中心处理单元，由中心处理单元进行数据处理，并实现自动导航；
无人直升机的遥控回路中设有一个多路切换装置，该切换装置能够通过地面控制中心的控制计算机或遥控器的一个通道实现自动导航和手动驾驶之间的切换；
视觉单元设有摄像头和图像处理装置，图像处理装置与中心处理单元电气连接；
空中飞行载体部分的中心处理单元、视觉单元、GPS单元、陀螺仪惯性导航单元、无线通讯装置和电池组固装于无人直升机的起落架上；
地面控制中心和空中飞行载体部分之间为无线通讯连接，无线通讯部分包括无人直升机的遥控器和接收器，以及由地面控制中心的无线通讯模块建立的无线链路和无线视频传输链路。
2.如权利要求1所述的目标跟踪系统，其特征在于，所述地面控制中心的无线通讯模块和遥控器的无线通讯分别在两个频段上，这两个频段不为倍频关系，以保证二者之间的通讯不受干扰，无线视频传输链路的通讯频率为1.2G或2.4G。
3.如权利要求1所述的目标跟踪系统，其特征在于，所述无人直升机，是在现有的遥控直升机基础上改造而成，起落架换成自制的起落架，增加了起落架的高度和强度，以便安装各种电器、电子装置。
4.如权利要求1所述的目标跟踪系统，其特征在于，所述视觉单元具有图像采集和处理功能，通过图像处理算法，能够获取目标图像的空间位置。
5.如权利要求1所述的目标跟踪系统，其特征在于，所述中心处理单元，以ARM9.0为中央控制器，以便实现导航控制、数据采集、数据处理和无线通讯的功能，并将摄像头采集的图像传回到地面控制计算机显示。
6.如权利要求1所述的目标跟踪系统，其特征在于，所述GPS单元包括GPS接收器和高精度GPS天线，在同时锁定4颗以上卫星的情况下，以1HZ的速率更新定位数据。
7.如权利要求1所述的目标跟踪系统，其特征在于，所述陀螺仪惯性导航单元通过结合三个方向角速率陀螺仪、三向加速度计和三轴磁强计，在三轴360度的运动状态下，能够提供角度在欧拉角和矩阵格式的数据。

基于视觉的无人直升机目标跟踪系统\n技术领域\n[0001] 本发明涉及智能控制和机器视觉技术领域，是用于无人旋翼直升机的基于视觉的目标识别与跟踪系统，可通过视觉，提高无人直升机自主执行任务的能力，实现局部的智能飞行，以及实现对地面或空中指定目标的跟踪。\n背景技术\n[0002] 本发明基于两大背景技术：微小型直升机控制技术和计算机视觉技术。微小型直升机控制技术是利用控制理论和传感器技术来实现微小型直升机的自主飞行，计算机视觉技术是利用成像技术对目标进行识别和测量目标位置、运动状态信息的技术。\n[0003] 目前围绕微小型直升机控制技术和计算机视觉技术分别展开了很多研究，但是把计算机视觉技术和微小型直升机控制技术集成到一个大系统中，实现无人机自主识别目标并跟踪的功能，提高无人直升机的智能化水平的应用目前还没有。本发明解决了这两大技术的集成，极大地提高了无人直升机的智能化水平。\n发明内容\n[0004] 本发明的目的是为微小型直升机提供一种可实现视觉跟踪与局部视觉导航的系统，以实现微小型直升机的自动驾驶控制和自主目标跟踪，支持遥控驾驶和自动驾驶之间的自由切换，实现微小型直升机的智能控制。该系统可适用于各种遥控航模直升机的局部视觉导航与跟踪，实现微小型直升机、旋翼机的自动目标识别与跟踪，在人为可控制或可限制的范围内，自动识别操作员指定的目标，在视觉系统捕捉到目标后，保证地面或者空中目标处于机载相机的视野范围之内，完成自主跟踪的任务。\n[0005] 为达到上述目的，本发明的技术解决方案是提供一种基于视觉的无人直升机目标跟踪系统，其包括地面控制中心，和空中飞行载体两部分；地面控制中心包括控制计算机、无线通讯模块、手动遥控器，控制计算机与无线通讯模块之间为电器连接；空中飞行载体包括无人直升机、中心处理单元、视觉单元、GPS单元和陀螺仪惯性导航单元、无线通讯装置和电池组，各部分之间电连接；\n[0006] 其中，中心处理单元包括嵌入式计算机系统，为机载控制中心；PGS接收机和航空天线，惯性导航单元，高度计传感器，及传感器设备采集的数据全部进入到嵌入式控制中心中，由控制中心进行数据处理，并实现自动导航；\n[0007] 无人直升机的遥控回路中设有一个多路切换装置，该切换装置能够通过地面控制计算机或遥控器的一个通道实现自动导航和手动驾驶之间的切换；\n[0008] 视觉单元设有摄像头和图像处理装置，图像处理装置与中心处理单元电器连接；\n[0009] 各部件固装于无人直升机的起落架上；\n[0010] 地面部分和空中飞行载体部分之间为无线通讯连接，无线通讯部分包括无人直升机的手动驾驶遥控器和接收器，自动导航系统提供的无线通讯模块建立的无线链路，以及无线视频传输链路。\n[0011] 所述的目标跟踪系统，其所述地面控制中心的无线通讯模块和手动遥控器的无线通讯分别在两个频段上，这两个频段不为倍频关系，以保证二者之间的通讯不受干扰，无线视频链路的通讯频率为1.2G或2.4G。\n[0012] 所述的目标跟踪系统，其所述无人直升机，是在现有的遥控直升机基础上改造而成，起落架换成自制的起落架，增加了起落架的高度和强度，以便安装各种电器、电子装置。\n[0013] 所述的目标跟踪系统，其所述视觉单元与标准摄像机连接后，具有图像采集和处理功能，通过图像处理算法，能够获取目标图像的空间位置。\n[0014] 所述的目标跟踪系统，其所述中心处理单元，以ARM9.0为中央控制器，以便实现导航控制、数据采集、数据处理和无线通讯的功能，并将摄像头采集的图像传回到地面控制计算机显示。\n[0015] 所述的目标跟踪系统，其所述GPS单元包括GPS接收器和高精度GPS天线，在同时锁定4颗以上卫星的情况下，以1HZ的速率更新定位数据。\n[0016] 所述的目标跟踪系统，其所述惯性导航单元，结合了三个方向角速率陀螺仪，三向加速度计，三轴磁强计，在三轴360度的运动状态下，能够提供角度在欧拉角和矩阵格式的数据。\n[0017] 本发明的突出特点是利用嵌入式计算机系统作为机载控制中心，在原有的遥控模型直升机上进行必要的电器和机械改造，使得遥控模型直升机具有自主导航飞行、视觉跟踪的功能。进行的机械改造包括：将遥控直升机原有的起落架去掉，更换为适合安装自动导航设备的起落架。电器改造包括：在原有的遥控回路中增加了一个多路切换装置，该切换装置能够通过地面控制计算机或遥控器的一个通道实现自动导航和手动驾驶之间的切换；在遥控直升机上，安装了多种传感器设备，包括PGS接收机和航空天线，惯性导航设备，高度计传感器，这些传感器设备采集的数据全部进入到嵌入式控制中心中，由控制中心进行数据处理，并实现自动导航；在遥控直升机上，安装了CCD摄像头和基于DSP的视觉处理板，从而实现直升机的视觉跟踪和视觉导航。\n[0018] 本发明所述的系统，能够适用于各种遥控航模直升机的自动导航需要。\n附图说明\n[0019] 图1(a)、图1(b)为本发明的无人直升机视觉导航系统示意图；其中：图1(a)是直升机和机载设备；图1(b)是地面控制站；\n[0020] 图2为本发明的视觉跟踪与目标锁定系统结构框图。\n具体实施方式\n[0021] 请参阅图1(a)、图1(b)，为本发明的无人直升机视觉导航系统，本发明的系统由两部分组成：一部分是直升机和机载设备，参见图1(a)；另一部分是地面控制站，参见图\n1(b)。其中，直升机和机载设备，包括微型直升机1，设备外壳2，起落架3，柔性连接4，设备托盘5，高度计6，嵌入式控制器(包含多路开关)7，无线通讯模块8，GPS接收机9，惯性导航单元10，电池组11，GPS接收天线12，视觉单元和无线视频发送模块13，摄像头和陀螺锁定装置14，无线通讯模块15；地面控制站，包括地面控制计算机16，地面操作员17，模型直升机遥控器18，无线视频接收模块19，视频转换模块20。\n[0022] 在直升机和机载设备中，微小型直升机1的起落架3为特制的装置，尺寸比原有的起落架大，以便适合安装机载自动导航设备和视觉处理单元。机载自动导航设备和视觉处理设备包括高度计6，嵌入式控制器(ARM)7，无线通讯模块8、GPS接收机9和GPS天线12，惯性导航装置10，视觉处理单元13，以及为这些设备提供电能的电池组11。其中高度计6、嵌入式控制器(ARM)7、无线通讯模块8、GPS接收机9、惯性导航装置10、电池组11、视觉处理单元13集中安装在一个铝制的外壳2内，外壳2在受到外力冲击的时候起到保护内部设备的作用。起落架3通过固定螺丝与直升机1连接，起落架下部带有一个设备托盘5，用于支撑机载导航设备。托盘5通过四个柔性连接4连接在起落架3上的固定环上，柔性连接4为橡胶带，目的是减小直升机飞行过程中的高频震动对自动导航设备的影响。高度计\n6，无线通讯模块8，GPS接收机9以及惯性导航装置10分别通过串行接口与嵌入式控制器(ARM9)7连接，电池组11分别为上述设备提供电源。\n[0023] 地面控制站主要由地面控制计算机16、无线通讯模块15、无线视频接收模块19、视频转换模块20、模型直升机遥控器18和地面操作员17组成。其中无线通讯模块15通过串口与地面控制计算机16连接，地面操作员直接操作地面控制计算机16和遥控器18，以切换直升机的导航与驾驶方式：手动遥控驾驶或自动导航驾驶，无线视频接收模块19通过视频转换模块20与地面控制计算机16相连，地面控制计算机16为笔记本电脑，把机载摄像头和陀螺锁定装置14的摄像头采集的视频输入到笔记本电脑中，供地面站操作员17监控。\n[0024] 本发明的工作原理：\n[0025] 使用本发明系统进行直升机自动导航时，首先，由地面操作员启动地面控制计算机和机载导航装置，建立无线通讯模块的通讯连接，机载嵌入式控制器采集高度计、GPS，惯性导航设备的数据，使GPS至少锁定4个卫星。以当前GPS的经纬度作为惯性导航单元的初始值。然后操作员通过地面控制计算机的键盘和人机界面，将直升机的驾驶方式设定为手动遥控驾驶方式，使用遥控器手动驾驶模型直升机启动并进入正常飞行状态。在手动遥控驾驶过程中，机载的自动导航设备不间断地记录下直升机的飞行路径和姿态，并通过无线通讯模块将数据发送到地面控制计算机中。接下来，操作员可通过地面控制计算机的键盘按键切换到自动导航状态，机载的导航设备进入自动导航控制方式。此时嵌入式控制器一边监听地面站的指令，一边是直升机处于悬停状态，当接收到地面控制站给定的目标点之后，嵌入式控制器以当前直升机的位置和姿态为起始点，以接收到的目标点为终点，通过计算规划出直升机的运动方向和速度，并控制直升机到达目标点。直升机到达目标点之后，进入悬停状态，等待地面站的指令。\n[0026] 使用本发明系统进行直升机视觉跟踪时，首先是直升机处于悬停待命状态，然后通过地面站给直升机发视觉跟踪的命令，此时系统中视觉处理单元启动，监测机载摄像机的视野中是否有感兴趣的目标出现，如果没有出现，直升机保持悬停状态，如果目标出现，直升机将跟随目标运动。在直升机跟踪目标的同时，把机载摄像机采集的图像通过无线频道发回到地面站，供地面操作人员监测。\n[0027] 本实施例中，遥控模型直升机采用了美国产的雷虎90型混合燃料直升机，遥控器为9通道，频率设定为27MHZ，遥控距离为半径1500米，GPS设备为美国产superstar接收机和航空天线，嵌入式系统选用了基于ARM9系列AT91RM9200芯片的恒颐高科的H9200F ARM板，惯性制导单元为3DM-GX1复合惯性导航单元，视觉处理系统采用基于TI DM642DSP处理器的realtime公司的ICETEK DM642-B嵌入式DSP板，。地面控制计算机为IBM-51R系列笔记本电脑，无线通讯模块为SRWF506，其通讯距离2000米，频率430MHZ，功率0.5瓦，电压\n5伏。无线视频模块为柏通公司的无线影音专家，使用1.2GHZ频段，电压12伏，功率400毫瓦。机载电池组选用了2组锂电池[其中无线模块和摄像头使用12V，DSP和ARM系统为\n5V]。\n[0028] 使用本发明系统，采用实现实例的配置，通过实验验证了本发明系统的有效性。\n[0029] 本发明中系统的工作过程如下：首先由操作员将模型直升机启动并使用遥控器是直升机处于正常平稳飞行状态，然后通过地面控制计算机或遥控器上的切换按钮，将控制方式切换至自主导航状态，此时直升机为空中悬停状态，机载的嵌入式控制中心将GPS采集的位置信息通过无线通讯连路传输的地面控制计算机中，并显示在显示器上。此时操作员可通过地面控制计算机输入目标点的坐标位置和期望的运动速度，直升机将以当前位置作为起点，以操作员输入的速度沿着直线轨迹向目标点运动，到达目标点之后仍然处于悬停状态。然后启动视觉单元，如果有感兴趣的目标出现在机载摄像机的视野中，直升机就跟踪目标运动，如果没有感兴趣的目标出现在机载摄像机的视野中，直升机仍旧保持悬停状态。