一种基于无人机的交通监测装置

1.一种基于无人机的交通监测装置，其特征在于：其包括无人机和处理设备，无人机上装设有成像设备、定位设备和传输设备，所述成像设备采集地面交通视频，所述定位设备，确定飞行参数，获得交通视频对应的时空信息，所述传输设备，将成像设备和定位设备所采集的信息传输至处理设备；处理设备结合交通视频及与其一一对应的时空信息计算获得交通信息；
所述处理设备包括车辆位置识别模块和交通语义提取模块，所述车辆位置识别模块通过对采集交通视频的成像设备参数标定，利用图像边缘检测canny算法和图像板块轮廓，确定道路区域；统计道路区域灰度值直方图峰值，作为背景灰度信息，分割图像；通过图像斑块分析，利用车辆的几何形状特征作为模板，检测移动和静止车辆；利用Kanade-Lucas-Tomasi特征跟踪算法，结合K均值聚类，跟踪运动车辆，车辆速度在道路方向值大于指定的阈值时，判定为运动车辆，除去运动车辆，剩余图像斑块为静止车辆；通过透视成像模型的几何关系、相机的焦距和图像主点位置，利用空间几何图形的相似关系计算车辆尺寸；利用成像设备参数将图像坐标转换为世界坐标，车辆图像斑块中心所对应的世界坐标即为车辆实际空间坐标；所述交通语义提取模块根据车辆的实际空间坐标以及每一视频帧所对应的时间和车辆的编号，获取车辆的行驶轨迹，并按照交通工程学的定义统计获取交通量、交通密度和平均速度。
2.如权利要求1所述的基于无人机的交通监测装置，其特征在于：所述飞行参数包括无人机的经纬度、无人机的倾斜角、翻滚角、方向角和飞行高度。
3.如权利要求1所述的基于无人机的交通监测装置，其特征在于：所述成像设备参数包括成像设备内部参数和外部参数，内部参数包括焦距、图像主点位置和五个畸变参数，外部参数包括旋转矩阵R和平移向量T。
4.如权利要求1所述的基于无人机的交通监测装置，其特征在于：所述处理设备还包括交通安全判别模块，根据道路的限速信息，当从视频检测到的车辆速度达到阈值时则认为车辆危险驾驶；检测到静态车辆，若车辆不在路边则认为非常有可能是交通事故；根据车辆的行驶轨迹，判断车辆的方向，如果车辆方向与道路方向不一致则认为是逆向行驶。
5.如权利要求1或4所述的基于无人机的交通监测装置，其特征在于：所述处理设备还包括视频检索模块，根据视频对应的交通语义和时空信息，建立交通视频文件与交通语义的关联，构成检索数据库。
6.如权利要求5所述的基于无人机的交通监测装置，其特征在于：所述交通视频文件与交通语义的关联，是将描述交通行为的信息记录至对应的数据库，在数据库中建立外键字段，该外键字段使得数据库与视频文件信息表格建立索引关系，完成视频文件交通语义的自动标注。

一种基于无人机的交通监测装置\n技术领域\n[0001] 本发明属于交通技术领域，涉及交通事件快速响应、交通事件监测和公安及路政系统车辆追踪，尤其是一种基于无人机的交通监测装置。\n背景技术\n[0002] 无人驾驶飞机是一种用来观测地表目标或投放对地武器的空中飞行平台，被广泛应用于军事战争，用来进行情报侦察，其可以通过其观测地表目标的功能用来检测交通信息。与传统的交通信息检测设备相比，其特点是部署灵活、单设备监测视野广、成本低，并可采集车辆运行轨迹等微观交通信息，应用前景广阔。\n[0003] 无人驾驶飞机可通过成像设备采集道路交通视频信息，这些视频信息具有明显的时空属性，且蕴含明确的交通语义。交通语义是指描述出行者交通行为的语言，如车辆跟驰、换道、加速、减速以及交通流的流量、速度和密度参数等描述性参数。如何从海量视频数据中快速查找，符合指定的文本检索条件或与指定车辆图像相似的视频片段，是无人机在交通中应用的关键问题之一。\n发明内容\n[0004] 本发明的目的在于提供一种基于无人机的交通监测装置，可确定交通信息，并构建数据库，该实现交通视频的海量信息存储和快速检索。\n[0005] 为达到以上目的，本发明所采用的解决方案是：\n[0006] 一种基于无人机的交通监测装置，其包括无人机和处理设备，无人机上装设有成像设备、定位设备和传输设备，所述成像设备采集地面交通视频，所述定位设备，确定飞行参数，获得交通视频对应的时空信息，所述传输设备，将成像设备和定位设备所采集的信息传输至处理设备；处理设备结合交通视频及与其一一对应的时空信息计算获得交通信息。\n[0007] 所述飞行参数包括无人机的经纬度、无人机的倾斜角、翻滚角、方向角和飞行高度。\n[0008] 所述处理设备包括车辆位置识别模块和交通语义提取模块，所述车辆位置识别模块通过对采集交通视频的成像设备参数标定，利用图像边缘检测canny算法和图像板块轮廓，确定道路区域；统计道路区域灰度值直方图峰值，作为背景灰度信息，分割图像；通过图像斑块分析，利用车辆的几何形状特征作为模板，检测移动和静止车辆；利用Kanade-Lucas-Tomasi特征跟踪算法，结合K均值聚类，跟踪运动车辆，车辆速度在道路方向值大于指定的阈值时，判定为运动车辆，除去运动车辆，剩余图像斑块为静止车辆；通过透视成像模型的几何关系、相机的焦距和图像主点位置，利用空间几何图形的相似关系计算车辆尺寸；利用成像设备参数将图像坐标转换为世界坐标，车辆图像斑块中心所对应的世界坐标即为车辆实际空间坐标；所述交通语义提取模块根据车辆的实际空间坐标以及每一视频帧所对应的时间和车辆的编号，获取车辆的行驶轨迹，并按照交通工程学的定义统计获取交通量、交通密度和平均速度。\n[0009] 所述成像设备参数包括成像设备内部参数和外部参数，内部参数包括焦距、图像主点位置和五个畸变参数，外部参数包括旋转矩阵R和平移向量T。\n[0010] 所述处理设备还包括交通安全判别模块，根据道路的限速信息，当从视频检测到的车辆速度达到阈值时则认为车辆危险驾驶；检测到静态车辆，若车辆不在路边则认为非常有可能是交通事故；根据车辆的行驶轨迹，判断车辆的方向，如果车辆方向与道路方向不一致则认为是逆向行驶。\n[0011] 所述处理设备还包括视频检索模块，根据视频对应的交通语义和时空信息，建立交通视频文件与交通语义的关联，构成检索数据库。\n[0012] 所述交通视频文件与交通语义的关联，是将描述交通行为的信息记录至对应的数据库，在数据库中建立外键字段，该外键字段使得数据库与视频文件信息表格建立索引关系，完成视频文件交通语义的自动标注。\n[0013] 由于采用了上述方案，本发明具有以下特点：利用该方法，用户可快速查找符合条件的交通视频片段及其对应的时空信息，结合人工视频识别，可确认交通事件或进行特定车辆追踪。本发明在交通事件管理和公安及路政系统特定车辆追踪领域有较好的应用前景。\n附图说明\n[0014] 图1是本发明涉及的硬件及其数据流图。\n[0015] 图2是基于交通语义的无人机视频检索方法实施流程。\n具体实施方式\n[0016] 以下结合附图所示实施例对本发明作进一步的说明。\n[0017] 本发明一种基于无人机的交通监测装置包括无人驾驶飞机(携带成像设备、差分GPS、陀螺仪和信息传输设备)、地面控制站、硬盘录像机和业务主机等，如图1所示成像设备按照预先设置的采样率拍摄检测目标的视频；无人机配置的定位设备如陀螺仪和差分GPS确定飞机的经纬度、飞机的倾斜角、翻滚角和方向角以及飞行高度，还可获得拍摄交通视频时的时间信息；无人机配置的通讯设备将视频数据和无人机飞行参数数据通过无人机与其基站的专用无线通道，将数据传输至无人机基站。在实际工作时，拍摄交通视频时的时间信息也可通过成像设备计时获得。\n[0018] 本发明的装置进行交通监测的具体实施步骤如图2所示：\n[0019] 第一步：交通视频采集\n[0020] 按照需求规划无人飞机飞行线路和飞行高度，根据天气和光照条件选择合适的视频采集镜头(如适合穿透大雾的镜头或弱光照条件下的镜头)，检查无人飞机设备状态，检查无人驾驶飞机、地面控制站、硬盘录像机和业务主机之间的通信链路，执行飞行任务，通过成像设备(相机)获取地面交通视频，通过定位设备获取交通视频所对应的时空信息。\n[0021] 第二步：视频文件存储\n[0022] 设置地面控制站视频存储格式，将无人驾驶飞机采集的视频流转换为指定格式的视频文件并存储至硬盘录像机，同时将视频文件相应的文件信息和无人机飞行参数(包括飞机的经纬度、飞机的倾斜角、翻滚角和方向角和飞行高度)存储至业务主机的MYSQL数据库。\n[0023] 第三步：车辆识别与跟踪\n[0024] 通过无人飞机相机参数标定，获取相机内部参数(焦距、图像主点位置和五个畸变参数)和外部参数(旋转矩阵R和平移向量T)，然后利用图像边缘检测canny算法和图像板块轮廓，确定道路区域；统计道路区域灰度值直方图峰值，作为背景灰度信息，分割图像；通过图像斑块分析，利用车辆的几何形状特征作为模板，检测移动和静止车辆；利用Kanade-Lucas-Tomasi特征跟踪算法，结合K均值聚类，跟踪运动车辆，车辆速度在道路方向值大于指定的阈值时，判定为运动车辆，并且可以确定车辆的位置信息，除去运动车辆，剩余图像斑块为静止车辆。结合相机参数标定信息、焦距信息、无人机飞行姿态数据(包括经纬度、飞机的倾斜角、翻滚角和方向角和飞行高度)，根据空间几何关系，计算确定车辆的尺寸、空间位置。车辆的尺寸可以通过透视成像模型的几何关系、相机的焦距和图像主点位置，利用空间几何图形的相似关系计算(具体计算公式可参照计算机视觉或遥感图像处理教程)；利用相机外部参数(相机坐标与世界坐标的转换矩阵R和平移向量T)，可以将图像坐标转换为世界坐标，车辆图像斑块中心所对应的世界坐标即为车辆实际空间坐标。\n[0025] 第四步：视频文件交通语义提取\n[0026] 通过第三步(车辆识别与跟踪)，可以得到视频中车辆对应的实际空间坐标、每一视频帧所对应的时间和车辆的编号(车辆追踪算法所追踪到的相同车辆在不同视频帧中编号相同)。利用第三步(车辆识别与追踪)所得到的车辆空间及时间信息，按照交通工程学的定义统计交通量(悬停状态，经过检测区域的车辆版块数目)、交通密度(单位长度上车辆图像斑块个数)和平均速度(利用车辆在若干帧的空间位置间隔和从帧数计算的时间间隔计算)，可直接计算基本的交通流参数：交通密度、平均速度和交通量。\n[0027] 利用先验知识分析视频对应的交通语义，如超速、低速、车辆抛锚和车辆危险驾驶行为等。车辆的行驶轨迹和方向可由第三步(车辆识别与追踪)直接获得。根据道路的限速信息，当从视频检测到的车辆速度达到阈值时则认为车辆危险驾驶；检测到静态车辆，若车辆不在路边则认为非常有可能是交通事故；根据上述车辆追踪方法追踪的结果，判断车辆的方向，如果车辆方向与道路方向不一致则认为是逆向行驶。\n[0028] 第五步：交通视频文件自动标定\n[0029] 利用第四步所提取的车辆平均速度、交通密度、交通流量，根据车辆速度和所在道路的限速信息判断车辆是否为安全驾驶，根据车辆的行驶方向是否与道路一致，判断车辆是否为逆向行驶，判断车辆速度是否超出限速范围，获得视频对应的交通语义和时空信息，并将这些信息和硬盘录像机的视频文件信息存储到业务主机的MYSQL，建立视频文件与交通语义的关联。关联方法：将这些描述交通行为的信息记录对应的数据表，在数据库表中的建立外键字段，该外键字段使得这个表格与视频文件信息表格建立索引关系，完成视频文件交通语义的自动标注。\n[0030] 第六步：基于交通语义文本的视频在线检索\n[0031] (1)用户输入交通语义查询条件文本，该方法对查询语句进行语法分析，转换为关系型数据库所支持的SQL查询语句。(3)将解析后的查询语句，提交至MYSQL，返回符合条件的视频标注信息对应的数据库表格记录。(4)从记录中读取视频文件在硬盘录像机的存储路径和起始的帧号，利用硬盘录像机提供的应用程序开发接口(Application Program Interface)读取对应的视频文件所支持的检索条件，获取相应的视频文件片段。\n[0032] 第七步：基于车辆图像栅格数据的在线检索\n[0033] (1)用户选择一幅图像中的特定车辆图像区域，将该选定区域的栅格图像数据作为检索条件，同时也可输入时空查询条件和交通语义查询条件。(2)按照上述的方法检索符合条件的视频片段，进而大大缩小搜索范围，提高搜索速度。(3)利用SIFT特征匹配方法，对输入图像和上一步骤中输出的图像进行特征匹配，特征匹配点较多的视频为匹配的视频，特征匹配点的数量可以根据检索的精度要求设置。返回符合条件的交通视频片段以及对应的时空信息，结合人工视频识别，实现对特定车辆的追踪。\n[0034] 上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明的范畴所做出的改进和修改都应该在本发明的保护范围之内。