基于4G技术的无线图像监控系统

1.一种基于4G技术的无线图像监控系统，该系统包括：
安装在无人机内的图像监控装置和安装在地面中心站的视频传输装置；
其中，图像监控装置包括：
安装在无人机上的监控处理器、卫星导航单元、高清运动摄像机、机端4G无线通信模块；
所述监控处理器以SOC单芯片多媒体处理器为核心，带有视频输入输出接口、音频输入输出接口、视频模数/数模转换器、存储和网络通讯接口；
视频传输装置包括：
站端4G无线通信模块、中心站点图像处理模块和显示终端；
所述站端4G无线通信模块，接收所述机端4G无线通信模块的图像信号；
所述中心站点图像处理模块包括：
获取单元，所述获取单元用于获取来自站端4G无线通信模块传输过来的一个帧，即获得该帧表示的图像；
去噪单元，所述去噪单元用于按照预定噪声去除规则去除所述图像中的噪声数据；
识别单元，所述识别单元用于按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象；
添加单元，所述添加单元用于为所述帧添加标签，所述标签能基于语义表达目标对象的预定特征；
存储单元，所述存储单元用于存储所述帧对应的标签；
所述图像处理模块采用如下方式对视频图像进行处理：
(1)获取视频中的一个帧，即获得该帧表示的图像；
(2)按照预定噪声去除规则去除所述图像中的噪声数据；
(3)按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象，首先要提取目标对象的特征，并依据该特征识别对象，目标对象的特征包括颜色、纹理、形状和景深，景深特征的提取方法可以包括两个主要步骤：
首先，估计单幅图像边缘的模糊程度，然后，对边缘的模糊度进行高斯加权从而得到每个基本区域的相对景深，单幅图像景深图的具体计算方法如下：
首先，用标准差为σ1的高斯核对图像进行二次模糊，然后，在图像的边缘处计算原始图像的梯度和二次模糊图像的梯度的比值T，图像边缘处的模糊程度σ可以根据如下公式计算：
用Canny边缘检测子提取图像的边缘，设置二次高斯模糊的标准差为σ1＝1，然后，把图像所有边缘处的模糊程度σ归一化到[0，1]区间；
随后，基本区域m的相对景深Wm定义为图像所有边缘模糊程度的高斯加权平均值：
(i,j)是基本区域m的像素点的坐标，σ(i,j)是边缘像素点M(i,j)的模糊程度，高斯权重定义为：
其中 属于(i,j)的邻域Vij，σW为相对景深的二次高斯模糊标准差，其用于抑制景深对于边缘像素点M(i,j)和基本区域m间距离的敏感性，σW取值对景深特征具有较大影响，取值过大则景深趋向相同，取值过小则增强局部模糊，本申请实施方式中将σW设置为σW＝0.15；
(4)为所述帧添加标签，所述标签能基于语义表达目标对象的预定特征；
(5)对应所述帧存储所述标签，形成便于后期获取用标签库；
(6)接收查询请求，所述查询请求附带有关键词；
(7)在所述存储的标签中搜索所述关键词，得到与所述关键词相同的标签对应的帧；
(8)按照时间顺序排列所述得到的帧。
2.如权利要求1所述的系统，其特征在于，所述SOC单芯片多媒体处理器通过USB总线与机端4G无线通讯模块连接完成视频图像的4G无线通讯传输。
3.如权利要求2所述的系统，其特征在于，所述监控处理器采用SOC单芯片多媒体处理器i.MX27作为核心处理器，其采用ARM926作为核心IP，处理运行实时操作系统Linux。
4.如权利要求3所述的系统，其特征在于，SOC单芯片多媒体处理器通过SDR总线外接数据存储器SDRAM；通过EMI总线外接程序存储器NANDFlash；通过CSI接口连接高清运动摄像机；通过I2S总线外接音频AD转换器。

基于4G技术的无线图像监控系统\n技术领域\n[0001] 本发明涉及图像监控领域，具体涉及一种基于4G技术的无线图像监控系统。\n背景技术\n[0002] 目前无人机拍摄的视频一般都是通过图像传输设备将视频传输到地面站系统上，然后观察者可以在地面基站上，实时查看无人机拍摄的视频，但是由于图像传输设备和天线的限制，使得地面基站所在的位置与无人机之间的距离必须在一定的范围内，从而导致观察者也必须随着地面基站在此范围内，如果离开了此范围则不能进行实时查看无人机拍摄的视频，对其应用具有非常大的限制。\n[0003] 无人机视频传输应用实现的关键在于无线传输链路手段。目前的无线传输技术主要有包括以下技术：3G网络(CDMA2000、WCDMA、TD-SCDMA)、4G(TD-LTE和FDD-LTE)网络、无线局域网(WIFI)、卫星、微波等。\n[0004] 卫星和微波技术是无线视频传输的传统手段，且卫星通信技术的最大优点是服务范围广、功能强大、使用灵活，不受地理环境和其它外部环境的影响，尤其是不受外界电磁环境的影响。但这两种技术成本居高不下，其昂贵的初始建造费用和通讯费用常使人望而却步，无法大面积推广。\n[0005] WIMAX/WIFI等技术构建无线城域网来进行大范围覆盖的视频应用,需要建设方建设大量基站，一方面基站建设成本巨大，非一般用户能够承受；另一方面即使某一单位建成了无线城域网，由于其初始建设费用巨大而不愿与其他用户进行共享，从而对社会资源造成了较大浪费。\n[0006] 第四代移动电话行动通信标准，指的是第四代移动通信技术，外语缩写：4G；该技术包括TD-LTE和FDD-LTE两种制式(严格意义上来讲，LTE只是3.9G，尽管被宣传为4G无线标准，但它其实并未被3GPP认可为国际电信联盟所描述的下一代无线通讯标准IMT-Advanced，因此在严格意义上其还未达到4G的标准。只有升级版的LTE Advanced才满足国际电信联盟对4G的要求)；4G是集3G与WLAN于一体，并能够快速传输数据、高质量、音频、视频和图像等；4G能够以100Mbps以上的速度下载，比目前的家用宽带ADSL(4兆)快25倍，并能够满足几乎所有用户对于无线服务的要求；此外，4G可以在DSL和有线电视调制解调器没有覆盖的地方部署，然后再扩展到整个地区；很明显，4G有着不可比拟的优越性。\n发明内容\n[0007] 本发明提供一种基于4G技术的无线图像监控系统，该系统支持视觉导航、图像识别与避障，采用了4G无线通信网络实现视频传输，增强了视频监控的自由性和灵活度，并大大减少了安装布线工作，提高工作效率，降低系统成本，可解决大容量图像数据的高速交换，并具有较高的安全性。\n[0008] 为了实现上述目的，本发明提供一种基于4G技术的无线图像监控系统，该系统包括：\n[0009] 安装在无人机内的图像监控装置和安装在地面中心站的视频传输装置；\n[0010] 其中，图像监控装置包括：\n[0011] 安装在无人机上的监控处理器、卫星导航单元、高清运动摄像机、机端4G无线通信模块；\n[0012] 所述监控处理器以SOC单芯片多媒体处理器为核心，带有视频输入输出接口、音频输入输出接口、视频模数/数模转换器、存储和网络通讯接口；\n[0013] 视频传输装置包括：\n[0014] 站端4G无线通信模块、中心站点图像处理模块和显示终端；\n[0015] 所述站端4G无线通信模块，接收所述机端4G无线通信模块的图像信号。\n[0016] 优选的，SOC单芯片多媒体处理器通过USB总线与机端4G无线通讯模块连接完成视频图像的4G无线通讯传输。\n[0017] 优选的，所述监控处理器采用SOC单芯片多媒体处理器i.MX27作为核心处理器，其采用ARM926作为核心IP，处理运行实时操作系统Linux。\n[0018] 优选的，SOC单芯片多媒体处理器通过SDR总线外接数据存储器SDRAM；通过EMI总线外接程序存储器NANDFlash；通过CSI接口连接高清运动摄像机；通过I2S总线外接音频AD转换器。\n[0019] 优选的，所述中心站点图像处理模块包括：\n[0020] 获取单元，所述获取单元用于获取来自站端4G无线通信模块传输过来的一个帧，即获得该帧表示的图像；\n[0021] 去噪单元，所述去噪单元用于按照预定噪声去除规则去除所述图像中的噪声数据；\n[0022] 识别单元，所述识别单元用于按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象；\n[0023] 添加单元，所述添加单元用于为所述帧添加标签，所述标签能基于语义表达目标对象的预定特征；\n[0024] 存储单元，所述存储单元用于存储所述帧对应的标签。\n[0025] 本发明具有以下优点和有益效果：(1)支持高清数字图像实时传回地面，满足高清数字传输要求，支持视觉导航、障碍规避和图像目标识别跟踪，满足新技术发展要求；(2)中心站点图像处理模块的预定算法，便于人直观理解的高层语义信息，并在此基础上实现对视频监控图像数据的分类和标注，实现视频监控图像的快速、高效的获取。\n附图说明\n[0026] 图1示出了本发明的一种基于4G技术的无线图像监控系统的框图。\n[0027] 图2示出了本发明的一种基于4G技术的无线图像监控方法。\n具体实施方式\n[0028] 图1是示出了本发明的一种基于4G技术的无线图像监控系统。该系统包括：安装在无人机内的图像监控装置1和安装在地面中心站的视频传输装置2。\n[0029] 其中，图像监控装置1包括：安装在无人机上的监控处理器11、卫星导航单元13、高清运动摄像机12、机端4G无线通信模块14和视觉计算机15。\n[0030] 所述监控处理器11还嵌入有以太网交换芯片(LANswitch)，所述以太网交换芯片(LANswitch)与飞控计算机15(ARM)通过局域网(LAN)连接。\n[0031] 所述监控处理器11以SOC单芯片多媒体处理器为核心，带有视频输入输出接口、音频输入输出接口、视频模数/数模转换器、存储和网络通讯接口；\n[0032] 视频传输装置2包括：站端4G无线通信模块21、中心站点图像处理模块22和显示终端23；所述站端4G无线通信模块21，接收所述机端4G无线通信模块14的图像信号。\n[0033] 优选的，SOC单芯片多媒体处理器通过USB总线与机端4G无线通讯模块连接完成视频图像的4G无线通讯传输。\n[0034] 优选的，所述监控处理器采用SOC单芯片多媒体处理器i.MX27作为核心处理器，其采用ARM926作为核心IP，处理运行实时操作系统Linux。\n[0035] 优选的，SOC单芯片多媒体处理器通过SDR总线外接数据存储器SDRAM；通过EMI总线外接程序存储器NANDFlash；通过CSI接口连接高清运动摄像机；通过I2S总线外接音频AD转换器。\n[0036] 所述视觉计算机15内部有DSP处理器、ARM处理器，运行Linux操作系统，以百兆以太网口与所述飞控计算机连接，通过所述监控处理器的以太网交换芯片(LANswitch)所扩展的以太网交换式总线接收高清运动摄像传回的图片，进行图像的分析解算，并与光流传感器、超声波传感器、惯性测量单元数据进行融合，进行视觉导航、障碍规避、图像目标识别跟踪。\n[0037] 所述高清运动摄像机12直接由以太网口与监控处理器11所扩展的以太网交换式总线进行连接，支持多个视频流的转发，通过以太网交换芯片(LANswitch)将高清视频数据传给视觉计算机(DSP+ARM)进行图像计算。\n[0038] 所述卫星导航单元13为GPS/北斗接收芯片、磁罗盘、单片机，出CAN总线与飞控计算机(ARM)连接，支持GPS和北斗导航定位，支持磁航向计对飞行器姿态的解算，并与惯性测量单元(IMU)进行数据融合，最终由监控处理器11解算飞行器姿态和飞行器位置。\n[0039] 视频传输装置2包括：站端4G无线通信模块21、多信道分发模块22、中心站点图像处理模块23和显示终端24。所述站端4G无线通信模块21，经卫星网络或移动通信网络接收所述图像发射模块发射14的图像信号；所述的多信道分发模块22由视频压缩编码器，多信道通信分发设备，通信设备，网关设备组成，所述的通信设备包括有线传输设备，短距离无线通信设备，移动通信设备，卫星通信设备，所述的中心图像处理系统由解码设备，图像显示设备组成。\n[0040] 优选的，所述中心站点视觉计算机15包括：\n[0041] 获取单元，所述获取单元用于获取来自站端4G无线通信模块传输过来的一个帧，即获得该帧表示的图像。\n[0042] 去噪单元，所述去噪单元用于按照预定噪声去除规则去除所述图像中的噪声数据；图像在获取、传输和存储过程中常常会受到各种噪声的干扰和影响而使图像降质。为了得到高质量的数字图像，有必要对图像进行降噪处理，尽可能在保持原始信息完整性的同时，又能够去除信号中无用的信息。鉴于视频监控系统大多是对可动目标对象的监控的特殊性，本申请的一个实施方式中，将不需监控或重点监控的不可动背景与可动前景进行分离，即将获取的监控视频的背景部分作为噪声数据的一部分去除。\n[0043] 识别单元，所述识别单元用于按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象。对图像进行检索的目的是要识别其中的目标对象，首先要提取目标对象的特征，并依据该特征识别对象。因此图像检索的主要问题之一就是图像底层特征的提取。\n本申请实施方式即是基于对去噪后的图像中的目标的特征提取以实现目标对象的识别。\n[0044] 添加单元，所述添加单元用于为所述帧添加标签，所述标签能基于语义表达目标对象的预定特征。完成目标对象的识别后，即可对识别出的目标对象加注标签，加注的标签能够基于人的直观理解的高层语义信息的表达。\n[0045] 存储单元，所述存储单元用于存储所述帧对应的标签。\n[0046] 图2示出了本发明的一种基于4G技术的无线图像监控方法。该方法具体包括如下步骤：\n[0047] S1.监控处理器启动飞控程序，所述卫星导航单元启动GPS导航程序；\n[0048] S2.高清运动摄像机按照飞控程序的轨迹采集视频图像，视觉计算机对图像进行处理；\n[0049] S3.机端4G无线通信模块，和站端4G无线通信模块，配合完成图像信号的无线发送和接收；\n[0050] S4.中心站点图像处理模块对接收到的图像信号进行处理，并在显示终端上显示。\n[0051] 优选的，在步骤S1中，还包括如下导航定位步骤：\n[0052] 监控处理器11对卫星导航单元13传递来的定位数据进行判断：\n[0053] 若定位数据在正常范围内：则监控处理器11将接收到的定位数据存入存储器中；\n[0054] 所述在正常范围的定位数据是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若相邻两个采样点的经度的差值不超过0.0002度，且相邻两个采样点的纬度的差值不超过0.00018度，且相邻两个采样点的高度的差值不超过20米，判定定位数据为正常范围；\n[0055] 若定位数据发生异常：则监控处理器11将存储在存储器中的定位数据调出，按照历史轨迹返回到出发位置；\n[0056] 所述定位数据发生异常是指：将定位数据中相邻两个采样点的经度值、纬度值、高度值两两进行比较，若经度的差值超过0.0002度，或纬度的差值超过0.00018度，或高度的差值超过20米，则判定定位数据发生异常。\n[0057] 优选的，所述定位数据为无人机在每个时间点的经度信息x、纬度信息y、高度信息z的集合，记为{xt yt zt}；其中，\n[0058] (x1 y1 z1)为无人机在第1个时间点的经度、纬度、高度信息；\n[0059] (x2 y2 z2)为无人机在第2个时间点的经度、纬度、高度信息；\n[0060] 以此类推，(xt-1 yt-1 zt-1)为无人机在第t-1个时间点的的经度、纬度、高度信息；(xt yt zt)为无人机在第t个时间点的经度、纬度、高度信息；\n[0061] 相邻两个时间点的间隔取0.5至5.0秒；每个历史定位数据均存储在监控处理器11的存储器中；\n[0062] 将第t个时间点的定位数据与第t-1个时间点的定位数据进行比较：\n[0063] 若xt-xt-1＜0.0002，且yt-yt-1＜0.00018，且zt-zt-1＜20米，[0064] 即经度的差值不超过0.0002度，且纬度的差值不超过0.00018度，高度的差值不超过20米时，判定第t个时间点的定位数据属于正常范围，并将该第t个时间点的定位数据存入监控处理器11的存储器；\n[0065] 若xt-xt-1≥0.0002，或yt-yt-1≥0.00018，或zt-zt-1≥20米；即经度的差值、纬度的差值、高度的差值中的任一个超出正常范围，均判定第t个时间点的定位数据发生了异常，也即认为无人机的飞行发生了异常；\n[0066] 由监控处理器11将存储器中的第t-1个时间点的定位数据、第t-2个时间点的定位数据、……第2个时间点的定位数据、第1个时间点的定位数据逐次读取，并控制无人飞行器按照原来的轨迹返回的出发地。\n[0067] 优选的，在步骤S1中，飞控程序包括应用级程序、实时任务调度程序和外部中断处理程序、硬件初始化程序、硬件驱动程序、CAN通信协议程序、LAN(TCP/IP)通信协议程序，所述应用级程序与实时任务调度程序和外部中断处理程序连接，所述实时任务调度程序和外部中断处理程序与硬件初始化程序连接，所述硬件初始化程序与硬件驱动程序连接。\n[0068] 优选的，所述应用级程序包括应用层接口程序、电源管理与电量监测程序、飞行指示灯控制程序、安全控制程序、视觉控制程序、航迹控制程序、增稳控制程序、遥控器解码程序、通信处理程序。\n[0069] 优选的，在步骤S2中，包括如下子步骤：\n[0070] S21.视觉计算机15的视频文件分割器对视频文件进行分割；\n[0071] S22.视觉计算机15的视频压缩编码器对分割完成的文件进行压缩；\n[0072] S23.视觉计算机15的加密装置对压缩完的视频文件进行加密操作。\n[0073] 优选的，在步骤S4中，可采用如下方法对视频图像进行处理：\n[0074] S41：获取视频中的一个帧，即获得该帧表示的图像。\n[0075] S42：按照预定噪声去除规则去除所述图像中的噪声数据。\n[0076] 图像在获取、传输和存储过程中常常会受到各种噪声的干扰和影响而使图像降质。为了得到高质量的数字图像，有必要对图像进行降噪处理，尽可能在保持原始信息完整性的同时，并能够去除信号中无用的信息。\n[0077] 视频图像去噪的最终目的是改善给定的图像，解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术有效地提高图像质量，增大信噪比，更好的体现原来图像所携带的信息。\n[0078] 目前对图像进行去噪处理的方法基本可分成两类：空间域法和变换域法。前者是在原图像上直接进行数据运算，对像素的灰度值进行处理；常见的空间域图像去噪算法有邻域平均法、中值滤波、低通滤波等。后者是在处理像素点领域有关的空间域上进行运算，对图像进行某种运算，将图像从空间域转换到变换域，再对变换域中的变换系数进行处理，再进行反变换将图像从变换域转换到空间域达到去除图像噪声的目的。其中，傅里叶变换和小波变换是常见的用于图像去噪的变换方法。由于去噪方法是较为成熟的技术，因此本申请实施例可根据实际情况自由选择上述方法，不构成对申请的限制。\n[0079] 鉴于视频监控系统大多是对可动目标对象的监控的特殊性，本申请的一个实施方式中，将不需监控或重点监控的不可动背景与可动前景进行分离，即将获取的监控视频的背景部分作为噪声数据的一部分去除。\n[0080] S43：按照预定对象识别规则在所述去除噪声数据的图像中识别目标对象。\n[0081] 对图像进行检索的目的是要识别其中的目标对象，首先要提取目标对象的特征，并依据该特征识别对象。因此图像检索的主要问题之一就是图像底层特征的提取。\n[0082] 本申请可以提取图像底层特征可以包括颜色、纹理、形状和景深。\n[0083] 1、颜色\n[0084] 颜色是物体表面的一种重要视觉性质，是人识别图像的主要感知特征之一；与描述图像的形状、纹理等特征相比，颜色特征是CBIR最基础的图像视觉特征，是图像表示与检索中使用的最直接的方法，主要原因在于颜色特征计算简单，其信息和图像中具体物体与场景类别十分相关。此外，颜色特征对图像本身的尺寸、方向、视角的依赖性相对较小。但实际中，由于环境光照强度、拍摄角度、成像特性、对象远近等差异会引起的不同摄像机采集到的同一对象的颜色出现差异。为了解决这一问题，获取稳定地、具有唯一性地目标特征表达，可以利用颜色转移方法或颜色转换方法消除颜色差异，提高颜色特征的鲁棒性。\n[0085] 在利用颜色转移方法或颜色转换方法消除颜色差异之前，可以首先对采集得到的视频监控图像进行增强预处理。\n[0086] 研究表明，人类视觉系统以高度非线性的方式来感知物体的光照强度。但摄像机等成像过程则较为简单。一般情况下，摄像机所成的像与人类直接的感知是不同的，这种情况在物体的动态范围较大时更加明显。动态范围是指场景中最亮和最暗物体亮度之间的比值。由于采用了区域自适应的方法，人类视觉系统可感知大于1000：1的动态范围，而通常的显示器仅可显示100：1的动态范围。当物体动态范围大于显示器所能显示的范围时，需对图像进行动态范围压缩，以使其适于显示器。简单的色调映射方法采用全局的对数函数、Gamma校正或Sigmoid函数来压缩图像的动态范围，容易造成局部的细节丢失。较高级的色调映射均采用区域自适应的方法，基于Retinex的方法是其中一类。\n[0087] Retinex理论是Land于1963年提出的基于人类视觉调节感知到物体的颜色和亮度的模型，其基本思想是人感知到某点的光照并不取决于该点的绝对光照值，还和其周围的光照值有关。Retinex增强处理可以改善图像颜色恒常性，压缩图像动态范围，提高对比度，有效显示淹没在阴影区域中的细节。Retinex方法应用在本申请实施方式的步骤是首先对采集得到的视频监控图像进行光照估计，然后在对数域从视频监控图像中减去光照，抑制光照变化对图像的影响，得到增强后的图像。\n[0088] 利用Retinex算法对采集得到的视频监控图像进行增强处理后，采用颜色转移或颜色转法对该增强的视频监控图像进行消除色差处理，提高颜色特征的鲁棒性。对视频监控图像进行消除色差处理是去除图像噪声的重要组成部分。\n[0089] 2、纹理\n[0090] 纹理特征是所有物体表面共有的内在特性和对图像表面空间结构和属性的反映，是一种不依赖于颜色或亮度的反映图像同质现象的视觉特征。纹理特征包含了物体表面结构组织排列的重要信息，其表现为图像上灰度或颜色分布的规律性，因此通常被看作图像的某种局部性质，或是对局部区域中象素之间关系的一种度量。\n[0091] 常用的图像纹理特征有共生矩阵，小波纹理，Tamura纹理特征等。其中，Haralick等利用共生矩阵描述图像纹理特征的方法，从数学角度研究了图像中灰度级的空间依赖性并采用矩阵的形式记录这种依赖性的统计信息。灰度共生矩阵统计的是颜色强度的空间分布信息，根据图像象素间的方位和距离关系构造共生矩阵(co-occurrence matrix)，从中提取有意义的统计特征作为纹理特征的描述。\n[0092] 视频监控图像的特点是目标常处于移动状态中。在非刚体目标跟踪或者长时间目标跟踪中，目标轮廓等全局特征可能变化较大，而局部特征则有良好的不变性，因此局部特征点方法是较好的选择。\n[0093] 本申请实施方式可以采用局部二元模式(Local Binary Pattern，LBP)描述子对人脸进行检测，以提高对行人的检索精度和检索速度。\n[0094] 3、形状\n[0095] 形状特征以对图像中物体和区域的分割为基础，是图像表达和图像理解中的重要特征。直观上，人们对物体形状的变换、旋转和缩放不敏感，所以提取的形状特征也具有对应的不变性，是一种有效的图像区域形状描述子。\n[0096] 4、景深\n[0097] 对视觉注意力来说，从单幅图像中提取的景深是一个一般性地、自顶向下地特征，当目标放置在摄像机的聚焦区域以外就会出现散焦模糊。\n[0098] 本申请实施方式景深特征的提取方法可以包括两个主要步骤。首先，估计单幅图像边缘的模糊程度。然后，对边缘的模糊度进行高斯加权从而得到每个基本区域的相对景深。单幅图像景深图的具体计算方法如下：\n[0099] 首先，用标准差为σ1的高斯核对图像进行二次模糊。然后，在图像的边缘处计算原始图像的梯度和二次模糊图像的梯度的比值T。图像边缘处的模糊程度σ可以根据如下公式计算：\n[0100]\n[0101] 本申请用Canny边缘检测子提取图像的边缘，设置二次高斯模糊的标准差为σ1＝\n1。然后，把图像所有边缘处的模糊程度σ归一化到[0，1]区间。\n[0102] 随后，基本区域m的相对景深Wm定义为图像所有边缘模糊程度的高斯加权平均值：\n[0103]\n[0104] (i,j)是基本区域m的像素点的坐标，σ(i,j)是边缘像素点M(i,j)的模糊程度，高斯权重定义为：\n[0105]\n[0106] 其中 属于(i,j)的邻域Vij，σW为相对景深的二次高斯模糊标准差，其用于抑制景深对于边缘像素点M(i,j)和基本区域m间距离的敏感性。σW取值对景深特征具有较大影响，取值过大则景深趋向相同，取值过小则增强局部模糊。本申请实施方式中将σW设置为σW＝0.15。\n[0107] 上述提及的颜色、纹理、形状、景深等底层特征均为全局特征。当然，全局特征并不限于上述四种特征，例如其还可以包括GIST特征和分形特征，在此不再赘述。此外，图像的还可以包括局部特征，例如SIFT特征。\n[0108] 基于内容的图像检索的目的是在提取图像视觉底层特征的基础上，从图像库中找出相关图像。图像的内容特征包含底层特征和高层语义特征，用提取的颜色、纹理、形状、景深特征表示图像的底层特征，通过训练选择和组合底层特征以更好的模拟人对图像高层语义特征的直观感受，方便将图像视觉底层特征映射得到图像的高层语义特征。\n[0109] 为了后期便于检索，根据提取的底层特征，可先对获取的视频监控图像进行分类。\n每一个语义类的识别视为一个独立的两分类问题。假设所有视频监控图像共有m类，记为L＝{A1、A2、…Am}，属于语义类Ai的图像数量为Ni，将m类的分类问题转化为两类分类问题：\n对于任何一个类Ai而言，训练正例是该类所包含的全部图像，反例是在训练集中不属于该类的所有其他类的图像，即Ai类的正例总数为Ni，反例总数为\n[0110] 对给定的一个语义类A∈L，其两类分类问题的训练集T＝{(x1，y1)，(x2，y2)，...，(xl，yl)}；(xi，yi)表示事先给定并且经过语义加注标签的一组图像，其中xi∈Rn为一个图像向量，表示属于相同或相似的颜色、纹理、形状和景深等特征的图像。yi∈{+1,-1}，若yi＝+1表示xi∈A，即向量xi表示的图像属于语义类别A。同理，yi＝-1表示[0111] S44：为所述帧添加标签，所述标签能基于语义表达目标对象的预定特征。\n[0112] 完成目标对象的识别后，即可对识别出的目标对象加注标签，加注的标签能够基于人的直观理解的高层语义信息的表达。加注的这些标签所表达的特征均是便于直观理解的高层语义信息。\n[0113] S45：对应所述帧存储所述标签，形成便于后期获取用标签库。\n[0114] 本申请实施方式通过对提取的视觉底层特征，按照预定的算法映射到便于人直观理解的高层语义信息，并在此基础上实现对视频监控图像数据的分类和标注，较好的表达视频监控图像数据的语义，减小甚至消除图像底层特征与人类丰富语义内容之间的“语义鸿沟”，实现视频监控图像的快速、高效的获取。\n[0115] S46：接收查询请求，所述查询请求附带有关键词。\n[0116] 当需要对目标对象进行查询时，接收查询请求，查询请求中附带有预先对目标对象进行定义的关键词。\n[0117] S47：在所述存储的标签中搜索所述关键词，得到与所述关键词相同的标签对应的帧。\n[0118] S48：按照时间顺序排列所述得到的帧。\n[0119] 将得到的所有具有该目标对象的帧按照时间顺序排列；进一步地，将时间连续的帧组合形成视频，将不连续的帧作为单独的图像。这样能够在一定程度上消除目标对象在时间和空间上的间断，为研判目标对象移动轨迹提供直接客观的信息。\n[0120] 如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。