双摄像机自动协同多目标鹰眼观测系统及其观测方法

1.一种双摄像机自动协同多目标鹰眼观测系统的观测方法，其特征在于，该方法包括如下步骤：
1）采用静止广角摄像机和PTZ摄像机主从式结构，所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后，设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域；通过标定，得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x,y)对应的要旋转角度(α,β)并存入所述的处理机形成查找表；
所述的标定是在两台摄像机相对位置固定后，将所述的广角摄像机图像按网格划分，控制所述的PTZ摄像机旋转对准网格交点，记录网格交点的位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β)，对非网格交点处做插值，建立对准广角摄像机中图像任一位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β)存入所述的处理机，形成查找表；
2）用改进的CodeBook的背景减法，从广角摄像机中检测前景目标，并对观测目标进行跟踪、数据关联和标识，选择特定目标；
所述的改进的CodeBook是指检测出codebook中的误检测区域并对其进行修正，在对codebook的背景模型更新过程中加入8-邻域部分；
3）对所选的特定目标，根据目标当前状态进行分类处理：
PTZ摄像机对快速运动的目标,根据目标的质心位置M(x,y)，所述的处理机根据所述的查找表得到对应要旋转角度(α,β)，驱动所述的PTZ摄像机旋转对准目标，并将所述的快速运动的目标进行缩放跟踪，获取合适大小的图像；
PTZ摄像机对慢速运动的目标，首先根据目标的质心位置M(x，y)，所述的处理机根据所述的查找表得到对应要旋转角度(α,β)，驱动所述的PTZ摄像机旋转对准目标，然后将慢速运动的目标一次放大至PTZ摄像机视野的四分之三，再定位目标的感兴趣区域，并随时将摄取的有关图像输入所述的处理机，该处理机根据感兴趣区域的位置M′(x,y)，驱动所述的PTZ摄像机旋转，将感兴趣区域置于所述的PTZ摄像机的图像中心，然后对该区域进行放大，获取清晰图像，存入所述的处理机。
2.根据权利要求1所述的观测方法，其特征在于所述的对观测目标进行跟踪、数据关联和标识，所述对观测目标进行跟踪是用卡尔曼滤波或粒子滤波算法预测目标下一时刻可能出现的区域；所述数据关联是指在预测区域检测到目标则认为是同一目标；所述标识是为目标分配唯一的标识符进行区分。
3.根据权利要求1所述的观测方法，其特征在于所述的选择特定目标是所述的处理机根据目标的标识或图像位置与处理机内设定的观测目标的类型和相应的感兴趣区域相比对，相似则选定为要跟踪检测的目标。
4.根据权利要求1所述的观测方法，其特征在于所述的快速运动目标，是指目标的质心位置变化范围较大，所述的缩放跟踪，是指根据目标的位置，通过PTZ摄像机的旋转对准目标，根据目标尺寸大小，调整PTZ摄像机的焦距，使目标的成像的大小有利于跟踪。
5.根据权利要求1所述的观测方法，其特征在于所述的慢速运动目标是指目标的质心位置变化范围较小；所述的定位目标的感兴趣区域是指PTZ摄像机检测到特定目标的感兴趣区域，采用自动控制的技术对感兴趣区域进行锁定跟踪。

双摄像机自动协同多目标鹰眼观测系统及其观测方法\n技术领域\n[0001] 本发明涉及视频监控，特别是一种双摄像机自动协同多目标鹰眼观测系统及其观测方法，该方法是通过双摄像机的自动协同控制获取大范围场景信息的同时得到指定目标的清晰细节的方法。\n背景技术\n[0002] 传统视频监控的缺点在于目标距离摄像机较远并且不断移动时，仅仅通过改变焦距的方式不能得到大范围场景内感兴趣目标的清晰图像；多摄像机的视频监控系统结构复杂，成本很高。发明专利200410016455.9用多摄像机进行视频监控，采用一台全景摄像机和多台跟踪摄像机获取异常目标的全局信息和细节信息，其实现技术依赖人工干预和手动分配。中国专利200910097012.X用多摄像机实现跨摄像机的自动跟踪，每台摄像机都对目标进行跟踪聚焦。这两个专利技术采用了多摄像机的模式，多摄像机自动智能监控中的难题在于匹配摄像机视野的重叠区域并标定摄像机，在这方面，前述发明没有相关的论述。视频智能监控中，直接自动获取运动目标的感兴趣区域清晰图像难度较大，例如，获取快速行走行人的脸部图像，行驶过程中车辆的车牌的图像。难点主要在三个方面：\n[0003] 由于运动图像的失真，很难检测出目标的局部特征，并对其定位；\n[0004] 目标快速运动时，如果同时放大其局部特征，则目标很快就脱离摄像机视野；\n[0005] 跟踪放大后的目标，要求PTZ摄像机快速移动，普通设备不能满足这一要求。\n发明内容\n[0006] 本发明的目的在于克服上述难点，提供一种双摄像机自动协同多目标鹰眼观测系统及其观测方法。该观测系统及其观测方法既保证目标始终处于监控场景中，同时又能在适当的时候获取最有价值的目标细节信息。当多个目标出现时，则根据目标的标识，自动选择目标进行观测。\n[0007] 本发明的技术解决方案如下：\n[0008] 一种双摄像机自动协同多目标鹰眼观测系统，其特点在于包括硬件平台、广角摄像机、PTZ摄像机，处理机和多通道视频采集卡，所述的广角摄像机和PTZ摄像机位于所述的硬件平台上且位置相对固定不变，所述的PTZ摄像机经控制线与所述的处理机相连，所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线进入所述的处理机并进行数据处理，根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。\n[0009] 所述的PTZ摄像机是具有云台全方位（上下、左右）移动及镜头变倍、变焦控制的摄像机，\n[0010] 所述的双摄像机自动协同多目标鹰眼观测系统的观测方法，该方法包括如下步骤：\n[0011] 1）采用静止广角摄像机和PTZ摄像机主从式结构，所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后，设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域；通过标定，得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x,y)对应的要旋转角度(α,β)并存入所述的处理机。\n[0012] 2）用改进的码本（以下称为CodeBook，参见文献：Kyungnam Kim,Thanarat H.Chalidabhongse,David Harwood,Larry Davis.Real time foreground background segmentation using codebook model[J].Realtime Imaging.2005,11,(3):172-185.中所述的codebook模型，本发明是在其基础上的改进。）的背景减法，从广角摄像机中检测前景目标，并对观测目标进行跟踪、数据关联和标识，选择特定目标。\n[0013] 3）对所选特定的目标，根据目标当前状态进行分类处理：PTZ摄像机对快速运动的目标进行缩放跟踪，获取合适大小的图像；对慢速运动的目标定位感兴趣区域并随时将摄取的有关图像输入所述的处理机，该处理机根据感兴趣区域的位置M(x，y)驱动所述的PTZ摄像机旋转角度(α,β)，将感兴趣区域置于所述的PTZ摄像机的图像中心，然后对该区域进行放大观测，获取清晰图像，存入所述的处理机称为查找表。\n[0014] 一般情况下，步骤1）中一次标定可以长期使用，对广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域的设定，也可长期使用，除非观测目标的类型和相应的感兴趣区域需要改变。因此观测目标仅需在启动观测系统后反复执行步骤2）和步骤3）即可。\n[0015] 所述的标定是在两台摄像机相对位置固定后，将所述的广角摄像机图像按网格划分，控制所述的PTZ摄像机旋转对准网格交点，记录网格交点的位置M(x，y)和PTZ摄像机对应的要旋转角度(α,β)，对非网格交点处做插值，建立对准广角摄像机中图像任一位置M(x,y)和PTZ摄像机对应的要旋转角度(α,β)存入所述的处理机，形成查找表。\n[0016] 所述的改进的CodeBook是指检测出codebook中的误检测区域，并对其进行修正，在对codebook的背景模型更新过程中加入8-邻域部分。\n[0017] 所述的目标跟踪、数据关联和标识，所述目标跟踪是用卡尔曼滤波或粒子滤波算法预测目标下一时刻可能出现的区域；所述数据关联是指在预测区域检测到目标则认为是同一目标；所述标识是为目标分配唯一的标识符进行区分。\n[0018] 所述的选择目标是根据目标的标识或图像位置选定图像中要跟踪检测的目标，称为特定目标。\n[0019] 所述的快速运动目标，是指目标的质心位置变化范围较大，所述的缩放跟踪，是指根据目标的位置，通过PTZ摄像机的旋转对准目标，根据目标尺寸大小，调整PTZ摄像机的焦距，使目标的成像的大小有利于跟踪。\n[0020] 所述的慢速运动目标是指目标的质心位置变化范围较小；所述的感兴趣区域定位，是指从PTZ摄像机中检测特定目标的感兴趣区域的锁定。\n[0021] 本发明采用二级模式：对快速运动目标进行放大跟踪，对慢速/静止目标进行反馈放大识别感兴趣区域。具体为当包含感兴趣目标快速移动时，对其进行缩放跟踪；当目标慢速/静止时，再定位感兴趣区域进行反馈放大识别，直至感兴趣区域充满整个视场。\n[0022] 与现有技术相比本发明具有以下特点：\n[0023] 1、本发明采用建立查找表的方法标定广角静止摄像机和窄角运动摄像机，操作方便，宜于实现。并且在两台摄像机初始相对位置固定的情况下，只需要一次标定就可以在不同场景下进行使用，通用性十分好。\n[0024] 2、本发明采用二级模式：目标快速运动时跟踪-目标慢速运动时放大观测感兴趣区域，当目标在快速运动根据目标在广角摄像机中成像大小调节PTZ摄像机对目标进行缩放跟踪，可增强PTZ摄像机对目标的捕捉能力，避免目标从PTZ摄像机视野中消失。目标慢速运动时定位目标中包含的感兴趣区域，并对感兴趣区域进行放大观测，可降低获取感兴趣区域图像的难度，同时对设备的要求降低，从而成本下降。\n[0025] 3、本发明具有成本低，实现简单等优点，可广泛应用于机器人、智能交通、公共安全、视频监控等多目标视频跟踪领域。\n附图说明\n[0026] 图1是本发明双摄像机自动协同多目标鹰眼观测系统结构示意图。\n[0027] 图中：1-PTZ摄像机；2-广角摄像机；3-视频数据线；4-控制数据线；5-处理机。\n[0028] 图2是本发明双摄像机自动协同多目标鹰眼观测系统的标定方法示意图。\n[0029] 图3是本发明双摄像机自动协同多目标鹰眼观测系统对室外运动目标检测结果示意图。\n[0030] 图4是本发明双摄像机自动协同多目标鹰眼观测系统的工作流程。\n[0031] 图5是本发明双摄像机自动协同多目标鹰眼观测系统对室内行人观测的结果示意图。\n[0032] 图6是本发明双摄像机自动协同多目标鹰眼观测系统对室外行人观测的结果示意图。\n具体实施方式\n[0033] 下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。\n[0034] 先请参阅图1，图1是本发明双摄像机自动协同多目标鹰眼观测系统结构示意图，由图可见，本发明双摄像机自动协同多目标鹰眼观测系统，包括硬件平台、广角摄像机2、PTZ摄像机1，处理机5和多通道视频采集卡，所述的广角摄像机2和PTZ摄像机1位于所述的硬件平台上且位置相对固定不变，所述的PTZ摄像机1经控制线4与所述的处理机5相连，所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线3进入所述的处理机并进行数据处理，根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。\n[0035] 利用双摄像机自动协同多目标鹰眼观测系统的观测方法，该方法包括如下步骤：\n[0036] 1）采用静止广角摄像机和PTZ摄像机主从式结构，所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后，设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域；通过标定，得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x,y)对应的要旋转角度(α,β)并存入所述的处理机；\n[0037] 所述标定是指获取运动的PTZ摄像机对准观察所述广角摄像机ROI区域某一位置的旋转角度，所谓广角摄像机ROI区域是指人为选择的目标可能会出现图像的像素区域。\n[0038] 具体实现方法为：\n[0039] ①选定广角摄像机视频监控区域中需要用PTZ摄像机重点监控的ROI区域，如图\n2所示；\n[0040] ②选择合适的间隔，将所述的广角摄像机图像ROI区域划分为网格状，得到网格交点处的像素坐标：M11(x1,y1)，M12(x1,y2)，M21(x2,y1)，M22(x2,y2).[0041] ③控制所述的PTZ摄像机旋转，直到PTZ摄像机的图像中心与M11重合，读取所述的PTZ摄像机当前水平方向和垂直方向的旋转角度(α,β)11，记录一组数据：\nL[M11(x1,y1)]＝(α,β)11；\n[0042] ④对剩下广角图像ROI区域的交点处重复步骤③的操作，记录所有的L[M12(x1,y2)]＝(α,β)12；L[M21(x2,y1)]＝(α,β)21；L[M22(x2,y2)]＝(α,β)22；统称为即L(M(x,y))＝(α,β)；\n[0043] ⑤对广角图像ROI区域的非网格交点S(x,y)，查找包含它的最小矩形M11M12M21M22，用双线性插值公式（1），求取PTZ摄像机旋转的角度：\n[0044] \n[0045] \n[0046] ⑥综合步骤③④⑤中的数据，建立对准广角摄像机图像ROI区域任一位置M(x,y)所示的PTZ摄像机旋转的角度(α,β)；\n[0047] 2）用改进的CodeBook的背景减法，从广角摄像机中检测前景目标，并对观测目标进行跟踪、数据关联和标识，选择特定目标。\n[0048] 从广角摄像机检测运动目标，首先改进基于codebook的运动检测方法，实现对运动目标的快速有效分割，以获取多目标在视频图像中所在的前景区域，并提取目标的位置和大小：\n[0049] 所 述 codebook 运 动 检 测 算 法 是 指 文 献 Kyungnam Kim,Thanarat H.Chalidabhongse,David Harwood,Larry Davis.Real time foreground background segmentation using codebook model[J].Realtime Imaging.2005,11,(3):172-185.中用于检测运动目标的方法。所述改进后的基于codebook的运动检测方法，是指在基本的Codebook上对其进行改进：修正误检测区域；更新的过程引入8-邻域像素。所述运动目标分割是指建立和待处理图像等大的模版灰度图，把运动目标区域标记为白色（255），背景区域标记为黑色（0），所述提取目标位置和大小是指获取模版灰度图中运动目标连通区（白色）的图像的质心位置和尺寸；\n[0050] 所述的对目标进行跟踪，并进行数据关联和标记：\n[0051] 所述目标跟踪，是指用卡尔曼滤波或粒子滤波跟踪算法，预测运动目标下一步可能会出现的区域，并在该区域中量测运动目标；所述数据关联，是指在预测区域中检测到目标，则认为该目标和预测前的目标是同一目标；所述标记，是指给跟踪到的目标分别分配唯一的标识符进行区分；\n[0052] 所述的选择目标，PTZ摄像机对目标进行跟踪缩放，并在目标机动较小时对感兴趣特征进行定位放大观测的。\n[0053] 所述选择目标，是指根据目标的标识或位置指定目标；所述PTZ摄像机对目标跟踪缩放是指获取选择目标的位置M(x,y)，根据步骤二中所得到的结果，查找PTZ摄像机对准选择目标所要旋转的角度，即L(M(x,y))＝(α,β),并由处理机控制PTZ摄像机旋转角度(α,β)，对准目标；所述缩放，是指根据目标在广角摄像机中的大小，调节PTZ摄像机的焦距，使得目标在PTZ摄像机中有合适的大小能够满足摄像机的跟踪要求；所述目标机动较小，是指目标运动缓慢或停止运动，即广角摄像机中检测到的目标位置集中在一小块区域；所述感兴趣特征，是指目标的显著特征和或价值的区域，如行人的人脸，车辆的车牌等。\n所述定位，是指用检测算法从PTZ摄像机图像中获取特征区域的位置，控制PTZ摄像机使特征区域处于PTZ摄像机图像的中心。所述放大观测是指调节PTZ摄像机的焦距，使特征区域得到较大的分辨率。\n[0054] 本实施例是在真实环境下对室内和室外环境进行实验，并以行人作为目标，人脸为感兴趣区域。所用的广角摄像机为SONY453P，外加广角镜头。PTZ摄像机为EVI-D70P，水平方向旋转角为160度，垂直方向仰角90度俯角30度，18倍光学调焦，构建的双摄像机平台如图1所示。处理平台是HP xw6400 Workstation。\n[0055] 本实施例实现过程包括如下流程：\n[0056] 步骤一、标定两台摄像机。如图2所示，选择广角视野中的一片区域作为ROI区域，对ROI区域按网格划分，控制窄角PTZ摄像机旋转，使得PTZ摄像机的视野中心和广角图像网格的交点处重合，记录PTZ摄像机当前水平方向与垂直方向角度和广角图像网格交点的位置。对所有网格交点重复上述操作，对应记录所有网格交点处的位置及PTZ摄像机对准交点处时水平方向与垂直方向角度；对非交点处，用包含它的最小矩形框的四个点进行线性插值得到PTZ摄像机的旋转角度，最终得到PTZ摄像机对准广角摄像机ROI区域任一位置所要旋转的角度；\n[0057] 步骤二、用基于CodeBook的背景减法检测广角摄像机中的运动目标。\n[0058] Codebook为图像的每个像素建立起Codebook模型τ＝{c1,c2，c3…cL}包含L个codeword ci，ci由匹配像素的均值向量 及一个6元组的变量\n组成，其中 分别表示匹配像素的最小亮度和最大亮度，fi,λi分\n别为匹配次数和最长未匹配时间，pi,qi表示首次匹配时间和末次匹配时间。为了建立Codebook的初始模型，选择场景中未包含目标的一段序列，对模型初始化。建立背景Codebook和更新模型。t时刻像素 与背景Codebook匹配进行前景分割，矢量 是否与codeword匹配由颜色畸变和亮度范围决定。\n[0059] 其中颜色畸变由式（2）表示\n[0060] \n[0061] 其中‖·‖表示向量2-范数， 表示向量内积，ε1为给定的阈值。亮度范围由式（3）表示\n[0062] \n[0063] 其中：α∈[0.3,0.7]，β＞1为根据环境给定的参数。若匹配条件其中之一不满足，则该像素与当前的code-word不匹配，若对背景Codebook中所有的codeword都不匹配，则认为该处为前景。建立和待处理图像同等大小的模版灰度图像，将前景区域标记为白色(255)，背景区域标记为黑色（0）。\n[0064] 以p×p为最小单元对Code-book检测结果改进：\n[0065] 1）统计p×p区域M前景点数f;\n[0066] 2）如果f/p2＜0.2,M为候选误检测区，进入步骤3）确认，否则执行步骤5）;\n[0067] 3）统计M四邻域前景点fi：fi/p2＜0.2,Fake++，i＝0,1,2,3，若Fake>=3,执行步骤4），否则执行步骤5）；\n[0068] 4）前M中前景点修正为背景，并加入到背景codebook中；\n[0069] 5）返回步骤1）对下一个p×p进行检测。\n[0070] 为了改进codebook方法，在匹配codebook更新过程中加入邻域的变化。算法如下：\n[0071] 1）随机读取匹配点8-邻域中像素，\n[0072] 2）随机选择匹配点中的 按式（4），（5）更新：\n[0073] \n[0074] θ∈(0,1)为更新参数\n[0075] \n[0076] 室外运动目标检测结果如图3所示。\n[0077] 步骤三、在图像中跟踪标记运动目标：\n[0078] 对步骤二中得到的灰度图像先去噪再对其进行连通域分析以获取目标量测（质心坐标，尺寸）。首先利用形态学方法对图像进行处理，采用了一次开运算（先腐蚀再膨胀）。再通过连通域分析去除小区域亮块。最后对可能的目标斑块(blob)进行连通域分析获取其质心位置和尺寸等参数进行记录。对找到目标的质心和尺寸用卡尔曼滤波预测下一刻的位置和尺寸，在下一次步骤二中得到灰度图中进行连通域分析，获取该目标的质心位置尺寸和原记录作为同组，并认为是同一目标。持续几秒检测到该目标，为该组记录的目标分配一个唯一的标识；\n[0079] 步骤四、选择目标，并根据目标状态进行观测。用鼠标点击广角视频图像中标记的目标或输入标识的方式选择某一运动目标。处理机根据所选目标在广角视频图像中的位置，根据步骤一的结果查找PTZ摄像机旋转角度，发送相应指令给PTZ摄像机进行旋转对准目标。根据选择目标最近记录下的质心位置，判断当前所选目标的状态，即：\n[0080] 1）获取目标最新的40个位置信息T＝{p1,p2,…pi},i＝40，pi＝(cxi,cyi,wi,hi)，cx,cy为目标中心位置横向和纵向坐标，w,h为目标宽度和高度；\n[0081] 2）计算目标中心坐标和目标宽度及高度的均值：\n[0082] \n[0083] 3）For i=1:40\n[0084] \n[0085] End；\n[0086] if(static＞16)目标慢速运动；\n[0087] else 目标快速运动；\n[0088] 4）返回步骤1）\n[0089] 若目标快速运动，则缩放目标至四分之一视野大小，每600ms传送目标质心位置，通过查找表得到PTZ摄像机对准目标所要旋转的角度，并发送相应指令跟踪观察目标。\n[0090] 若目标慢速运动，则一次性对缩放行人至视野的四分之三，用Adaboost加肤色模型检测人脸，得到人脸的准确位置和大小，用数据PID控制PTZ摄像机转动，使人脸处于摄像机视野中心，并逐渐放大得到清晰图像。\n[0091] 步骤如下：\n[0092] a.对准人脸\n[0093] 1）获取第k帧图像人脸的位置(xf,yf)，其中xf,yf表示人脸中心在图像中的坐标。\n[0094] 2）计算偏差e(k)x＝xf-u,e(k)y＝yf-v，其中u，v为PTZ摄像机图像中心X方向和Y方向像素坐标。\n[0095] 3）if(e(k)x＞20‖e(k)y＞20)\n[0096] ΔUx＝KP[e(k)x-e(k-1)x]+KIe(k)x\n[0097] ΔUy＝KP[e(k)y-e(k-1)y]+KIe(k)y\n[0098] ΔUx,ΔUy分别为PTZ摄像机水平方向和垂直方向的旋转角度。\n[0099] 4）重复前面的步骤，直到满足偏差e(k)x＜20且e(k)y＜20。\n[0100] b.放大人脸\n[0101] 在a步骤完成后，调速PTZ摄像机焦距，将人脸放大至视野四分之一左右。\n[0102] 以目标为行人，感兴趣区域为人脸系统的整体工作流程如图4所示，图5和图6分别是室内和室外场景下在目标小机动情况下获得的人脸清晰图像和大场景图像。\n[0103] 实验表明，本发明具有成本低，实现简单等优点，可广泛应用于机器人、智能交通、视频监控等多目标视频跟踪领域。