一种基于旋转模型的主从摄像机系统的标定以及联动方法

1.一种基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：包括标定过程和联动过程，其中标定过程是指获得映射关系的过程，包括以下四个步骤：
标定过程第一步：初步调整；采用人工操作或自动操作或两者结合的方式，调整PTZ摄像机的云台旋转角度，使得PTZ摄像机的拍摄方向与鱼眼摄像机拍摄方向基本一致，使得PTZ摄像机的画面基本位于鱼眼摄像机的画面内，此时，记录下PTZ摄像机的Pan旋转角度α和Tilt旋转角度β；
标定过程第二步：对鱼眼图像和PTZ摄像机图像进行特征点匹配，得到匹配点集合的二维坐标形式 其中mf＝(xf,yf)T是鱼眼图像中的特征点的二维图像坐标，mp＝(xp,yp)T是PTZ摄像机图像中的特征点的二维图像坐标，Nfp是特征点对个数，上标T表示向量的转置操作；
标定过程第三步：将二维图像坐标变换成三维坐标，得到匹配点集合的三维坐标形式 其中Xs1＝(xs1,ys1,zs1)T是鱼眼图像中的特征点的坐标的三维形式，Xs2
＝(xs2,ys2,zs2)T是PTZ摄像机图像中的特征点的坐标的三维形式；鱼眼图像中的特征点的二维图像坐标mf＝(xf,yf)T到三维形式Xs1＝(xs1,ys1,zs1)T的变换公式为：
其中， f为鱼眼镜头的等效焦距；PTZ摄像机图像中的特征点
的二维图像坐标mp＝(xp,yp)T到三维形式Xs2＝(xs2,ys2,zs2)T的变换公式为：
其中，K是PTZ摄像机的内参数矩阵，R是对应着云台的旋转矩阵，旋转矩阵R的计算基于PTZ摄像机的Pan旋转角度α和Tilt旋转角度β：
标定过程第四步：求解两摄像机之间的旋转关系R12
鱼眼摄像机所在三维坐标系Os-xs1ys1zs1到PTZ摄像机所在三维坐标系Os-xs2ys2zs2的映射关系为三维旋转关系，即坐标系Os-xs1ys1zs1依次绕Y,X,Z轴分别旋转α12,β12,γ12弧度可与Os-xs2ys2zs2重合，那么
Xs2＝R12Xs1,
其中，R12为旋转矩阵
考虑映射误差||Xs2-R12Xs1||，最小化误差平方和：
采用莱文贝格－马夸尔特方法对其进行求数值解，求出映射关系的α12,β12,γ12；
完成标定过程后，启动联动过程；所述联动过程是指基于映射关系实现鱼眼摄像机和PTZ摄像机的精确联动的过程，所述联动过程包括以下步骤：
联动过程第一步：用户在监控软件界面上，通过软件的人机交互接口，指定鱼眼摄像机的画面中感兴趣的区域，该区域为一个感兴趣的点或者感兴趣的一个矩形框，记录下用户感兴趣的点的坐标或者用户感兴趣的矩形框中心的坐标mf＝(xf,yf)T；
联动过程第二步：首先，将mf＝(xf,yf)T转换成三维坐标形式Xs1＝(xs1,ys1,zs1)T：
其中， f为鱼眼镜头的等效焦距；
其次，利用标定过程第四步所求得的旋转矩阵R12，将Xs1＝(xs1,ys1,zs1)T变换至PTZ摄像机所在的坐标系，得到Xs2＝(xs2,ys2,zs2)T：
Xs2＝R12Xs1
最后，根据Xs2算出PTZ摄像机的旋转角度(α,β)：
联动过程第三步：通过云台的控制接口将PTZ摄像机的旋转角度设置为(α,β)，PTZ摄像机画面将朝向用户在鱼眼图像中所指定的空间位置方向，此时联动过程完成。
2.根据权利要求1所述的基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：标定过程第一步中，鱼眼摄像机是指一种监控摄像机，该监控摄像机其配备的镜头为固定焦距的鱼眼镜头，其拍摄角度能达到170度以上。
3.根据权利要求1所述的基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：标定过程第一步中，PTZ摄像机是指一种监控摄像机，该监控摄像机具有可变焦的镜头且其内置一个云台，云台使得摄像机可绕两个轴即Pan旋转轴和Tilt旋转轴旋转，通过云台控制接口可操作云台的旋转。
4.根据权利要求3所述的基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：标定过程第一步中，人工操作是指监控人员通过PTZ摄像机的云台控制接口来调整PTZ摄像机的云台旋转角度；自动操作是指在计算机软件或主从摄像机系统的存储器中存储有一组Pan旋转角度α和Tilt旋转角度β参数，通过将该参数自动设置到PTZ摄像机中，能完成初步调整任务，这组参数可在主从摄像机系统的安装过程中估算得到，也可在主从摄像机系统的使用过程中修改；两者结合的方式是指，先采用自动操作的方式进行初步调整的粗调，再采用手动操作的方式进行细调。
5.根据权利要求1所述的基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：联动过程第三步中，用户根据需要改变PTZ摄像机的变焦倍数，从而使得拍摄画面的大小适合观察所需观察的目标。

一种基于旋转模型的主从摄像机系统的标定以及联动方法\n技术领域\n[0001] 本发明涉及摄像机系统标定方法，特指一种基于旋转模型的主从摄像机系统的标定以及联动方法，属于图像信息处理领域。\n背景技术\n[0002] 近年来，随着视频监控技术的发展，鱼眼镜头摄像机监控设备的市场需求度越来越大。基于鱼眼镜头的监控摄像机可以生成包含全方位场景信息的全景视频图像，能够实现大视野、宽视角场景图像的获取，在安防监控领域具有非常重要的应用价值。然而鱼眼镜头摄像机在局部范围的分辨率很低，因此，其实用价值受到一定程度的限制。\n[0003] 主从摄像机系统是一种新型监控系统，一般由鱼眼镜头摄像机和PTZ(pan-tilt-zoom)摄像机组成，PTZ摄像机也可称为球机摄像机，在该系统中，鱼眼镜头摄像机负责全局无盲区的实时监控，PTZ摄像机利用其高速旋转及变倍的功能实现对场景中某一任意局部的高清拍摄。主从摄像机系统既能像鱼眼镜头摄像机一样“看得全”，又能和PTZ一样“看得清”。\n[0004] 当用户在鱼眼镜头摄像机画面上看到感兴趣的目标后，其通过指定鱼眼图像中的感兴趣位置，PTZ摄像机能够迅速的自动旋转至指定位置，这一功能一般被称作联动。为了实现联动功能，需要进行主从摄像机系统的标定，即标定出从鱼眼图像的像素坐标到PTZ摄像机的旋转角度的映射关系。\n[0005] 由于鱼眼摄像机和PTZ摄像机之间的位置关系不确定，即使存在相对确定的关系，但是由于存在安装等方面的误差，也使得所需要的映射关系不能够精确明确，因此进行标定是主从摄像机系统的必须步骤。实现标定较为直观的方法是逐块人工标定，即在鱼眼图像中分割出很多块，人工旋转PTZ摄像机，并记录下每块图像对应的PTZ摄像机旋转参数，最终采用插值方法求出所有位置的映射关系，这种方法在操作中存在费时费力的缺点。\n发明内容\n[0006] 针对主从摄像机系统的标定问题，本发明提出一种基于旋转模型的主从摄像机系统标定以及联动方法。\n[0007] 为实现上述发明目的，本发明一种基于旋转模型的主从摄像机系统的标定以及联动方法，其采用的技术方案包括两个方面：标定过程和联动过程。\n[0008] 其中标定过程是指获得映射关系的过程，包括以下四个步骤：\n[0009] 标定过程第一步：初步调整。\n[0010] 采用人工操作或自动操作或两者结合的方式，调整PTZ摄像机的云台旋转角度，使得PTZ摄像机的拍摄方向与鱼眼摄像机拍摄方向基本一致，使得PTZ摄像机的画面基本位于鱼眼摄像机的画面内，此时，记录下PTZ摄像机的Pan旋转角度α和Tilt旋转角度β；\n[0011] 在标定过程第一步中，鱼眼摄像机是指一种常用的监控摄像机，该类型的监控摄像机具有一个特征，即其配备的镜头为固定焦距的鱼眼镜头，这种鱼眼镜头能使得监控摄像机具备超广角的拍摄能力，其拍摄角度一般能达到170度以上甚至超过180度。\n[0012] 在标定过程第一步中，PTZ摄像机是指一种常用的监控摄像机，该类型的监控摄像机具有两大特征，第一是其具有可变焦的镜头，第二是其内置一个云台，云台使得摄像机可绕两个轴旋转(Pan旋转轴和Tilt旋转轴)，通过云台控制接口操作云台的旋转。\n[0013] 在标定过程第一步中，人工操作是指监控人员通过PTZ摄像机的云台控制接口来调整PTZ摄像机的云台旋转角度；自动操作是指在计算机软件或主从摄像机系统的存储器中，存储有一组Pan旋转角度α和Tilt旋转角度β参数，通过将该参数自动设置到PTZ摄像机中，能完成初步调整任务，这组参数可在主从摄像机系统的安装过程中估算得到，也可在主从摄像机系统的使用过程中修改；两者结合的方式是指先采用自动操作的方式进行初步调整的粗调，再采用手动操作的方式进行细调。\n[0014] 标定过程第二步：对鱼眼图像(即鱼眼摄像机拍摄的图像)和PTZ摄像机图像(即PTZ摄像机拍摄的图像)进行特征点匹配，得到匹配点集合的二维坐标形式\nT T\n其中mf＝(xf,yf)是鱼眼图像中的特征点的二维图像坐标，mp＝(xp,yp)\n是PTZ摄像机图像中的特征点的二维图像坐标，Nfp是特征点对个数；\n[0015] 标定过程第三步：将二维图像坐标变换成三维坐标，得到匹配点集合的三维坐标形式 其中Xs1＝(xs1,ys1,zs1)T是鱼眼图像中的特征点的坐标的三维形\n式，Xs2＝(xs2,ys2,zs2)T是PTZ摄像机图像中的特征点的坐标的三维形式。鱼眼图像中的特征点的二维图像坐标mf＝(xf,yf)T到三维形式Xs1＝(xs1,ys1,zs1)T的变换公式为：\n[0016]\n[0017] 其中， f为鱼眼镜头的等效焦距。PTZ摄像机中的特征点\n的二维图像坐标mp＝(xp,yp)T到三维形式Xs2＝(xs2,ys2,zs2)T的变换公式为：\n[0018]\n[0019] 其中，K是PTZ摄像机的内参数矩阵，R是对应着云台的旋转矩阵，旋转矩阵R的计算基于PTZ摄像机的Pan旋转角度α和Tilt旋转角度β：\n[0020]\n[0021] 标定过程第四步：求解两摄像机之间的旋转关系R12。\n[0022] 鱼眼摄像机所在三维坐标系Os-xs1ys1zs1到PTZ摄像机所在三维坐标系Os-xs2ys2zs2的映射关系为三维旋转关系，即坐标系Os-xs1ys1zs1依次绕Y,X,Z轴分别旋转α12,β12,γ12弧度可与Os-xs2ys2zs2重合，那么\n[0023] Xs2＝R12Xs1,\n[0024] 其中，R12为旋转矩阵\n[0025]\n[0026] 考虑映射误差||Xs2-R12Xs1||，最小化误差平方和：\n[0027]\n[0028] 采用莱文贝格－马夸尔特方法(Levenberg-Marquardt，简称LM)对其进行求数值解，求出映射关系的α12,β12,γ12(对应着唯一的旋转矩阵R12)。\n[0029] 完成上述标定过程后，启动联动过程；联动过程是指基于映射关系实现鱼眼摄像机和PTZ摄像机的精确联动的过程：\n[0030] 联动过程第一步：\n[0031] 用户在监控软件界面上，通过软件的人机交互接口，指定鱼眼摄像机的画面中感兴趣的区域，该区域可以是一个感兴趣的点或者感兴趣的一个矩形框，记录下用户感兴趣的点的坐标或者用户感兴趣的矩形框中心的坐标mf＝(xf,yf)T；\n[0032] 联动过程第二步：\n[0033] 首先，将mf＝(xf,yf)T转换成三维坐标形式Xs1＝(xs1,ys1,zs1)T：\n[0034]\n[0035] 其中， f为鱼眼镜头的等效焦距。\n[0036] 其次，利用标定过程第四步所求得的旋转矩阵R12，将Xs1＝(xs1,ys1,zs1)T变换至PTZ摄像机所在的坐标系，得到Xs2＝(xs2,ys2,zs2)T：\n[0037] Xs2＝R12Xs1\n[0038] 最后，根据Xs2算出PTZ摄像机的旋转角度(α,β)：\n[0039]\n[0040] 联动过程第三步：\n[0041] 通过云台的控制接口将PTZ摄像机的旋转角度设置为(α,β)，PTZ摄像机画面将朝向用户在鱼眼图像中所指定的空间位置方向，此时联动过程完成。\n[0042] 联动过程第三步中，用户可根据需要改变PTZ摄像机的变焦倍数，从而使得拍摄画面的大小适合观察所需观察的目标。\n[0043] 本发明的有益技术效果是:\n[0044] 本发明能够自动地完成标定过程，得到所需的映射关系，基于映射关系可实现鱼眼摄像机和PTZ摄像机的精确联动。该方法对于提高主从摄像机系统的实用性具有重要的价值。\n附图说明\n[0045] 图1为一种主从摄像机系统，其中1为鱼眼摄像机，2为PTZ摄像机\n[0046] 图2为特征点匹配示意图，其中，上方图像为鱼眼图像，下方图像为PTZ摄像机图像，图中鱼眼镜头与PTZ摄像机图像之间的连线表示匹配上的特征点对。\n具体实施方式\n[0047] 下面将结合附图和实例对本发明的一种优选的具体实施方式作进一步的详细说明。\n[0048] 图1是一种主从摄像机系统，图中1是鱼眼摄像机，位于上方，用于采集全局范围内的图像，2是PTZ摄像机，位于下方，用于采集局部范围的高清图像。\n[0049] 为了实现鱼眼摄像机和PTZ摄像机的精确联动，本发明采用的技术方案包括两个方面：标定过程和联动过程。\n[0050] 其中标定过程是指获得映射关系的过程，包括以下四个步骤：\n[0051] 标定过程第一步：初步调整。将PTZ摄像机的镜头变倍数调为0倍(即最大视场角)，采用人工操作与自动操作结合的方式，调整PTZ摄像机的云台旋转角度，使得PTZ摄像机的拍摄方向与鱼眼摄像机拍摄方向基本一致，使得PTZ摄像机的画面基本位于鱼眼摄像机的画面内，此时，记录下PTZ摄像机的Pan旋转角度α和Tilt旋转角度β；\n[0052] 此时两摄像机的图像画面如图2所示，图2上方为鱼眼图像，图2下方为PTZ摄像机画面；\n[0053] 先采用自动操作方式粗调，即在计算机软件或主从摄像机系统的存储器中，存储有一组Pan旋转角度α和Tilt旋转角度β参数，通过将该参数自动设置到PTZ摄像机中，完成初步调整的粗调，这组参数在主从摄像机系统的安装过程中估算得到；再采用手动操作的方式进行细调，即监控人员通过PTZ摄像机的云台控制接口来调整PTZ摄像机的云台旋转角度。\n[0054] 标定过程第二步：对鱼眼图像和PTZ摄像机图像进行特征点匹配，得到匹配点集合，如图2中的连线所示。特征点对的二维坐标形式为 其中mf＝(xf,yf)T是鱼眼图像中的特征点的二维图像坐标，mp＝(xp,yp)T是PTZ摄像机图像中的特征点的二维图像坐标，Nfp是特征点对个数；\n[0055] 标定过程第三步：将二维图像坐标变换成三维坐标，得到匹配点集合的三维坐标形式 其中Xs1＝(xs1,ys1,zs1)T是鱼眼图像中的特征点的坐标的三维形\n式，Xs2＝(xs2,ys2,zs2)T是PTZ摄像机图像中的特征点的坐标的三维形式。鱼眼图像中的特征点的二维图像坐标mf＝(xf,yf)T到三维形式Xs1＝(xs1,ys1,zs1)T的变换公式为：\n[0056]\n[0057] 其中， f为鱼眼镜头的等效焦距，在本实例中鱼眼图像宽\n度为1920像素，视场角为π， PTZ摄像机中的特征点的二维图像坐标mp＝(xp,yp)T到三维形式Xs2＝(xs2,ys2,zs2)T的变换公式为：\n[0058]\n[0059] 其中，K是摄像机的内参数矩阵，考虑采用如下简化形式的内参数矩阵K：\n[0060]\n[0061] 本实例中，fx＝fy＝1663。R是对应着云台的旋转矩阵，旋转矩阵R的计算基于PTZ摄像机的Pan旋转角度α和Tilt旋转角度β：\n[0062]\n[0063] 标定过程第四步：求解两摄像机之间的旋转关系R12。\n[0064] 鱼眼摄像机所在三维坐标系Os-xs1ys1zs1到PTZ摄像机所在三维坐标系Os-xs2ys2zs2的映射关系为三维旋转关系，即坐标系Os-xs1ys1zs1依次绕Y,X,Z轴分别旋转α12,β12,γ12弧度可与Os-xs2ys2zs2重合，那么\n[0065] Xs2＝R12Xs1,\n[0066] 其中，R12为旋转矩阵\n[0067]\n[0068] 考虑映射误差||Xs2-R12Xs1||，最小化误差平方和：\n[0069]\n[0070] 采用莱文贝格－马夸尔特方法(Levenberg-Marquardt，简称LM)对其进行求数值解，可求出映射关系的α12,β12,γ12(对应着唯一的旋转矩阵R12)。\n[0071] 完成标定后，用户在操作过程中启动联动过程，即基于映射关系实现鱼眼摄像机和PTZ摄像机的精确联动的过程：\n[0072] 联动过程第一步：用户在监控软件界面上，通过软件的人机交互接口，指定鱼眼摄像机的画面中感兴趣的区域，该区域可以是一个感兴趣的点或者感兴趣的一个矩形框，记T\n录下用户感兴趣的点的坐标或者用户感兴趣的矩形框中心的坐标mf＝(xf,yf)；\n[0073] 联动过程第二步：，将mf＝(xf,yf)T转换成三维坐标形式Xs1＝(xs1,ys1,zs1)T：\n[0074]\n[0075] 其中， f为鱼眼镜头的等效焦距。其次利用标定过程第\nT\n四步所求得的旋转矩阵R12，将Xs1＝(xs1,ys1,zs1)变换至PTZ摄像机所在的坐标系，得到Xs2＝(xs2,ys2,zs2)T：\n[0076] Xs2＝R12Xs1\n[0077] 最后，根据Xs2算出PTZ摄像机的旋转角度(α,β)：\n[0078]\n[0079] 联动过程第三步：通过云台的控制接口将PTZ摄像机的旋转角度设置为(α,β)，PTZ摄像机画面将朝向用户在鱼眼图像中所指定的空间位置方向，此时联动过程完成。\n[0080] 联动过程第三步中，用户可根据需要改变PTZ摄像机的变焦倍数，从而使得拍摄画面的大小适合观察所需观察的目标。