基于全方位视觉传感器的智能3D摄像设备

暂无

基于全方位视觉传感器的智能3D摄像设备\n技术领域\n[0001] 本发明涉及一种智能立体摄像设备，尤其是全方位视觉传感器、计算机控制、机电一体化设计等技术在智能三维立体摄像设备方面的应用。\n背景技术\n[0002] 3D电视的普及越来越快，目前很多家庭购买了3D电视，但实际可看的3D片源很少，在这种情况下，消费者要更好的利用自己的3D电视，3D摄像机肯定是一种很好的补充。\n[0003] 用两台摄像机模拟左右两眼，一般的话两个摄像机之间的距离，即基线距跟人的两眼之间的距离差不多。只要用两台摄像机仿真左右两眼视线，分别拍摄两条影片，然后将这两条影片同时放映到银幕上；放映时再采用必要的技术手段，使观众左眼只能看到左眼图像，右眼也只能看到右眼图像。当两幅图像经过电影观众的大脑迭合后，他们就对银幕画面产生了立体纵深感。立体拍摄看似很简单的模拟，在实际操作中却十分困难。在拍摄中，两台机器的一致度要求非常高，否则很难拍出很好的效果。\n[0004] 当今最新的3D摄像机搭载了一个手动操控拨盘，拨盘上除了2D机型所具备的调节对焦、曝光、光圈、快门、自动曝光转换和白平衡切换之外，此次还增加了3D深度调整功能，可以根据不同的场景来调整3D的立体景深效果。\n[0005] 两个镜头的光轴从广角到长焦端始终对齐是一件困难的事，如果不能保证，那么\n3D效果将会变差，一般在3D摄像机出厂前会经过精确到微米级的调校，以便确保双镜头光轴始终对齐；但是在使用过程中，为避免发生偏差，用户需要通过手工方式实现3D自动调整，使左右眼画面始终在合理的位置上。\n[0006] 在实时转播三维立体体育赛事和音乐会等大型活动时，对3D摄像师的要求非常高，往往又要增加一个3D深度调整的推手(3D Puller)的新工作岗位，该岗位负责对3D处理层设备的参数进行设定，掌控摄像机的3D景深和3D效果的好坏。有点类似于2D的调光I位。2D中的技术协调也有3D技术协调对应负责3D景深的设定和3D效果的指导。3D推手需要紧盯屏幕随时快速调整。\n[0007] 一般来说，即使多增加一个3D深度调整的助手也很难保证两台机器的一致度；现有的3D拍摄技术要保证焦距、拍摄方向、拍摄角度和3D深度等的一致性是一项极其困难的事情，尤其是在动态拍摄的情况下，即费时又费力同时难以保证3D拍摄质量。\n发明内容\n[0008] 为了克服已有3D摄像机存在的焦距、拍摄方向、拍摄角度和3D深度的一致性调整困难、拍摄3D视频图像过程中费时、费力、难以保证拍摄质量等不足，本发明提供一种焦距、拍摄方向、拍摄角度和3D深度的一致性调整方便、操作方便、拍摄质量较高的基于全方位视觉传感器的智能3D摄像设备。\n[0009] 本发明解决其技术问题所采用的技术方案是：\n[0010] 一种基于全方位视觉传感器的智能3D摄像设备，包括一台全方位视觉传感器、一组由2台高清摄像机构成的3D摄像装置和摄像师根据在显示器上显示的全景图像上用鼠标点击想要拍摄3D视频特写图像并能自动控制3D摄像装置的对焦、调整拍摄方向、角度和\n3D深度的计算机；所述的全方位视觉传感器与所述的3D摄像装置通过支撑杆连接在一起，支撑杆的上部固定着所述的全方位视觉传感器，支撑杆的中部固定着所述的3D摄像装置，所述的全方位视觉传感器的中心轴与所述的3D摄像装置的中心轴重合，所述的全方位视觉传感器通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置与所述的计算机连接；\n[0011] 所述的计算机包括：\n[0012] 全景图像读取单元用于读取全方位视觉传感器的全景图像，并将该全景图像显示在显示器上，用于为3D摄像师提供一个人机交互接口；\n[0013] 3D摄像装置参数调整单元，用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度调整，具体实现过程是：当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，接着根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作；\n[0014] 3D图像读取单元，用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像合成单元的输入相连接；\n[0015] 3D图像合成单元，用于将所述的3D摄像装置所获得的左右两个通道的视频图像进行合成处理，左通道的视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频流图像传输给立体显示设备的右侧视频图像输入端。\n[0016] 进一步，所述的3D摄像装置由一组由2台相同摄像参数的高清摄像机所构成，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中，镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的，所述的3D摄像装置的3D深度的调整是由转动电机来实现的，具体实现方式是将所述的高清摄像机分别固定在两个啮合的齿轮片，其中一个齿轮片的另一端加工成涡轮形状，转动电机直接驱动涡杆，涡杆带动其中一个齿轮片上的涡轮转动，从而带动两个齿轮片啮合转动，最终带动两个齿轮片上的高清摄像机的相对转动来实现3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，解码器的作用是：通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止操作。\n[0017] 再进一步，所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；\n[0018] 将全景图像划分为若干个小的区域，每个区域对应一个网络，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，设置了128个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D景深参数预先调整好并设置到相应编号的预置点，形成一张预置点与设备的各种参数对应表，如表1所示；\n[0019] \n[0020] 表1\n[0021] 预置点与设备的各种参数对应表存放在所述的计算机存储单元内，当3D摄像师用鼠标点击在全景图上的某一个网格时，由于该网格带有预置点编号的信息，所述的计算机获得了预置点编号的信息后就去检索预置点与设备的各种参数对应表从而获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，然后所述的计算机根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作，实现全景点控的3D摄像自动调整动作；表1中的水平角度和垂直角度都是以所述的全方位视觉传感器的坐标系作为基准的。\n[0022] 更进一步，所述全方位视觉传感器包括双曲面镜面、上盖、透明外罩、摄像单元4、底座、固定螺钉、支撑架、保护罩和连接板；所述的双曲面镜面固定在所述的上盖上构成全方位视觉传感器的上装配体，所述的摄像单元4通过所述的固定螺钉固定在所述的底座上，固定着所述的摄像单元4的所述的底座又通过螺钉固定在所述的支撑架内构成全方位视觉传感器的下装配体，然后将所述的透明外罩与所述的支撑架用螺纹连接件进行连接，接着用螺钉将所述的保护罩、全方位视觉传感器的上装配体和全方位视觉传感器的下装配体连接成一个全方位视觉传感器，最后用螺钉将所述的连接板固定在全方位视觉传感器的底部进行密封；装配时要保证所述的双曲面镜面的轴心线与所述的摄像单元4的轴心线相重叠，这样就形成了一个具有固定单视点全方位视觉传感器。\n[0023] 再进一步，在所述的全方位视觉传感器中采用固定单视点全方位视觉传感器的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z)；\n[0024] 双曲面镜构成的光学系统由下面5个式表示；\n[0025] ((X2+Y2)/a2)-((Z-c)2/b2)=-1 当Z>0时 (1)\n[0026] \n-1\n[0027] β=tan (Y/X) (3)\n-1 2 2 2 2\n[0028] α=tan [(b+c)sinγ-2bc]/(b+c)cosγ (4)\n[0029] (5)\n[0030] 式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a,b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；\n[0031] 双曲面镜设计的核心是垂直视场范围的设计，即双目立体视觉的范围来最后确定；\n[0032] 从公式（1）可知双曲线的形状可以由参数a、b来确定，这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达，其相互关系通过公式（6）进行计算；\n[0033] (6)\n[0034] \n[0035] k=a/b\n[0036] 对于全方位摄像装置的设计，镜面的大小和垂直视场范围是必须考虑的设计参数，公式（7）表示了垂直视角α的计算方法，\n[0037] \n[0038] 这里，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离；\n[0039] 双曲面镜面的离心率k设计必须满足以下3个约束条件，如公式（8）所示；\n[0040] k>b/Ri\n[0041] k<(h+2c)/Ri （8）\n[0042] k>[(h+2c)/4cb]-[b/(h+2c)]\n[0043] 式中，k为双曲面镜面的离心率，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离，b为双曲面镜的虚轴的长度，c为双曲面镜的焦点到坐标原点的距离，即焦点距离。\n[0044] 本发明的有益效果主要表现在：1、拍摄过程极其简单和方便，3D摄影师只要点击全景图像上想要拍摄的对象设备就自动完成调焦、水平转动、垂直转动和3D深度的调整等动作，具有自动化和智能化的功能；2、智能化程度高，不需要特有的专业人员也能拍摄出质量高的3D视频图像。可广泛的应用于重大体育赛事、文艺演出、动画电影、游戏等许多应用领域。\n附图说明\n[0045] 图1为具有固定单视点的全方位视觉传感器的结构图；\n[0046] 图2为全方位视觉传感器所拍摄的全景图；\n[0047] 图3为全方位视觉传感器的成像原理图；\n[0048] 图4为3D摄像装置平视图；\n[0049] 图5为基于全方位视觉传感器的智能3D摄像设备的结构图；\n[0050] 图6为全景图像网格化处理以及全景点控的技术解决方案的人机界面图。\n具体实施方式\n[0051] 下面结合附图对本发明作进一步描述。\n[0052] 实施例1\n[0053] 参照图1～图6，一种基于全方位视觉传感器的智能3D摄像设备，包括一台全方位视觉传感器、一组由2台高清摄像机构成的3D摄像装置和摄像师根据在显示器上显示的全景图像上用鼠标点击想要拍摄3D视频特写图像并能自动控制3D摄像装置的对焦、调整拍摄方向、角度和3D深度的计算机；所述的全方位视觉传感器与所述的3D摄像装置通过支撑杆连接在一起，如附图5所示，支撑杆的上部固定着所述的全方位视觉传感器，支撑杆的中部固定着所述的3D摄像装置，所述的全方位视觉传感器的中心轴与所述的3D摄像装置的中心轴重合，所述的全方位视觉传感器通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置中的解码器通过RS232/RS485转换器与所述的计算机连接；\n[0054] 所述的全方位视觉传感器用于获取现场的全景视频图像；所述的3D摄像装置用于获取现场的3D视频图像；\n[0055] 所述的全景视频图像用于表达宏观的、全局的图像信息；所述的3D视频图像用于表达微观的、局部的、特写的立体图像信息；全景视频图像信息中包含着3D视频图像信息，即3D视频图像信息是全景视频图像信息中的一部分；所述的全景视频图像是由所述的全方位视觉传感器来获取的，在拍摄过程中所述的全方位视觉传感器不产生任何相对运动；\n所述的3D视频图像是由所述的3D摄像装置来获取的，在拍摄过程中所述的3D摄像装置要根据特写对象所处的方向、位置和远近来调整摄像头的焦距、3D摄像装置的拍摄方向、拍摄角度和3D景深等参数，摄像师根据在所显示的全景视频图像上选择想要拍摄的特写对象，通过用鼠标点击在全景视频图像上的特写对象来产生一个调整所述的3D摄像装置中各种控制参数的事件，所述的计算机系统软件自动响应该触发事件，使得所述的3D摄像装置对准特写对象来获得高质量的3D视频图像；\n[0056] 所述的3D摄像装置，用于获取拍摄现场的某一局部的3D视频图像；主要由一组由2台相同摄像参数的高清摄像机所构成，如附图4所示，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机32来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机33来实现的，所述的3D摄像装置的3D深度的调整是由转动电机31来实现的，具体实现方式是将所述的高清摄像机34、35分别固定在两个啮合的齿轮片\n36、37，齿轮片37的另一端加工成涡轮形状，转动电机31直接驱动涡杆38，涡杆38带动齿轮片37上的涡轮转动，从而带动齿轮片37和齿轮片36啮合转动，最终带动了齿轮片36、37上的高清摄像机34、35的相对转动来实现3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，解码器的作用是：通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止等操作；\n[0057] 所述全方位视觉传感器，以下用ODVS表示，ODVS包括双曲面镜面2、上盖1、透明外罩3、摄像单元4、底座5、固定螺钉6、支撑架7、保护罩8和连接板9，如附图1所示；所述的双曲面镜面2固定在所述的上盖1上构成ODVS的上装配体，所述的摄像单元4通过所述的固定螺钉6固定在所述的底座5上，固定着所述的摄像单元4的所述的底座5又通过螺钉固定在所述的支撑架7内构成ODVS的下装配体，然后将所述的透明外罩3与所述的支撑架7用螺纹连接件进行连接，接着用螺钉将所述的保护罩8、ODVS的上装配体和ODVS的下装配体连接成一个ODVS，最后用螺钉将所述的连接板9固定在ODVS的底部进行密封；装配时要保证所述的双曲面镜面2的轴心线与所述的摄像单元4的轴心线相重叠，这样就形成了一个具有固定单视点ODVS；\n[0058] 固定单视点ODVS的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z)；\n[0059] 图3中的11－双曲线面镜，20－入射光线，21－双曲面镜的实焦点Om(0,0,c)，\n22－双曲面镜的虚焦点即摄像单元4的中心Oc(0,0,-c)，15－反射光线，16－成像平面，\n17－实物图像的空间坐标A(X,Y,Z)，18－入射到双曲面镜面上的图像的空间坐标，19－反射在成像平面上的点P(x,y)；\n[0060] 图3中所示的双曲面镜构成的光学系统由下面5个式表示；\n[0061] ((X2+Y2)/a2)-((Z-c)2/b2)=-1 当Z>0时 (1)\n[0062] \n[0063] β=tan-1(Y/X) (3)\n[0064] α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (4)[0065] (5)\n[0066] 式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a,b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；\n[0067] 双曲面镜设计的核心是垂直视场范围的设计，即双目立体视觉的范围来最后确定。\n[0068] 从公式（1）可知双曲线的形状可以由参数a、b来确定，这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达，其相互关系通过公式（6）进行计算；\n[0069] \n[0070] \n[0071] k=a/b\n[0072] 对于ODVS的设计，镜面的大小和垂直视场范围是必须考虑的设计参数，公式（7）表示了垂直视角α的计算方法，\n[0073] \n[0074] 这里，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离；\n[0075] 双曲面镜面的离心率k设计必须满足以下3个约束条件，如公式（8）所示；\n[0076] k>b/Ri\n[0077] k<(h+2c)/Ri （8）\n[0078] k>[(h+2c)/4cb]-[b/(h+2c)]\n[0079] 通过上述ODVS的设计可以获得以ODVS为中心的水平方向360°、垂直方向120°的全景图像，如附图2所示；\n[0080] 所述的计算机，用于对所述的3D摄像装置进行参数调整和设定，用于获取所述的\n3D摄像装置所拍摄的3D视频图像；主要包括硬件和软件，所述的计算机的硬件采用市售的较高档的PC机，其中包括用于连接ODVS的视频卡，用于连接所述的3D摄像装置中的解码器的RS232/RS485转换器，用于连接所述的3D摄像装置中的两个摄像机的高清视频采集单元；所述的计算机的软件包括全景图像读取单元、3D摄像装置参数调整单元、3D图像读取单元，3D图像合成单元；\n[0081] 所述的全景图像读取单元用于读取ODVS的全景图像，并将该全景图像显示在显示器上，用于为3D摄像师提供一个人机交互接口；\n[0082] 所述的3D摄像装置参数调整单元用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，具体实现过程是：当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深等参数值，接着根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整等电机的动作；\n[0083] 所述的3D图像读取单元用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像合成单元的输入相连接；\n[0084] 所述的3D图像合成单元用于将所述的3D摄像装置所获得的左右两个通道的视频图像进行合成处理，左通道的视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频流图像传输给立体显示设备的右侧视频图像输入端；\n[0085] 所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，本发明中利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；\n[0086] 为了自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，本发明中采用全景点控的技术解决方案，具体做法是将全景图像划分为若干个小的区域，如附图2上面的网格，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，我们将这些网格定义为预置点，对于附图2中共有128个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D景深等参数预先调整好并设置到相应编号的预置点，这样可以形成一张预置点与设备的各种参数对应表，如表1所示；\n[0087] \n预置点编号 焦距(cm) 水平角度(°) 垂直角度(°) 3D景深(cm)\n1 8 275 5 300\n2 8 280 5 352\n… … … … …\n[0088] 预置点与设备的各种参数对应表存放在所述的计算机存储单元内，当3D摄像师用鼠标点击在如附图2所示的全景图上的某一个网格时，由于该网格带有预置点编号的信息，所述的计算机获得了预置点编号的信息后就去检索预置点与设备的各种参数对应表从而获得摄像机的焦距、拍摄方向、拍摄角度和3D景深等参数值，然后所述的计算机根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和\n3D深度的调整等电机的动作，实现全景点控的3D摄像自动调整动作；表1中的水平角度和垂直角度都是以所述的全方位视觉传感器的坐标系作为基准的。\n[0089] 在实况转播足球赛事时，3D摄像师只要看着全景图像用鼠标点击全景图像上的想要拍摄的对象，如附图2中关注全景图中的射门和守门员的扑球等动作，所述的3D摄像装置就自动地对准所关注的对象区域，不需要花费很多人力、精力，通过计算机控制一气呵成地、轻轻松松的完成3D摄像的任务，同时整个3D拍摄过程可以通过附图6所示的人机界面来确认。