基于多双目立体视觉的运动捕获方法

1.基于多双目立体视觉的运动捕获方法，其特征在于包括下述步骤：
(a)架设运动视频采集装置，将多台普通摄像机每两台分成一组，一组内的两台摄像机固定在一个平衡杠杆上，作为一个双目跟踪器，然后将若干个双目跟踪器围绕场地一周，由此形成由多个双目跟踪器构成的运动视频采集装置；通过运动视频采集装置从不同方位采集人体运动视频序列；
(b)对多个摄像机拍摄的多目运动视频序列的标定；
(c)对每个双目跟踪器的标记点进行匹配和跟踪，且只考虑在其双目公共视野区域内出现的标记点，其他视野区域的标记点不予考虑；具体包括下述步骤：
(1)手工建立双目视觉下两组视频图像之间的同步对应关系；
(2)初始化双目跟踪器下每个标记点的二维卡尔曼滤波器和三维卡尔曼滤波器；
(3)利用二维卡尔曼滤波器预测每组视频的二维图像中标记点在下一帧的位置、速度和加速度，然后利用三维卡尔曼滤波器预测标记点在三维空间中的下一帧的位置、速度和加速度；
(4)在预测范围内搜索，获得二维候选标记点，同时利用外极限约束，获得两组视频下二维标记点的对应关系，并计算对应的三维候选标记点；
(5)根据三维立体匹配原则，从三维候选标记点中找到最佳三维候选标记点，作为当前时刻该标记点三维跟踪结果，并修正该标记点的三维卡尔曼滤波器；
(6)根据三维跟踪结果，找出与其对应的二维候选标记点，即为相应的二维跟踪结果，并修正二维卡尔曼滤波器，返回步骤(c)的步骤(3)，直至处理完所有标记点；
(7)在双目跟踪器处理完所有标记点后，检测二维图像中新出现的标记点；将双目下两幅二维图像中新出现的所有二维标记点进行组合，获得当前时刻所有可能新出现的三维标记点；
(8)将双目跟踪器所有可能新出现的三维标记点，以及已有所有标记点的三维跟踪轨迹提交多目融合器；
(d)多目融合器完成多个双目跟踪器的三维跟踪结果的数据融合；具体包括下述步骤：
(1)初始化人体所有标记点的三维轨迹集合；
(2)对每个双目跟踪器正确跟踪的标记点，根据其所在的关节位置标记点标识将其轨迹添加到三维轨迹集合中相应的轨迹集中；
(3)对于各双目跟踪器中的新标记点，将其与三维轨迹集合中非空轨迹集的标记点相比，若找到其对应的标记点轨迹，则确定其位置标识，转步骤(d)的步骤(5)，否则转步骤(d)的步骤(4)；
(4)将新标记点的轨迹与三维轨迹集合中空轨迹集标记点的上一帧卡尔曼预测相比，若找到其对应的标记点轨迹，确定其位置标识，并修改其对应标记点的轨迹集，即进行卡尔曼修正和预测，否则转步骤(d)的步骤(7)；
(5)对于当前时刻，三维轨迹集合中轨迹集为空的标记点，将其卡尔曼预测的轨迹添加到当前时刻的轨迹集中，并进行相应修正；
(6)对当前时刻，非空的三维轨迹集合中的所有标记点位置的轨迹集，根据标记点的时空约束关系，即每个标记点的三维位置和速度信息在各双目下是相同的，取该标记点对应的轨迹集中各三维轨迹的平均值来消除轨迹差异，确定每个标记点最终三维运动轨迹；
(7)处理异常情况：若双目跟踪器新出现的标记点，多目融合器无法确定其位置标识，则丢弃此标记点，放弃对其的跟踪；
(e)将多目融合器获得的标记点三维运动轨迹信息通过双目修正器反馈给双目跟踪器，用来完善双目跟踪；具体包括下述步骤：
(1)对双目跟踪器中出现遮挡现象的标记点，根据多目融合器反馈的三维跟踪结果，修正双目跟踪器中该标记点的三维卡尔曼滤波器和二维卡尔曼滤波器；
(2)对双目跟踪器中出现的新标记点，根据多目融合器的反馈的新出现的三维标记点及其位置标识，获得其对应的二维标记点坐标，将其二维和三维运动信息添加到双目跟踪器中；若该点连续出现四帧以上，则初始化该点的三维卡尔曼滤波器和二维卡尔曼滤波器；
然后，跳转步骤(c)的步骤(3)，直至完成所有视频中的标记点跟踪。

基于多双目立体视觉的运动捕获方法\n技术领域\n[0001] 本发明涉及电子信息技术领域，尤其是计算机视觉领域。\n背景技术\n[0002] 运动捕获技术是一项目前在国际上广泛应用的高新技术。运动捕获技术是通过在表演者各关节部位安置传感器，当表演者做出动作时，捕获设备会检测并记录表演者各关节在三维空间的运动轨迹，并将其转化为数字化的“抽象运动”。这些运动数据可以用来驱动不同的角色模型，使得这些角色模型做出与表演者一模一样的动作，从而在计算机上实现了运动再现，并最终生成动画序列。\n[0003] 目前，运动捕获技术已经充分的运用到影视广告和游戏制作等相关行业中，它具有高速度、高质量、极具真实性等特点，不仅极大地提高动画制作的水平和效率，降低了成本，而且使动画制作过程更为直观，效果更为生动。因此，该技术拥有广阔的应用前景和巨大的商业价值。目前在发达国家，该项技术已从试用性研究阶段走向了实用化阶段，有很多厂商相继推出了多种商品化的运动捕获系统：如MotionAnalysis、Polhemus、Sega Interactive、MAC、X-Ist、FilmBox等，其应用领域也远远超出了表演动画，并成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。\n[0004] 在运动视频采集方面，国外的光学运动捕获系统比较成熟，通常采用的方法是：多个红外摄像机环绕拍摄场地一周，形成多目视觉体系，人体标记点采用可以发出红外光的发光二极管或者反射近红外线的标志球，进行标记点的运动跟踪。其中，MotionAnalysis的Eagle-4数字动作捕捉及分析系统采用Eagle-4数字动作捕捉镜头，在2352×1728象素的模式下工作，频率可以达到每秒200帧，采用发光二极管作为标记点。这类运动视频采集装置简单的操作，能实现高分辨率的运动视频，为运动捕获的精准测量提供保障。但是，该类装置的价格昂贵，较为复杂。\n[0005] 与国外相比，国内的技术相对落后。目前，有依托国外的现有技术开发的应用系统，如DVMC-8820光学运动捕捉系统、DMC系统等是采用以发出红外光的发光二极管(DMC)或者反射近红外线的标志球(DVMC-8820)，作为人体标记点，进行人体运动跟踪。该类系统跟踪的标记点数量有限，例如DMC系统目前支持的采集点大约在18个左右，最多可支持32点的运动捕捉(DVMC-8820系统)。同时，国内机构也在研究具有自主知识产权的运动捕获系统：采用双目可见光摄像机，利用可以区别的色块作为人体标记点，进行人体运动捕获。\n国内的现有技术多沿用国外的同类技术，但是可以跟踪的标记点数目仍然有限。\n[0006] 在运动捕获跟踪方法方面，涉及的核心技术主要有摄像机定标[5]、标记点的三维匹配跟踪和三维重建等。由于运动视频采集装置的不同，运动捕获系统的三维运动捕获跟踪方法的原理也是大相径庭。\n[0007] 基于标记点的多红外摄像机的三维运动捕获系统是当前的发展趋势，它通过多目视觉，实现对多个标记点的立体目标跟踪，通过多目数据融合实现三维运动数据的获取。多摄像机的使用，能较好地解决因出现重叠与身体自遮挡时单目或双目估计不准的问题。在利用多摄像机跟踪的捕获系统中，专利申请号为00803619.5的获取运动捕获数据的方法要求照摄像机装置包括至少3台彼此之间相隔规则距离的成等角设置的摄像机，这种摄像机的配置过于严格。专利号为WO2005JP10644的日本专利将多个摄像机分成两组，每组仍含有多个摄像机，两组分别在各自的局部空间独立跟踪标记点，这种分组法在一定程度上避免了同时处理多个摄像机的数据，但是每一小组的数据处理量仍然很大。\n[0008] 基于色块的三维运动捕获系统采用双目视觉，标记点要求有明显的特征，同时完成多个标记点的跟踪。如罗忠祥等人在2002年《中国图像图形学报》上发表的“基于视频的运动捕获”，要求被跟踪者穿上特制的紧身衣，其各关节点处为不同的色块，通过对色块的跟踪得到二维关节点位置序列。但是采用色块作为标记点，在三维视觉中易发生形变以及在不同的摄像头间存在成像色调的差异，这都将导致跟踪不准确，且当标记点数量增多时，可明显区分的颜色有限。这些问题导致这种方法无法进行实际应用。\n发明内容\n[0009] 为了克服现有技术对装置要求较高、数据处理量大或跟踪不准确的不足，本发明提供一种基于多双目立体视觉的运动捕获方法，在双目视觉实现的双目三维立体跟踪基础上，融合多组双目的三维运动数据，实现多目视觉下的全方位三维立体跟踪，解决多个标记点的三维空间定位、跟踪、轨迹融合等参数获取问题。利用多组双目实现的三维运动跟踪，弥补了普通摄像机在标记点检测、跟踪不准确的缺点，提高了可跟踪标记点的个数，使得其跟踪效果可与采用多红外摄像机采集的三维运动捕获装置相媲美。\n[0010] 本发明解决其技术问题所采用的技术方案包括以下步骤：\n[0011] 步骤一、架设运动视频采集装置，通过运动视频采集装置从不同方位采集人体运动视频序列。\n[0012] 架设运动视频采集装置的步骤为将多台普通摄像机每两台分成一组，一组内的两台摄像机固定在一个平衡杠杆上，作为一个双目视觉子系统，然后将若干个这样的装置围绕场地一周，由此形成多个平行双目视觉系统的运动采集装置。\n[0013] 步骤二、对多个摄像机拍摄的多目运动视频序列的标定。采用张氏标定法，该方法仅需要一块棋盘标定板，操作简单并且标定精度较高，具体步骤如下：\n[0014] Step1：标定各个摄像机的内部参数。\n[0015] Step2：标定各个摄像机的外部参数，即确定它们的相对位置关系，同时确立各个摄像机的公共世界坐标系，以解决因双目子模块坐标系统相互独立所造成的同一标记点三维信息不唯一的问题。在所有摄像机的公共视野区域范围内，拍摄共同的标定图像，然后分别在每个相机下拍摄标定图像。利用采集的标定图像，使用张氏标定法，计算相机的外部参数。\n[0016] 步骤三、完成每一个双目跟踪器的标记点匹配和跟踪，且只考虑在其双目公共视野区域内出现的标记点，其他视野区域的标记点不予考虑。以单目的二维扩展卡尔曼预测跟踪为基础，进行双目的三维扩展卡尔曼预测跟踪，同时利用外极限约束条件和三维立体匹配原则指导标记点的三维匹配。具体步骤如下：\n[0017] Step1：手工建立双目视觉下两组视频图像之间的同步对应关系。\n[0018] Step2：当人体运动趋于稳定后，对已建立对应关系的两组视频，每组视频下标注连续四帧的标记点，初始化双目跟踪器下每个标记点的二维和三维滤波器的位置、速度、加速度；\n[0019] Step3：利用二维卡尔曼滤波器预测每组视频的二维图像中标记点在下一帧的位置、速度和加速度，然后利用三维卡尔曼滤波器预测标记点在三维空间中的下一帧的位置、速度和加速度。\n[0020] Step4：根据上一帧中预测的位置和范围，在二维图像中进行标记点跟踪：在预测范围内搜索，获得二维候选标记点，同时利用外极限约束，获得两组视频下二维标记点的对应关系，并计算对应的三维候选标记点。\n[0021] Step5：根据三维立体匹配原则，从三维候选标记点中找到最佳三维候选标记点，作为当前时刻该标记点三维跟踪结果，并修正该标记点的三维卡尔曼滤波器。\n[0022] Step6：根据三维跟踪结果，找出与其对应的二维候选标记点，即为相应的二维跟踪结果，并修正二维卡尔曼滤波器。返回Step3，直至处理完所有标记点。\n[0023] Step7：在双目跟踪器处理完所有标记点后，检测二维图像中新出现的标记点。将双目下两幅二维图像中新出现的所有二维标记点进行组合，获得当前时刻所有可能新出现的三维标记点。\n[0024] Step8：将双目跟踪器所有可能新出现的三维标记点，以及已有所有标记点的三维跟踪轨迹提交多目融合器。\n[0025] 步骤四、完成多个双目跟踪器的三维跟踪结果的数据融合。以双目跟踪数据为基础，利用时空约束关系和欧式距离原则完成多目下标记点的轨迹数据融合，实现人体所有标记点的三维卡尔曼跟踪，获得最终三维运动参数。具体步骤如下：\n[0026] Step1：初始化人体所有标记点的三维轨迹集合。\n[0027] Step2：对每个双目跟踪器正确跟踪的标记点，根据其所在的关节位置标识状态将其轨迹添加到三维轨迹集合中相应的轨迹集中。\n[0028] Step3：对于各双目跟踪器中的新标记点，将其与三维轨迹集合中非空轨迹集的标记点相比，若找到其对应的标记点轨迹，确定其位置标识，转Step5，否则转Step4。\n[0029] Step4：将新标记点的轨迹与三维轨迹集合中空轨迹集标记点的上一帧卡尔曼预测相比，若找到其对应的标记点轨迹，确定其位置标识，并修改其对应标记点的轨迹集，即进行卡尔曼修正和预测，否则转Step7。\n[0030] Step5：对于当前时刻，三维轨迹集合中轨迹集为空的标记点，将其卡尔曼预测的轨迹添加到当前时刻的轨迹集中，并进行相应修正。\n[0031] Step6：对当前时刻，非空的三维轨迹集合中的所有标记点位置的轨迹集，根据标记点的时空约束关系(即每个标记点的三维位置和速度等信息在各双目下是相同的)取其平均值来消除轨迹差异，确定每个标记点最终三维运动轨迹。\n[0032] Step7：处理异常情况：若双目跟踪器新出现的标记点，融合器无法确定其位置标识，则丢弃此标记点，放弃对其的跟踪。\n[0033] 步骤五、将多目融合器获得的标记点三维运动轨迹信息反馈给双目跟踪器，用来完善双目跟踪。具体步骤如下：\n[0034] Step1：对双目跟踪器中出现遮挡现象的标记点，根据多目融合器反馈的三维跟踪结果，修正双目跟踪器中该标记点的三维卡尔曼滤波器和二维卡尔曼滤波器。\n[0035] Step2：对双目跟踪器中出现的新标记点，根据多目融合器的反馈的新出现的三维标记点及其位置标识，获得其对应的二维标记点坐标，将其二维和三维运动信息添加到双目跟踪器中。若该点连续出现四帧以上，则初始化该点的三维卡尔曼滤波器和二维卡尔曼滤波器。然后，跳转步骤三的Step3，直至完成所有视频中的标记点跟踪。\n[0036] 本发明的有益效果是：本发明采用普通摄像机，降低了系统的成本，并且通过多双目冗余拍摄，弥补普通摄像机在图像获取方面的缺点，可以实现对人体运动的全方位拍摄采集，可以准确、可靠地实现至少二十个人体标记点的运动采集。本发明采用了多目分组的的设计，可以降低由于多个相机在标定、标记点提取等过程中的误差，而引起的跟踪过程的累计误差带来的跟踪不确定性，从而较好地解决了多目跟踪人体运动的误差，提高人体运动捕获的精度。本发明采用了基于双目的多目三维跟踪，与完全采用多目的三维跟踪相比，所需要的数据量少，计算速度快，算法性能和跟踪速度有明显提高。本发明采用了二维和三维卡尔曼滤波器相结合的跟踪方法，很好地解决了在缺少图像特征的情况下，准确匹配跟踪多个标记点的问题，实现了同时对多个标记点(二十个以上)的三维跟踪，采集后的视频资料可重复使用，应用于影视制作，游戏开发，可大大节约资金投入，采集时间短，后期制作可与应用方联合，减少应用方后期的后期开发投入，总体经济效益可观。该装置可以广泛应用于影视制作，游戏开发，MV与电视广告的制作，生物力学分析，虚拟现实与增广现实系统，机器人控制，体育运动分析等多种领域。\n[0037] 下面结合附图和实施例对本发明进一步说明。\n附图说明\n[0038] 图1是本发明的流程图。\n[0039] 图2是本发明实施例所示架设多双目摄像机位置示意图。\n具体实施方式\n[0040] 方法实施例：\n[0041] 步骤一、用单色布料围上一块6m×6m的场地；8到16台普通摄像机两两一组固定在一个平衡杠杆上，然后围绕场地四周，摄像机具有外同步；表演者着纯色服装，并在主要关节贴满20个标记点，开始拍摄。\n[0042] 步骤二、标定器标定多个相机：在各个相机的视野区域内，分别采集标定板在不同方向上的8幅图片，利用张氏标定法标定各个相机的内参；之后在所有相机的公共视野区域内，采集1幅图片，利用张氏标定法标定各个相机的外参，统一世界坐标系。\n[0043] 步骤三、每个双目跟踪器分别跟踪其视野区域范围内的标记点：手工提取双目视频前四帧的标记点，确立其对应关系，同时初始化二维及三维kalman；然后利用kalman预测标记点在下一帧中的二维及三维位置信息，并在当前二维预测区域内寻找标记点的对应点，利用外极限约束确立其匹配关系从而获得三维对应点；最后利用三维跟踪结果优化二维跟踪，并修正二维及三维kalman。\n[0044] 步骤四、多目融合器融合多个双目的结果：利用双目中正确跟踪的标记点的三维信息初始化其对应轨迹集合；然后将双目中的新标记点与非空轨迹集合中的标记点比较，若找不到对应点，则与空轨迹集合中的标记点的预测比较，如果仍找不到对应点，则丢弃此点；其次利用kalman对那些轨迹集合为空的标记点进行三维预测，利用预测信息代替测量信息；最后分别对全部轨迹集合取平均值，获得标记点的三维信息。\n[0045] 步骤五、双目修正器根据多目融合器的反馈结果校正双目跟踪器，指导其后续跟踪。