一种实时调节视频图像中人脸显示比例的方法及装置

1.一种实时调节视频窗口中人脸显示比例的方法，所述方法包括如下步骤：
实时获取用户相对摄像单元的距离；
根据所述距离和预先设定规格的人脸定位框，确定人脸匹配窗口，其中，预先设定规格属性为W*H的人脸定位框，根据下述公式(1)计算人脸匹配窗口，
其中，Kw表示人脸匹配窗口人脸像素长度，Kh表示人脸匹配窗口人脸像素宽度，W表示预设的人脸定位框的长度，H表示预设的人脸定位框的宽度,Z表示用户相对摄像单元的距离，f表示摄像头的焦距；
通过所述人脸匹配窗口在视频图像中进行人脸定位；
将所述定位后的人脸图像进行缩放输出到视频窗口。
2.根据权利要求1所述的实时调节视频窗口中人脸显示比例的方法，其特征在于，所述实时获取用户相对摄像单元的距离的步骤进一步包括：通过用户附属标识物，采用单目视觉或双目视觉的红外摄像装置测量附属标识物的属性信息，通过计算得到用户相对摄像单元的距离；或者，采用多普勒扫描测量距离的方法，或者采用可见光摄像装置，或者采用深度摄像装置，得到用户相对摄像单元的距离。
3.根据权利要求2所述的实时调节视频窗口中人脸显示比例的方法，其特征在于，所述用户附属标识物包括具有红外反射涂层的物品，所述物品能够被红外摄像装置识别。
4.根据权利要求2所述的实时调节视频窗口中人脸显示比例的方法，其特征在于，通过附属标识物获取用户相对摄像单元的距离时，用户手持或配带所述附属标识物。
5.根据权利要求2至4之一所述的实时调节视频窗口中人脸显示比例的方法，其特征在于，采用双目视觉的红外摄像装置测量用户附属标识物的属性信息，根据双目视觉系统获取的两幅图像的视差，由下述公式(2)计算用户相对摄像单元的距离，
Z＝f*b/Δx       (2)
其中，Z表示用户相对摄像单元的距离，f表示摄像机的焦距，b表示基线距离，Δx表示视差。
6.根据权利要求2至4之一所述的实时调节视频窗口中人脸显示比例的方法，其特征在于，采用单目视觉的红外摄像装置测量所述附属标识物的属性信息，根据所述附属标识物的面积，由下述公式(3)估算用户相对摄像单元的距离，
Z＝f*S/P       (3)
其中，Z表示用户相对摄像单元的距离，S表示所述附属标识物的面积，f表示摄像机的焦距，P表示摄像机像面上获得的像素个数。
7.根据权利要求1所述的实时调节视频窗口中人脸显示比例的方法，其特征在于，通过所述人脸匹配窗口在视频图像中进行人脸定位的步骤包括，利用人脸识别技术在视频图像中进行人脸图像搜索，并对搜索到的人脸图像的中心位置信息进行提取。
8.一种实时调节视频窗口中人脸显示比例的装置，其特征在于，所述装置包括信息获取模块、人脸匹配窗口确定模块、人脸匹配识别模块和人脸比例调整模块，其中，所述信息获取模块用于实时获取用户相对摄像单元的距离；
所述人脸匹配窗口确定模块用于根据所述距离信息和和预先设定规格的人脸定位框，确定人脸匹配窗口，其中，预先设定规格属性为W*H的人脸定位框，根据公式(1)计算人脸匹配窗口，
其中，Kw表示人脸匹配窗口人脸像素长度，Kh表示人脸匹配窗口人脸像素宽度，W表示预设的人脸定位框的长度，H表示预设的人脸定位框的宽度,Z表示用户相对摄像单元的距离，f表示摄像头的焦距；
所述人脸匹配识别模块用于通过确定的人脸匹配窗口在视频图像中进行人脸定位；
所述人脸比例调整模块用于将所述定位后的人脸图像进行缩放输出到视频窗口。
9.根据权利要求8所述的实时调节视频窗口中人脸显示比例的装置，其特征在于，所述信息获取模块通过用户附属标识物，采用单目视觉或双目视觉的红外摄像装置测量附属标识物的属性信息，通过计算得到用户相对摄像单元的距离；或者，采用多普勒扫描测量距离的方法，或者采用可见光摄像装置，或者采用深度摄像装置，得到用户相对摄像单元的距离。

一种实时调节视频图像中人脸显示比例的方法及装置\n技术领域\n[0001] 本发明涉及图像处理技术领域，特别是图像处理中人脸识别技术，尤其涉及一种实时调节视频图像中人脸显示比例的方法及装置。\n背景技术\n[0002] 视频图像中人脸识别通常是基于知识或者统计的方法对人脸进行建模，比较所有可能的待检测区域与人脸模型的匹配度，从中得到可能存在的人脸区域。现有技术中人脸识别通常是基于特征的人脸识别方法和基于图像的人脸识别方法。\n[0003] 基于特征的人脸识别方法主要分为底层特征分析方法（灰度特征、人脸轮廓特征、器官特征等）、组群特征分析方法以及变形模型分析方法等。该种人脸识别方法直观、容易被人们接受及采用，具有灵活的操作性；但该种方法要想找到一个适用于所有情况的显示特征十分困难，因为利用图像中低层次的特征（如点、线等），容易受到光照和噪声等的影响，在复杂场景下可能存在大量与人脸区域特征相似的低层次特征，人脸捕捉难度大，容易出现漏检或误检。此外，当实时视频图像中的人处在较远的位置时，视频窗口中未经处理的图像特别小，这种情况下，采用未知大小的匹配窗口多次尝试，从中找到与视频图像中人脸匹配的定位窗口进行人脸定位，记算量大，匹配效率低。\n[0004] 基于图像的人脸识别方法把人脸检测问题视为一个广义的模式识别的问题，通过训练过程把样本分为人脸和非人脸两种，主要分为线性子空间方法、神经网络法和其他统计方法（支持向量机(SVM)方法、AdaBoost方法等）。该种方法不需要提取具体的人脸特征，只需从大量典型的样本数据中获得统计特征，能够较好地反映人脸图像和非人脸图像之间的差别，因此鲁棒性强，即使在复杂背景场景中也有较高的准确性。但是该种方法需要对所有可能检测的窗口进行穷举检索，计算复杂性高；为了达到较高的准确性，需要大量的时间和经历搜集人脸样本和非人脸样本。\n发明内容\n[0005] 本发明的目的在于克服现有技术的缺陷和不足，提供一种实时调节视频窗口中人脸显示比例的方法及装置，解决了当视频图像中的人处在较远的位置时，在看不清人脸的情况下，容易出现漏检或误检的问题，及基于图像的人脸识别方法计算复杂度高、效率低的问题。\n[0006] 为达到上述目的，本发明是通过以下技术方案来实现的：\n[0007] 一种实时调节视频窗口中人脸显示比例的方法，所述方法包括如下步骤：\n[0008] 实时获取用户相对摄像单元的距离；\n[0009] 根据所述距离确定人脸匹配窗口；\n[0010] 通过所述人脸匹配窗口在视频图像中进行人脸定位；\n[0011] 将所述定位后的人脸图像进行缩放输出到视频窗口。\n[0012] 所述实时获取用户相对摄像单元的距离的步骤进一步包括：通过用户附属标识物，采用单目视觉或双目视觉的红外摄像装置测量附属标识物的属性信息，通过计算得到用户相对摄像单元的距离；或者，采用多普勒扫描测量距离的方法，或者采用可见光摄像装置，或者采用深度摄像装置，得到用户相对摄像单元的距离。\n[0013] 所述用户附属标识物包括具有红外反射涂层的物品，所述物品能够被红外摄像装置识别。\n[0014] 通过附属标识物获取用户相对摄像单元的距离时，用户手持或配带所述附属标识物。\n[0015] 采用双目视觉的红外摄像装置测量用户附属标识物的属性信息，根据双目视觉系统获取的两幅图像的视差，由下述公式（1）计算用户相对摄像单元的距离，[0016] Z＝f*b/Δx                        （1）\n[0017] 其中，Z表示用户相对摄像单元的距离，f表示摄像机的焦距，b表示基线距离，Δx表示视差。\n[0018] 采用单目视觉的红外摄像装置测量所述附属标识物的属性信息，根据所述附属标识物的面积，由下述公式（2）估算用户相对摄像单元的距离，\n[0019] Z＝f*S/P            (2)\n[0020] 其中，Z表示用户相对摄像单元的距离，S表示所述附属标识物的面积，f表示摄像机的焦距，P表示摄像机像面上获得的像素个数。\n[0021] 根据所述用户相对摄像单元的距离确定人脸匹配窗口的步骤包括，预先设定规格属性为W*H的人脸定位框，根据下述公式（3）计算人脸匹配窗口，\n[0022] （3）\n[0023]\n[0024] 其中，Kw表示人脸匹配窗口人脸像素长度，Kh表示人脸匹配窗口人脸像素宽度，W表示预设的人脸定位框的长度，H表示预设的人脸定位框的宽度。\n[0025] 通过所述人脸匹配窗口在视频图像中进行人脸定位的步骤包括，利用人脸识别技术在视频图像中进行人脸图像搜索，并对搜索到的人脸图像的中心位置信息进行提取。\n[0026] 本发明还公开一种实时调节视频窗口中人脸显示比例的装置，所述装置包括信息获取模块、人脸匹配窗口确定模块、人脸匹配识别模块和人脸比例调整模块，其中，[0027] 所述信息获取模块用于实时获取用户相对摄像单元的距离；\n[0028] 所述人脸匹配窗口确定模块用于根据所述距离信息确定人脸匹配窗口；\n[0029] 所述人脸匹配识别模块用于通过确定的人脸匹配窗口在视频图像中进行人脸定位；\n[0030] 所述人脸比例调整模块用于将所述定位后的人脸图像进行缩放输出到视频窗口。\n[0031] 所述信息获取模块通过用户附属标识物，采用单目视觉或双目视觉的红外摄像装置测量附属标识物的属性信息，通过计算得到用户相对摄像单元的距离；或者，采用多普勒扫描测量距离的方法，或者采用可见光摄像装置，或者采用深度摄像装置，得到用户相对摄像单元的距离。\n[0032] 本发明的技术方案，通过实时测得的用户相对摄像单元的距离信息调整人脸匹配窗口，并根据确定的人脸匹配窗口在视频图像中进行人脸定位，当视频窗口中显示的人脸较小时，截取并跟踪定位后的人脸，通过插值算法将所述定位后的人脸图像进行缩放输出到视频窗口。该方法能够根据用户与摄像单元的距离自动调整人脸匹配窗口的大小，在快速、准确进行人脸定位时，提高了效率。\n附图说明\n[0033] 图1为本发明具体实施方式提供的实时调节视频窗口中人脸显示比例的方法流程图；\n[0034] 图2为本发明具体实施方式提供的实时调节视频窗口中人脸显示比例的装置结构框图；\n[0035] 图3为本发明具体实施方式提供的调节人脸显示比例后的显示效果图。\n具体实施方式\n[0036] 下面结合附图和实施例对本发明作进一步说明。\n[0037] 图1为本发明具体实施方式提供的实时调节视频窗口中人脸显示比例的方法流程图。如图1所示，该方法包括如下步骤：\n[0038] S1：实时获取用户相对摄像单元的距离；\n[0039] 其中，实时获取用户相对摄像单元的距离的步骤包括：通过用户附属标识物，采用单目视觉或双目视觉的红外摄像装置测量附属标识物的属性信息，通过计算得到用户相对摄像单元的距离；或者，采用多普勒扫描测量距离的方法，或者采用可见光摄像装置，或者采用深度摄像装置，得到用户相对摄像单元的距离。\n[0040] 所述用户附属标识物包括具有红外反射涂层的物品，所述物品能够被摄像机识别。所述附属标识物可以为形状规则的物品，如球状等。本发明实施例中，所述用户附属标识物具有红外光反射涂层，通过双目视觉或单目视觉红外摄像装置发出红外光，经所述附属标识物的红外反射涂层反射后，所述红外摄像装置捕捉所述附属标识物的属性信息，通过计算获取用户相对摄像单元的距离。在进行用户相对摄像单元的距离测量时，用户可以手持所述附属标识物或者将所述附属标识物配带于身体的某个部位，总之，保证所述附属标识物与用户同时处于摄像机所能拍摄到的范围内，并且所述附属标识物不能被遮挡。\n[0041] 本发明实施例中，通过用户附属标识物获取用户相对摄像单元的距离的一种方法：采用双目视觉的红外摄像装置测量用户附属标识物的属性信息，根据双目视觉系统获取的两幅图像的视差，由下述公式（1）计算用户相对摄像单元的距离，\n[0042] Z＝f*b/Δx                （1）\n[0043] 其中，Z表示用户相对摄像单元的距离，f表示摄像机的焦距，b表示基线距离，Δx表示视差。\n[0044] 双目视觉测量时，两摄像机获得附属标识物的三维信息后，通过畸变校正、平行校正、匹配等算法，确定用户相对摄像单元的距离。在从图像中检测出附属标识物的位置后，对两个摄像机拍摄的两幅图像中的特征进行匹配。匹配的三个基本步骤：\n[0045] 1）从立体图像中的一幅图像上选择与实际物理结构相应的图像特征；\n[0046] 2）在另一幅图像中确定出同一物理结构的对应图像特征；\n[0047] 3）确定这两个特征之间的相对位置，得到视差。\n[0048] 在成像的过程中，由于噪声、阴影、透视效果等因素的影响，像对中对应特征的表像存在着差异，所以为了实现可靠匹配，找出唯一的对应关系，利用各种条件消除不确定性，以达到局部的或全局的匹配唯一性。\n[0049] 本发明实施例中，通过用户附属标识物获取用户相对摄像单元的距离的另一种方法：采用单目视觉的红外摄像装置测量所述附属标识物的属性信息，根据所述附属标识物的面积，由下述公式（2）估算用户相对摄像单元的距离，\n[0050] Z＝f*S/P               (2)\n[0051] 其中，Z表示用户相对摄像单元的距离，S表示所述附属标识物的面积，f表示摄像机的焦距，P表示摄像机像面上获得的像素个数。\n[0052] 其中，所述附属标识物选择形状规则的物品，如具有红外反射涂层的球状物等。由于对摄像机像面中像素的个数P进行的是粗略的估算，所以通过该方法得到用户相对摄像单元的距离Z为一个估算值。\n[0053] S2：根据所述距离确定人脸匹配窗口；\n[0054] 根据得到的用户相对摄像单元的距离（直接测量得到或者间接求得的（用户相对摄像单元的距离Z(单位：cm)）及摄像头的焦距f(单位：像素)，预先设定采用规格属性为W*H(单位:cm)的定位框包围人脸，根据下述公式（3）计算人脸匹配窗口，\n[0055] （3）\n[0056]\n[0057] 其中，Kw表示人脸匹配窗口人脸像素长度（单位：像素），Kh表示人脸匹配窗口人脸像素宽度（单位：像素），W表示预设的定位框的长度（单位：cm），H表示预设的定位框的宽度（单位：cm）。\n[0058] S3：通过所述人脸匹配窗口在视频图像中进行人脸定位；\n[0059] 通过所述人脸匹配窗口在视频图像中进行人脸定位的步骤包括，利用人脸识别技术在视频图像中进行人脸图像搜索，并对搜索到的人脸图像的中心位置信息进行提取。所述人脸识别技术可以为基于特征的人脸识别方法或基于图像的人脸识别方法。\n[0060] S4：将所述定位后的人脸图像进行缩放输出到视频窗。\n[0061] 该步骤主要应用于当视频图像中的人处在较远的位置时，视频窗口中显示的人脸较小时（如只有视频窗口的十分之一），根据定位后的人脸确定的中心位置，裁剪出以人脸中心位置为中心的特定窗口范围内的像素，通过插值算法将所述特定窗口范围内的人脸像素进行缩放输出到视频窗口。所述特定窗口范围根据确定的人脸匹配窗口适当扩大像素获得。\n[0062] 设人脸像素匹配窗口定位后确定的人脸中心位置为C＝(xc,yc），所述人脸中心位置可以通过hu矩方法得到。根据确定的人脸的中心位置C＝(xc,yc），裁剪出以C为中心的特定窗口Wf*Hf范围内的像素，所述特定窗口Wf*Hf根据确定的人脸定位窗口进行了适当扩大，此处所述特定窗口范围可以根据实际需要进行选择。将所述裁剪出的特定窗口像素范围保存为图片格式，采用适当的图像放大插值算法，将裁减后的图片插值到视频窗口大小进行显示。为了保证图像变换后的质量及变换速度，所述插值算法可以采用近邻取样插值、二次线性插值、三次卷积插值、三次线性插值和MipMap链等方法。\n[0063] 相应的，本发明还提供一种实时调节视频窗口中人脸显示比例的的装置。图2为本发明具体实施方式提供的实时调节视频窗口中人脸显示比例的的装置结构框图。如图2所示，所述装置包括信息获取模块201、人脸匹配窗口确定模块202、人脸匹配识别模块203和人脸比例调整模块204，其中，所述信息获取模块201用于实时获取用户相对摄像单元的距离；所述人脸匹配窗口确定模块202用于根据所述用户相对摄像单元的距离确定人脸匹配窗口；所述人脸匹配识别模块203用于通过确定的人脸匹配窗口在视频图像中进行人脸定位；所述人脸比例调整模块204主要应用于当视频图像中的人处在较远的位置时，视频窗口中显示的人脸较小时，根据定位后的人脸的中心位置，裁剪出以人脸中心位置为中心的特定窗口范围内的像素，通过插值放大算法将人脸图像调整到视频窗口大小。\n[0064] 图3为本发明具体实施方式提供的调整人脸显示比例后的显示效果图。如图3所示，（a）为实时视频图像窗口中未经过人脸显示比例调整的人脸图像，人脸较小，影响用户体验效果（；b）为实时视频图像窗口中显示的经过人脸显示比例调整的人脸图像，人脸在视频窗口的以合适的比例进行显示，提高了用户体验效果。\n[0065] 采用本发明的技术方案，通过实时测得的用户相对摄像单元的距离信息调整人脸匹配窗口，并根据确定的人脸匹配窗口在视频图像中进行人脸定位，当视频窗口中显示的人脸较小时，截取并跟踪定位后的人脸，通过插值算法将所述定位后的人脸图像进行缩放输出到视频窗口。该方法能够根据用户与摄像单元的距离自动调整人脸匹配窗口的大小，在快速、准确进行人脸定位时，提高了效率。\n[0066] 上述仅为本发明的较佳实施例及所运用技术原理，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。