利用快速人脸检测对新闻被采访者进行脸部遮挡的方法

1.一种利用快速人脸检测对新闻被采访者进行脸部遮挡的方法，包括步 骤：
a)检测人脸的位置和大小；
b)利用肤色信息进行验证和补偿；
c)利用人脸肤色直方图进行人脸跟踪；
d)利用人脸的位置、区域和肤色信息进行轮廓提取和模糊处理。
2.如权利要求1所述的方法，其特征在于所述检测人脸的位置和大小包 括步骤：
a)对图像做不同分辨率的变换，形成多个尺度下的图像表示；
b)根据人脸面部器官的水平走向提取相应的水平边缘特征；
c)计算水平边缘的重心，并依据人脸对应的重心分布模式进行人脸 粗检；
d)利用灰度分布和投影信息以及边缘分布信息进行人脸细检。
3.如权利要求1所述的方法，其特征在于所述利用肤色信息进行验证和 补偿包括步骤：
a)如果有人脸被检测到，在检测到的人脸区域内进行色调信息的提 取，检查是否是肤色，如果符合肤色信息要求的特征，则验证该区域为 人脸区域；
b)如果没有检测到人脸，则在整个图像区域进行肤色区域检测，所 有被检测出的附和肤色性质的区域都被补偿确定为人脸区域。
4.如权利要求1所述的方法，其特征在于所述利用人脸肤色直方图进行 人脸跟踪包括步骤：
a)如果有人脸被检测到，在检测到的人脸区域内进行环状和带状的 色调信息直方图统计；
b)在下一帧图像对应已检测到的人脸区域的相邻域内，进行环状和 带状的色调信息直方图统计，并与已记录到的人脸色调信息直方图进行 比对，如果类似，则确定提取环状和带状的色调信息直方图的区域为人 脸被跟踪到的位置和区域。
5.如权利要求1所述的方法，其特征在于所述利用人脸的位置、区域和 肤色信息进行轮廓提取和模糊处理包括步骤：
a)如果有人脸被检测到，在检测到的人脸区域内进行肤色区域的二 值化域合并处理，区域边界形成人脸的自然轮廓，对轮廓内的人脸区域 进行模糊处理以实现自动遮挡；
b)如果没有人脸被检测到，则对所有被检测出的肤色区域进行模糊 处理以实现对可能漏检的人脸的遮挡。

技术领域\n本发明涉及图像处理，特别涉及利用快速人脸检测对新闻被采 访者进行脸部自动遮挡的方法。\n背景技术\n在新闻采访时，为了保护被采访者的隐私权等，有时需要把被采访者 的脸部图像进行遮挡处理(或图像模糊处理)。一般的做法是在人脸位置 的设定一个区域，该区域内的图像按照一定的块大小求取均值，达到模糊 的效果。然而，由于人脸是活动的，所以要不停地手工拖动模糊窗口区域， 工作量大，而且有时由于窗口覆盖不准确而暴露了隐私，达不到理想的模 糊效果，或者模糊的区域过大影响画面的质量。\n发明内容\n本发明的目的是提供一种利用人脸图像检测和跟踪技术准确地检测出 人脸图像的轮廓，然后在轮廓的区域内进行模糊处理的方法。\n为实现上述目的，利用快速人脸检测对新闻被采访者进行脸部遮挡的 方法包括步骤：\na)检测人脸的位置和大小；\nb)利用肤色信息进行验证和补偿；\nc)利用人脸肤色直方图进行人脸跟踪；\nd)利用人脸的位置、区域和肤色信息进行轮廓提取和模糊处理。\n本发明的自动的人脸检测和遮挡技术，不用肤色信息可以达到88％的 正确检测率。如果结合肤色信息，人脸几乎可以全部被覆盖。因此，本发 明可以相当大地减轻工作强度，提高工作效率。\n附图说明\n图1是人脸图像检测方法框图；\n图2是人脸图像预处理框图；\n图3是人脸原图像；\n图4是人脸的Mosaic图像；\n图5是提取Mosaic图像水平边缘图；\n图6是求取Mosiac图像的边缘的重心图；\n图7是四类人脸重心模板；\n图8是人脸重心模板匹配图；\n图9是灰度特征检查图；\n图10是边特征检查图；\n图11是YUV色彩空间中的灰度信号适量图；\n图12是基于肤色模型的彩色图像分割，其中，图(a)，(c)是含人 脸的彩色视频图像，(b)，(d)是肤色区域域轮廓的检测。\n图13是用于跟踪平移和旋转人脸的肤色直方图统计的环状和带状区 域；\n图14是用于跟踪的人脸邻域；\n图15是本发明的流程图。\n具体实施方式\n如图1所示，人脸检测的整个框架包括4部分：预处理、重心模板匹 配、灰度检查和边缘检查。输入一帧图像，当在一个规定的最大尺度下完 成上述4步后，该尺度对应的人脸应该可以被检测出来，输出是人脸的位 置和区域大小。然后进入循环，每一循环检测的尺度都依次缩小，直到到 达最小检测尺度为止。\n预处理如图2所示，包括生成Mosaic图像，提取Mosaic边和计算Mosaic 重心三部分。\n参见图3的示例图像，预处理首先将当前帧图像转变成一定尺度下的 Mosiac图像(图4)，然后在Mosaic图像上提取水平边缘(图5)，最后计算 这些水平边缘的重心(图6)。\n提取Mosaic横边的操作用于提取人脸上的器官的位置。这些器官包括 双眉、双眼、鼻和嘴，它们都有一个共性，当所观察的人脸保持正直(在图 像平面内的旋转角度在-5°～+5°之间)时，上述六个器官成水平平行分 布，在水平方向上长度不等，但在竖直方向上宽度近似。这一特性为我们 提取这六个器官的位置特征提供了便利。而且，即便正视人脸在水平面内 有一定旋转角度(-45°～+45°)，在垂直平面内有一定仰/俯视旋转角度 (-30°～+30°)，这一特性仍保持不变。\n参看图4所示的Mosaic图，上述六个器官落入的Mosaic单元的灰度 值比较明显地低于四周单元的灰度值。如果用一种适合于提取这种特征的 边缘检测器，就能用边缘表示的方法方便的定位这六个器官。这样的一个 检测器就是拉普拉斯边缘检测算子。一个用于检测水平边缘的拉普拉斯算 子当前Mosaic单元mosaic_image[i，j]及其上下相邻单元mosaic_image[i-1， j]、mosaic_image[i+1，j]的运算定义为：\nL(i，j)＝1×mosaic_image[i-1，j]\n         -2×mosaic_image[i，j]\n         +1×mosaic_image[i+1，j]，\n则边缘检测的结果是：\n$\mathrm{mosaic}\_\mathrm{edge}\_\mathrm{imag}[\stackrel{·}{a},j]=\left\{\begin{array}{ccc}1& \mathrm{if}& L(i,j-1)\ge \mathrm{T\; and\; L}(i,j)\ge \mathrm{T\; and\; L}(i,j+1)\ge T\\ 0& \mathrm{else}& \end{array}\right.$\n这里T为一个边阈值，例如，可取T＝10×Mosaic单元边长×Mosaic单元边 长。所提取出的Mosaic边缘如图5中的由方格排成的线段所示，其中一个 方格表示一个边缘单位。可以看到，有这样一些Mosaic线段，他们对应的 是人脸上的器官。\n由于一副图像上有多少个人脸，各个人脸大小尺寸进而人脸上的器官 的尺寸都是未知的，所以对于原图像往往要生成多个不同单元尺度的 Mosaic图以利于分别提取出大小不同的人脸的器官。而且，显而易见的是， 在一般情况下，Mosaic单元的尺度越接近于人脸器官的竖直方向上的平均 尺度(即宽度)，提取的效果越好。\n为了进一步简化特征，求取每个Mosaic边缘线段的重心作为这些线 段的代表。如果这样的Mosaic线段对应的是人脸上的器官的话，则这些 重心点也就代表了这些器官的位置(如图6)。\n根据所提重心特点，如图7所示，可设计四类人脸重心模板：第一类 人脸模板上的六个重心点对应于人脸的双眉、双眼、鼻和嘴；第二类人脸 模板上有五个重心点，缺少一个对应于人脸鼻的重心点；第三类人脸模板 上也只有五个重心点，缺少一个对应于人脸眉或眼的重心点；第四类人脸 模板只有四个重心点对应于人脸的双眼、鼻和嘴。\n所设计的人脸模板是一种动态可伸缩的人脸模板，其宽W和高H有 一定的伸缩范围，在本实验中，W设定为6～14个Mosaic单元，H设定为 7～23个单元；高宽比范围为3/4～5/3。模板内重心点之间的相对位置由 dx1～dx4、dy1～dy4共8个参数约束。\n由此可在Mosaic重心图上用人脸重心模板搜索和匹配人脸。如图8 所示，具体方法是扫描图上的每一个重心点，对右下方一块矩形区域进行 试探性的其他重心点的搜索并将它们与人脸重心模板上的重心点匹配以确 定是否存在人脸。人脸重心模板上的重心反映了人脸各器官的在二维平面 内的相对位置，是一种非固定的动态的长宽可伸缩的矩形模板。根据图像上 所提取的重心用动态重心模板试探性的匹配，这一方法解决了在复杂图像 上定位大小未知的人脸的问题。\n如图9所示，在这一步系统面向Mosaic图像，利用人脸的灰度特征识 别人脸的真假。将候选人脸区域按提取的重心点所对应器官分布划分为1~9 这九个子区域，分别对应于1：左眼/眉区、2：右眼/眉区、3：鼻区、4： 嘴区、5：鼻上区、6、8：左颊区、7、9：右颊区。各区的平均灰度的分 布有这样一些规律：1、2、3、4区的平均灰度高于其他区的平均灰度；1、 2、4区的平均灰度值相近。\n此外人脸的灰度在水平和垂直方向上的投影亦有规律。令整个脸区域 向水平方向上投影，令1-5-2上脸区域、6-3-7中脸区域、8-4-9下脸区域 分别向垂直水平方向上投影。可以看出，向水平方向上投影有3-4处极小 值，分别对应于眉、眼、鼻及嘴部的投影；上、中、下脸向垂直方向上的 投影有极大值和极小值，分别对应于鼻上眉间区、鼻及嘴部的投影。\n如图10所示，对经过灰度特征检查的候选人脸区域仍作类似上一步的 9区域划分。对人脸区域做像素级别的边缘提取并统计每个子区域内的横 向和纵向像素点的数目，记第i个子区域内横向像素点的数目为Ei，系统 将要测试如下不等式是否满足：\n$\begin{array}{c}\frac{E1}{E2},\frac{E2}{E1}>b0\\ \frac{E5}{E1+E5},\frac{E5}{E5+E2}<b1\\ \frac{E6}{E6+E3},\frac{E7}{E3+E7}<b2\\ \frac{E8}{E8+E4},\frac{E9}{E4+E9}<b3\end{array}$\n上式反映了人脸边缘特征的这样一些统计规律：左右眼/眉区的横向像 素点数目近似相等；鼻上左右眼/眉间隔区相对于左右眼/眉区、左右面颊 上半区相对于鼻区、左右面颊下半区相对于嘴区，它们的比值各小于一个 临界值。\n参见图15，本发明涉及的肤色信息处理技术包括人脸的肤色验证、检 测、人脸轮廓提取、直方图统计和跟踪匹配。\n彩色电视的信号传递中，通常采用YUV空间来描述彩色信息。Y表示彩 色的亮度。RGB空间到YUV空间的转换用矩阵表示如下：\n$\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.147& -0.289& 0.436\\ 0.615& -0.515& -0.100\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$\n图11是YUV色彩空间中的色度信号矢量图。U和V是平面上的两个相 互正交的矢量，色度信号(即U与V之和)是一个二维矢量，称之为色度 信号矢量。每一种颜色对应一个色度信号矢量，它的饱和度由模值Ch表 示，色调由相位角θ表示。\n$\mathrm{Ch}=\sqrt{{\left|U\right|}^2+{\left|V\right|}^2}$\nθ＝tan-1(|V|/|U|)\n白色和黑色都由原点(0，0)表示，模值等于0，为任意相位角。\n一般的，在YUV空间的UV平面上，人脸肤色的色调介于红与黄之间。 根据对大量人脸图像的彩色分析，可以确定人脸肤色的色调θ的变化范围 [θmin，θmax]。这样，采用YUV空间的相位角θ确定人脸肤色在色度信息上的 分布范围。即彩色图像的象素p由RGB空间变换到YUV空间，如果满足条 件：θp∈[θmin，θmax]，则p是肤色点。\n首先，将原图像中每点的象素值由(R，G，B)转换为对应的色调值，得到 色调图像；然后，按照色调范围阈值化色调图像，得到粗略的包含人脸侯 选区和背景的二值分割图，其中，白色代表人脸候选区，黑色代表背景， 对二值分割图进行平滑处理；最后，通过一个区域合并与标号的算法，可 以计算求出二值分割图中有多少个白色连通区域，以及每个白色连通区域 的位置、面积，从而得到了肤色区域，作为人脸侯选区域。图12是对彩 色图像采用基于肤色分割处理的两个实例。(b)和(d)分别是(a)和(c)的分割 结果，图中的白色矩形表示的是人脸候选区，“+”是人脸候选区的中心。 如果在图像上已找到人脸，并且人脸的区域属于肤色所覆盖的区域，则在 对该位置的肤色区域进行模糊处理；如果没有检测出人脸，则对所有的肤 色区域进行模糊处理。通过这两种策略，来实现被采访者的面部遮挡。\n对检测到的人脸肤色区域划分成如图13的环状和带状子区域，分别对 这些子区域上的图像彩色信息做色调信息的直方图。这两种直方图可以用 来跟踪平移、旋转的人脸。跟踪匹配的原理如图14所示：利用上一帧已 检测到的人脸位置，在下一帧图像中该位置的一个邻域里进行如图13的 直方图统计，如果在某一位置处的直方图与已统计到的人脸色调信息的直 方图类似，那么就判定该位置为人脸变化以后新位置。以此来实现人脸的 跟踪。