人脸识别系统中的人脸特征点定位方法

1. 人脸识别系统中的人脸特征点定位方法，利用图像梯度方向 信息的统计模型，通过统计推理的方法确定人脸特征点，包括以下步 骤：
(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候 选的人脸特征点；
(2)提取步骤(1)中人脸特征点的特征向量；
(3)利用一个考虑人脸特征点的特征及相对关系的隐马可夫统计 模型或条件随机场统计模型，采用统计推理的方法，标注人脸特征点， 从而确定需要的人脸特征点的位置；
其特征在于：
所述步骤(1)中，定义人脸特征点包括以下步骤：
①对输入图象，计算它在水平以及垂直方向的梯度；
②对水平以及垂直方向的梯度进行平滑滤波；
③根据平滑后的梯度图像，计算梯度的方向图像；
④对梯度的方向图像进行二值化；
⑤提取二值化后的梯度方向图像中二值像素点在空间域的分布 信息，该信息反映了人脸特征点的位置信息；
所述步骤(1)中，定位人脸特征点包括以下步骤：
①在图像中确定若干根不同角度的扫描线；
②对每根扫描线中的每个像素点，取一根与该扫描线垂直的扫描 线，在二值化后的梯度方向图像中计算此扫描线中该像素点附近的连 续0值或1值点的数目，从而对每根扫描线，得到两个一维向量，每 个向量值表示连续0值或1值点的数目；
③对两个一维向量进行平滑滤波；
④在平滑后的一维向量中提取局部最大和最小值点，这些最大和 最小值点即代表了候选的人脸特征点的位置。
2. 如权利要求1所述的人脸识别系统中的人脸特征点定位方法， 其特征在于：利用隐马可夫统计模型对人脸特征点进行标注包括以下 步骤：
①建立一个二维隐马可夫统计模型，包括前述的人脸特征点作为 观测到的特征点，在这个模型中，用X表示一个观测值的序列，用L 表示一个标注序列，X和L的联合概率为：
$P(X,L)=P\left(L_{Z1}\right)P\left(X_{Z1}\right|L_{Z1})P(L_{L1}/L_{Z1})P(L_{R1}/L_{Z1})\underset{i}{\Pi }P\left(X_{\mathrm{Li}}\right|L_{\mathrm{Li}})P\left(L_{\mathrm{Li}}\right|L_{\mathrm{Li}-1})\times$
$\underset{i}{\Pi }P\left(X_{\mathrm{Zi}}\right|L_{\mathrm{Zi}})P\left(L_{\mathrm{Zi}}\right|L_{\mathrm{Zi}-1})\underset{i}{\Pi }P\left(X_{\mathrm{Ri}}\right|L_{\mathrm{Ri}})P\left(L_{\mathrm{Ri}}\right|L_{\mathrm{Ri}-1}),$
式中：Xli表示Li时刻的观测值，Lli表示相对应的状态，下标中 的L，Z，R分别表示左，中，右扫描线，P(LZi|LZi-1)表示由状态LZi-1 到状态LZi的转移概率，P(XZi|LZi)表示输出概率，即在状态LZi发现 XZi的概率，XZi为在该候选特征点提取的特征向量；
②寻找标注序列L使P(X|L)最大，即找到argmaxLP(X，L)。
3. 如权利要求2所述的人脸识别系统中的人脸特征点定位方法， 其特征在于：所述步骤②可通过动态规划或穷举的方法实现。
4. 如权利要求2所述的人脸识别系统中的人脸特征点定位方 法，其特征在于：所述二维隐马可夫统计模型包括各个特征点的图像 特征信息以及特征点状态转移信息。
5. 如权利要求1所述的人脸识别系统中的人脸特征点定位方法， 其特征在于：利用条件随机场统计模型对人脸特征点进行标注包括以 下步骤：
①建立一个条件随机场统计模型，前述的人脸特征点作为观测到 的特征点，在这个模型中，以X表示观测到的随机变量，LLi等表示相 对应的状态，在给定x的条件下y的概率$P\left(y\right|x)=\frac{e^{\Psi (y,x)}}{{\Sigma }_{y^{\prime }}{e}^{\Psi (y^{\prime },x)}},$其中 Ψ(y，x)是潜能函数，
$\Psi (y,x)=\underset{j=1}{\overset{m}{\Sigma }}\underset{l}{\Sigma }{f}_l^1(j,y_j,x){\theta }_l^1+\underset{(j,k)\in E}{\Sigma }\underset{l}{\Sigma }{f}_l^2(j,k,y_j,y_k,x){\theta }_l^2,$其中fl 1和fl 2是 特征函数，θl 1和θl 2是参数，E表示一个包含节点集和弧集的图，(j，k)∈E 表示图中有弧连接节点yj和yk；
②求出最优的标注序列y*使P(y|x)最大化，即 y*＝arg maxyp(y|x)。
6. 如权利要求5所述的人脸识别系统中的人脸特征点定位方法， 其特征在于：所述步骤②可通过动态规划的方法实现。
7. 如权利要求5所述的人脸识别系统中的人脸特征点定位方法， 其特征在于：所述二维条件随机场统计模型包括各个特征点的图像特 征信息以及特征点状态转移信息。

技术领域\n本发明涉及一种定位方法，具体的说是人脸识别系统中的人脸特 征点定位方法。\n背景技术\n人脸识别系统中，人脸特征点定位是一个重要的步骤。人脸特征 区域的例子包括人脸五官，如眼，鼻等。人脸特征点包括但不限于这 些区域的中心点。几何投影定位方法是人脸特征点定位的一类经典方 法。它利用脸部特征灰度值与皮肤灰度值的差异性，统计出水平或垂 直方向上的灰度值和/或灰度函数值和(投影)，找出特定的变化点， 而后根据先验知识将不同方向上的变化点位置相结合，从而得到脸部 特征点的位置。但用几何投影定位方法定位人脸特征点的一个缺陷是 它直接利用图像的灰度值，因而容易受光照的影响。另外，各个脸部 特征点(如眼、嘴)等的判断是相互独立的，这样没有利用各个脸部 特征点的相对关系信息。另一种人脸特征点定位方法为主动形状模型 (ASM)方法，其是由Cootes提出的。主动形状模型(ASM)是一种参数 化形状描述模型，它用一组离散的控制点来描述对象的形状，并用 PCA(主分量分析)方法建立起各个控制点的变化模型，对控制点的 基准位置和变化模式作约束，从而保证模型的整体形变始终在可接受 的范围之内。主动形状模型需用叠代的方式求得优化解，所以算法的 复杂性会比较高。另外，它只能获得局部最优解，但无法保证全局最 优解。\n发明内容\n本发明的目的在于提出一种可降低对光照的敏感性，考虑了各个 人脸特征点之间几何位置上的相互关系，并可以获得全局最优解，从 而提高定位精度的人脸识别系统中的人脸特征点定位方法。\n本发明的目的可以通过以下技术方案来实现：\n人脸识别系统中的人脸特征点定位方法，利用图像梯度方向信息 的统计模型，通过统计推理的方法确定人脸特征点，包括以下步骤：\n(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候 选的人脸特征点；\n(2)提取步骤(1)中人脸特征点的特征向量；\n(3)利用一个考虑了人脸特征点的特征及相对关系的统计模型，采 用统计推理的方法，标注人脸特征点，从而确定需要的人脸特征点的 位置。\n本发明的目的还可以通过以下技术措施来进一步实现：\n前述的人脸识别系统中的人脸特征点定位方法，其中所述人脸特 征点包括人脸五官的中心点及边缘点，或者其他人脸特征部位的中心 点及边缘点。\n前述的人脸识别系统中的人脸特征点定位方法，其中所述步骤(1) 利用梯度图像的方向信息定义人脸特征点，人脸特征点定义通过查找 特定梯度方向信息在特定方向的投影最大或最小值的方式实现，包括 以下步骤：\n①对输入图象I，计算它在X以及Y方向的梯度Ix及Iy；\n②对Ix及Iy进行平滑滤波；\n③根据平滑后的Ix及Iy，计算梯度的方向图像Ang；\n④对梯度的方向图像Ang进行二值化得到Angmap，即如果Ang (j，i)在某一范围内，则Angmap(j，i)＝1，否则Angmap(j，i) ＝0；\n⑤提取Angmap中0与1像素点的分布信息，该信息反映了人脸 特征点的位置信息。\n前述的人脸识别系统中的人脸特征点定位方法，定位人脸特征点 包括以下步骤：\n①在图像中确定若干根不同角度的扫描线；\n②对每根扫描线中的每个像素点，取一根与该扫描线垂直的扫描 线，在Angmap中计算此扫描线中该像素点附近的连续0值或1值点 的数目，从而对每根扫描线，得到两个一维向量，每个向量值表示连 续0值或1值点的数目；\n③对该一维向量进行平滑滤波；\n④在平滑后的一维向量中提取局部最大和最小值点，这些最大和 最小值点即代表了候选的人脸特征点的位置。\n前述的人脸识别系统中的人脸特征点定位方法，其中所述统计模 型为隐马可夫统计模型或条件随机场统计模型。\n前述的人脸识别系统中的人脸特征点定位方法，利用隐马可夫统 计模型对人脸特征点进行标注包括以下步骤：\n①建立一个二维稳马可夫统计模型，包括前述的人脸特征点作为 观测到的特征点，在这个模型中，用X表示一个观测值的序列，用L 表示一个标注序列，X和L的联合概率为：\n$P(X,L)=P\left(L_{Z1}\right)P\left(X_{Z1}\right|L_{Z1})P\left(L_{L1}\right|L_{Z1})P\left(L_{R1}\right|L_{Z1})\underset{i}{\Pi }P\left(X_{\mathrm{Li}}\right|L_{\mathrm{Li}})P\left(L_{\mathrm{Li}}\right|L_{\mathrm{Li}-1})\times$\n$\underset{i}{\Pi }P\left(X_{\mathrm{Zi}}\right|L_{\mathrm{Zi}})P\left(L_{\mathrm{Zi}}\right|L_{\mathrm{Zi}-1})\underset{i}{\Pi }P\left(X_{\mathrm{Ri}}\right|L_{\mathrm{Ri}})P\left(L_{\mathrm{Ri}}\right|L_{\mathrm{Ri}-1}),$\n式中：XLi表示Li时刻的观测值，LLi表示相对应的状态，下标中 的L，Z，R分别表示左，中，右扫描线，P(LZi|LZi-1)表示由状态LZi-1 到状态LLi的转移概率，P(XZi|LZi)表示输出概率，即在状态LZi发现 XZi的概率，XZi为在该候选特征点提取的特征向量；\n②寻找标注序列L使P(X|L)最大，即找到arg maxL P(X，L)。其中 所述步骤②可通过动态规划或穷举的方法实现。\n二维隐马可夫统计模型包括各个特征点的图像特征信息以及特 征点状态转移信息。\n前述的人脸识别系统中的人脸特征点定位方法，利用条件随机场 统计模型对人脸特征点进行标注包括以下步骤：\n①建立一个条件随机场统计模型，前述的人脸特征点作为观测到 的特征点，在这个模型中，以X表示观测到的随机变量，LLi等表示相 对应的状态，在给定x的条件下y的概率$P\left(y\right|x)=\frac{e^{\Psi (y,x)}}{{\Sigma }_{y^{\prime }}{e}^{\Psi (y^{\prime },x)}},$其中 Ψ(y，x)是潜能函数，\n$\Psi (y,x)=\underset{j=1}{\overset{m}{\Sigma }}\underset{l}{\Sigma }{f}_l^1(j,y_j,x){\theta }_l^1+\underset{(j,k)\in E}{\Sigma }\underset{l}{\Sigma }{f}_l^2(j,k,y_j,y_k,x){\theta }_l^2,$其中fl 1和fl 2是 特征函数，θl 1和θl 2是参数，E表示一个包含节点集和弧集的图，(j，k)∈E 表示图中有弧连接节点yj和yk；\n②求出最优的标注序列y*使P(y|x)最大化，即 y*＝arg maxyp(y|x)。其中步骤②可通过动态规划的方法实现。\n二维条件随机场统计模型包括各个特征点的图像特征信息以及 特征点状态转移信息。\n本发明的优点为：本发明利用图像梯度的方向来定义及定位人脸 特征点，光照等外部变化可以影响图像的绝对灰度值，但是梯度考虑 的是象素间的相对灰度值的变化，梯度图像的方向信息受光照的影响 就很小，从而降低了对光照的敏感性。另外，本发明考虑了各个人脸 特征点之间几何位置上的相互关系，通过统计推理的方法，可以获得 全局最优解。本发明亦引入了条件随机场(Conditional Random Field) 到人脸特征点定位中，克服了标注偏见问题，因而具有更好的性能。 综合以上各点，本发明可以获得更准确的人脸特征点定位效果。\n附图说明\n图1为本发明的流程图。\n图2为人脸特征点扫描线示意图。\n图3为二维隐马可夫统计模型图。\n图4为条件随机场统计模型图。\n具体实施方式\n本发明提出了一种人脸识别系统中的人脸特征点的定位方法，人 脸特征点包括人脸五官的中心点及边缘点，或者其他人脸特征部位的 中心点及边缘点。本发明利用图像梯度方向信息的统计模型，通过统 计推理的方法确定人脸特征点，其流程如图1所示，包括以下步骤：\n(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候 选的人脸特征点；\n(2)提取步骤(1)中人脸特征点的特征向量；\n(3)利用一个考虑了人脸特征点的特征及相对关系的统计模型，采 用统计推理的方法，标注人脸特征点，从而确定需要的人脸特征点的 位置。\n本方法假定人脸检测已经完成，人脸位置信息已经获得。在检测 到的人脸区域，首先扫描图像，获得可能的人脸特征点的位置。对于 比较明显的入脸特征点如眼，鼻，利用一个分类器在不同的位置及尺 度扫描图像并判断当前区域是否包含待检测的人脸特征点。分类器的 实现例包括AdaBoost算法，支持向量机(SVM)等。但是对其余不太明 显的人脸特征点前述方法有效性会降低许多。另外，前述方法对每个 人脸特征点都需要单独的且比较繁琐的训练过程。本发明利用梯度图 像的方向信息定义了一些新的人脸特征点。这些特征点可以通过查找 梯度方向信息在特定方向的投影最大或最小值的方式实现。利用梯度 图像的方向信息的一个明显好处是受光照等外部变化的影响小。光照 等外部变化可以影响图像的绝对灰度值，但是梯度考虑的是象素间的 相对灰度值的变化，梯度图像的角度信息受光照的影响就很小。另外 亦可以采用平滑滤波，二值化等方法进一步降低受光照等外部变化的 影响。\n定义及定位人脸特征点包括以下步骤：\n①对输入图象I，计算它在X以及Y方向的梯度Ix及Iy；\n②对Ix及Iy进行平滑滤波；\n③根据平滑后的Ix及Iy，计算梯度的方向图像Ang；\n④对梯度的方向图像Ang进行二值化得到Angmap，即如果Ang (j，i)在某一范围内，则Angmap(j，i)＝1，否则Angmap(j，i) ＝0；\n⑤提取Angmap中0与1像素点的分布信息，该信息反映了人脸 特征点的位置信息。\n可在人脸特征点部位确定几条扫描线，如图2所示，则定义及定 位人脸特征点可按如下步骤来具体实现：\n①在图像中确定若干根不同角度的扫描线；\n②对每根扫描线中的每个像素点，取一根与该扫描线垂直的扫描 线，在Angmap中计算此扫描线中该像素点附近的连续0值或1值点 的数目，从而对每根扫描线，得到两个一维向量，每个向量值表示连 续0值或1值点的数目；\n③对该一维向量进行平滑滤波；\n④在平滑后的一维向量中提取局部最大和最小值点，这些最大和 最小值点即代表了候选的人脸特征点的位置。\n获得候选的人脸特征点以后，则可以通过统计推理的方法对这 些人脸特征点进行标注，可通过以下两种实施方式实现：\n实施例一\n本实施例利用隐马可夫统计模型对人脸特征点进行标注。先建立 一个有以下特征点的人脸模型：\n沿扫描线1：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；\n沿扫描线2：两眼中，鼻上部，鼻中，嘴上部，嘴中，嘴下部， 下巴；\n沿扫描线3：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；\n除此之外，还有一个空状态表示不属于以上任何特征点。把上述 特征点作为马可夫模型的状态，我们建立一个二维隐马可夫模型，如 图3所示，其中XLi表示Li时刻的观测值，LLi表示相对应的状态，下 标中的L、Z、R分别表示左、中、右扫描线。\n用X表示一个观测值的序列，用L表示一个标注的序列，那么X 和L的联合概率为：\nP(X，L)＝P(XL1...XLMXZ1...XZNXR1...XRMLL1...LLMLZ1...LZNLR1...LRM)\n考虑图3的隐马可夫模型，X和L的联合概率近似简化为\n$P(X,L)=P\left(L_{Z1}\right)P\left(X_{Z1}\right|L_{Z1})P\left(L_{L1}\right|L_{Z1})P\left(L_{R1}\right|L_{Z1})\underset{i}{\Pi }P\left(X_{\mathrm{Li}}\right|L_{\mathrm{Li}})P\left(L_{\mathrm{Li}}\right|L_{\mathrm{Li}-1})\times$\n$\underset{i}{\Pi }P\left(X_{\mathrm{Zi}}\right|L_{\mathrm{Zi}})P\left(L_{\mathrm{Zi}}\right|L_{\mathrm{Zi}-1})\underset{i}{\Pi }P\left(X_{\mathrm{Ri}}\right|L_{\mathrm{Ri}})P\left(L_{\mathrm{Ri}}\right|L_{\mathrm{Ri}-1})$\n其中P(LZi|LZi-1)表示由状态LZi-1到状态LZi的转移概率， P(XZi|LZi)表示输出概率，即在状态LZi发现XZi的概率。XZi为在该候 选特征点提取的特征向量。特征向量包括在周围KxK区域内提取灰度 值并进行主分量分析(PCA)，也包括候选特征点的几何位置。\n如果已知候选人脸特征点，识别特征点的任务就是对这些点进行 标注。方法为寻找标注序列L使P(X|L)最大，即找到arg maxL P(X，L)。 这可以通过动态规划(Dynamic Programming)的方法求解。常用的 对隐马可夫模型的动态规划求解方法亦称为维特比方法，我们采用的 是Li，Najmi和Gray的文章Image Classification by a Two-dimensional Hidden Markov Model.IEEE Trans on Signal Processing，Vol.48，No.2，2000中的维特比方法。该方法在文 章中有详细描述，在此不再赘述。最优L也可以通过穷举的方法求 解。\n实施例二\n本实施例利用条件随机场(Conditional Random Field)统计模 型对人脸特征点进行标注，建立一个有以下特征点的人脸模型：\n沿扫描线1：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；\n沿扫描线2：两眼中，鼻上部，鼻中，嘴上部，嘴中，嘴下部， 下巴；\n沿扫描线3：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；\n除此之外，还有一个空状态表示不属于以上任何特征点。\n沿三个扫描线方向，各选取最可能的7个候选特征点，建立一个 如图4所示的条件随机场(Conditional Random Field)统计模型。 在这个模型中，以X表示观测到的随机变量，LLi等表示相对应的状态。 在给定x的条件下y的概率为P(y|x)，而最优的标注序列y*使P(y|x) 最大化，即y*＝arg maxyp(y|x)。\n基于条件随机场(Conditional Random Field)模型，可以这样 表示$P\left(y\right|x)=\frac{e^{\Psi (y,x)}}{{\Sigma }_{y^{\prime }}{e}^{\Psi (y^{\prime },x)}},$其中Ψ(y，x)是潜能函数(Potential Function)\n其定义如下：$\Psi (y,x)=\underset{j=1}{\overset{m}{\Sigma }}\underset{l}{\Sigma }{f}_l^1(j,y_j,x){\theta }_l^1+\underset{(j,k)\in E}{\Sigma }\underset{l}{\Sigma }{f}_l^2(j,k,y_j,y_k,x){\theta }_l^2,$\n其中fl 1和fl 2是特征函数，θl 1和θl 2是参数，表示一个包含节点集和弧集 的图，而(j，k)∈E表示图中有弧连接节点yj和yk。fl 1和fl 2包括图像 特征点的几何位置信息及图像特征点周围的图像特征信息。图像特征 信息可以包括灰度，颜色及梯度等。最优y*的求解可以运用动态规 划(Dynamic Programming)的方法。常用的动态规划求解方法亦称 为维特比方法，我们采用的是Li，Najmi和Gray的文章Image Classification by a Two-dimensional Hidden Markov Model.IEEE Trans on Signal Processing，Vol.48，No.2，2000中的维特比 方法。该方法在文章中有详细描述，在此不再赘述。\n在根据以上步骤获得人脸特征点后，更精细的人脸特征点可以通 过在这些点附近局部搜索的方法获得，或者通过预定网格采样的方法 来获得。\n本发明还可以有其它实施方式，凡采用同等替换或等效变换形成 的技术方案，均落在本实用新型要求保护的范围之内。