人脸识别方法及系统、人脸识别模型训练方法及系统

1.一种人脸识别方法，其特征在于，该方法包括：
A、为每个需要识别的用户训练获得所述用户的人脸识别模型；
B、在设定的人脸姿态范围内，采集当前待识别用户同时刻的带有结构光编码的人脸图像和没有结构光编码的人脸图像；
C、根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像；
D、利用所述人脸灰度图像进行标定，确定所述图像中的人脸器官特征点位置，根据所述人脸器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理；
E、分别计算经过人脸预处理后的所述人脸深度图像和所述人脸灰度图像的特征；
F、将所述特征输入到所述人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数据；
G、根据所述返回的相似度数据，输出最终的人脸识别结果；
所述设定的人脸姿态包括：一个或一个以上的互不相同的人脸姿态；
每个人脸姿态由一个左右深度旋转角度范围和一个上下深度旋转角度范围共同表示；
步骤A进一步包括对所述用户的人脸姿态分别训练获得人脸识别模型；
步骤F之前，进一步包括：根据所述人脸深度图像，计算当前待识别用户的人脸姿态；
步骤F中所述将特征输入到所述人脸识别模型中为：将所述特征输入到对应所述人脸姿态的人脸识别模型中。
2.如权利要求1所述的方法，其特征在于，所述步骤A包括：
A1、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像；
A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像；
A3、利用所有样本的人脸灰度图像进行标定，确定人脸灰度图像和人脸深度图像中的人脸器官特征点位置，根据所述人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理；
A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征；
A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型。
3.如权利要求2所述的方法，其特征在于，所述步骤A4和步骤A5之间，进一步包括：
分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成对应样本的低维特征；
步骤A5中所述利用特征对所述用户进行训练为：利用所述低维特征，对所述用户进行训练。
4.如权利要求1所述的方法，其特征在于，所述步骤E和步骤F之间，进一步包括：分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成低维特征；
步骤F中所述将特征输入到所述人脸识别模型中为：将所述低维特征输入到所述人脸识别模型中。
5.如权利要求4所述的方法，其特征在于，所述左右深度旋转角度范围取值为-50°～-20°、-20°～20°、20°～50°中的任意一个；所述上下深度旋转角度范围取值为-40°～-10°、-10°～10°、10°～40°中的任意一个。
6.如权利要求1所述的方法，其特征在于，步骤D中所述根据人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理包括：
根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深 度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述人脸深度图像进行深度数据归一化。
7.如权利要求6所述的方法，其特征在于，所述对人脸深度图像进行深度数据归一化为：对所述人脸深度图像的深度数据以设定的人脸参考点为基准，将所述参考点的深度数据设置为零，将人脸其他点相对于该参考点的深度数据作为归一化后的深度数据。
8.如权利要求1至7中任一项所述的方法，其特征在于，所述人脸识别模型为一对多的支持向量机的人脸识别模型；
所述步骤G包括：如果返回的与各人脸识别模型的相似度数据均小于设定阈值，则拒识当前待识别用户的人脸；
如果返回的与各人脸识别模型的相似度数据中存在大于设定阈值的相似度数据，则从所述大于设定阈值的相似度数据中选取最大的相似度数据对应的人脸识别模型作为人脸识别的结果。
9.一种人脸识别模型训练方法，其特征在于，该方法包括：
A1、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像；所述设定的人脸姿态包括：一个或一个以上的互不相同的人脸姿态；每个人脸姿态由一个左右深度旋转角度范围和一个上下深度旋转角度范围共同表示；
A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像；
A3、利用所有样本的人脸灰度图像进行标定，确定各人脸灰度图像中的人脸器官特征点位置，根据各人脸灰度图像中的人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理；
A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征；
A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模 型，所述对应的人脸识别模型为：所述用户针对不同人脸姿态得到的各人脸姿态的人脸识别模型；
步骤A5之前，进一步包括：根据正样本的人脸深度图像，计算所述用户当前图像的人脸姿态。
10.如权利要求9所述的方法，其特征在于，所述步骤A4和步骤A5之间，进一步包括：
分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成对应样本的低维特征；
步骤A5中所述利用特征对所述用户进行训练为：利用所述低维特征，对所述用户进行训练。
11.如权利要求9或10所述的方法，其特征在于，步骤A3中所述根据人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理包括：
根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述人脸深度图像进行深度归一化。
12.如权利要求9或10所述的方法，其特征在于，所述人脸识别模型为一对多的支持向量机的人脸识别模型。
13.一种人脸识别系统，其特征在于，该系统包括：
训练模块，对不同的人脸姿态训练得到所述用户不同人脸姿态的人脸识别模型；
识别模块，包括：
结构光图像采集单元，用于在设定的人脸姿态范围内，采集当前待识别用户带有结构光编码的人脸图像；
深度图像获取单元，用于根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像；
可见光图像采集单元，用于采集当前待识别用户的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像；
灰度图像获取单元，用于根据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像；
人脸器官标定单元，用于利用所述人脸灰度图像进行标定，确定所述图像中的人脸器官特征点位置；
人脸预处理单元，用于根据所述人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理；
特征计算单元，用于分别计算经过人脸预处理后的所述人脸深度图像和所述人脸灰度图像的特征；
识别单元，用于将所述特征输入到所述人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数据，根据所述返回的相似度数据，输出最终的人脸识别结果；
所述识别模块进一步包括：人脸姿态计算单元，用于根据当前待识别用户的人脸深度图像，计算当前待识别用户的人脸姿态；所述识别单元将计算得到的特征输入到对应所述人脸姿态的人脸识别模型中。
14.如权利要求13所述的系统，其特征在于，所述训练模块包括：
结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像；
深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像；
可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像；
灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像；
人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图像中的人脸器官特征点位置；
人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸 灰度图像和人脸深度图像进行人脸预处理；
特征计算单元，用于分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征；
训练单元，用于利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型。
15.如权利要求13所述的系统，其特征在于，所述识别模块进一步包括：特征挑选单元，用于分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成低维特征；
所述识别单元将所述低维特征输入到所述人脸识别模型中进行人脸识别。
16.如权利要求13至15中任一项所述的系统，其特征在于，所述人脸预处理单元包括：
灰度图像预处理子单元和深度图像预处理子单元，其中，
所述灰度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对所述人脸灰度图像进行人脸几何归一化和灰度归一化；
所述深度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对所述人脸深度图像进行人脸几何归一化和深度数据归一化。
17.一种人脸识别模型训练系统，其特征在于，该系统包括：
结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像；
深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像；
可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像；
灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像；
人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图像中的人脸器官特征点位置；
人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理；
人脸姿态计算单元，利用人脸深度图像中的深度数据计算得到当前训练用户的当前人脸姿态；
特征计算单元，用于分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征；
训练单元，用于利用不同人脸姿态下计算的正样本与对比样本的所述特征对所述用户进行训练，得到所述用户对应的各个不同人脸姿态的人脸识别模型。

人脸识别方法及系统、人脸识别模型训练方法及系统 \n技术领域\n[0001] 本发明涉及一种人脸识别方法及系统，与人脸识别模型训练方法及系统，尤其涉及一种基于三维信息的人脸识别方法及系统，与人脸识别模型训练方法及系统。 背景技术\n[0002] 人脸识别是将输入的人脸图像与已知库中的模板进行比较并确定身份的一种技术，由于人脸是人们区分不同人的重要途径，是最主要的信息来源之一，因此人脸识别是一种较指纹、视网膜和虹膜等识别更自然、更直接的一种识别方式，在多个领域如视频监控、签到系统、人机交互、系统开机等有着非常大的应用潜力。 \n[0003] 在人脸识别领域中，主要有两类方法，一类是基于二维亮度图像的人脸识别方法，另一类是基于三维人脸的人脸识别方法。其中，前者只需要采集人脸的亮度图像，从采集的亮度图像中抽取人脸特征并进行识别。不过这类方法的主要问题是抗光照干扰的能力较差，这个缺陷也是目前人脸识别算法发展的一个瓶颈。后者采用获取人脸面部各点的三维特征，利用人脸面部各个器官的三维几何特征进行识别，由于这类识别方法主要利用各点的坐标，而不是图像中各点的亮度，因此基于三维人脸的人脸识别方法不受光照、姿态的干扰。不过，这类方法的人脸数据需要用复制昂贵的三维激光扫描仪采集，数据采集难度极大，且采集时间较长，实用的可能性不大。 \n[0004] 因此，如何提供一种成本较低且能够降低光照干扰的人脸识别方案是目前急需解决的一个问题。 \n发明内容\n[0005] 有鉴于此，本发明中一方面提供一种人脸识别方法及系统，另一方面提供一种人脸识别模型训练方法及系统，以便在降低成本的情况下降低光照对人脸识别的干扰。 [0006] 本发明所提供的人脸识别方法，包括： \n[0007] A、为每个需要识别的用户训练获得所述用户的人脸识别模型； \n[0008] B、在设定的人脸姿态范围内，采集当前待识别用户同时刻的带有结构光编码的人脸图像和没有结构光编码的人脸图像； \n[0009] C、根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像； \n[0010] D、利用所述人脸灰度图像进行标定，确定所述图像中的人脸器官特征点位置，根据所述人脸器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理； [0011] E、分别计算经过人脸预处理后的所述人脸深度图像和所述人脸灰度图像的特征； \n[0012] F、将所述特征输入到所述人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数据； \n[0013] G、根据所述返回的相似度数据，输出最终的人脸识别结果； \n[0014] 所述设定的人脸姿态包括：一个或一个以上的互不相同的人脸姿态； \n[0015] 每个人脸姿态由一个左右深度旋转角度范围和一个上下深度旋转角度范围共同表示； \n[0016] 步骤A进一步包括对所述用户的人脸姿态分别训练获得人脸识别模型； \n[0017] 步骤F之前，进一步包括：根据所述人脸深度图像，计算当前待识别用户的人脸姿态； \n[0018] 步骤F中所述将特征输入到所述人脸识别模型中为：将所述特征输入到对应所述人脸姿态的人脸识别模型中。 \n[0019] 较佳地，所述步骤A包括： \n[0020] A1、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像； \n[0021] A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像； [0022] A3、利用所有样本的人脸灰度图像进行标定，确定人脸灰度图像和人脸深度图像中的人脸器官特征点位置，根据所述人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理； \n[0023] A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征； \n[0024] A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型。 [0025] 较佳地，所述步骤A4和步骤A5之间，进一步包括：分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成对应样本的低维特征； \n[0026] 步骤A5中所述利用特征对所述用户进行训练为：利用所述低维特征，对所述用户进行训练。 \n[0027] 较佳地，所述步骤E和步骤F之间，进一步包括：分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成低维特征； \n[0028] 步骤F中所述将特征输入到所述人脸识别模型中为：将所述低维特征输入到所述人脸识别模型中。 \n[0029] 较佳地，所述左右深度旋转角度范围取值为-50°～-20°、-20°～20°、20°～\n50°中的任意一个；所述上下深度旋转角度范围取值为-40°～-10°、-10°～10°、\n10°～40°中的任意一个。 \n[0030] 较佳地，步骤D中所述根据人脸的器官特征点位置对所述人脸灰度图像和 所述人脸深度图像进行人脸预处理包括： \n[0031] 根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述人脸深度图像进行深度数据归一化。 \n[0032] 较佳地，所述对人脸深度图像进行深度数据归一化为：对所述人脸深度图像的深度数据以设定的人脸参考点为基准，将所述参考点的深度数据设置为零，将人脸其他点相对于该参考点的深度数据作为归一化后的深度数据。 \n[0033] 较佳地，所述人脸识别模型为一对多的支持向量机的人脸识别模型； \n[0034] 所述步骤G包括：如果返回的与各人脸识别模型的相似度数据均小于设定阈值，则拒识当前待识别用户的人脸； \n[0035] 如果返回的与各人脸识别模型的相似度数据中存在大于设定阈值的相似度数据，则从所述大于设定阈值的相似度数据中选取最大的相似度数据对应的人脸识别模型作为人脸识别的结果。 \n[0036] 本发明所提供的人脸识别系统，包括： \n[0037] 训练模块，对不同的人脸姿态训练得到所述用户不同人脸姿态的人脸识别模型； [0038] 识别模块，包括： \n[0039] 结构光图像采集单元，用于在设定的人脸姿态范围内，采集当前待识别用户带有结构光编码的人脸图像； \n[0040] 深度图像获取单元，用于根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像； \n[0041] 可见光图像采集单元，用于采集当前待识别用户的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像； \n[0042] 灰度图像获取单元，用于根据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像； \n[0043] 人脸器官标定单元，用于利用所述人脸灰度图像进行标定，确定所述图像中的人脸器官特征点位置； \n[0044] 人脸预处理单元，用于根据所述人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理； \n[0045] 特征计算单元，用于分别计算经过人脸预处理后的所述人脸深度图像和所述人脸灰度图像的特征； \n[0046] 识别单元，用于将所述特征输入到所述人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数据，根据所述返回的相似度数据，输出最终的人脸识别结果； [0047] 所述识别模块进一步包括：人脸姿态计算单元，用于根据当前待识别用户的人脸深度图像，计算当前待识别用户的人脸姿态；所述识别单元将计算得到的特征输入到对应所述人脸姿态的人脸识别模型中。 \n[0048] 较佳地，所述训练模块包括： \n[0049] 结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像； \n[0050] 深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像； \n[0051] 可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像； \n[0052] 灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像； \n[0053] 人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图像中的人脸器官特征点位置； \n[0054] 人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理； \n[0055] 特征计算单元，用于分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征； \n[0056] 训练单元，用于利用所述特征对所述用户进行训练，得到所述用户对应的 人脸识别模型。 \n[0057] 较佳地，所述识别模块进一步包括：特征挑选单元，用于分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成低维特征； \n[0058] 所述识别单元将所述低维特征输入到所述人脸识别模型中进行人脸识别。 [0059] 较佳地，所述人脸预处理单元包括：灰度图像预处理子单元和深度图像预处理子单元，其中， \n[0060] 所述灰度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对所述人脸灰度图像进行人脸几何归一化和灰度归一化； \n[0061] 所述深度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对所述人脸深度图像进行人脸几何归一化和深度数据归一化。 \n[0062] 本发明所提供的人脸识别模型训练方法，包括： \n[0063] A1、针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像；所述设定的人脸姿态包括：\n一个或一个以上的互不相同的人脸姿态；每个人脸姿态由一个左右深度旋转角度范围和一个上下深度旋转角度范围共同表示； \n[0064] A2、对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像； [0065] A3、利用所有样本的人脸灰度图像进行标定，确定各人脸灰度图像中的人脸器官特征点位置，根据各人脸灰度图像中的人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理； \n[0066] A4、分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征； \n[0067] A5、利用所述特征对所述用户进行训练，得到所述用户对应的人脸识别模型，所述对应的人脸识别模型为：所述用户针对不同人脸姿态得到的各人脸姿态的人脸识别模型； [0068] 步骤A5之前，进一步包括：根据正样本的人脸深度图像，计算所述用户当前图像的人脸姿态。 \n[0069] 较佳地，所述步骤A4和步骤A5之间，进一步包括：分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出对于Gabor特征分类能力最强的部分特征构成对应样本的低维特征； \n[0070] 步骤A5中所述利用特征对所述用户进行训练为：利用所述低维特征，对所述用户进行训练。 \n[0071] 较佳地，步骤A3中所述根据人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理包括： \n[0072] 根据所述人脸器官特征点的位置，分别对所述人脸灰度图像和所述人脸深度图像进行人脸几何归一化，并对所述人脸灰度图像进行灰度归一化，对所述人脸深度图像进行深度归一化。 \n[0073] 较佳地，所述人脸识别模型为一对多的支持向量机的人脸识别模型。 \n[0074] 本发明所提供的人脸识别模型训练系统，包括： \n[0075] 结构光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像； \n[0076] 深度图像获取单元，用于对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像； \n[0077] 可见光图像采集单元，用于针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像； \n[0078] 灰度图像获取单元，用于对每个样本的人脸图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像； \n[0079] 人脸器官标定单元，用于利用所有样本的人脸灰度图像进行标定，确定图像中的人脸器官特征点位置； \n[0080] 人脸预处理单元，用于根据所述人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理； \n[0081] 人脸姿态计算单元，利用人脸深度图像中的深度数据计算得到当前训练用户的当前人脸姿态； \n[0082] 特征计算单元，用于分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征； \n[0083] 训练单元，用于利用不同人脸姿态下计算的正样本与对比样本的所述特征对所述用户进行训练，得到所述用户对应的各个不同人脸姿态的人脸识别模型。 \n[0084] 从上述方案可以看出，本发明中采集分别当前待识别用户同时刻的带有结构光编码的人脸图像和没有结构光编码的人脸图像，并根据带有结构光编码的人脸图像，得到人脸深度图像，根据没有结构光编码的人脸图像，得到人脸灰度图像，进而通过人脸灰度图像和人脸深度图像的双重信息进行特征计算，将计算的特征输入到已训练好的人脸识别模型中进行人脸识别。由于人脸的深度信息是不受光照干扰的，因此基于深度信息的人脸识别方法的抗光照干扰能力强。此外，由于本实施例中使用的是不同激光扫描仪的方法获取的人脸三维信息，因此成本较低。 \n[0085] 进一步地，通过采用多姿态的人脸识别方法，并基于深度数据获取人脸的准确姿态，又大大提高了本发明技术方案的抗姿态干扰能力。 \n[0086] 此外，通过进行特征挑选，使高维特征变为分类能力较强的低维特征，降低了计算量及计算复杂度。 \n附图说明\n[0087] 图1为本发明实施例中三维信息获取装置的系统框图。 \n[0088] 图2为本发明实施例中人脸识别系统的示例性框图。 \n[0089] 图3为本发明实施例中人脸识别方法的示例性流程图。 \n[0090] 图4为本发明实施例中采用的样本训练流程示意图。 \n[0091] 图5为本发明实施例中人脸样本的标定与采集示意图。 \n[0092] 图6为本发明实施例中人脸图像非线性矫正示意图； \n[0093] 图7为本发明实施例中非线性矫正原理示意图。 \n[0094] 图8为本发明实施例中人脸图像光照处理结果示意图。 \n[0095] 图9为本发明实施例中基于AdaBoost的特征抽取方法流程图。 \n[0096] 图10为本发明实施例中支持向量机最优分类面示意图。 \n具体实施方式\n[0097] 本发明实施例中，为了降低光照对人脸识别的干扰，在原有二维亮度图像的基础上，引入了人脸的深度图像，从而得到人脸的三维信息，由于深度信息不受光照的影响，因此基于三维信息的人脸识别能够降低光照干扰。 \n[0098] 此外，为了降低成本，本发明实施例中引入了一种不同于三维激光扫描仪的三维信息获取装置。如图1所示，图1为本发明实施例中三维信息获取装置的系统框图。整个系统分为三部分，包括投影装置10、深度重构单元11以及图像成像单元12。 \n[0099] 第一部分是投影装置10，投影装置10包括：光源101，用于发出光线，可以采用可见光，也可以采用非可见光波段的光源，如近红外光等；聚光镜102，安装在光源附近，用于将光源发出的光线聚集起来，投射到光栅上；光栅103，用于刻录结构光编码图案；投影物镜104，用于将光编码图像投影到物面。 \n[0100] 投影装置10通过光源101打光，经聚光镜102将光栅103上刻录的结构光编码图案通过投影物镜104投影到物面00；在本实施例中采用柯勒照明方式将光栅103刻录的内容投影到目标物面00上。 \n[0101] 第二部分是深度重构单元11，深度重构单元11包括：与光源相对应的图像传感器111，用于对物面00上的结构光编码图像进行成像；当所述光源为近红外光源时，所述图像传感器111为近红外图像传感器；图像预处理模块112，用于对编码图像进行预处理，包括亮度修正、噪声消除等；解码模块113，用于根据已有的编码信息对图像进行解码；深度获取模块114，用于根据事先标定的摄像头参数及成像图像的解码信息进行深度的重构，获 取图像中各个像素点的深度数据。 \n[0102] 深度重构单元11采用与光源相对应的图像传感器111对物面00上的结构光编码图像进行成像，然后由图像预处理模块112对成像图像进行预处理，接着由解码模块113根据已有的编码信息对成像图像进行解码，然后由深度获取模块114根据事先标定的摄像头参数及成像图像的解码信息进行深度的重构，获取成像图像中各个像素点的深度数据。 [0103] 第三部分则是常规的图像成像单元12，图像成像单元12包括：可见光图像传感器\n121，用于对物体进行拍摄成像；图像处理模块122，用于对拍摄成像后的物面图像做自动曝光、自动白平衡、噪声消除等常规图像处理；灰度处理模块123，用于根据图像处理模块\n122处理后的图像，得到对应的灰度图像。 \n[0104] 图像成像单元12采用可见光图像传感器121对物体进行拍摄成像，并由图像处理模块122做常规图像处理，接着由灰度处理模块123根据图像处理模块122处理后的图像，得到对应的灰度图像。 \n[0105] 需要说明的是，本发明实施例中深度重构单元11的与光源相对应的图像传感器\n111必须与光源的波段相对应，如光源是近红外光源，则该传感器需要对近红外波段较敏感。 \n[0106] 具体应用时，本发明实施例中可在投影装置10的配合下，利用深度重构单元11采集当前待识别用户带有结构光编码的人脸图像，并根据该带有结构光编码的人脸图像，得到所述用户的人脸深度图像；利用图像成像单元12采集当前待识别用户与带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像，并根据该没有结构光编码的人脸图像，得到所述用户的人脸灰度图像。 \n[0107] 可见，通过上述过程，得到了人脸的三维信息。 \n[0108] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例中基于三维信息的人脸识别过程进行详细说明。 \n[0109] 图2为本发明实施例中人脸识别系统的示例性框图。如图2所示，该系 统包括：\n训练模块21和识别模块22。其中，训练模块21目的是由大量的人脸样本图像训练用户的人脸识别模型，因此需要采集用户的人脸样本并进行训练，获取多个用户的人脸识别模型。\n而识别模块22则将视频序列中人脸的检测结果与训练好的人脸模型结合起来，判断输入人脸是否是训练好的用户的人脸；如果不是，系统给出拒识的结果。 \n[0110] 具体实现时，训练模块21首先需要获取大量的对比样本的人脸图像，即这些样本中肯定不会包含用户的人脸，接着采集待识别用户的多个人脸图像，即正样本人脸图像。进一步地，若需要对用户多个姿态(如：正脸、左侧脸、右侧脸等左右旋转姿态与抬头、低头等上下旋转姿态构成的不同姿态)的人脸均能识别，则需要针对每个用户的每种人脸姿态均训练得到一个对应的人脸识别模型。此时，针对每个人脸姿态，都需要获取大量的对比样本人脸图像和多个(如两个以上)正样本人脸图像。本发明实施例中，为了得到各样本的人脸深度图像和人脸灰度图像，可针对每个需要识别的用户，利用结构光图像采集单元211在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像，利用可见光图像采集单元212在同时刻采集正样本与对比样本的没有结构光编码的人脸图像；之后，对每个样本的人脸图像，利用深度图像获取单元213根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像，利用灰度图像获取单元214根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像。 \n[0111] 之后，训练模块21可利用人脸器官标定单元215对所有样本(包括正样本和对比样本)的人脸图像进行标定，确定人脸灰度图像和人脸深度图像中人脸器官特征点，如两个眼睛和嘴巴的精确位置。具体实现时，由于人脸灰度图像中的人脸器官特征点比较直观和明显，因此可利用人脸灰度图像进行人脸器官特征点的标定。 \n[0112] 然后，利用人脸预处理单元216根据标定结果对所有样本的人脸灰度图像和人脸深度图像进行几何归一化和矫正，将所有样本的眼睛和嘴巴矫正到固定的位置。人脸矫正完毕后可结合一幅标准的灰度图像对样本矫正后的人 脸灰度图像进行光照处理，使样本的人脸灰度图像各个部分的平均光照与标准图像保持一致，即进行灰度归一化。此外，对人脸深度图像的深度数据以设定的人脸参考点为基准，将所述参考点的深度数据设置为零，将人脸其他点相对于该参考点的深度数据作为归一化后的深度数据，即进行深度归一化。 [0113] 接着，可利用特征计算单元217分别计算经过人脸预处理后的人脸深度图像和人脸灰度图像的特征。特征计算是人脸识别过程中非常关键的环节，常用的特征算法有边缘特征、小波特征、Gabor特征等。其中Gabor特征为人脸图像提供多尺度、多方向的精细描述，表现出优秀的时频聚集性，具备很强的刻画细节与局部结构的能力。此外，它具有带通滤波的性质，既能部分地抵抗慢变光照的影响，也能滤去一些高频噪声。因此，本实施例中可采用FFT变换和FFT反变换计算所有样本人脸灰度图像和人脸深度图像的多尺度多方向Gabor特征。 \n[0114] 进一步地，若需要对用户的不同人脸姿态训练一个人脸识别模型，则本实施例中，可由人脸姿态计算单元218利用正样本的预处理之前的(如图2所示)或预处理之后的(图中未示出)人脸深度图像中的深度数据，计算得到当前训练用户的当前人脸姿态。 [0115] 最后，由训练单元219利用不同人脸姿态下计算的正样本的特征和对比样本的特征对不同用户进行训练，为每个用户获取对应的人脸识别模型，如各个不同人脸姿态的人脸识别模型。至此，人脸模型训练完毕。 \n[0116] 上述过程中，当采用Gabor特征等特征算法时，若每个样本的特征维数较高，如每个样本的Gabor特征维数通常达到了十几万，而对这么高维的特征进行训练将是非常困难的，因此本发明的实施例中进一步地，还可包括特征挑选单元(图中未示出)，用于分别从所计算的各样本的人脸深度图像的特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征构成低维特征。如，对于Gabor特征，则可采用基于AdaBoost的特征挑选方法，结合正样本数据和对比样本数据从这些特征中挑选出分类能力最强的数千维特 征出来，将挑选出的特征组成新的低维Gabor特征；特征选择完毕后可采用一对多的支持向量机(SVM)算法对不同用户进行训练，在对各个用户进行训练时，训练的正样本特征就是该用户样本对应的挑选后的低维Gabor特征向量，而反样本特征则包含了所有反样本的低维Gabor特征向量以及其他用户的低维Gabor特征向量，即对比样本的特征向量(这里的特征向量是否是低维Gabor特征向量，是)，这样就可以为每个用户获取各不同人脸姿态的一对多的SVM模型。 \n[0117] 识别模块22需要从视频序列的输入图像中实时检测人脸，在检测到人脸后结合人脸识别模型进行识别。具体实现时，识别模块22的实现过程与训练模块21的实现过程相类似。具体可包括：首先，利用结构光图像采集单元221在设定的人脸姿态范围内，采集当前待识别用户带有结构光编码的人脸图像；利用可见光图像采集单元222采集当前待识别用户的与所述带有结构光编码的人脸图像同时刻的没有结构光编码的人脸图像。 [0118] 之后，利用深度图像获取单元223根据所述带有结构光编码的人脸图像，得到所述用户的人脸深度图像；利用灰度图像获取单元224根据所述没有结构光编码的人脸图像，得到所述用户的人脸灰度图像。 \n[0119] 然后，由人脸器官标定单元225利用所述人脸灰度图像进行标定，确定人脸灰度图像和人脸深度图像中的人脸器官特征点位置。再由人脸预处理单元226根据所述人脸的器官特征点位置对所述人脸灰度图像和所述人脸深度图像进行人脸预处理。 \n[0120] 接着，利用特征计算单元227分别计算经过人脸预处理后的人脸深度图像和人脸灰度图像的特征。 \n[0121] 进一步地，可由人脸姿态计算单元228利用预处理之前的(如图2所示)或预处理之后的(图中未示出)人脸深度图像中的深度数据，计算得到当前待识别用户的当前人脸姿态。 \n[0122] 最后，由识别单元229将特征计算单元227计算的特征输入到所述人脸姿态对应的人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数 据，并根据所述返回的相似度数据，输出最终的人脸识别结果。本实施例中，若采用一对多的SVM算法对不同用户进行训练得到不同用户一对多的SVM人脸识别模型，则识别单元229进行人脸识别时，若返回的与各人脸识别模型的相似度数据均小于设定阈值，则拒识当前待识别用户的人脸；如果返回的与各人脸识别模型的相似度数据中存在大于设定阈值的相似度数据，则从所述大于设定阈值的相似度数据中选取最大的相似度数据对应的人脸识别模型作为人脸识别的结果。 \n[0123] 此外，与训练模块21相对应，识别模块22中也可包括特征挑选单元(图中未示出)，用于分别从所计算的人脸深度图像的特征和人脸灰度图像的特征中挑选出分类能力最强的部分特征构成低维特征，则识别单元229只需将该低维特征输入到人脸识别模型中进行人脸识别即可。 \n[0124] 具体实现时，训练模块21中的结构光图像采集单元211和识别模块22中的结构光图像采集单元221在物理上可以为一个单元；训练模块21中的可见光图像采集单元212和识别模块22中的可见光图像采集单元222在物理上可以为一个单元；训练模块21中的深度图像获取单元213和识别模块22中的深度图像获取单元223在物理上可以为一个单元；训练模块21中的灰度图像获取单元214和识别模块22中的灰度图像获取单元224在物理上可以为一个单元；训练模块21中的人脸器官标定单元215和识别模块22中的人脸器官标定单元225在物理上可以为一个单元；训练模块21中的人脸预处理单元216和识别模块22中的人脸预处理单元226在物理上可以为一个单元；训练模块21中的特征计算单元217和识别模块22中的特征计算单元227在物理上可以为一个单元。此外，训练模块\n21中的人脸姿态计算单元218和识别模块22中的人脸姿态计算单元228在物理上可以为一个单元；训练模块21中的特征挑选单元和识别模块22中的特征挑选单元在物理上可以为一个单元。另外，结构光图像采集单元211(221)和深度图像获取单元212(222)可以由图1所示装置中的深度重构单元11实现，也可以由其他结构单元实现；可见光图像采集单元213(223)和灰度图像获取单元214 (224)可以由图1所示装置中的图像成像单元12实现，也可以由其他结构单元实现。 \n[0125] 具体实现时，训练模块21中的人脸预处理单元216和识别模块22中的人脸预处理单元226可包括：灰度图像预处理子单元和深度图像预处理子单元(图中未示出)。 [0126] 其中，灰度图像预处理子单元用于根据标定的人脸器官特征点的位置，对所述人脸灰度图像进行人脸几何归一化和灰度归一化；深度图像预处理子单元，用于根据标定的人脸器官特征点的位置，对所述人脸深度图像进行人脸几何归一化和深度数据归一化。 [0127] 实际应用中，本发明实施例中所提供的人脸识别系统，并不依赖于图2所示的训练模块，使用任何训练模块获得的人脸识别模型，都可以适用于本发明实施例中的人脸识别过程。 \n[0128] 以上对本发明实施例中的人脸识别系统进行了详细描述，下面再对本发明实施例中的人脸识别方法进行详细描述。 \n[0129] 图3为本发明实施例中人脸识别方法的示例性流程图。如图3所示，该流程包括如下步骤： \n[0130] 步骤301，为每个需要识别的用户训练获得所述用户的人脸识别模型。 \n[0131] 其中，该人脸识别模型可以为对应一种设定姿态的模型，也可以为几种设定姿态的模型。 \n[0132] 步骤302，在设定的人脸姿态范围内，采集当前待识别用户同时刻的带有结构光编码的人脸图像和没有结构光编码的人脸图像。 \n[0133] 其中，设定的人脸姿态可以为设定的一种姿态，也可以为几种设定姿态中的任一种姿态。例如，若需要实现各姿态人脸的识别，则步骤301中的人脸识别模型可包括各种人脸姿态的模型，如-50°到-20°、-20°到20°、20°到50°等深度旋转姿态与-40°\n到-10°、-10°到10°、10°到40°的低头抬头姿态构成的不同姿态等。 \n[0134] 步骤303，根据带有结构光编码的人脸图像，得到用户的人脸深度图像， 根据没有结构光编码的人脸图像，得到用户的人脸灰度图像。 \n[0135] 步骤304，利用人脸灰度图像进行标定，确定人脸灰度图像和人脸深度图像中的人脸器官特征点，根据所确定的人脸器官特征点对人脸灰度图像和人脸深度图像进行人脸预处理。 \n[0136] 步骤305，分别计算经过人脸预处理后的人脸深度图像和人脸灰度图像的特征。 [0137] 步骤306，根据人脸深度图像，计算当前待识别用户的人脸姿态。 \n[0138] 步骤307，将所计算的特征输入到所述人脸姿态对应的人脸识别模型中，进行人脸识别，返回与各人脸识别模型的相似度数据。 \n[0139] 步骤308，根据返回的相似度数据，输出最终的人脸识别结果。 \n[0140] 本步骤中，若返回的与各人脸识别模型的相似度数据均小于设定阈值，则拒识当前待识别用户的人脸，如果返回的与各人脸识别模型的相似度数据中存在大于设定阈值的相似度数据，则从所述大于设定阈值的相似度数据中选取最大的相似度数据对应的人脸识别模型作为人脸识别的结果。 \n[0141] 下面对图3所示流程中的各个步骤进行详细描述。 \n[0142] 图3中步骤301所述的训练过程，可以采用多种方式进行训练，如图4所示，图4为本发明实施例中采用的样本训练流程示意图，该流程包括如下步骤： \n[0143] 步骤401，针对每个需要识别的用户，在设定的人脸姿态范围内，采集正样本与对比样本的带有结构光编码的人脸图像和没有结构光编码的人脸图像。 \n[0144] 本实施例中，若采用支持向量机(SVM)的方式实现人脸识别(对于支持向量机的算法描述，可以参见边肇祺、张学工等人所著的《模式识别》，清华大学出版社，2000年)，则对比样本可以为反样本。为了提高人脸认证的准确度，需要收集大量反样本人脸图像，这些反样本最好应尽量覆盖不同表情、不同肤色、不同年龄的人脸，包含戴与不戴眼镜人脸。此外，若需要实现各姿态人脸的识别，则这些反样本还需要包含不同姿态的人脸，如-20°到\n20°、-50°到-20°、20°到50°等深度旋转姿态与-40°到-10°、-10°到10°、10 °\n到40°的低头抬头姿态构成的不同姿态的人脸等。 \n[0145] 正样本人脸是指待识别用户的人脸样本，这类数据需要在实际应用时由程序自动采集用户的样本，并自动对用户样本进行预处理和特征计算。 \n[0146] 步骤402，对每个样本的人脸图像，根据所述带有结构光编码的人脸图像，得到所述样本的人脸深度图像，根据所述没有结构光编码的人脸图像，得到所述样本的人脸灰度图像。 \n[0147] 步骤403，利用所有样本的人脸灰度图像进行标定，确定人脸灰度图像和人脸深度图像中的人脸器官特征点位置，根据所确定的人脸器官特征点位置，对对应样本的人脸灰度图像和人脸深度图像进行人脸预处理。 \n[0148] 步骤404，分别计算各样本经过人脸预处理后的人脸深度图像的特征和人脸灰度图像的特征。 \n[0149] 步骤405，根据正样本的人脸深度图像，计算所述用户当前图像的人脸姿态。 [0150] 步骤406，利用所计算的特征对所述用户进行训练，得到所述用户当前人脸姿态的人脸识别模型。 \n[0151] 图3所示步骤302和图4所示步骤401中带结构光编码的人脸图像可由图1所示装置中的投影装置10和深度重构单元11中的与光源相对应的图像传感器111完成；没有结构光编码的人脸图像可由图1所示装置中的图像成像单元12中的可见光图像传感器121完成。此外，也可由其它装置来完成。 \n[0152] 图3所示步骤303和图4所示步骤402中的人脸深度图像可由图1所示装置中深度重构单元11中的图像预处理模块112、解码模块113和深度获取模块114根据带有结构光编码的人脸图像得到；人脸灰度图像可由图1所示装置中图像成像单元12中的图像处理模块122和灰度处理模块123根据所述没有结构光编码的人脸图像得到。此外，也可由其它装置来完成。 \n[0153] 图3所示步骤304和图4所示步骤403中所述的人脸器官特征点的标定，现有技术中有很多种方法可以实现，例如中国专利申请200610011673.2中提供的标定方法。其中，人脸器官特征点通常包括两眼和嘴巴，当然也可以 为其它的。现以两眼和嘴巴的标定为例进行描述。本发明实施例中，可以通过以下步骤确定双眼位置：(1)在已获人脸位置信息的基础上，采用统计方式确定左眼搜索区域和右眼搜索区域，并确定左眼初选位置与右眼初选位置；(2)在所述左眼与右眼搜索区域内，分别采用左眼局部特征检测器与右眼局部特征检测器，对所有左眼初选位置和右眼初选位置进行判别，并为每个初选位置确定一个单眼相似度数值；(3)从所有左眼初选位置与右眼初选位置中，分别选择相似度数值最大的前N1个位置作为左眼候选位置和右眼候选位置，并将所有左眼和右眼候选位置配成双眼候选对，以每一个候选对为基准确定双眼区域；(4)采用双眼区域检测器作为全局约束，对所述每一个双眼区域进行判别，为其中每个双眼候选对确定一个双眼相似度数值；(5)选择双眼相似度数值最大的前M1个双眼候选对，对其中的所有左眼候选位置与所有右眼候选位置分别计算平均值，作为左眼特征点位置与右眼特征点位置。 \n[0154] 并可以通过以下步骤确定嘴巴位置：(1)在已获眼睛位置信息的基础上，采用统计方式确定嘴巴位置搜索区域，并确定嘴巴初选位置；(2)在嘴巴位置搜索区域内，采用嘴巴局部特征检测器对每一个嘴巴初选位置进行判别，并为之确定一个嘴巴局部相似度数值；(3)选择嘴巴局部相似度数值最大的前N2个初选位置作为嘴巴候选位置，对于每个候选位置，以左眼特征点位置、右眼特征点位置、嘴巴候选位置为基准，确定脸部区域；(4)采用脸部区域检测器作为全局约束，对每个所述确定的脸部区域进行判别，为其中的每个嘴巴候选位置确定一个嘴巴全局相似度数值；(5)选择嘴巴全局相似度数值最大的前M2个候选位置，计算这些候选位置的平均值，作为嘴巴特征点位置。 \n[0155] 图4所示步骤403中，对所有反样本，本实施例中可以通过手动标定所有反样本人脸的器官特征点，如标定三个点：两眼中心、嘴巴中心。而对于待识别用户的正样本可以采取自动标定的方法，获取三个点的坐标。 \n[0156] 图3所示步骤304和图4所示步骤403中所述的预处理步骤，过程都是相似的，下面主要以对样本图像的预处理为例来进行说明。 \n[0157] 在进行人脸识别前，必须对输入人脸图像的尺寸、位置、灰度和深度进行预处理，使不同的人脸图像的尺寸、灰度和深度保持一致。另外，不同图像中人脸的位置应该保持一致，这可通过眼睛、嘴巴等人脸器官特征点的标定的方法，使输入图像中人脸眼睛、嘴巴等人脸器官特征点的位置基本固定，再对整幅图像进行仿射变换或非线性矫正等。只有经过这些预处理后，同一个人的多个输入人脸在某些特征上才会具有一定的相似性，而不同的人脸也才会具有一定的差异，此时才可以采用统计模式识别算法进行模型的训练与识别。 [0158] 预处理过程主要包括：根据标定的人脸器官特征点，对人脸灰度图像进行几何归一化和灰度归一化，对人脸深度图像进行几何归一化和深度归一化。 \n[0159] 若如图5所示已标定两眼中心和嘴巴中心三个标定点，则根据这些标定点可以对各个人脸进行几何归一化，即将人脸图像的主要器官位置矫正到标准位置，减小样本间的尺度、平移和平面旋转差异，然后根据器官位置剪裁出人脸区域成为人脸样本，使人脸样本尽量少地引入背景干扰，且不同人脸样本的器官位置具有一致性。 \n[0160] 下面先对人脸灰度图像的几何归一化进行描述。 \n[0161] 本实施例中，可引入标准灰度人脸图像对各个人脸样本进行几何归一化和人脸区域的裁剪。首先确定待识别人脸窗口的尺度wd×ht为44×48，即宽为44，高为48。以正面人脸为例，首先获取一幅标准的正面人脸图像，标准图像中两眼的y坐标一致，人脸也基本对称，如图5中的5A所示，标定该图像的三个器官特征点。根据该图像中双眼的距离和位置确定裁剪的正方形人脸区域的位置。设两眼的距离为r，两眼连线的中心点为(xcenter，ycenter)，采集矩形的宽设为2r，即两倍双眼间距，则矩形裁剪区域的坐标 (xleft，ytop，xright，ybottom)为： \n[0162] \n[0163] 将裁剪的人脸区域归一化到44×48的尺寸，如图5中的5B，并获取归一化后三个标定点的坐标[xstad(i)，ystad(i)]，i＝0，1，2，前两个为眼睛中心点，最后一个为嘴唇中心点。 \n[0164] 给定某样本的人脸灰度图像和标定的三个特征点[xlabel(i)，ylabel(i)]，i＝0，1，\n2，如图5中的5C，比较直接的裁剪方法是计算这三个点与标准图像归一化后三点坐标间的仿射变换系数。另外，仿射变换式中不能加入人脸各个方向的拉伸变换，仅考虑平面旋转和整体缩放两个变换。接着由仿射变换系数可以计算该裁剪图像中任意一点到原始样本中对应点坐标，进而获取裁剪人脸中所有点的像素值，如图5中的5D所示。 \n[0165] 不过基于仿射变换的算法存在着一些缺陷。首先当人脸样本带表情或者输入人脸非正面时，采用这种方法获取的裁剪人脸的眼睛嘴唇中心点与标准图像的眼睛嘴唇中心点偏差会比较大，特别是带姿态样本裁剪后的嘴唇中心点还不在图像垂直中心轴上，眼睛位置也有差异，如图6所示，6A是原始图像和标定点，6B是裁剪图像。因此对于同一人不同姿态表情的人脸，其裁剪图像中人脸眼睛嘴唇位置差异较大，这一定程度会降低识别算法抗表情、姿态干扰的能力。 \n[0166] 为了，本实施例采用了一种非线性矫正方法，即采用非线性的方法将输入人脸三个中心点完全矫正到标准人脸三点的位置。首先仅考虑眼睛的两个中心点，采用仿射变换算法在输入人脸与标准人脸的标定点之间计算仿射变换系数，此时同样只考虑旋转和整体缩放两个变换。即： \n[0167] \n[0168] 上式中有四个未知数，四个等式，只有唯一的一个解，设为(a，b，c，d)，图6中的\n6C是仅采用这四个系数获取的裁剪结果。由这个仿射变换系数可以计算出输入样本中三个特征点在裁剪人脸中的对应点，设为[xtrans(i)，ytrans(i)]，i＝0，1，2。前两个变换坐标即眼睛的位置与标准脸的眼睛位置完全一致，但受姿态、表情等干扰，嘴巴位置差别可能比较大。为此我们需要将嘴巴位置矫正到标准位置。 \n[0169] 如图7所示，图中A、B点是标准图像中的中心点，D点是A、B的中央点，Cstad是标准嘴唇中央点，C是变换后的嘴唇点。非线性矫正过程分两步进行，首先在y方向进行矫正，使矫正后嘴唇点的y坐标与Cstad一致，如图7中的C′点。然后再进行x方向的矫正，我们将D与C′连接起来，DC′连线将人脸分为左右半边，考虑水平方向的某条直线，设其y坐标为y1，其与DC′直线的交点坐标E为(x1，y1)。由于我们需要将(x1，y1)移至(xD，y1)，其中xD为D的x坐标，因此需要对(xD，y1)左右两边的点分别进行线性变换，将E移至中轴线DCstad上。考虑某点(x，y1)，对左边的点x＜x1，其矫正后点的坐标为(x·xD/x1，y1)，对右边的点x≥x1，其矫正后点的坐标为[2xD-xD·(2xD-x)/(2xD-x1)，y1]。可以看出，如果C′在Cstad的右侧，则需要对左侧的人脸进行压缩，对右侧人脸进行拉伸，这样可以将DC′直线上所有点都矫正到人脸垂直中轴线DCstad上。 \n[0170] 在获取非线性矫正系数后，接着结合原始图像获取矫正后的人脸，设裁剪后的人脸图像为I，该图像尺寸为44×48，其中某点坐标为(x，y)，根据非线性矫正系数获取其矫正前的坐标(x′，y′)，再由仿射变换系数获取原始图像中该点的坐标(xori，yori)： [0171] \n[0172] 为消除噪声的影响，裁剪后的图像中(x，y)的像素值设为对应点(xori，yori) 邻域范围内所有点像素值的均值，如图6中的6D所示。 \n[0173] 此外，对于其他姿态的人脸，可采用类似方法进行处理。 \n[0174] 上述对人脸灰度图像的几何归一化进行了详细描述，人脸深度图像的几何归一化只需要根据人脸灰度图像进行几何归一化的数据进行处理即可。如采用与人脸灰度图像缩放时同样的比例进行缩放，以及还可以采用与人脸灰度图像平面旋转时同样的角度进行平面旋转等。 \n[0175] 此外，由于人脸灰度图像受外界光照、成像设备等因素干扰，其亮度或对比度会出现异常，出现强阴影或反光等情况，另外不同人种的肤色间也存在这差异，因此需要对几何归一化和矫正后的人脸样本进行灰度均衡化处理，改善其灰度分布，增强模式间的一致性，即进行灰度的归一化。不过，人脸识别中的光照问题一直是比较困难但也是非常重要的问题。多年来已经有了非常多的光照处理算法，但性能都比较一般，抗各种环境光干扰的能力都比较差。由于基于统计方法的人脸识别算法需要采集人脸的正样本并进行训练，但人脸正样本的光照一般比较单一，即使对加入不同光照的正样本，训练数据也只能覆盖少数几种光照分布。而实际场景中光照是非常复杂的，而同样的人脸但光照差别较大时灰度也会存在这明显的差异，计算出的图像特征也会存在这差别。另外，如果输入人脸的光照不均匀，部分区域光照强，部分区域光照弱一些，此时即使对图像进行全图的归一化、直方图均衡等，都很难得到光照比较均匀的人脸数据，这就会大大降低人脸识别的精度。 [0176] 为此，本发明实施例中采用的光照处理算法可以分两步进行，首先对图像进行整体的灰度归一化，接着结合标准图像进行局部的灰度归一化。 \n[0177] 整体归一化比较简单，给定一幅标准人脸图像，如图5中的5B，计算标准人脸灰度的均值Ps和方差σs，接着计算输入样本灰度的均值P和方差σ，其任一像素值I(x，y)归一化后的像素值为： \n[0178] I′(x，y)＝[I(x，y)-P]·σs/σ+Ps\n[0179] 设标准图像某点(x，y)的像素值为S(x，y)，输入人脸灰度归一化后该点值 为I′(x，y)。由于这两幅图像中眼睛、嘴巴的位置已经完全对应，因此样本中各个器官的位置与标准人脸的器官位置差别也不会太大。也就是说两幅图像各个局部的灰度应该近似一致，如果灰度不一致，则可以认为是输入人脸的光照不均匀，需要进行灰度的矫正，由此可以用标准人脸的灰度去矫正输入人脸的灰度。 \n[0180] 基于此考虑，本发明实施例对各个像素点分别进行处理，考虑其中某个点(x，y)，抽取其邻域范围内所有像素点，邻域长宽均为W，我们统计输入样本中(x，y)邻域内W×W个点灰度的均值，设为AI(x，y)，再统计标准样本中(x，y)邻域内W×W个点灰度的均值，设为AS(x，y)。AI(x，y)反映的当前邻域内亮度的大小，AS(x，y)反映的是标准人脸局部光照的强度，如果两者差异较大，则表示输入人脸当前点附近光照不均匀，需要对该点的灰度进行矫正，又AS(x，y)与AI(x，y)的比值可以近似反映光照强度的比值，因此可以直接将该点的灰度值乘以这个比值，作为矫正结果，即(x，y)点处理后新的灰度值Ir(x，y)为： [0181] Ir(x，y)＝I′(x，y)·AS(x，y)/AI(x，y) \n[0182] W的选择比较关键，W不能太大，否则灰度矫正没有效果，W也不能太小，否则矫正后的人脸图像与标准人脸比较接近，本文将W设为15，获取最佳结果。如图8所示，为光照处理前和光照处理后的结果对比示意图，其中，8A为整体灰度归一化后的人脸图像；8B为根据本发明的实施例进行灰度矫正后的人脸图像。 \n[0183] 另外，对人脸深度图像进行深度归一化时，可以对人脸深度图像的深度数据以设定的人脸参考点(如两眼中心点)为基准，将该参考点的深度数据设置为零，将人脸其他点相对于该参考点的深度数据作为归一化后的深度数据。 \n[0184] 图3中步骤305以及图4中步骤404所述的特征计算，在人脸识别中是非常关键的环节。常用的特征有灰度特征、边缘特征、小波特征、Gabor特 征等。本发明实施例中，以Gabor特征为例进行描述。 \n[0185] 在Gabor特征计算中，二维Gabor滤波器的冲激响应表示为： \n[0186] \n[0187] 其中σ＝2π，本实施例中，考虑了5个频率v＝0，...，4，8个方向μ＝0，...，\n7，则有： \n[0188] \n[0189] 在人脸灰度图像和人脸深度图像的每个点，可以都计算5个频率，8个方向，共\n2×40＝80维Gabor特征，计算方式是将输入的人脸图像与各个频率各个方向的冲激响应进行卷积，即： \n[0190] Gj(x)＝∫Ir(x′)ψj(x-x′)dx′ \n[0191] 为了提高Gabor特征的计算效率，可以采用FFT算法对这个卷积过程进行加速，先对Ir(x′)和ψj(x′)分别进行FFT变换，将变换后的结果相乘再进行反FFT变换，就可以得到人脸灰度图像和人脸深度图像中所有点对于某个频率某个方向的Gabor特征。总的Gabor特征数为2×5×8×44×48＝168960，这个数据量是非常大的，直接采用分类算法对如此高维的特征进行训练和识别是非常困难的，因此还需要进行特征的挑选，大幅度降低特征的维数。 \n[0192] 每幅人脸Gabor特征的维数高达168960，而总的训练样本数可能有一万多，若在分类器训练时采用1对多的SVM算法，则可以采用基于AdaBoost的特征挑选算法，结合1对多的分类方式和正反样本数据从这些特征中挑选出分类能力最强的数千维特征，如2000维特征出来，将挑选出的特征组成新的低维Gabor特征向量，特征选择完毕后再采用一对多的SVM算法对不同用户进行训练。这样训练算法的计算量和存储的人脸模型的数据量都大大降低。在识别过程中，算法只需要计算出人脸的Gabor特征，结合已有的特征挑选结果挑选出低维特征，再对低维特征向量进行识别即可。 \n[0193] 下面简单介绍一下本发明实施例所采用的基于AdaBoost的特征抽取方法，本实施例中，在对计算出的人脸灰度图像和人脸深度图像的特征进行特征挑选时，可将所有特征合并，一起挑选出设定维数(如2000维)的特征，也可以将两类特征分开挑选，如从人脸灰度图像的特征中挑选出第一设定维数(如1000维)的特征，从人脸深度图像的特征中挑选出第二设定维数(如1000维)的特征。 \n[0194] 图9示出了本发明实施例中基于AdaBoost的特征抽取方法的流程图。如图9所示，该流程包括如下步骤： \n[0195] 步骤901，给定两类样本，样本数为L，正样本数为Lp，反样本数为Ln。 [0196] 步骤902，初始化，设置权重，正样本为1/2Lp，反样本为1/2Ln。 \n[0197] 首先，为正反图像样本集设定权值，在一个具体的实施例中，可以将反图像样本集所占的权重设置为1/2，将所有正图像样本集所占的权重设置为1/2。当然，在其它的实施例中，也完全可以将所有反图像样本集所占的权重设置为2/5，将所有反图像样本集所占的权重设置为3/5。也就是说，可以根据需要为正反图像样本集设定权重。之后，要为每个正反图像样本设定权重，在一个具体的实施例中，可以设定每个正样本的权重为正样本集权重的1/Lp，设定每个反样本的权重为反样本集总权重的1/Ln。当然，也可以将重要的正反图像样本设定较高的权重。 \n[0198] 步骤903，设定迭代轮次t＝1，2，...，T。 \n[0199] 步骤904，考虑所有从未入选的特征，利用单个特征训练弱分类器，根据训练样本集的权值得到最优的阈值参数，使得所有样本的加权错误率最小，这样可以为每个弱分类器及其对应的特征获取一个错误率。 \n[0200] 采用第j个弱分类器hj(x)根据设定的阈值与每个图像样本的第j个特征Gj(x)去判断各个样本图像是正样本还是反样本，由此可以统计出该弱分类器的加权错误率。 [0201] 每个弱分类器都只处理对应的一个特征，其可表示为： \n[0202] \n[0203] 其中，low_θj是弱分类器hj(x)的低阈值，high_θj是弱分类器hj(x)的高阈值，如果当前图像样本的第j个特征Gj(x)的数值大于低阈值且低于高阈值时，所述弱分类器hj(x)输出为1，其表示当前图像样本被判断为正样本；反之，所述弱分类器hj(x)输出为0，其表示当前图像样本被判断为反样本。其中，弱分类器hj(x)的低阈值和高阈值是根据图像样本的权重设定。 \n[0204] 关于弱分类器对图像样本的分类，具体来讲就是，首先，第j个弱分类器hj(x)根据第1个图像样本第j个特征Gj(x)判断第1个图像样本是正样本还是反样本，接下来，根据第2个图像样本第j个特征Gj(x)判断第2个图像样本是正样本还是反样本，......，直到，第j个弱分类器hj(x)根据第L个图像样本第j个特征Gj(x)判断第L个图像样本是正样本还是反样本。 \n[0205] 步骤905，统计出每个弱分类器hj(x)的错误率，选定错误率最小的预定数目个弱分类器并将其对应的特征作为当前轮的特征挑选结果。 \n[0206] 每个弱分类器hj(x)都要对L个图像样本是正样本还是反样本进行判断，其中必定有判断错的样本，换句话说，弱分类器hj(x)可能将正样本认定为反样本，也可能将正样本认定为反样本。将该弱分类器统计错误的图像样本的权重求得，就可以得到这个弱分类器hj(x)的加权错误率。之后，将错误率最小的预定数目个弱分类器对应的特征作为当前轮的特征挑选结果。在一个实施例中，所述预定数目是1，也可以是，2或3等等，操作者可以根据实际情况设定这个数目。 \n[0207] 步骤906，减小选定的弱分类器判断正确的图像样本的权重，增加选定的弱分类器判断错误的图像样本的权重，并对更新后的图像样本的权重进行 归一化，使所有样本的权重之和等于1，返回103，进入下一轮迭代，直至完成设定轮次，挑选出预定数目的特征。 [0208] 上面的挑选方法针对的是两类问题。对于多类问题，可以结合模式分类算法的实现架构设计挑选方法。如果模式分类算法采用的是一对多的架构，我们将特征挑选过程分解为多个两类问题，每个两类问题中其中一类是某类样本，另一类则对应其他样本。如果模式识别问题采用的是一对一的架构，即将多类模式识别问题分解为多个两类一对一问题，每个两类问题中的一类为任一类输入样本，第二类为另一类输入样本。这样在特征挑选时需要考虑多个类似图9的AdaBoost模块流程，可将各个AdaBoost模块流程同步实现，即将所有AdaBoost模块的第t轮弱分类器返回的错误率加起来，将总的错误率最小的特征返回，作为该轮的特征挑选结果。各轮特征挑选完毕后再根据当前的各个AdaBoost模块的错误率更新权重，挑选下一组特征。 \n[0209] 其中，由于人脸的深度信息是不受光照干扰的，因此在挑选低维特征时，如果训练样本的人脸光照变化过大，则特征挑选算法就会自动挑选对光照不敏感的特征即由深度信息计算的Gabor特征，这样使得基于挑选特征实现的人脸识别方法能够达到提高抗光照干扰的能力。 \n[0210] 图3所示步骤306和图4所示步骤405中所述的人脸姿态，具体实现时可分为多种姿态类别。本实施例中，各人脸姿态类别由一个左右深度旋转角度范围和一个上下深度旋转角度范围共同表示。例如，若将左右深度旋转角度记为θ，上下深度旋转角度记为 则人脸姿态包括两个参数：θ和 深度旋转角度θ表示人脸左右深度的变化，θ绝对值越大，表示人脸侧得越厉害；上下深度旋转角度 表示人脸上下深度的变化， 越大，表示人脸仰头角度越大， 越小，表示人脸低头角度越大。 \n[0211] 本实施例中，需要利用人脸深度图像的深度数据计算这两个角度。若之前已将两眼中心点选为人脸基准点，并利用仿射变换和归一化处理将人脸旋转成直立人脸。则可设人脸某点相对基准点的坐标为(x，y，z)。另外为方便计 算，可近似认为人脸表面是一个平面，则各点坐标与两个姿态角度的关系为 \n[0212] \n[0213] 其中，\n[0214] \n[0215] 已知x，y，z和L，需要计算出θ和 对所有人脸表面进行联合处理，采用最小二乘法，最终即可获取这两个角度。接着可对这两个角度进行量化，即将不同姿态的人脸分为数类，每类分别对应一定的姿态范围。例如可将θ分为-50°到-20°、-20°到20°、20°到50°三个区域，对应左右选择人脸的四个姿态，同样可将 分为-40°到-10°、-10°到\n10°、10°到40°三个区域。具体应用中，偏侧面的抬头、低头样本可以不用考虑，可只考虑正面人脸的抬头、低头样本，由此可将人脸的姿态参数划分为两个区域，对应五类不同姿态的人脸。在训练人脸模型和进行人脸识别时，也可采取现判决人脸姿态，然后对相应姿态的样本进行训练和识别。 \n[0216] 可见，采用多姿态人脸的识别方法，基于深度数据获取人脸的准确姿态，可大大提高本发明抗姿态干扰的能力。 \n[0217] 本实施例中，所述SVM是统计学习理论发展出的一种模式识别方法。该算法是从线性可分情况下的最优分类面提出的。考虑图10中所示的两类线性可分情况，设样本集d\n(xi，yi)，i＝1，…，n，x∈R，y∈{+1，-1}，其中yi是模式xi的类别标号，H：w·x+b＝\n0为分类界面，H1、H2分别为平行于H且与H距离为1/‖w‖的两平面，它们之间的距离叫做分类间隔(margin)。SVM的基本思想就是希望找到一个最优线性分类面，使分类间隔尽量大，即‖w‖尽量小，并且在训练集上分类错误尽量少。最优分类面的求解问题实际上一个不等式约束下的二次函数极值问题，其最优解为： \n[0218] \n[0219] 其中αi为权重。对多数样本αi为零，少数不为零的αi对应的就是支持向量，即位于H1和H2两平面上的样本。最优分类函数则为 \n[0220] \n[0221] sgn()为符号函数。f(x)为1则表示识别为第一类样本，即y＝1，否则认为识别为第二类样本。将上式中特征向量的点击运算改为内积，且内积满足Mercer条件，就可以将线性SVM扩展为广义的非线性SVM，即： \n[0222] \n[0223] 采用不同的内积函数将导致不同的SVM算法，如多项式内积、S形函数、径向核函数(RBF)等，与线性SVM相比，非线性SVM将最优分类面扩展为非线性的，可以实现很多线性不可分情形的分类，因此分类准确率也得到提高。我们在实现人脸识别时，采用了基于RBF的SVM算法，即： \n[0224] \n[0225] SVM在用于多类人脸的识别时，有一对一和一对多两种实现形式。一对一的SVM是在算法为任两类样本训练SVM分类器，这样如果有N类样本，则需要训练N×(N-1)/2个分类器。识别时将样本依次输入到各个SVM分类器中，每次判决都将淘汰一类样本。当然如果某个分类器对应的两个样本均已淘汰，则跳过该分类器，所有判决完成后剩下的那个类别就是识别结果。一对一分类器的主要问题是训练时只考虑了各类训练样本，大量的反样本数据都浪费掉了，且这种分类器无法实现反样本的拒识，因此无法应用于人脸认证算法。 [0226] 一对多的SVM算法只需要为每个类别分别训练一个分类器，每次训练时正样本就是该类别的训练数据，而反样本则包含了其他各类数据及所有的反样本数据。由于这个方法考虑了众多的反样本数据，训练完后得到的最优分界面可以比较准确地将当前类别样本与其他类别样本分离开来，因此在实现多个人脸的自动认证时，一对多的SVM算法有非常好的应用价值。 \n[0227] 一对多SVM的认证过程也比较简单，将输入样本挑选后的特征输入到N个SVM分类器中，如果所有分类器会拒识输入特征，则认为输入人脸与 训练库中所有类别都不相似，算法输出拒识的结果；反之，如果输入特征仅通过了一个分类器，而被其他所有分类器拒识，则该分类器对应的类别就是人脸识别的结果；另一种特殊情况就是输入特征通过了不止一个SVM分类器，算法认为其与多个类别相似，从实验结果看，这种情形非常少见，因为在分类器训练时各类样本都互为其他类别的反样本，但当不同类别的人脸比较相似时，这种情况也会出现。此时可以采取一种简化方法解决这个问题，由于各个一对多SVM算法都会为每个样本输出一个判决数值： \n[0228] \n[0229] 这个数值在一定程度上也反映了输入样本与对应类别的接近程度，及与对应反样本的差距大小。该数值越大，则表示输入样本与当前类别越相似，与其他类别差异越大。因此可根据这个判决数值的大小处理这种特殊情况，即将未输出拒识结果的SVM分类器返回的： \n[0230] \n[0231] 进行排序，将最大数对应的类别作为人脸识别的结果。这尽管是一个近似的结果，但从实际结果看，这个方法的效果还是非常不错的。 \n[0232] 本发明实施例中，通过获取该人脸的亮度信息及人脸表面的深度信息，在人脸识别中不仅考虑了人脸的亮度信息，还利用了人脸的深度信息，为输入的人脸图像抽取两组特征，并将这两组特征同时送入模式识别分类器中，进行人脸识别模型的训练和识别，与基于可见光图像的人脸识别方法相比，提高了人脸识别方法抗光照干扰的能力。另外，本发明实施例中还可基于深度数据获取人脸的姿态特征，并为不同的人脸姿态训练不同的模型，进而实现分姿态的人脸识别，提高了人脸识别方法抗姿态干扰的能力。此外，本发明实施例中的人脸识别方法与基于三维激光扫描装置的三维人脸识别方法相比，本方法的人脸特征采集方便，人脸识别可实时实现，相关的系统设备成本低，方便携带，因此在人脸识别领域有着非常好的应用价值。 \n[0233] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。