基于单个图像的多生物统计系统及方法

1.一种在其中选择一面部的一单个图像的面部识别方法，其特征在于所述方法包括：
对所述单个图像中的面部特征进行定位；
确定所述单个图像是否代表一活的个体的一实时图像；
响应于确定所述单个图像代表一活的个体的一实时图像，
将在所述单个图像中定位的面部特征与一参考图像的面部特征相比较；
将所述单个图像中的虹膜特征与所述参考图像中的虹膜特性相比较；及根据所述面部特征比较及所述虹膜特征比较来计算所述单个图像与所述参考图像之间的一相似性得分。
2.如权利要求1所述的面部识别方法，其中所述单个图像具有一至少约600像素的眼距分辨率。
3.如权利要求1所述的面部识别方法，其中所述单个图像包括至少约5兆像素。
4.如权利要求1所述的面部识别方法，其进一步包括通过将所述单个图像中所述面部的皮肤特性与一参考图像中一面部的皮肤特性相比较来实施一皮肤纹理分析，其中所述相似性得分进一步基于所述皮肤纹理分析。
5.如权利要求4所述的面部识别方法，其中所述皮肤纹理分析包括：
对所述面部中适用于皮肤纹理分析的皮肤区域进行定位；
对所述所定位的皮肤区域进行扭曲、对齐及规范化；及
从所述所定位的皮肤区域提取皮肤特性。
6.如权利要求5所述的面部识别方法，其中所述皮肤特性可由毛孔、皱纹及痣组成。
7.如权利要求1所述的面部识别方法，其中使用弹性束图匹配对所述面部特征进行定位。
8.如权利要求1所述的面部识别方法，其中使用Gabor子波对所述面部特征进行定位。
9.如权利要求1所述的面部识别方法，其中所述确定所述单个图像是否代表一活的个体的一实时图像包括测量所述第一组面部特征中的一眼睛的一瞳孔的直径与所述第二组面部特征中的一眼睛的一瞳孔的直径之间的变化。
10.如权利要求1所述的面部识别方法，其中所述确定所述单个图像是否代表一活的个体的一实时图像包括分析所述第一组面部特征与所述第二组面部特征之间的内部面部运动。
11.一种面部识别方法，其中一人的一面部的一单个图像被实时的选择，所述方法包括：
对所述单个图像中的面部特征进行定位；
至少部分响应于所述定位的面部特征的位置而提供反馈，所述反馈要求该人改变其表情；
将在所述单个图像中定位的面部特征与一参考图像的面部特征相比较；
将所述单个图像中的虹膜特征与所述参考图像中的虹膜特性相比较；及根据所述面部特征比较及所述虹膜特征比较来计算所述单个图像与所述参考图像之间的一相似性得分。
12.如权利要求11所述的面部识别方法，其中所述单个图像具有一至少约600像素的眼距分辨率。
13.如权利要求11所述的面部识别方法，其中所述单个图像包括至少约5兆像素。
14.如权利要求11所述的面部识别方法，其进一步包括用于通过将所述单个图像中所述面部的皮肤特性与一参考图像中一面部的皮肤特性相比较来实施一皮肤纹理分析的构件，其中所述相似性得分进一步基于所述皮肤纹理分析。
15.如权利要求14所述的面部识别方法，其中所述实施一皮肤纹理分析的步骤包括：
对所述面部中适用于皮肤纹理分析的皮肤区域进行定位；
对所述所定位的皮肤区域进行扭曲、对齐及规范化；及
从所述所定位的皮肤区域提取皮肤特性。
16.如权利要求15所述的面部识别方法，其中所述皮肤特性可由毛孔、皱纹及痣组成。

基于单个图像的多生物统计系统及方法\n[0001] 相关申请案交叉参考\n[0002] 本申请案主张基于2004年6月21日提出申请的第60/581,496号美国专利申请案的权利，该申请案以引用方式并入本文中。\n技术领域\n[0003] 本发明涉及用于整合面部、皮肤及虹膜识别以提供一用于识别个体的具有空前准确度的生物统计系统的方法。此方法的一引人注目的特征在于其只需要单个描绘人脸的数字图像作为源数据。\n背景技术\n[0004] 不同的参考文献公开了涉及通常图像处理的一些特征。例如，Takata EP102811公开了一种用于个人识别的系统和方法。所述系统和方法较佳地基于虹膜识别，并包括相机，其用于获得一呈现的个人的一呈现的图像；以及计算机装置，其将所述呈现的图像转换为呈现的图像度量。所述计算装置将所述呈现的图像度量与预定布置的多个已知个人的参考图像度量进行比较，以将所述呈现的个人识别为所述已知个人中的一者。所述呈现的图像度量与所述多个参考度量均被格式化以代表所述个人的详细身体特征，包括虹膜特征和其它身体特征。而且，所述多个参考图像度量也可被格式化以代表用户定义的特征，其包括非图像相关特征。所述预定布置的所述多个参考图像度量经排列以提供与所述呈现的图像度量之间的快速匹配。此时，所述预定布置可以基于虹膜特征、其它身体特征、以及用户定义的特征。或者，该发明的系统可以包括一转盘系统(carousel system)，其提供循环的预定布置的一系列参考图像度量，所述一系列参考图像度量与多个呈现的图像度量进行并行比较。因此，所述系统和方法提供所述呈现的图像度量与所述多个参考图像度量之间的快速匹配确定，以识别所述呈现的个人。\n[0005] 再例如，Delean，美国专利申请号2004/0052418公开了用于概率图像分析的方法和装置。在一个实施例中，对图像进行归一化和滤波，并确定该图像随机匹配参考图像的特征的可能性。如果所述可能性小于一阈值，则系统确定所述图像和所述参考图像匹配。在一个实施例中，从两幅图像间计算得到的光流的相关性确定所述可能性。在一个实施例中，将图像划分为多个像素区域。一幅图像中的一个像素区域映射至另一图像中的一最佳匹配区域。所述像素区域的一临近区域映射至另一图像中的一最佳匹配像素区域。将所述像素区域及其临近区域之间的位置关系与所述两个最佳匹配像素区域之间的位置关系进行比较。\n[0006] 又例如，Hanna，美国专利号6714665公开了一种识别系统，其获取并分析一场景中的至少一个对象的图像。所述系统包括宽视场(WFOV)成像器，其用于捕捉所述场景的一图像并对所述对象进行定位；以及窄视场(NFOV)成像器，其响应于所述WFOV成像器提供的定位信息，并用于捕捉所述对象的一图像，所述对象的所述图像具有比所述WFOV成像器捕捉的图像更高的分辨率。在一个实施例中公开了一种系统，其获取并分析一图像中的人或动物的眼睛的虹膜的图像，而基本不涉及或完全不涉及所述人或动物。该专利也公开了一种方法，其用于获取并分析一场景中的至少一个对象的图像。所述方法包括捕捉所述对象的一宽视场图像以对所述场景中的所述对象进行定位；以及使用一窄视场成像器，其响应于所述捕捉步骤中提供的定位信息，以捕捉所述对象的一更高分辨率的图像。\n[0007] 再例如，Wiskott等人的论文“Face Recognition by Elastic Bunch Graph Matching”公开了一种用于从一为每人包含一图像的大型数据库的多个单个图像中识别人的面部的系统。其中基于Gabor子波变换而用带有标签的图表示面部，并通过弹性图匹配过程萃取新的面部图像图且可通过简单的相似性功能比较所述新的面部图像图。该系统在三个方面不同于现有的系统：将相位信息用于精确的结点定位；将对象适应的图用于处理深度上的大旋转；基于一数据结构(束图)进行图像图萃取，所述数据结构构建自一小组样本图像图。\n发明内容\n[0008] 本发明可实施为一种面部识别方法及相关设备的形式，其包括选择一面部的单个图像、对所述单个图像中的面部特征进行定位、将在所述单个图像中所定位的面部特征与一参考图像的面部特征相比较、将所述单个图像中的虹膜特征与所述参考图像中的虹膜特性相比较、并根据所述面部特征比较及所述虹膜特征比较来计算所述单个图像与所述参考图像之间的一相似性得分。\n[0009] 在本发明的更详细特征中，所述单个图像可具有一至少约为600像素的眼距分辨率，并可具有至少约5兆像素。可通过将所述单个图像中所述面部的皮肤特性与一参考图像中一面部的皮肤特性相比较来实施一皮肤纹理分析，且所述相似性得分可进一步基于所述皮肤纹理分析。所述皮肤纹理分析可包括：对面部中适于进行皮肤纹理分析的皮肤区域进行定位；对所定位的皮肤区域进行扭曲、对齐及规范化；并从所定位的皮肤区域中提取皮肤特性。所述皮肤特性可由毛孔、皱纹及痣构成。\n[0010] 在本发明的其他更详细特征中，所述单个图像可选自一视频，且所述面部特征是根据对所述视频中面部特征的面部特征跟踪来定位的。此外，所述面部特征还可使用弹性束图匹配来定位。或者，所述面部特征可使用Gabor子波来定位。\n附图说明\n[0011] 附图图解说明本发明各实施例，并连同说明一起用来解释本发明原理。\n[0012] 图1为一流程图，其图解说明一种根据本发明使用一多生物统计方法根据单个数字图像来识别人的方法。\n[0013] 图2为一流程图，其图解说明一种用于皮肤纹理分析的匹配过程。\n[0014] 图3为一面部图像的照片，其显示一图形中位于所关心面部特征处的节点。\n[0015] 图4为一可经调谐以实施面部、皮肤及虹膜识别的视觉识别引擎的一方块图。\n具体实施方式\n[0016] 本发明涉及用于整合面部、皮肤及虹膜识别以提供一用于识别个体的具有空前准确度的生物统计系统的方法。此方法的一引人注目的特征在于其只需要单个描绘人脸的数字图像作为源数据。在各种各样的操作条件下，误拒绝率可低于0.001，而误接受率为\n0.01，从而超过传统上较佳的指纹法的辨认准确度。本发明允许使用一种只需要被辨认个体进行最小限度配合的非侵害性生物统计来对大的数据库进行有效检索。\n[0017] 数字照相机正变得日益普遍及便宜。而且，用户数字照相机所使用的CCD及类似成像传感器的分辨率一直在稳定地提高。目前所具有的大部分照相机能够具有五兆或以上的像素，从而在普通打印尺寸情况下使打印质量能够与基于胶片的模拟照相机相媲美。最近，全球用户数字照相机的销售量超过了更便宜的模拟照相机。很快，廉价照相机(例如网络照相机及嵌入移动手机中的照相机)将支持如此高的分辨率。\n[0018] 可利用高分辨率图像的此种可用性来超越现有面部识别技术，以提高这些生物统计系统的准确度。现有技术更多地依赖整体(即基于图像的)匹配方法，或依赖从显眼的面部标志(例如鼻、眼或嘴)所提取的局部特征的匹配。一个非常成功的实例是面部识别技术，其使用弹性束图匹配对面部特征位置进行准确定位，并计算由各种比例及取向的Gabor子波系数构成的模板，从而形成一个体的独有的面部模板。参见2001年10月9日颁与的第6,301,370号美国专利“根据视频图像进行的面部识别(FACERECOGNITION FROM VIDEO IMAGES)”。\n[0019] 通过使用一更高分辨率图像，能够例如使用从面部上的无毛发区域所提取的皮肤小片以更详细的程度进行面部分析，或通过分析一个体虹膜中独有的图案而以一甚至更高的详细程度进行面部分析。一包含面部的图像的分辨率本身并不是用于指示捕捉所述面部的像素分辨率的可靠量度。例如，一极高分辨率图像可包含一在景物中非常远的面部，以致仅由很少的像素来表示所述面部。或者，一极低分辨率图像可包含一非常近的面部，以致所述图像中的大部分分辨率均用来表示所述面部。一更适用的分辨率量度是“眼距分辨率”，其在本文中被定义为一面部中左瞳孔与右瞳孔之间的像素分辨率。对于典型的传统面部识别技术而言，需要眼距分辨率约为25至80像素(例如40像素)，而对于皮肤小片分析而言，需要眼距分辨率约为120至150像素，且对于虹膜分析而言，需要眼距分辨率约为600至650像素。\n[0020] 另外，重要的是图像不模糊，否则会降低有效图像分辨率。对一受检测面部的区域使用傅立叶方法便能够估计是否已真正地达到必要的“有效眼距分辨率”。最后，重要的是检查已达到有效像素深度。此可使用同样取自一所检测面部的区域的灰度值直方图来容易地实现。较佳地，所述像素深度接近至少8位。\n[0021] 如果在一足够窄的视角处使用一5或6兆像素照相机在一适当距离处捕捉一面部，则眼距分辨率可处于虹膜分析技术的范围内，且因此可从一个数据源中提取用于三种完全不同的生物统计方法的生物统计模板。此外，可采用用于获得超级分辨率的众所周知的方法来提高有效图像分辨率(例如使用光流及不规则采样的图像中的超级分辨率(Superresolution in images using optical flow and irregular Sampling)，MarcRumol，Patrick Vandewalle，LCAV-School of Computer and Communication Sciences，Ecole Polytechnique Fédérale de L ausanne)。\n[0022] 将不同的生物统计方法相组合可提高验证准确度，并且还提高生物统计系统的总体可用性。成功的实例是将声音与面部、及指纹与面部相融合。这些方法所具有的共同之处是其需要不同的传感装置。本发明方法能够将上述生物统计方法、面部、皮肤纹理分析及虹膜识别组合于一个单传感器、基于图像的多生物统计系统中。\n[0023] 参照图1阐述单图像多生物统计分析(SIMBA)过程10。选择一面部12的输入图像来进行分析(步骤14)。在已对所述面部及其面部特征进行定位(步骤16及18)后，在三个分别分析面部、皮肤纹理及虹膜特征的半正交通道20、22及24中对所述面部的不同部分进行处理(步骤26)。将所定位的面部特征与来自一数据库27中的面部图像的对应值进行比较。一融合模块28将这三个通道的结果结合成单个相似性得分。根据所述相似性得分(步骤30)，识别出所述图像中的人(步骤32)或在所述数据库中未发现所述人(步骤\n34)。\n[0024] 面部检测(步骤16)可通过几种现有面部查找程序中的任何一种来实施。一较佳方法使用一通过Adaboost算法加以训练的决策树并使用Gabor子波作为特征。此方法对一代表性图像集合达到99.7％的面部检测率且误警报率为0.001。其性能超过例如由Viola及Jones于2001年12月在“使用简单特征的增强级联进行快速对象检测，IEEE计算机视觉及图案识别会议会刊(Rapid Object Detection using a Boosted Cascade ofSimple Features，Proc.of IEEE Conf.on Computer Vision and Pattern Recognition)”中、及由Rowley等人在1998年提出的方法。\n[0025] 面部特征检测(步骤18)可根据弹性图匹配技术使用一高速面部特征查找及跟踪模块来实施。参见名称为“对化身动画的基于子波的面部运动捕捉(WAVELET-BASED FACIAL MOTION CAPTURE FOR AVATAR ANIMATION)”的第6,272,231号美国专利。较佳地，对面部中的五十五(55)个特征位置进行实时检测及跟踪。此模块在准确度及速度方面是独一无二的。面部特征跟踪使SIMBA技术大大增强，因为其允许对一视频序列的每一帧中的面部特征(包括瞳孔)进行精确定位。对面部特征进行精确定位是对面部特征、皮肤小片及虹膜细部进行比较的先决条件。\n[0026] 面部特征比较(步骤20)可使用市场上的几种引擎中的一种、尤其是可从位于加利福尼亚州Santa Monica的Neven Vision公司购得的面部识别引擎来实施。一较佳的选择同样阐述于名称为“根据视频图像进行的面部识别(FACE RECOGNITIONFROM VIDEO IMAGES)的第6,301,370号美国专利中，该专利以引用方式并入本文中。\n[0027] 皮肤纹理分析(步骤22)可根据对个体皮肤特性(例如毛孔、皱纹、痣等等)的分析。适当的区域为面部中光滑、无毛发的区域，例如(举例而言)面颊、下巴、鼻子或前额。\n根据如发型或性别(面部毛发)之类的因素而定，可使用哪些区域可因人而异。\n[0028] 参照图2，皮肤纹理分析的匹配过程210可划分成如下处理步骤：\n[0029] 1.检测面部(步骤212)；\n[0030] 2.检测面部特征(步骤214)；\n[0031] 3.确定面部中适于皮肤纹理分析的皮肤区域的位置(步骤216)；\n[0032] 4.对皮肤小片进行扭曲、对齐及规范化(步骤218)；\n[0033] 5.提取用于描述局部皮肤区域的特征(步骤220)；\n[0034] 6.将这些特征与参考图像相比较，并计算相似性得分(步骤222)。\n[0035] 近来由Bruno Delean所揭示的一种解决方案将眼下面的区域划分成矩形方块并使用简单的方块匹配算法及对相邻方块相对位置的直观推断式评价来计算所述相似性得分。(Bruno Delean，“用于概率性图像分析方法及设备(Method and apparatus forprobabilistic image analysis)”，第2004/0052418号美国专利申请公开案)。前面所阐述的各方法采用使用Gabor子波的基于弹性图匹配的更复杂方法(Buhmann等人，1990年，及Wiskott等人，1997年)。\n[0036] 由于当前的面部识别及面部检测技术(例如第6,301,370号美国专利)依赖对显眼的面部特征的位置进行准确地精确定位，因此其非常适用于基于皮肤纹理分析的生物统计辨认。一个选项是使用弹性图匹配技术。所述弹性图匹配技术将面部表示成一其节点对应于如眼角或鼻尖等面部标志带标记的图，并能够以高精度将此图布置在所表示图像中的面部上。根据这些所找到的标志，可对面部中用于皮肤纹理分析的区域进行精确定位。此种面部识别技术能够判定面部的局部特性，例如是否存在面部毛发或眼镜。使用此信息，可导出适用于皮肤分析的区域的更可靠的个体化面部映像图。\n[0037] 参照图3，可使一弹性图的节点适合于高分辨率图像。在无毛发区域及虹膜区域上布置比通常所使用的更高的节点密度。在每一节点处所提取的特征向量的参数适于最佳地说明预期的信号内容。图3中的节点位置为概念性的。虹膜(具体而言)上的实际节点密度可更高。\n[0038] 此外，由于可导出面部特征的位置及表情，因此可在分析一所提取的皮肤小片前对其进行规范化或解扭曲。此一情形的一实例将是捕捉到要辨认的用户面部上带有的夸张表情(例如狂笑或皱眉)、从而使眼睛下面其中捕捉所述皮肤小片的区域变形。在一现场捕捉情形中，如果检测到一夸张的表情，则可为用户提供反馈以作出一更中性的或不太夸张的表情。另一其中通过使用精确的标志查找来大大增强更高分辨率分析的情形是其中面部处于一非正面位置的情况。一旦检测至一非正面面部，便可通过在面部识别商家测试(face recognition vendor test)2002(FRVT 2002)的报告中所阐述及提及的方法将所述面部图像扭至正面。\n[0039] 在已辨认出要用于匹配的皮肤区域后，一种用于比较皮肤小片的方式是将所辨认出的区域表示成一其中各节点对应于局部皮肤小片的带标记子图。节点的密度经选择以实现准确度与处理速度之间的最佳平衡。在这些节点的位置处，提取一描述所述皮肤小片的适合的特征向量(例如Gabor射流，像素小片)。在对每一如此选择的皮肤小片进行的匹配步骤期间，将所述特征向量分别与参考图像的面部区域进行匹配并辨认出最相似的皮肤小片。结果得到原始图像中的图的一或多或少出现失真的形式。根据原始图与匹配图之间的相似性及失真，通过纳含局部几何约束来计算一相似性得分。参见第6,301,370号美国专利。\n[0040] 就虹膜分析而言，准确特征查找可对瞳孔的位置且因此对周围的虹膜进行精确定位。而且，可检测到眼的状态(例如睁开或闭上)。自然地，对于虹膜分析而言，眼睛需要睁开以露出虹膜。上文所述的所有皮肤分析技术均适用于分析虹膜。\n[0041] 可对虹膜分析使用现有的虹膜扫描及识别技术(步骤24)。对现有技术的改进可在于，面部特征检测及跟踪与面部、皮肤及虹膜识别的紧密结合将实现移动装置所需的完整识别引擎的一种超资源有效且快速的实施方案。重要的是应注意，分析虹膜图案在许多方面不如分析易发生相当多变化的面部复杂。\n[0042] 参照图4，一视觉识别引擎可经调谐以实施面部、皮肤及虹膜识别。视觉识别的宏算法原理为：从关键兴趣点提取特征向量；对对应的特征向量进行比较；导出一相似性量度并将其与一阈值相比较以判定所述对象是否完全相同。在例如面部检测等类别识别情况下，采用一神经网络、增强或一支持向量机器从具体示例中引出结论。然而，通过进一步观察会注意到，采用专用子模块来实施某些步骤会优于该文献中所述的现有技术。更具体而言：\n[0043] 1)兴趣算子：使用Gabor子波的相位一致性及相位对称性会优于该文献中所提到的许多其他兴趣点算子，例如Affine Harris、DOG及Affine Laplace。\n[0044] 2)特征向量：本发明广泛利用Gabor子波作为一用于描述局部图像结构的强大通用数据格式。在适当时，借助使人想起由Viola及Jones所开创方法的已知特征来扩充Gabor子波。最后，一由从显示一般性表面小片的变化的大量图像数据集合中提取的参数化特征向量集合构成的字典“Locons”的应用颇具前景。此方法具有显著促进获得更好的姿势及照明不变性的潜力。\n[0045] 3)匹配：该文献中所阐述的几乎所有匹配例程只考虑特征向量之间的相似性。可通过下述方式来获得改进：明确地估计位移矢量以及描述环境条件(例如视点)及照明条件的参数集合，此可允许更快地获知新的对象并在各种各样的条件下对其进行识别。\n[0046] 当对在各个图像上所见到的个体是否为同一个体进行判定时，需要将来自面部标志图与虹膜子图的相似性得分相结合。该文献中阐述有多种关于如何实现此种结合的方法。可参考其中教示如何将不同的面部识别方法相结合的面部识别商家测试(FaceRecognition Vendor Test)2002的扩充报告NISTIR 2004以及参考其中显示如何最佳地将面部与虹膜识别相结合的下述文章：Yun HongWang、Tieniu Tanl，及Anil K.Jain所著的“将面部及虹膜生物统计相组合地进行身份验证(Combining Face and IrisBiometrics for Identity Verification)”，AVBPA 2003年。\n[0047] 关于各种融合规则的经验已发现，在将虹膜、皮肤及面部特征分析相结合的情况下，可通过一传感器融合方法来达到最佳结果，所述传感器融合方法首先单独地将每一识别通道的匹配得分均等至一[0，1]间隔，然后通过形成平均值来使其融合。\n[0048] 在图像分辨率为4至5兆像素、且特别是分辨率为6兆像素及以上的情况下，面部、皮肤小片及虹膜分析的组合可分阶段对同一源图像进行处理，以显著提高面部识别系统的准确度及可靠性。一通过初始面部特征查找步骤实现的引人注目的特征在于：可根据对可在眼睛之间得到多少像素分辨率的初始判定而定，自动接通或关断需要更高分辨率的用于精细皮肤及虹膜分析的模块。\n[0049] SIMBA中的融合生物统计的另一优点在于：其极佳地处理所谓“活检查”问题。实施活检查会解决如何判定当前生物统计是源自于一活的个体还是源自于一人工制品(例如照片)的问题。面部特征跟踪可用于分析内部面部运动且因此可防止一冒名顶替者使用静止图像。以一类似方式，虹膜分析可测量瞳孔的变化的收缩或扩张(最终甚至通过将光照射于瞳孔上来激励)以判定正在查看一活的个体。最后，准确的标志查找可用于判定所检测的面部特征是否全部处于一平面中。此进一步允许舍弃冒名顶替者可能显示给生物统计系统的视频图像。\n[0050] 所述SIMBA方法避免了假定可容许要求用户依序曝露至其中许多是侵害性或难以使用的不同生物统计传感器的问题。一有效的多生物统计系统需便于使用。虹膜及指纹识别的现有用途显示易于使用形尚未成为设计中的高优先性因素。与此相反，所述SIMBA方法仅依赖单个2D图像传感器并仅在内部采用多生物统计，因为半正交识别通道利用包含于图像的各个方面中的生物统计信息。重要的是应注意使用一种鲁棒的技术进行实时面部特征跟踪。