基于虹膜和人脸的多模态生物特征身份识别系统

1.一种基于虹膜和人脸的多模态生物特征身份识别系统，包括，生物特征采集单元 将接收到的原始图像信号，通过视频信号线送到生物特征识别单元，生物特征数据库单元 为生物特征识别单元提供待比较的特征模板；其特征在于：
所述生物特征采集单元，包括虹膜采集摄像头、人脸采集摄像头和主动成像光源模块； 虹膜采集摄像头和人脸采集摄像头分别通过视频信号线与生物特征识别单元的多通道图 像采集卡的视频输入端相连；主动成像光源模块包括红外发光管、直流电源、控制电路、 聚光罩和散射透光板；所述聚光罩为漏斗形，内表面抛光，红外发光管位于漏斗形聚光罩 后端，散射透光板位于漏斗形聚光罩的前端，面向被采集人；所述散射透光板采用透明材 质，其内外表面的旋转磨砂方向相反；虹膜采集摄像头从聚光罩中间穿过，使得虹膜采集 摄像头的中心线与聚光罩的中心轴线重合；所述控制电路包括模拟开关芯片和逻辑门电 路，来自生物特征识别单元的选通信号作为逻辑门电路的输入，逻辑门电路的输出和模拟 开关芯片的控制端相连，模拟开关芯片的输出端控制红外发光管的导通和截止；
所述生物特征识别单元，由识别模块、多通道图像采集卡和微处理器构成：多通道图 像采集卡通过视频信号线和生物特征采集单元的虹膜采集摄像头和人脸采集摄像头的视 频输出端相连接，传输采集到的图像；识别模块利用微处理器对采集到的虹膜图像和人脸 图像进行处理，对虹膜图像首先进行低通滤波，然后根据定位结果从原始图像中分割出虹 膜部分，再对它进行光照和大小归一化，经过特征提取的处理后生成此虹膜的特征模板； 对人脸图像首先利用小波变换后的低频子图完成人脸图像中眼睛的标定，以定位人脸，再 进行光照和大小的归一化，之后根据灰度值建立此脸相的准三维模型作为特征模板；最后 将生成的虹膜图像和人脸图像的特征模板和原先数据库中保存的模板进行匹配，将虹膜和 人脸各自的匹配结果利用数据融合的方法计算识别结果；
所述生物特征数据库单元，根据索引查询和遍历式搜索的方式提供已经注册的虹膜和 人脸的特征模板数据；并且将虹膜的特征模板叠加于人脸的特征模板，生成融合特征模板， 用于数据交换和传输。

技术领域：\n本发明属于生物特征识别及模式识别技术领域，特别涉及将虹膜和人脸两种生物特征 结合起来的多模态、非接触式身份识别系统。\n背景技术：\n目前，某些单生物特征的身份识别技术，例如指纹、虹膜、人脸、手形，已经在一些 专用领域投入了实际的应用，而且表现出生物特征识别的巨大优越性；但是尚有各种不同 原因，阻碍着这些全新的身份识别技术的推广。例如：指纹识别，会由于多次采集、汗液 和灰尘在接触面上形成残留，导致采集到的指纹图像留有以前的影响，这是接触式采集的 固有缺点之一。现有的指纹采集器，无论是光学、电容或是电感式的，都存在这种问题。 另外，部分人的指纹因为表层皮肤的脱落，造成采集到的指纹含有不同的断纹，由此产生 不同的伪特征点，使得现有的指纹识别技术总有一定的错误率，虽然绝对百分比数字很小， 但是因为巨大的识别基数，导致相当可观的影响。2004年国际指纹识别竞赛(FVC2004： Fingerprint Verification Competition，http://bias.csr.unibo.it/fvc2004)的结果显示：目前的指纹识别算 法依然有2％的错误率。再比如虹膜识别，2004年国际模式识别会议的邀请论文：生物特 征识别所面临的机遇和挑战(Biometrics：A Grand Challenge，Proceedings of International Conference on Pattern Recognition，Cambridge，UK，Aug.2004)指出，虽然虹膜识别的错误率极低，而且是 一种非接触式的生物特征识别，但因为它对采集的图像有较高的要求，使得现有采集设备 须设定较为苛刻的采集条件，造成较高的采集失败率或注册失败率，人机友好性差。\n发明内容：\n本发明提出一种多模态生物特征身份识别系统，将虹膜和人的另一种生物特征--人脸 结合起来共同识别人的身份，以降低系统的注册失败率和识别错误率，提高人机友好性。\n本发明基于虹膜和人脸的多模态生物特征身份识别系统，包括，生物特征采集单元将 接收到的原始图像信号，通过视频信号线送到生物特征识别单元，生物特征数据库单元为 生物特征识别单元提供待比较的特征模板；其特征在于：\n所述生物特征采集单元，包括虹膜采集摄像头、人脸采集摄像头和主动成像光源模块； 虹膜采集摄像头和人脸采集摄像头分别通过视频信号线与生物特征识别单元的多通道图 像采集卡的视频输入端相连；主动成像光源模块包括红外发光管、直流电源、控制电路、 聚光罩和散射透光板；所述聚光罩为漏斗形，内表面抛光，红外发光管位于漏斗形聚光罩 后端，散射透光板位于漏斗形聚光罩的前端，面向被采集人；所述散射透光板采用透明材 质，其内外表面的旋转磨砂方向相反；虹膜采集摄像头从聚光罩中间穿过，使得虹膜采集 摄像头的中心线与聚光罩的中心轴线重合；所述控制电路包括模拟开关芯片和逻辑门电 路，来自生物特征识别单元的选通信号作为逻辑门电路的输入，逻辑门电路的输出和模拟 开关芯片的控制端相连，模拟开关芯片的输出端控制红外发光管的导通和截止；\n所述生物特征识别单元，由识别模块、多通道图像采集卡和微处理器构成：多通道图 像采集卡通过视频信号线和生物特征采集单元的虹膜采集摄像头和人脸采集摄像头的视 频输出端相连接，传输采集到的图像；识别模块利用微处理器对采集到的虹膜图像和人脸 图像进行处理，对虹膜图像首先进行低通滤波，然后根据定位结果从原始图像中分割出虹 膜部分，再对它进行光照和大小归一化，经过特征提取的处理后生成此虹膜的特征模板； 对人脸图像首先利用小波变换后的低频子图完成人脸图像中眼睛的标定，以定位人脸，再 进行光照和大小的归一化，之后根据灰度值建立此脸相的准三维模型作为特征模板；最后 将生成的虹膜图像和人脸图像的特征模板和原先数据库中保存的模板进行匹配，将虹膜和 人脸各自的匹配结果利用数据融合的方法计算识别结果；\n所述生物特征数据库单元，根据索引查询和遍历式搜索的方式提供已经注册的虹膜和 人脸的特征模板数据；并且将虹膜的特征模板叠加于人脸的特征模板，生成融合特征模板， 用于数据交换和传输。\n与现有技术相比较，本发明利用人体的多种生物特征为媒介来识别人的身份，由于采 用的生物特征采集单元利用人脸部器官的几何信息进行结构设计，并和近红外主动光源及 控制电路相互配合，可以同时采集虹膜和人脸；使用者只需按照采集单元的提示输入虹膜， 而人脸的采集由采集单元自动完成，不必在输入了虹膜之后，再输入人脸；\n由于本发明采用的生物特征识别单元，对于归一化之后的人脸，根据灰度值建立此脸 相的准三维模型作为特征模板，利用模板匹配来提高人脸识别的速度；利用多模态生物特 征的丰富信息量，降低对虹膜图像采集质量的要求，也就降低了虹膜的注册失败率，还弥 补了人脸识别率低的不足。\n由于本发明采用生物特征数据库单元，该单元不存储原始采集到的生物特征图像，只 存储用来匹配的虹膜和人脸特征模板数据；而且还将虹膜生成的特征模板叠加在人脸模板 中生成数据融合模板，用于数据交换和传输；保护了生物特征数据的隐私权，还增强了身 份识别系统自身的安全性。\n本发明基于虹膜和人脸的多模态生物特征身份识别系统由于利用生物特征采集单元 从两个独立的采集通道同时采集被识别者的虹膜和人脸两种生物特征，经过生物特征识别 单元的处理后，达到身份鉴别的目的；本发明兼有虹膜识别的错误率低和人脸识别的人机 友好的优点。\n附图说明：\n图1是本发明多模态生物特征身份识别系统的检测原理示意图。\n图2是多模态生物特征身份识别系统的机壳表面各主要部件配置示意图。\n图3是多模态生物特征采集模块的结构示意图。\n图4是主动近红外光源及控制电路示意图。\n具体实施方式：\n下面结合附图通过实施例对本发明作进一步的具体说明。\n实施例1：\n图1是本发明多模态生物特征身份识别系统的检测原理示意图：本实施例基于虹膜和 人脸的多模态生物特征身份识别系统可分为三部分：生物特征采集单元S、生物特征识别 单元R和生物特征数据库单元M。在生物特征采集单元S中，由对着人眼虹膜i的虹膜采 集摄像头1获得虹膜图像7，由对着人面部h的人脸采集摄像头获得人脸图像22；生物 特征识别单元R对从生物特征采集单元S中得到的虹膜图像7和人脸图像22依次进行定 位a、归一化b、特征提取c的处理，并和生物特征数据库单元M的数据库f中检索到的 相应模板g进行匹配d，最后输出匹配的结果e。\n图2给出了本实施例基于虹膜和人脸的多模态生物特征身份识别系统中机壳表面各 主要部件的配置示意图：采集支撑平台8包括手扶支撑面板16和倾斜面板4，手扶支撑 面板高92cm，宽100cm，长36.5cm，倾斜面板的宽度和手扶面板相同，坡长24cm，倾角 θ＝35.6°±0.5°，误差：±2mm；倾斜面板的坡度和人俯视时颈椎的自然弯曲角度相符，使 得采集时人的面部与倾斜面板平行；手扶支撑面板的高度、宽度以及倾斜面板的坡度的设 计使得不同身高的使用者，只需调整手掌在手扶支撑面板上的位置，就可以较为自然、舒 适的输入人脸和虹膜图像；虹膜采集摄像头1、人脸采集摄像头2、散射透光板5和提示 灯18位于作为人机交互界面的液晶显示器3的左侧；人脸采集摄像头2位于虹膜采集摄 像头1的右下侧；虹膜采集摄像头1和人脸采集摄像头2的中心，在水平方向上的距离为 40mm、垂直方向上的距离为55mm，误差：±1mm；按键17位于手扶支撑面板16的右侧。\n图3给出了本实施例系统多模态生物特征采集模块的结构示意图：由转接环10连接 自动光圈镜头6和摄像头9构成虹膜采集摄像头1；主动成像光源模块包括红外发光管12、 控制电路基板13、聚光罩11、散射透光板5及图4中的直流电源W；在本实施例中红外 发光管12以虹膜采集摄像头1为中心成内外两圈均匀分布在控制电路的基板13上，漏斗 形聚光罩11使得红外发光管12发出的红外光经多次反射后从散射透光板5折射而出，散 射透光板5为圆环形，内外表面的旋转磨砂方向相反以增强散射；在本实施例中将控制电 路基板13镶嵌固定在聚光罩11的后端，散射透光板5镶嵌固定于聚光罩的前端，聚光罩 11的前端半径为40毫米，后端半径为64毫米；虹膜采集摄像头1从聚光罩11的中间穿 过，本实施例中自动光圈镜头6的前部紧密嵌入散射透光板5的内环，控制电路基板13 的中心开孔让摄像头9的后部紧密嵌入，使得虹膜采集摄像头1的中心线与聚光罩11的 中心轴线重合，然后一起紧密固定于倾斜面板4上的虹膜采集孔位----即图2中虹膜采集 摄像头1和散射透光板5的位置；人脸采集摄像头2固定于倾斜面板4上的人脸采集孔位 ----即图2中人脸采集摄像头2的位置；支撑架15环绕在采集模块的四周，以增加模块 的牢固性。\n图4给出了本实施例系统中的主动近红外光源及控制电路示意图：所述控制电路包括 红外发光管12、限流电阻19、直流电源W、模拟开关芯片20和逻辑门电路21，红外发光 管12和限流电阻19串连成对后并联在控制电路基板13的直流电源W负极和两个模拟开 关芯片20的输出端之间；本实施例中采用32对红外发光管和限流电阻，图中用省略号表 示未画出的部分；直流电源W的正极和两个模拟开关芯片20的输入相连接；地址线A1 和A0通过逻辑门电路21产生选通信号接入模拟开关芯片20的控制端来控制其导通和截 止。本实施例中采用的红外发光管型号为TSAL6200，限流电阻为750Ω，模拟开关芯片为 ADG787，逻辑门电路为74HC04，直流电源为DC+5V3A。\n安装时，将多模态生物特征采集模块用视频信号线与多通道图像采集卡的视频输入端 相连；按键17和提示灯18连接到生物特征识别单元的串口；将手扶支撑面板16和倾斜 面板4按图2安装在一起，组成采集支撑平台8；利用研华(IPC 8408G)机箱14作为 容器，将该机箱牢固安装在倾斜面板4的背面，该机箱可采取沿倾斜的导轨放入识别系统， 倾斜角度和倾斜面板相同，要保证完全放入后机箱和识别系统后挡板的间隙大于5cm；然 后按照普通应用软、硬件的安装流程安装生物特征识别单元和生物特征数据库单元。\n该系统的使用操作过程如下：\n被识别者站立于识别系统正前方，微俯身、面向人脸采集摄像头2，不同身高的人可 以调整俯按在手扶支撑面板16上的手的位置，使得自己可以较为舒适地保持左眼正对虹 膜采集摄像头1的自动光圈镜头6、距离14～18cm，这时在镜头中可以看到多个紫红色的 同心圆，那是方位的提示器，提示被识别者缓慢地调整头部的位置使得在这些同心圆的正 中可以看到自己的眼睛；虹膜采集摄像头1(其中摄像头9的灵敏度＞＝0.001流明)、人脸 采集摄像头2、主动成像光源模块和倾斜面板4及研华(IPC 8408G)机箱14固定在一 起；当左眼正前方的提示灯18变绿时，触动右手边的按键17，确认一次采集，同时保持 自己的姿势大于1秒；生物特征采集单元S将从人眼虹膜i和人面部h采集到的的虹膜 图像7和人脸图像22通过视频信号线传输给生物特征识别单元R中的多通道高速黑白图 像采集卡，存储在缓存中；当采集到合格的虹膜图像时，生物特征采集单元S可以保证采 集到的人脸图像也是合格的，使用者不必重复人脸的采集过程；如果生物特征识别单元R 检测到采集到的虹膜不合格时，则在倾斜面板4上右边的作为人机交互界面的液晶显示器 3上提示被识别者重新采集，否则提示识别者采集成功，识别进程自动开始；如果被识别 者申明了自己的身份，则识别结果可在1秒之内得到，并在人机交互界面上显示出来。\n本实施例中虹膜和人脸的采集通道相互独立，生物特征识别单元R按照先虹膜后人脸 的顺序来处理：对于虹膜图像，先利用高斯低通滤波器对图像进行滤波，再根据图像的灰 度分布图，进行二维投影，然后利用投票算法计算虹膜的参数；根据计算出的虹膜参数从 原始的虹膜图像中分割出圆环状的虹膜部分，然后利用坐标变换将它映射成规定大小的矩 形，完成尺度的归一化；再利用灰度均衡的方法，完成光照的归一化处理；对于归一化之 后的虹膜，利用高斯一维复小波提取虹膜纹理的相位特征；然后对它进行循环差分编码， 由编码值得到虹膜的特征模板；对于人脸图像，利用小波变换后的低频图像，根据人眼的 位置完成人脸的定位；根据定位的参数从原始图像中分割出人脸；然后用双线性插值的方 法完成大小的归一化，再计算出背景模板来完成光照的归一化；对于归一化之后的人脸， 利用小尺度的平滑模板进行卷积处理后，根据各个元素的灰度值建立准三维的人脸特征模 板；然后生物特征识别单元根据塔式分层融合算法进行匹配：将被识别者申明的身份作为 索引，分别将虹膜和人脸的待匹配模板和数据库中的相应模板进行匹配，分别计算虹膜的 匹配百分数和表示人脸匹配百分数的啮合度；在本实施例中，对于虹膜特征模板，分别计 算模板的对应部分的码值的匹配百分数，对于人脸特征模板，将待匹配模板以模为256 来计算它的补，然后将它的补和匹配模板叠加计算两个模板的啮合度；如果虹膜的匹配百 分数超过某个阈值Piris H，则不再计算人脸的匹配程度，直接输出结果是匹配的；如果虹膜 的匹配百分数低于某个阈值Piris L，也不再计算人脸的匹配程度，直接输出结果是不匹配的。 当虹膜的匹配百分数在Piris L和Piris H之间时，如果人脸的啮合度大于某个阈值Pface H，则输出 结果是匹配的；如果人脸的啮合度小于某个阈值Pface L，则输出结果是不匹配的；如果此时 人脸的啮合度也在阈值Pface L和Pface H之间，则虹膜的匹配百分数及人脸的啮合度组成的向量 和权值向量求内积，根据此内积的值是大于还是小于或等于某个阈值P，分别输出最后的 识别结果是匹配的还是不匹配。\n生物特征数据库单元M管理识别系统的生物特征数据：在本实施例中，生物特征采集 单元得到的原始虹膜和人脸图像，经过生物特征识别单元处理后生成的特征模板，保存在 系统的数据库中，原始图像和其它中间结果并不保存；而且该单元在进行数据传输和交换 时，利用数字水印的技术将虹膜特征模板叠加于人脸特征模板生成融合特征模板；增强了 对生物特征数据的隐私权的保护，提高了识别系统自身的安全性。