远距离虹膜智能成像装置及方法

暂无

远距离虹膜智能成像装置及方法\n技术领域\n[0001] 本发明属于光学工程、生物特征识别、图像处理和计算机视觉等技术领域，尤其涉及一种远距离虹膜智能成像装置及方法，用于实现大景深、高质量、多目标虹膜智能成像。\n背景技术\n[0002] 生物特征识别中的虹膜识别具有唯一性好、准确率高、稳定性强的优点，具有广阔的市场应有前景。其中，虹膜成像是虹膜识别的基础，直接制约识别过程的准确性和效率。\n[0003] 目前商业应用较为成熟的虹膜识别专利产品(如CN1416779A、CN1282048A、CN1752990A、CN1439998A、JP2001215109A等)大多采用低像素和短焦距的镜头，并加入语音、显示器指示等提示装置通过限制用户距离和姿势来获取虹膜图像，这种需要用户主动配合的近距离采集方式限制了虹膜识别的应用推广，而远距离虹膜成像在降低用户配合度、增加易用性方面具有绝对优势，为此，部分研究机构对远距离虹膜成像装置开展相关研究(如US7627147B2、US2009/0046899A1、US2003/0219247A1、KR100869998B、CN101520838A、CN101499129B、CN101814130A等)，设计开发基于摄像机阵列和基于旋转云台这两种人机交互形式的虹膜成像装置。\n[0004] 在远距离虹膜成像情况下，由于人的虹膜尺寸很小(10mm左右)，为了保证虹膜识别所需要的图像分辨率(至少需要150像素)和用来增强虹膜纹理对比度的近红外光源的通光量，需要光学系统的通光孔径较大，而通光孔径与光圈成反比，孔径增大势必引起光圈减小，进而引起景深变小，景深小容易造成图像离焦模糊，降低图像质量，最终影响识别率的提高。因此，景深问题是远距离虹膜成像的难点。目前主要有两种扩大虹膜图像景深的方法，一种是调整变焦镜头自动对焦(如KR100869998B、CN101814130A等)，主要有通过判断人眼位置和基于清晰度评价函数两种自动对焦方式；另一种是利用图像处理算法恢复离焦虹膜图像来提高景深(如US2009/0046249A1、US2007/0216798A1等)，主要有通过增设白适应光学波前编码元件并进行图像后处理和仅从算法层面进行离焦虹膜图像复原两种形式。\n[0005] 但是，上述两种增大景深的方法都有各自的弊端。对于自动对焦方式而言，由于系统延迟(机械云台的运转和自动对焦时间造成)的存在，虹膜图像离焦现象仍会发生。而对于图像处理方式而言，普遍存在景深扩大范围较小的问题。而光场相机从基础的光学成像角度增大景深，具有景深可控范围大的优点，应用于远距离虹膜成像领域可解决关键的景深问题。\n[0006] 光场定义为光辐射在空间各个位置各个方向的传播。Adelson首次将光场理论应用于计算机视觉，并提出全光场相机的概念，在提取图像深度信息方面更加简单可靠。Levoy提出光场渲染理论，对四维光场进行参数化表示并设计获取四维光场的装置(如WO9849667A2)，进一步促进了光场相机的发展。四维光场数据的获取方式有多种(如CN101430426A、CN102026011A等)，其中，利用四维光场数据完成图像重聚焦、扩大图像景深的实现方式(如US2010/0026852A1、US7949252B1等)，主要有两种：一种是Adelson提出的全光场相机和在此基础上Ng提出的基于微透镜阵列的便携式光场相机，后者与Adelson设计相比光程更短，提高了便携性；另一种是Georgeiv提出的基于集成成像的采用透镜-棱镜组合结构的光场相机，可外接在普通相机镜头上，移植性更强。\n[0007] 然而，现有光场相机技术直接应用于远距离虹膜成像领域还存在一些问题，首先是算法计算量大，影响实时系统成像速度；其次是重对焦点需人工指定，不能满足虹膜成像系统实际需求。为此，需结合头部姿态估计、人脸检测和人眼检测技术实现光场相机在远距离虹膜成像领域的智能化应用。其中，基于深度图像的方法(如US2007/0216894A1、CN202171447U等)由于其对光照不敏感、算法时间复杂度低而逐渐成为头部姿势估计的主流方法；Viola的Adaboost算法在实时人脸检测系统中应用较为广泛；融合多种信息的人眼检测方法相比基于形状、表观的方法能够取得更为鲁棒的定位效果。\n发明内容\n[0008] 本发明的目的在于提供一种远距离大景深智能虹膜成像装置和方法，降低用户配合度，提高虹膜成像质量。\n[0009] 为了实现上述目的，根据本发明的一个方面，提供了一种远距离虹膜成像装置，其特征在于，该装置包括：一用于深度成像的光学系统I 101；一获取光场数据的光学系统II102；一为光场虹膜成像和深度成像提供光照的集成一体化近红外光源103；一数据传输模块104；一逻辑控制单元108；一处理单元109，其中：\n[0010] 所述集成一体化近红外光源103与所述逻辑控制单元108连接，用于在所述逻辑控制单元108的控制下，发射近红外结构光，或，当满足下一步的虹膜图像采集条件时，接受所述逻辑控制单元108的控制，将近红外结构光切换为发射近红外面光源，为被测目标提供光源；\n[0011] 所述光学系统I 101通过所述数据传输模块104与所述逻辑控制单元108连接，用于在所述集成一体化近红外光源103发射近红外结构光时，将采集到的深度图像数据通过所述数据传输模块104传输给所述逻辑控制单元108；\n[0012] 所述光学系统II102通过所述数据传输模块104与所述逻辑控制单元108连接，用于在所述集成一体化近红外光源103发射近红外面光源时，将采集到的光场图像数据通过所述数据传输模块104传输给所述逻辑控制单元108；\n[0013] 所述逻辑控制单元108通过所述数据传输模块104与所述处理单元109连接，用于对接收到的光场图像数据进行基本图像处理，并将处理后的光场图像数据和接收到的深度图像数据传输至所述处理单元109；\n[0014] 所述处理单元109用于根据接收到的深度图像数据，获取其中的头部深度信息，进行头部姿态估计，并将处理结果通过所述数据传输模块104传输给所述逻辑控制单元\n108，用于判断是否进行下一步的虹膜图像采集，以及根据接收到的处理后的光场图像数据进行人脸检测、人眼定位和重对焦成像处理。\n[0015] 根据本发明的另一个方面，还提供了一种利用所述的远距离虹膜成像装置进行远距离虹膜成像的方法，其特征在于，该方法包括以下步骤：\n[0016] 步骤1，当被测目标进入观测场景范围内时，逻辑控制单元108驱动集成一体化近红外光源103发射近红外结构光；\n[0017] 步骤2，近红外结构光束在被测目标表面发生形变，光学系统I 101接收到包含形变光线的图像数据，该图像数据经所述逻辑控制单元108传输到处理单元109，处理单元\n109首先计算得到被测目标表面深度信息，生成相应的深度图像，接着根据所生成的该深度图像对头部姿态进行估计；\n[0018] 步骤3，若头部姿态估计结果满足虹膜成像条件，即被测目标面部正对远距离虹膜成像装置时，所述逻辑控制单元108驱动所述集成一体化近红外光源103切换为近红外面光源；\n[0019] 步骤4，将经光学系统II中的成像镜头201、像方远心光路202、平板阵列203、微透镜阵列组204采集得到的光场图像数据传输到光学系统II中的CMOS图像传感器阵列\n205；\n[0020] 步骤5，所述逻辑控制单元108将所述CMOS图像传感器阵列205获取到的光场图像数据进行图像去噪、畸变校正和图像增强处理，并根据所述CMOS图像传感器阵列205中传感器之间的相对机械位置关系，对相邻传感器采集到的光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据；\n[0021] 步骤6，对拼接后得到的光场图像数据进行降采样操作，并将降采样后的光场图像数据传输至所述处理单元109，进行人脸检测；\n[0022] 步骤7，在检测得到的人脸区域上，对人眼进行定位，并标定人眼作为重对焦点；\n[0023] 步骤8，所述处理单元109根据人眼定位结果，对拼接后得到的光场图像中的眼部区域的光场图像数据进行虹膜重对焦成像处理，得到虹膜重对焦图像。\n[0024] 本发明提供了一种基于光场成像原理和智能人机交互平台的新型远距离虹膜成像装置，为虹膜识别的大规模应用奠定了基础，同时相关成像技术的突破也可以用于人脸识别、智能视频监控，对于提升智能安防产业的科技水平具有积极意义。\n[0025] 1)提高虹膜成像质量\n[0026] 本发明针对现有远距离虹膜成像系统景深小、无法同时采集多人虹膜图像的不足，以光学成像原理为切入点，设计微透镜阵列+传感器阵列结构的成像装置，能够进行大景深虹膜成像，提高虹膜图像质量。同时，本发明能够对图像中不同人眼进行重对焦处理，实现多人虹膜同时成像的重大研究突破，推动虹膜生物特征识别研究和应用发展。\n[0027] 2)提供智能人机交互平台\n[0028] 本发明结合头部姿态估计、人脸检测和人眼检测技术构建远距离智能人机交互平台，实现重对焦点自动定位，弥补现有光场成像研究领域一直所采用的手动选择对焦点的不足。同时仅对感兴趣区域进行重对焦处理，降低光场成像计算量，提高系统反应速度。本发明提出的智能人机交互方式可望极大改善用户体验度，提高系统的便捷性，对虹膜识别和光场成像应用产业的发展具有重要推动价值。\n附图说明\n[0029] 图1为本发明提供的远距离虹膜成像装置部件结构示意图；\n[0030] 图2为本发明提供的获取光场图像数据的光学系统II的结构示意图；\n[0031] 图3为本发明提供的集成一体化光源的结构示意图；\n[0032] 图4为本发明提供的远距离虹膜成像方法的流程图；\n[0033] 图5为本发明采用的人脸检测方法流程图。\n具体实施方式\n[0034] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。\n[0035] 本发明从光学基础原理出发，采用光场成像方法改善远距离虹膜成像景深过小的问题，利用头部姿态估计、人脸检测和人眼检测技术构建的人机交互平台的技术支持，实现光场相机在远距离虹膜成像领域的智能化应用，降低用户配合度，改善用户体验，对提高远距离虹膜识别的准确性和实用性具有重要现实指导意义。\n[0036] 图1为本发明提供的远距离虹膜成像装置部件结构示意图。如图1所示，本发明提供的远距离虹膜成像装置包括：\n[0037] 一用于深度成像的光学系统I 101；\n[0038] 一获取光场数据的光学系统II102；\n[0039] 一为光场虹膜成像和深度成像提供光照的集成一体化近红外光源103；\n[0040] 一数据传输模块104；\n[0041] 一存储图像数据和系统参数的缓存单元105；\n[0042] 一控制输入设备106；\n[0043] 一显示设备107；\n[0044] 一控制光学系统I、光学系统II、集成一体化近红外光源、数据传输模块、缓存单元、控制输入设备、显示设备并集成底层算法的逻辑控制单元108；\n[0045] 一处理单元109。\n[0046] 集成一体化近红外光源103与逻辑控制单元108连接，用于在逻辑控制单元108的控制下，首先发射近红外结构光，为被测目标提供光源；光学系统I 101通过数据传输模块104与逻辑控制单元108连接，用于将采集到的深度图像数据通过数据传输模块104传输给逻辑控制单元108；逻辑控制单元108通过数据传输模块104与处理单元109连接，用于将接收到的深度图像数据传输至处理单元109；处理单元109用于根据接收到的深度图像数据，获取其中的头部深度信息，进行头部姿态估计，并将处理结果通过数据传输模块\n104送入逻辑控制单元108，用于判断是否进行下一步的虹膜图像采集；当满足下一步的虹膜图像采集条件时，逻辑控制单元108控制集成一体化近红外光源103切换为发射近红外面光源；光学系统II102通过数据传输模块104与逻辑控制单元108连接，用于将采集到的光场图像数据通过数据传输模块104传输给逻辑控制单元108；逻辑控制单元108将接收到的原始光场图像数据通过数据传输模块104在缓存单元105中进行缓冲，同时在逻辑控制单元108中进行基本图像处理，包括图像去噪、畸变校正、图像增强和图像拼接，上述这些基本图像处理技术均为本领域的通用技术，在此不作赘述，处理后的图像数据依然通过缓存单元105进行数据缓冲，随后通过数据传输模块104经逻辑控制单元108送入处理单元109中完成人脸检测、人眼定位、重对焦成像算法处理；控制输入设备106，通过数据传输模块104与逻辑控制单元108连接，用于支持人机交互操作，包括鼠标、键盘、触摸屏操作；\n显示设备107通过数据传输模块104与逻辑控制单元108连接，负责光场图像和人机交互操作界面的显示。\n[0047] 图2为本发明获取光场图像数据的光学系统II的结构示意图。如图2所示，所述光学系统II包括：成像镜头201、像方远心光路202、平板阵列203、微透镜阵列组204、CMOS传感器阵列205和高速并行数据链路206；其中，所述微透镜阵列组204由多个平凸微透镜阵列单元构成，所述微透镜阵列组204紧置于CMOS传感器阵列205之前；所述微透镜阵列组204的前方由远至近依次安装成像镜头201、像方远心光路202和平板阵列203；成像后获得的光场图像数据通过数据传输模块104的高速并行数据链路206传输至逻辑控制单元\n108。\n[0048] 光场成像用于解决景深问题，其中光场成像的角度分辨率决定了景深精度。在保证虹膜具有可供识别分辨率的前提下，基于微透镜阵列组204的光学系统II，构成多个基于小孔成像原理的摄像机，不同微透镜阵列单元分别接收不同角度的光线数据，可提供丰富光场信息，确保重对焦景深精度。当光学系统II的结构确定后，空间分辨率与角度分辨率成反比关系。本发明采用平板阵列203将像方远心光路202传递过来的光线通过微透镜阵列组204分区域投射给CMOS传感器阵列205，并通过逻辑控制单元108对传感器阵列中的所有传感器进行精确控制，同步图像采集，保证采集到的所有图像帧具有精确同步的光电积分起始时间、结束时间、数字增益系数和模拟增益系数，以实现在透镜阵列数目一定的条件下，动态增大空间分辨率，进而提高虹膜图像分辨率的目的。\n[0049] 图3为本发明提供的集成一体化近红外光源的结构示意图。如图3所示，所述集成一体化近红外光源包括：主透镜301、液晶面板302、匀光透镜303、大功率近红外LED阵列304、液晶驱动器305、LED驱动器306；逻辑控制单元108作为所述集成一体化近红外光源的主控制器，控制LED驱动器306驱动大功率近红外LED阵列304作为光源；大功率近红外LED阵列304前方依次设置匀光透镜303(以使出射光更加均匀)、液晶面板302、主透镜\n301；逻辑控制单元108通过液晶驱动器305驱动液晶面板302显示不同图案，以使其在进行深度成像时发射结构光，在进行虹膜成像时发射面光源，甚至是精确照明到人眼区域的面光源，同时通过对液晶面板302显示图案的控制可降低传统光源造成的光斑影响；最后液晶面板302产生的光束经主透镜301会聚后发射。\n[0050] 图4为本发明提供的利用所述远距离虹膜成像装置进行远距离虹膜成像的方法的流程图。如图4所示，本发明提供的远距离虹膜成像方法包括以下几个步骤：\n[0051] 步骤1，当被测目标进入观测场景范围内时，逻辑控制单元108驱动集成一体化近红外光源103发射近红外结构光；\n[0052] 步骤2，近红外结构光束在被测目标表面发生形变，光学系统I 101接收到包含形变光线的图像数据，该图像数据经逻辑控制单元108传输到处理单元109，首先计算得到被测目标表面深度信息，生成相应的深度图像，接着根据所生成的该深度图像对头部姿态进行估计，以提供快速人机交互体验；\n[0053] 所述被测目标表面深度信息可以采用三角测量法来得到，所述三角测量法为本领域的通用技术，在此不作赘述。\n[0054] 现有技术中存在很多对头部姿态进行估计的方法，所述步骤2中的头部姿态估计方法可以采用现有技术中任一基于深度图像对头部姿态进行估计的方法来根据所生成的该深度图像得到头部姿态的估计结果。\n[0055] 步骤3，将头部姿态估计结果反馈给逻辑控制单元108，当头部姿态估计结果满足虹膜成像条件，即被测目标面部正对远距离虹膜成像装置时，逻辑控制单元108控制启动虹膜成像，驱动集成一体化近红外光源103切换为近红外面光源；\n[0056] 步骤4，将经光学系统II中的成像镜头201、像方远心光路202、平板阵列203、微透镜阵列组204获得的光场图像数据，传输到光学系统II中的CMOS图像传感器阵列205，同时，逻辑控制单元108对传感器阵列205中的所有传感器进行同步控制；\n[0057] 步骤5，逻辑控制单元108将CMOS图像传感器阵列205获取到的原始光场图像数据在缓存单元105中进行缓存，同时采用快速算法进行图像去噪、畸变校正和图像增强处理，并根据CMOS图像传感器阵列205中传感器之间的相对机械位置关系，对相邻传感器采集到的光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，将处理结果存储在缓存单元105中；\n[0058] 所述图像去噪、畸变校正、图像增强和图像拼接技术均为本领域的通用技术，在此不作赘述。\n[0059] 步骤6，对拼接后的光场图像数据进行降采样操作，比如可进行比例因子为2的降采样操作，即采取隔行隔列采样，降采样后的光场图像数据传输至处理单元109进行人脸检测，为接下来对被测目标眼部区域的定位做准备；\n[0060] 图5为本发明采用的人脸检测方法流程图。如图5所示，所述步骤6中的人脸检测方法包括以下几个步骤，采用的是基于adaboost的人脸检测算法，详细内容请参考文献Viola P，Jones M.Robust Real-time Object Detection.International Journal of Computer Vision，57(2)：137-154，2004：\n[0061] 步骤61，计算经过降采样的光场图像的积分图像和积分平方图像；\n[0062] 步骤62，对光场图像子区域进行窗口尺度控制；\n[0063] 步骤63，对光场图像子区域进行窗口位置控制；\n[0064] 步骤64，基于所述步骤61得到的积分图像和积分平方图像快速计算窗口特征值；\n[0065] 步骤65，缓存单元预存的分类器参数通过数据传输模块传输至处理单元；\n[0066] 步骤66，基于步骤64计算得到的特征值和步骤65获得的分类器参数，分类器完成分类决策；\n[0067] 步骤67，输出人脸检测结果。\n[0068] 步骤7，在检测得到的人脸区域上，对人眼进行定位，并标定人眼作为重对焦点；\n[0069] 检测到人脸后，采用本领域通用的面部相对位置方法定位人眼位置并将其确定为重对焦点，同时采用本领域通用的形状检测方法对定位得到的人眼区域进行人眼质量评价，获得评价值，并与预设定的评价阈值进行比较，如果评价值低于评价阈值，说明人眼定位错误，则重新进行重对焦点定位；如果评价值高于评价阈值，说明人眼定位正确，则进行下一步骤。\n[0070] 步骤8，在处理单元109中根据人眼定位结果，对缓存单元105存储的拼接后的光场图像中的感兴趣区域即眼部区域的光场图像数据进行虹膜重对焦成像处理，得到虹膜重对焦图像；\n[0071] 对眼部区域的光场图像数据进行虹膜重对焦成像处理的目的是为了减少对于整幅光场图像进行虹膜重对焦算法的计算量，提高远距离虹膜成像装置响应速度。\n[0072] 所述虹膜重对焦成像处理包括：通过人眼定位得到重对焦点所处的焦距，确定对应的切片算子，利用傅立叶切片定理重建虹膜区域的清晰图像，完成虹膜重对焦成像，该重对焦算法详细内容请参考文献Ren Ng.Fourier slice photography.ACM Transactions on Graphics，24(3)：735-744，2005。\n[0073] 本发明可应用于通关口岸、大型集会等大规模监控场景下人群的身份识别认证系统。应用场景如下：在某个人群集中场所使用本发明提供的远距离虹膜成像装置对远距离大范围人群的虹膜图像进行采集，当在该成像装置视场范围内的目标，经头部姿态估计满足成像要求时，启动虹膜图像采集流程，根据重对焦定位点，对眼部区域光场数据进行重对焦成像。这种方式一方面改善了远距离虹膜图像景深小成像难的问题，另一方面降低了虹膜成像装置用户配合度，提高虹膜识别系统的友好性。远距离虹膜成像装置的成功应用，将有利于发挥虹膜特征在生物特征识别领域的独特优势，对公共安全监控领域具有重要的应用价值。\n[0074] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。