眨眼检测方法及装置

1.一种眨眼检测方法，其特征在于，包括：
获得使用者的眼部图像序列；
自该眼部图像序列中取出目前分析图像与先前获取图像；
滤除该目前分析图像与该先前获取图像中各自的反光区域，其中该反光区域的像素的亮度值高于亮度门槛值；
计算该目前分析图像与该先前获取图像之间的差异像素数量，包括：
计算该目前分析图像的每一像素与该先前获取图像的每一像素之间的像素差值；
判断该像素差值是否大于第一门槛值；以及
累计该像素差值大于该第一门槛值的该差异像素数量；以及
根据该差异像素数量，判断该使用者是否眨眼。
2.根据权利要求1所述的眨眼检测方法，其特征在于，根据该差异像素数量，判断该使用者是否眨眼的步骤包括：
判断是否超过连续N个目前分析图像与该先前获取图像之间的该差异像素数量皆大于第二门槛值；以及
倘若超过连续N个目前分析图像与该先前获取图像之间的该差异像素数量皆大于该第二门槛值，判定在获取超过连续N个目前分析图像的时间区段内该使用者眨眼。
3.根据权利要求1所述的眨眼检测方法，其特征在于，还包括：
获取图像序列，其中该图像序列包括连续多个原始图像；
对上述原始图像分别执行人脸检测程序，以获得多个人脸图像；
检测每一上述人脸图像中的鼻孔区域；以及
基于该鼻孔区域而自每一上述人脸图像中获得眼部图像。
4.根据权利要求1所述的眨眼检测方法，其特征在于，上述眼部图像序列所包括的多个眼部图像分别为灰阶图像，且该先前获取图像为该目前分析图像的前M张，而M大于或等于
1，上述眨眼检测方法还包括：
倘若所取出的该目前分析图像为上述眼部图像中获取时间最早的M个，则不对该目前分析图像计算该差异像素数量。
5.一种眨眼检测装置，其特征在于，包括：
取像单元，获得使用者的眼部图像序列；
存储单元，包括多个模块；以及
处理单元，耦接至该取像单元与该存储单元，且执行上述模块，其中上述模块包括：
光影分析模块，自该眼部图像序列中取出目前分析图像与先前获取图像，其中该目前分析图像与该先前获取图像所被获取的时间不同，并且该光影分析模块滤除该目前分析图像与该先前获取图像中各自的反光区域，其中该反光区域的像素的亮度值高于亮度门槛值，以及计算该目前分析图像与该先前获取图像之间的差异像素数量；以及眨眼判定模块，根据该差异像素数量，判断该使用者是否眨眼，
该光影分析模块计算该目前分析图像的每一像素与该先前获取图像的每一像素之间的像素差值，并且判断该像素差值是否大于第一门槛值，以及累计该像素差值大于该第一门槛值的该差异像素数量，使得该眨眼判定模块根据该差异像素数量，判断该使用者是否眨眼。
6.根据权利要求5所述的眨眼检测装置，其特征在于，该眨眼判定模块判断是否超过连续N个目前分析图像与该先前获取图像之间的该差异像素数量皆大于第二门槛值，倘若超过连续N个目前分析图像与该先前获取图像之间的该差异像素数量皆大于该第二门槛值，该眨眼判定模块判定在获取超过连续N个目前分析图像的时间区段内该使用者眨眼。
7.根据权利要求5所述的眨眼检测装置，其特征在于，该取像单元获取图像序列，其中该图像序列包括连续多个原始图像；
其中，该存储单元还包括：
人脸检测模块，对上述原始图像分别执行人脸检测程序，以获得多个人脸图像；
鼻孔搜寻模块，检测每一上述人脸图像中的鼻孔区域；以及
眼部搜寻模块，基于该鼻孔区域而自每一上述人脸图像中获得眼部图像。
8.根据权利要求5所述的眨眼检测装置，其特征在于，上述眼部图像序列所包括的多个眼部图像分别为灰阶图像，且该先前获取图像为该目前分析图像的前M张，而M大于或等于
1，而倘若所取出的该目前分析图像为上述眼部图像中获取时间最早的M个，则该光影分析模块不对该目前分析图像计算该差异像素数量。

眨眼检测方法及装置\n技术领域\n[0001] 本发明是有关于一种眼动追踪技术，且特别是有关于一种眨眼检测方法及装置。\n背景技术\n[0002] 目前眼动追踪技术主要可区分为与侵入性(英文：invasive)与非侵入性(英文：\nnon-invasive)两种。侵入性的眼动追踪技术主要是在眼睛中设置搜寻线圈法(英文：\nsearch Coil)或使用眼动电波图(英文：electrooculogram)。而非侵入性的眼动追踪技术则可区分为免头戴式(英文：free-head)或头戴式(英文：head-mount)人眼追踪技术。而随着科技的发展，眼动追踪技术大幅应用于各种领域，例如神经科学、心理学、工业工程、人因工程、行销广告、电脑科学等。\n[0003] 而在眼动追踪技术中，外在环境容易影响到检测率。例如，倘若使用者配戴眼镜，则外在光源在镜片上所造成的反光，容易影响到检测过程。此外，倘若使用者处于移动的状态中，反光位置还会随着移动而有所改变。此时，以传统针对单张图像进行检测的技术来搜寻眼睛，检测率将会大幅降低。\n发明内容\n[0004] 本发明提供一种眨眼检测方法及装置，以连续图像为基础借以获得两张图像之间的光影变化，进而来判断使用者的眨眼状态。\n[0005] 本发明的眨眼检测方法，包括：获得使用者的眼部图像序列；自眼部图像序列中取出目前分析图像与先前获取图像，其中目前分析图像与先前获取图像所被获取的时间不同；滤除目前分析图像与先前获取图像中各自的反光区域，其中反光区域的像素的亮度值高于亮度门槛值；计算目前分析图像与先前获取图像之间的差异像素数量；以及根据差异像素数量，判断使用者是否眨眼。\n[0006] 在本发明的一实施例中，上述计算目前分析图像与先前获取图像之间的差异像素数量的步骤包括：计算目前分析图像的每一像素与先前获取图像的每一像素之间的像素差值；判断像素差值是否大于第一门槛值；以及累计像素差值大于第一门槛值的差异像素数量，借以根据差异像素数量，判断使用者是否眨眼。\n[0007] 在本发明的一实施例中，上述基于根据差异像素数量，判断使用者是否眨眼的步骤包括：判断是否超过连续N个的眼部图像的差异像素数量大于第二门槛值；以及倘若连续N个的眼部图像的差异像素数量皆大于第二门槛值，判定在获取超过连续N个的眼部图像的时间区段内使用者眨眼。\n[0008] 在本发明的一实施例中，上述眨眼检测方法还包括：获取图像序列，其中图像序列包括连续多个原始图像；对这些原始图像分别执行人脸检测程序，以获得多个人脸图像；检测每一人脸图像中的鼻孔区域；以及基于鼻孔区域而自人脸图像中获得眼部图像。\n[0009] 在本发明的一实施例中，上述眼部图像分别为灰阶图像，且先前获取图像为目前分析图像的前M张，而M大于或等于1，上述眨眼检测方法还包括：倘若所取出的目前分析图像为上述眼部图像中获取时间最早的M个，则不对目前分析图像计算差异像素数量。\n[0010] 本发明的眨眼检测装置，包括：取像单元、存储单元以及处理单元。取像单元用以获得使用者的眼部图像序列。存储单元包括多个模块。处理单元耦接至取像单元与存储单元，且用以执行上述模块。上述模块包括光影分析模块以及眨眼判定模块。光影分析模块自眼部图像序列中取出目前分析图像与先前获取图像，其中目前分析图像与先前获取图像所被获取的时间不同，并且光影分析模块滤除目前分析图像与先前获取图像中各自的反光区域，其中反光区域的像素的亮度值高于亮度门槛值，以及计算目前分析图像与先前获取图像之间的差异像素数量。眨眼判定模块根据差异像素数量，判断使用者是否眨眼。\n[0011] 在本发明的一实施例中，上述光影分析模块计算目前分析图像的每一像素与先前获取图像的每一像素之间的像素差值，并且判断像素差值是否大于第一门槛值，以及累计像素差值大于第一门槛值的差异像素数量，使得眨眼判定模块根据差异像素数量，判断使用者是否眨眼。\n[0012] 在本发明的一实施例中，上述眨眼判定模块判断是否超过连续N个的眼部图像的差异像素数量大于第二门槛值，倘若超过连续N个的眼部图像的差异像素数量大于第二门槛值，眨眼判定模块判定在获取超过连续N个的眼部图像的时间区段内使用者眨眼。\n[0013] 在本发明的一实施例中，上述取像单元获取一图像序列，其中上述图像序列包括连续多个原始图像。上述存储单元还包括人脸检测模块、鼻孔搜寻模块以及眼部搜寻模块。\n人脸检测模块用以对上述原始图像分别执行人脸检测程序，以获得多个人脸图像。鼻孔搜寻模块用以检测每一人脸图像中的鼻孔区域。眼部搜寻模块用以基于鼻孔区域而自每一人脸图像中获得每一眼部图像。\n[0014] 在本发明的一实施例中，上述眼部图像为灰阶图像，且先前获取图像为目前分析图像的前M张，而M大于或等于1。而倘若所取出的目前分析图像为眼部图像中获取时间最早的M个，则光影分析模块不对目前分析图像计算差异像素数量。\n[0015] 基于上述，本发明以连续图像为基础而获得两张图像之间的光影变化(即，差异像素数量)，取代原本单张图像处理的方式，借此可在不受外在环境图像来判断使用者的眨眼状态。\n[0016] 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。\n附图说明\n[0017] 图1是本发明一实施例的眨眼检测装置的方块图；\n[0018] 图2是本发明一实施例的眨眼检测方法的流程图；\n[0019] 图3是本发明一实施例的亮度变化分析程序的流程图；\n[0020] 图4是本发明一实施例的判断使用者是否眨眼的流程图；\n[0021] 图5A及图5B是本发明一实施例的睁眼状态的示意图；\n[0022] 图6A及图6B是本发明一实施例的眨眼状态的示意图；\n[0023] 图7是本发明一实施例的眼部图像序列的第一区域的差异像素数量之间关系的示意图。\n[0024] 附图标记说明：\n[0025] 100：眨眼检测装置；\n[0026] 110：取像单元；\n[0027] 120：处理单元；\n[0028] 130：存储单元；\n[0029] 131：光影分析模块；\n[0030] 132：眨眼判定模块；\n[0031] 133：人脸检测模块；\n[0032] 134：鼻孔搜寻模块；\n[0033] 135：眼部搜寻模块；\n[0034] 510、610：目前分析图像；\n[0035] 520、620：先前获取图像；\n[0036] 530、630：反光区域；\n[0037] 540、640：第一区域；\n[0038] S205～S225：眨眼检测方法各步骤；\n[0039] S305～S330：光影分析程序各步骤；\n[0040] S405～S415：判断眨眼状态程序各步骤。\n具体实施方式\n[0041] 图1是本发明一实施例的眨眼检测装置的方块图。请参照图1，眨眼检测装置100包括取像单元110、处理单元120以及存储单元130。处理单元120耦接至取像单元110以及存储单元130。通过取像单元110来获得使用者的眼部图像序列(包括连续多张眼部图像)。在此，取像单元110例如是采用电荷耦合元件(英文：Charge coupled device，简称：CCD)镜头、互补式金氧半电晶体(英文：Complementary metal oxide semiconductor transistors，简称：CMOS)镜头、或红外线镜头的摄影机、照相机。\n[0042] 处理单元120例如为中央处理单元(英文：Central Processing Unit，简称：CPU)或微处理器(英文：microprocessor)等。存储单元130例如为非挥发性存储器(英文：Non-volatile memory)、随机存取存储器(英文：Random Access Memory，简称：RAM)或硬盘等。\n而本实施例是以程序代码来实现。例如，存储单元130中存储有多个程序代码片段，上述程序代码片段在被安装后，会由处理单元120来执行。例如，存储单元130中包括多个模块，通过这些模块来分别执行多个功能，而各模块是由一或多个程序代码片段所组成。这些模块包括光影分析模块131及眨眼判定模块132。\n[0043] 光影分析模块131用以对各眼部图像执行光影分析程序，以判断各眼部图像的光影变化。而眨眼判定模块132则基于光影变化，来判断使用者的眨眼状态。具体而言，光影分析模块131自眼部图像序列中取出目前分析图像与先前获取图像，并且计算目前分析图像与先前获取图像之间的差异像素数量。在此，目前分析图像与先前获取图像所被获取的时间不同。并且，光影分析模块131会滤除目前分析图像与先前获取图像中各自的反光区域。\n上述反光区域的像素的亮度值高于一亮度门槛值，在较佳实施例中，该亮度门槛值的范围为90-200之间，在本实施例可为100。\n[0044] 另外，存储单元130还选择性地包括人脸检测模块133、鼻孔搜寻模块134以及眼部搜寻模块135。例如，取像单元110获取了包括多个原始图像的图像序列。而处理单元120通过人脸检测模块133、鼻孔搜寻模块134以及眼部搜寻模块135而自原始图像来取得眼部图像。在此，人脸检测模块133用以对原始图像分别执行人脸辨识程序，以获得多个人脸图像。\n鼻孔搜寻模块134用以检测每一人脸图像中的鼻孔区域。眼部搜寻模块135用以基于鼻孔区域而自每一人脸图像中获得每一眼部图像。\n[0045] 图2是本发明一实施例的眨眼检测方法的流程图。请参照图1及图2，在步骤S205中，通过取像单元110来获得使用者的眼部图像序列。例如，在本实施例中，利用取像单元\n110来获取使用者的连续多张原始图像(包括整个头像或包括整个人像)，再自这些原始图像来获得连续多张眼部图像。例如，利用人脸检测模块133分别对多张原始图像执行人脸检测程序，以获得多个人脸图像。再通过鼻孔搜寻模块134检测这些人脸图像中的鼻孔区域。\n并且，由眼部搜寻模块135基于鼻孔区域而自各人脸图像中获得各眼部图像。\n[0046] 在此，人脸检测模块133例如是利用AdaBoost演算法或其他现有的人脸检测演算法(如，利用Haar-like特征来进行人脸检测动作)来自各原始图像获得人脸图像。在获得到人脸图像之后，处理单元120通过鼻孔搜寻模块134在人脸图像中搜寻鼻孔区域，即，两个鼻孔的所在位置。鼻孔位置信息例如为两个鼻孔的第一中心点与第二中心点。接着，在利用眼部搜寻模块135基于鼻孔位置信息来获得眼部图像。例如，往两个鼻孔的第一中心点与第二中心点往上取一预定范围作为眼部图像。\n[0047] 另外，在其他实施例中，直接利用取像单元110对准使用者的眼睛来获得连续多张眼部图像。上述仅为举例说明，在此并不限定眼部图像的获得方式。\n[0048] 接着，在步骤S210中，通过光影分析模块131自眼部图像序列中取出目前分析图像与先前获取图像，而目前分析图像与先前获取图像所被获取的时间不同。\n[0049] 之后，在步骤S215中，光影分析模块131滤除目前分析图像与先前获取图像中各自的反光区域，其中反光区域的像素的亮度值高于亮度门槛值。并且，在步骤S220中，光影分析模块131计算目前分析图像与先前获取图像之间的差异像素数量。\n[0050] 例如，光影分析模块131自眼部图像序列中逐一取出其中一眼部图像作为目前分析图像，并对目前分析图像与先前获取图像执行光影分析程序，以判断目前分析图像与先前获取图像之间的光影变化。光影变化例如是两张眼部图像之间的亮度变化，通过光影分析模块131来找出目前分析图像与先前获取图像之间亮度变化量高的差异像素数量。\n[0051] 在此，先前获取图像的获取时间早于目前分析图像的获取时间。例如，假设目前分析图像为第X张眼部图像，则取第X-4张眼部图像作为先前获取图像来进行光影分析程序。\n这是因为，倘若取前后相邻两张眼部图像，有可能因为时间过于相近而使得前后相邻两张眼部图像的亮度分布过于相似，导致光影变化不明显。故，例如取前四张眼部图像来作为先前获取图像。\n[0052] 由于闭眼时的眼部图像与开眼时的眼部图像之间光影变化，其相对高于一直处于开眼的眼部图像之间的光影变化，因此，在步骤S220中计算出目前分析图像与先前获取图像之间亮度变化量高的差异像素数量，可以此作为眨眼的判断依据。\n[0053] 最后，在步骤S225中，眨眼判定模块132根据差异像素数量，判断使用者是否眨眼。\n[0054] 下面举一例来详细说明目前分析图像与先前获取图像之间的亮度变化分析程序。\n图3是本发明一实施例的亮度变化分析程序的流程图。请参照图1及图3，在步骤S305中，光影分析模块131取出第i张眼部图像作为目前分析图像。并且，取出目前分析图像的前M张眼部图像(即，第i-M张眼部图像)作为先前获取图像。其中M大于或等于1。在此，取M＝4。即，取第i-4张眼部图像作为先前获取图像。并且，眼部图像为灰阶图像，即，每个像素的像素值为\n0～255中的其中一个亮度值。倘若取像单元110所获取的原始图像为彩色图像，在进行亮度变化分析程序之前，还包括将彩色图像转换为灰阶图像的步骤。\n[0055] 另外，倘若所取出的目前分析图像为眼部图像中获取时间最早的M个，则不对目前分析图像执行光影分析程序。例如，以M＝4而言，表示不对第1～4张的眼部图像执行光影分析程序。\n[0056] 接着，在步骤S310中，光影分析模块131取出目前分析图像的第j个像素与先前获取图像的第j个像素两者的像素值。在此，以j＝1开始取出目前分析图像与先前获取图像两者的第j个像素的像素值。\n[0057] 之后，在步骤S315中，光影分析模块131计算上述两个像素值的像素差值。然后，在步骤S320中，光影分析模块131判断像素差值是否大于第一门槛值。若像素差值大于第一门槛值，表示亮度变化大，故，如步骤S325所示，累计差异像素数量。之后，在步骤S330中，光影分析模块131判断是否已计算所有像素。\n[0058] 若像素差值未大于第一门槛值，表示亮度变化不大，因此不累计特定像素值，而直接前往步骤S330，由光影分析模块131判断是否已计算所有像素。若否，将j加1之后，往下计算下一个像素，光影分析模块131重复执行步骤S310～S325直到所有的像素皆已计算完毕。\n倘若所有像素皆已计算完毕，将i加1以取出下一张眼部图像来作为目前分析图像，而光影分析模块131重复执行上述步骤S305～S330。以此类推，可获得每一张眼部图像所对应的差异像素数量。\n[0059] 另外，在其他实施例中，光影分析模块131可直接将目前分析图像与先前获取图像相减，而获得一差值图像，之后，计算差值图像中的每一像素的值超过第一门槛值的差异像素数量。\n[0060] 在获得每一眼部图像的差异像素数量之后，便可由眨眼判定模块132来判断使用者是否眨眼。举例来说，图4是本发明一实施例的判断使用者是否眨眼的流程图。请参照图1及图4，在步骤S405中，眨眼判定模块132判断是否超过连续N个眼部图像的差异像素数量都大于第二门槛值。在此，设定超过连续N个的步骤是为了降低眨眼状态的误判率。\n[0061] 倘若超过连续N个的眼部图像的差异像素数量大于第二门槛值，在步骤S410中，眨眼判定模块132判定在获取上述超过连续N个眼部图像的时间区段内使用者眨眼。倘若未超过连续N个的眼部图像的差异像素数量大于第二门槛值，在步骤S415中，眨眼判定模块132判定使用者未眨眼。\n[0062] 下面举例说明睁眼状态与眨眼状态之间的光影变化。\n[0063] 图5A及图5B是本发明一实施例的睁眼状态的示意图。在此，图5A为目前分析图像\n510，图5B为先前获取图像520。在此，斜线区域代表图像中的反光区域530，而其余的部份为第一区域540。在图5A及图5B中，在使用者为睁眼状态的情况下，由于目前分析图像与先前获取图像皆为睁眼，因此两者间的亮度差异不大，而两者反光区域的分布也大致相同。也就是说，目前分析图像与先前获取图像之间光影分布的情况为大致相同。据此，目前分析图像与先前获取图像之间各像素的像素差值将不会太高。\n[0064] 图6A及图6B是本发明一实施例的眨眼状态的示意图。在此，图6A为目前分析图像\n610，图6B为先前获取图像620。在此，斜线区域代表图像中的反光区域630，而其余部分为第一区域640。在图6A及图6B中，在使用者处于眨眼状态下，为闭眼的目前分析图像与开眼的先前获取图像之间在眼睛处的亮度差异会明显地较大。故，在眨眼状态下的前后(未必为相邻两张)两张眼部图像中会存在像素差值较大的地方。\n[0065] 由于反光区域630会影响图像分析，故将达到亮度门槛值的反光区域630滤除掉，只考虑分析图像610与先前获取图像620中的第一区域640。在睁眼状态下，目前分析图像\n510与先前获取图像520之间的第一区域540，其差异像素数量相对地小；反之，在眨眼状态下，目前分析图像610与先前获取图像620之间的第一区域640，其差异像素数量相对地大。\n[0066] 图7是本发明一实施例的眼部图像序列的第一区域的差异像素数量之间关系的示意图。横轴所示为眼部图像序列，纵轴为眼部图像序列中对应的第一区域内的差异像素数量。\n[0067] 在本实施例中，假设第二门槛值为100，并且N为5。然，此仅为举例说明，并不以此为限。在图7中，在第11张至第17张的眼部图像的差异像素数量皆大于100，并且在第43张至第44张的眼部图像的差异像素数量也大于100。在此，由于第11张至第17张的眼部图像已超过5张，故，表示使用者在获取上述连续第11张至第17张的眼部图像的时间区段D内处于眨眼状态。而由于第43张至第44张的眼部图像并未超过5张，故，使用者在此并未处于眨眼状态。\n[0068] 综上所述，本发明以连续图像为基础而获得两张图像之间的光影变化，取代原本单张图像处理的方式，借此可在不受外在环境图像(例如使用者配戴眼镜，镜片上的反光所造成的影响)来判断使用者的眨眼状态。\n[0069] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。