一种基于双光源的视线跟踪方法

1.一种基于双光源的视线跟踪方法，其特征在于，包括以下步骤：
（1）图像预处理：利用瞳孔和反射点灰度差的原理，对采集到的人脸图像进行预处理，提取出人眼图像中两个反射点和瞳孔区域，并计算出两个反射点及瞳孔中心在图像坐标系中的坐标，其中图像坐标系以图像的左上角为坐标原点，水平方向为X轴，竖直方向为Y轴；
（2）注视点估计：根据图像中瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置；
（3）注视点校正：运用二次定标的方法来校正人眼视轴与光轴固有的偏差以及因近似而产生的估计误差，得到最终的注视点位置；
所述步骤（2）注视点估计的具体实现步骤为：
A．根据人眼的注视特性及相机的成像原理得出瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形的近似相似性关系；
B．根据三角形相似性来估计屏幕上注视点的近似位置；
根据以下等式得到屏幕上近似的注视点坐标Q(Qx,Qy)：
其中L1x和L2x分别是红外光源L1和L2在X轴上的坐标值；pix，v1ix，v2ix分别为瞳孔中心以及两角膜反射点在图像坐标系中X轴上的坐标值，piy，v1iy分别为瞳孔中心以及一侧角膜反射点在图像坐标系中Y轴上的坐标值。
2.根据权利要求1所述的基于双光源的视线跟踪方法，其特征在于，所述步骤（3）注视点校正的具体实现步骤为：
A区域划分：根据定标点的个数及分布将整个屏幕划分为五个区域；
B一点定标：通过屏幕中间位置的定标点进行一点定标；
C区域定位：根据一点定标后注视点的位置与各个定标点之间的位置关系确定注视点所在的区域；
D二次定标：根据注视点所在的区域，用注视点所在区域内的定标点对一次定标后的注视点进行二次定标，得到最终的注视点位置。

一种基于双光源的视线跟踪方法\n技术领域\n[0001] 本发明涉及一种基于双光源的视线跟踪方法，属于视频、多媒体信号处理技术领域。\n背景技术\n[0002] 随着计算机科学技术与产业的飞速发展，计算机的普通用户急剧增长，智能化的人机交互也日益受到关注。作为人类获取外界信息的重要途径，视线也可以在智能化人机交互中发挥它的巨大潜力，成为智能交互的有效工具。例如，我们可以通过视线来表达我们主观思想进而实现对外界事物地直接操控\n[0003] T.Hutchinson等在1989年率先提出了用视线与计算机进行交互的思想。其诱人的应用前景吸引了无数国内外的研究者们从图像预处理、映射算法、校正等各方面对视线跟踪进行研究。如今，视线跟踪技术已日益成熟，其应用也不断得到人们的认可，从残疾人辅助、游戏开发、外观设计测评到3D盛行时代的自由视点视频，无一不给我们的生活带来方便，更是有力地推动了智能化科学技术的发展。\n[0004] 视线跟踪的方法有眼电图(EOG)、虹膜-巩膜边缘、角膜反射、瞳孔-角膜反射向量等多种，其中，基于瞳孔-角膜反射向量的方法由于其精度较高，用户使用舒适度高而备受青睐。D.H.Yoo等运用四光源于2001年提出的基于交比不变算法的视线跟踪系统可以较为精确地实现视线的估计。然而，由于受硬件集成、执行速度及应用前景的影响，人们更偏向于采用更少的光源来实现视线的估计。目前，要想在头部运动自由的情况下实现较为精确的视线估计至少需要两个红外光源。而现有的两光源视线跟踪方法计算比较复杂，即便允许头动，对头动的范围也有很大的限制。因此找到一种简单实用的视线跟踪映射方法具有重要的理论研究意义和重大的实际应用价值。\n发明内容\n[0005] 针对现有双光源视线跟踪方法计算复杂、对头部运动范围限制性大的问题，本发明提供一种计算复杂度低、对头部运动限制性小、实用性强的基于双光源的视线跟踪方法。\n[0006] 根据人眼的注视特性以及相机的成像原理，如图4所示，屏幕上的两个光源L1，L2与其对应的在人眼角膜上形成的反射点V01，V02的连线以及屏幕上的注视点Q与瞳孔中心P0的连线交于人眼的角膜曲率中心C；并且，根据球面折射原理，两红外光源在角膜上的反射点V01，V02以及瞳孔中心P0与它们经角膜球面折射后的像V1，V2以及P在同一径向上，因此，用V1，V2以及P分别来代替V01，V02以及P0不会影响注视点估计的结果。\n[0007] 在映射建立过程中，由于人眼球是一个球状体，所以两红外光源在人眼中形成的反射点V1，V2以及瞳孔中心在角膜上的折射点在Z轴方向上的坐标值虽不相同，但相差甚微。经分析计算得出：这三点在Z轴上的坐标值可认为近似相同，对注视点结果估计所造成的误差在X轴上最大为0.9887cm，在Y轴上最大为0.7852cm，并且误差的趋势呈现区域化分布，因此可以结合二次定标来减小由于近似而产生的误差，使得最终估计出的注视点的误差在实际应用中处于可接受范围之内。\n[0008] 本发明的基于双光源的视线跟踪方法，具体步骤如下：\n[0009] (1)图像预处理：利用瞳孔和反射点灰度差的原理，对采集到的人脸图像进行预处理，提取出人眼图像中两个反射点和瞳孔区域，并计算出两个反射点及瞳孔中心在图像坐标系中的坐标，其中图像坐标系以图像的左上角为坐标原点，水平方向为X轴，竖直方向为Y轴；\n[0010] (2)注视点估计：根据图像中瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置。\n[0011] (3)注视点校正：运用二次定标的方法来校正人眼视轴与光轴固有的偏差以及因近似而产生的估计误差，得到最终的注视点位置。\n[0012] 所述步骤(2)注视点估计的具体实现步骤为：\n[0013] A.根据人眼的注视特性及相机的成像原理得出瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形的近似相似性关系；\n[0014] B.根据三角形相似性来估计屏幕上注视点的近似位置。\n[0015] 所述步骤(3)注视点校正的具体实现步骤为：\n[0016] A区域划分：根据定标点的个数及分布将整个屏幕划分为五个区域；\n[0017] B一点定标：通过屏幕中间位置的定标点进行一点定标；\n[0018] C区域定位：根据一点定标后注视点的位置与各个定标点之间的位置关系确定注视点所在的区域；\n[0019] D二次定标：根据注视点所在的区域，用注视点所在区域内的定标点对一次定标后的注视点进行二次定标，得到最终的注视点位置。\n[0020] 本发明根据图像中的瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置，再通过二次定标来校正人眼视轴与光轴之间固有偏差及算法近似所造成的估计误差，得到较为精确的注视点估计值。该方法无需测量头部距离屏幕的距离，计算复杂度低，对头部运动鲁棒性强，实验过程自然舒适，易于实现，便于集成实际产品。\n附图说明\n[0021] 图1是实现本发明方法的系统硬件图。\n[0022] 图2是本发明方法的流程图。\n[0023] 图3是本发明方法中图像预处理过程的示意图。\n[0024] 图4是摄像机成像以及人眼注视原理示意图。\n[0025] 图5是本发明方法中坐标位置的近似替代示意图。\n[0026] 图6是两近似相似三角形的示意图。\n[0027] 图7是定标点分布及屏幕区域划分示意图\n[0028] 图8是注视点估计结果示意图。\n[0029] 图9是注视点估计精度分析示意图。\n具体实施方式\n[0030] 实现本发明基于双光源的视线跟踪方法的硬件系统如图1所示，包括一个灰度摄像机、两个红外光源以及一台个人计算机。个人计算机采用2.60GHZ奔腾双核，计算机屏幕尺寸34×27cm(宽×高)，计算机下方装一个分辨率为694×1040的灰度摄像机，相机位置在实验过程中保持不动，显示器的左下角以及右下角分别装有一个1瓦的红外光源L1和L2。测试者坐在距屏幕60--70cm的位置，头部可以在20×20×10cm(宽×长×深度)的\n范围内移动。\n[0031] 图2给出了本发明的基于双光源的视线跟踪方法的流程图，根据该流程，具体实施步骤如下：\n[0032] 1.通过图像预处理确定图像中反射点中心及瞳孔中心在图像坐标系中的坐标，其过程如图3所示。根据瞳孔与角膜反射点的灰度差，提取出瞳孔及角膜反射点区域，并分别得到它们的中心在图像坐标系中的坐标位置pi(px，py)、v1i(v1ix，v1iy)、v2i(v2ix，v2iy)。其中图像坐标系以图像的左上角为坐标原点，水平方向为X轴，竖直方向为Y轴。\n[0033] 2.注视点估计。根据图像中的瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点近似位置。其具体实现步骤为：\n[0034] (1)根据图4所示的人眼的注视特性及相机的成像原理，得出瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形的近似相似性关系。其具体步骤如下：\n[0035] (a)根据相机的成像原理，将人脸图像中角膜反射点及瞳孔中心在相机坐标系中的坐标转换到世界坐标系中，其转换关系如下式：\n[0036] pi(pix，piy)→p(px，py，pz)＝p(pixelpitchc(pix-ccerter)+Ox，pixelpitchr(piy-rcenter)+Oy，-λ+Oz)\n[0037] v1i(v1ix，v1iy)→v1(v1x，v1y，v1z)＝v1(pixelpitchc(v1ix-ccerter)+Ox，pixelpitchr(v\n1iy-rcenter)+Oy，-λ+Oz)\n[0038] v2i(v2ix，v2iy)→v2(v2x，v2y，v2z)＝v2(pixelpitchc(v2ix-ccenter)+Ox，pixelpitchr(v\n2iy-rcenter)+Oy，-λ+Oz)\n[0039] 其中，空间坐标系以电视机屏幕的左下角为原点，以平行于电视机屏幕的水平方向的轴为x轴，以平行于电视机屏幕的竖直方向的轴为y，以垂直于电视机屏幕指向用户的方向的轴为z轴。pixe;pitchc，pixelpitchr，ccenter，rcenter均是相机的固有参数，Ox，Oy，Oz。\n是相机光节点在世界坐标系个坐标轴上的坐标值。λ是与相机焦距、焦距以及物距有关的常量。从上述转换关系式可以看出，由点p(px，py，pz)，v1(v1x，v1y，v1z)和v2(v2x，v2y，v2z)构成的平面平行于屏幕且Δpv1v2相似于Δpiv1iv2i。\n[0040] (b)根据相机的成像原理，瞳孔中心P(Px，Py，Pz)在pO的连线上，红外光源在角膜上的反射点V1(V1x，V1y，V1z)，V2(V2x，V2y，V2z)分别在v1O和v2O的连线上。严格的说，Pz，V2z和V2z是不相等的，但它们相差不大，因此我们可以认为Pz＝V2z＝V1z，即点P和V2分别用直线OP与平面Z＝V2z的交点P″和直线OV2与平面Z＝V2z的交点V2″代替，如图6所示，并且ΔP″V1V2″相似于三角形Δpv1v2。若人眼曲率中心C与P″的连线与屏幕的交点为Q，则Q即为近似的注视点估计值，并且ΔQL1L2相似于ΔP″V1V2″，因此ΔQL1L2相似于Δpv1v2并相似于Δpiv1iv2i。\n[0041] (2)经测量可得到两个红外光源的坐标分别为L1(0，0)和L2(0，34)，L1x和L2x位于同一水平线。由ΔQL1L2相似于Δpiv1iv2i，如图5所示，利用相似三角的性质，可以根据以下等式得到屏幕上近似的注视点坐标Q(Qx，Qy)。\n[0042] \n[0043] 其中L1x和L2x分别是红外光源L1和L2在X轴上的坐标值。\n[0044] 3、由于视觉光轴与视轴固有的偏差，所以步骤2中所计算出的注视点的位置需经过定标校正才是准确的人眼注视位置。采用二次定标方式，在校正视轴与光轴固有偏差的同时也可以减小由于算法中的近似替代而产生的误差，具体步骤如下：\n[0045] (1)区域划分。根据系统中定标点的个数及分布将整个屏幕划分为A0，A1，A2，A3和A4五个区域，如图7所示。\n[0046] (2)一点定标。通过屏幕中间位置的定标点进行一点定标。其具体方法如下：\n[0047] 若定标点a的真实坐标值为(x_real_a，y_real_a)，而利用算法估计出的坐标值为(x_gaze_a，y_gaze_a)，则定标点a在X轴和Y轴上真实值与估计值之间的差x_error_a，y_error_a可用下式表示：\n[0048] x_error_a＝x_gaze_a-x_real_a\n[0049] y_error_a＝y_gaze_a-y_real_a\n[0050] 假定用该双光源的算法估计出的注视点Qi(i＝1，2，3，L)和其余四个定标点b，c，d，e的坐标位置分别为(x_gaze_Qi，y_gaze_Qi)(i＝1，2，3，L)、(x_gaze_b，y_gaze_b)、(x_gaze_c，y_gaze_c)、(x_gaze_d，y_gaze_d)和(x_gaze_e，y_gaze_e)，则经过中心定标点a一次定标之后的坐标(x_gazel_Qi，y_gazel_Qi)，(x_gazel_b，y_gazel_b)，(x_gazel_c，y_gazel_c)，(x_gazel_d，y_gazel_d)，(x_gazel_e，y_gazel_e)可表示为：\n[0051] x_gazel_Qi＝x_gaze_Qi+wix*x_error_a，y_gazel_Qi＝y_gaze_Qi+wiy*y_error_a[0052] x_gazel_b＝x_gaze_b+wbx*x_error_a，y_gazel_b＝y_gaze_b+wby*y_error_a[0053] x_gazel_c＝x_gaze_c+wcx*x_error_a，y_gazel_c＝y_gaze_c+wcy*y_error_a[0054] x_gazel_d＝x_gaze_d+wdx*x_error_a，y_gazel_d＝y_gaze_d+wdy*y_error_a[0055] x_gazel_e＝x_gaze_e+wex*x_error_a，y_gazel_e＝y_gaze_e+wey*y_error_a[0056] 其中，权重系数wix，wbx，wcx，wdx，wex，wiy，wby，wcy，wdy，wey与对应点和中心坐标点在X轴或Y轴上的距离有关。\n[0057] (3)区域定位。根据一点定标后注视点的位置与各个定标点之间的位置关系确定注视点所在的区域。\n[0058] (4)二次定标。根据注视点所在的区域，用注视点所在区域内的定标点对一次定标后的注视点进行二次定标，得到最终的注视点位置，其坐标位置可表示为：\n[0059] x_gaze2_Qi＝x_gazel_Qi，y_gaze2_Qi＝y_gazel_Qi (在区域A0)[0060] x_gaze2_Qi＝x_gazel_Qi+x_error_b，y_gaze2_Qi＝y_gazel_Qi+y_error_b(在区域A1)\n[0061] x_gaze2_Qi＝x_gazel_Qi+x_error_c，y_gaze2_Qi＝y_gazel_Qi+y_error_c(在区域A2)\n[0062] x_gaze2_Qi＝x_gazel_Qi+x_error_d，y_gaze2_Qi＝y_gazel_Qi+y_error_d(在区域A3)\n[0063] x_gaze2_Qi＝x_gazel_Qi+x_error_e，y_gaze2_Qi＝y_gazel_Qi+y_error_e(在区域44)\n[0064] 该基于空间相似三角形与二次定标的双光源视线跟踪方法，无需测量头部与屏幕之间的距离，计算方法简单，虽在算法中存在近似但误差在X轴与Y轴上都不会超过它们的最大值0.9887cm和0.7852cm。并且由于人眼注视的习惯特性，其注视点估计结果的误差呈现出区域性的分布，如图8所示。图9给出了注视点估计精度分析图。用于测试的注视点的估计误差结果如下表所示：\n[0065] \n 注视点 X_error(cm) Yerror(cm)\n 1 0.5050 0.3143\n 2 0.5132 0.8293\n 3 0.5299 0.3748\n 4 0.6994 0.0992\n 5 0.9113 0.2203\n 6 0.5349 0.3853\n 7 0.2769 0.0475\n 8 1.0562 0.1781\n 9 0.7784 0.4744\n 10 0.3104 0.6536\n 11 0.2331 0.3049\n 12 1.1230 0.1768\n 13 1.0073 0.2070\n 14 0.7716 0.5990\n 15 0.9398 0.6581\n 16 0.9398 0.5310\n 均值 0.6956 0.3784\n[0066] 其在X轴与Y轴上的平均误差分别为0.6956cm和0.3784cm，所以本发明的方法可完全用于实际的应用。