视线方向判定装置及视线方向判定方法

1.视线方向判定装置，包括：
摄像单元，拍摄包含两眼的脸图像；
照射单元，通过光源照射所述两眼的角膜；
瞳孔检测单元，从所述脸图像，检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标、以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；
角膜反射图像检测单元，从所述脸图像，检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标、以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；
线对称位置计算单元，计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第3坐标线对称的位置坐标的线对称位置坐标；以及
视线方向判定单元，计算所述第4坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。
2.如权利要求1所述的视线方向判定装置，
连结从所述摄像单元到包含所述第1线段的平面的垂线的垂足和从所述照射单元到所述平面的垂线的垂足的第2线段与所述第1线段正交。
3.如权利要求1所述的视线方向判定装置，
还包括警报装置，
所述警报装置接受所述视线方向判定单元的判定结果，对接受了所述视线方向不是特定的方向的判定结果的次数进行计数，在所述计数的数超过规定的次数时发出警告。
4.如权利要求3所述的视线方向判定装置，
所述警报装置在接受到所述视线方向是所述特定的方向的判定结果时，使所述计数的数为零。
5.如权利要求1所述的视线方向判定装置，还包括：
脸方向计算单元，基于所述脸图像判定脸方向；以及
脸视线方向判定单元，在由所述脸方向计算单元判定为所述脸方向是特定的方向时，基于所述坐标距离和所述规定的阈值，判定视线方向，
所述视线方向判定单元以脸的方向为参数，判定视线方向。
6.如权利要求1所述的视线方向判定装置，还包括：
视线方向计算单元，从由所述摄像单元获取的所述脸图像计算视线方向信息；以及校正单元，基于所述视线方向判定单元的判定结果以及所述视线方向信息，计算所述视线方向的偏差值，并基于所述偏差值校正视线方向。
7.视线方向判定方法，包括：
拍摄包含两眼的脸图像；
通过光源照射所述两眼的角膜；
从所述脸图像，检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标、以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；
从所述脸图像，检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标、以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；
计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第3坐标线对称的位置坐标的线对称位置坐标；以及计算所述第4坐标与所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。

视线方向判定装置及视线方向判定方法\n技术领域\n[0001] 本发明涉及判定被拍摄者的视线方向为规定方向的视线方向判定装置及视线方向判定方法。\n背景技术\n[0002] 在判定人物的视线方向的视线方向判定装置中，需要以外界的坐标系表示检测出的方向。\n[0003] 在专利文献1中，公开了事先检测观看特定方向时的眼球的状态，从其结果判定是否正在观看特定方向的视线检测装置。专利文献1记载的装置注视取景器内的指标，并补偿此时的视轴与眼球轴之间的偏差。\n[0004] 在专利文献2中，公开了在较长时间观测驾驶中的视线方向，从其分布规定视线的基准方向的驾驶状态检测装置。专利文献2记载的装置从时间序列数据估计视线的基准位置。\n[0005] 这样，在现有技术的视线方向判定中存在两种系统的方法。一种是指示或检测注视对象，并检测注视状态(例如，专利文献1记载的装置例子)；另一种从较长时间的视线的分布规定视线方向的中心(例如，专利文献2记载的装置例子)。\n[0006] 现有技术文献\n[0007] 专利文献\n[0008] 【专利文献1】日本专利申请特开平4-242630号公报\n[0009] 专利文献2：日本专利申请特开2005-66023号公报\n发明内容\n[0010] 发明要解决的问题\n[0011] 然而，这种现有技术的视线方向判定装置中存在如下问题。\n[0012] (1)在专利文献1记载的装置中，需要指示注视对象而成为繁琐的工作。在自动判定中，难以判定是否真的正在观看。总之需要事先的测量工作，因而无法提高方便性。\n[0013] (2)在专利文献2记载的装置中，无法保证较长时间测量时的视线分布真的是正面方向。另外，若非较长时间测量后，则无法补偿。除需要较长时间的观测外，还存在以下的课题：无法保证测量出的统计结果恒定而不存在个人差别，所以难以在刚开始测量后进行判定，以及难以保证精度。\n[0014] 本发明是鉴于上述问题点而完成的。本发明的目的在于提供无需注视对象的指示和事先的调整作业而从刚开始测量就能够进行判定，能够高精度且准确地判定视线方向的视线方向判定装置及视线方向判定方法。\n[0015] 解决问题的方案\n[0016] 本发明的视线方向判定装置所采用的结构包括：摄像单元，拍摄包含两眼的脸图像；照射单元，通过光源照射所述两眼的角膜；瞳孔检测单元，从所述脸图像检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标，以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；角膜反射图像检测单元，从所述脸图像检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标，以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；线对称位置计算单元，计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第\n3坐标线对称的位置坐标的线对称位置坐标；以及视线方向判定单元，计算所述第4坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。\n[0017] 本发明的视线方向判定方法包括以下步骤：拍摄包含两眼的脸图像；通过光源照射所述两眼的角膜；从所述脸图像检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第\n1坐标，以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；从所述脸图像检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标，以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第\n3坐标线对称的位置坐标的线对称位置坐标；以及计算所述第4坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。\n[0018] 发明的效果\n[0019] 根据本发明，判定上述左眼或右眼的角膜反射图像对于左右眼的瞳孔的中心线处于线对称的位置，从该判定结果判定特定位置的视线方向，从而能够在视线方向判定时不需要注视对象的指示和事先的调整作业，提高方便性。另外，由于利用人的共有的特征，所以能够实现判定结果的可靠性高、与进行统计处理的方法等相比更高精度的视线方向的判定。基于同样的理由，能够保证判定出的视线方向为准确的视线方向，所以不需要像现有技术例子那样进行较长时间测定。进而，能够从拍摄图像直接进行判定，所以能够在测量开始后，立即进行判定。\n[0020] 除以上的效果外，还具有以下的效果。\n[0021] 即使不看特定的注视对象，也能够自动地校正检测出的视线方向的偏差。另外，由于不需要注视，所以能够简化处理，能够防止错误判定。这使得能够进行补偿的机会增多。\n进而，只要观看照相机方向即便一帧即可，所以具有能够以高可靠性进行补偿的效果。\n附图说明\n[0022] 图1是表示本发明的实施方式1的视线方向判定装置的结构的方框图。\n[0023] 图2A、图2B是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。\n[0024] 图3是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。\n[0025] 图4A、图4B是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。\n[0026] 图5A、图5B是说明上述实施方式1的视线方向判定装置的视线方向判定算法的图。\n[0027] 图6是表示上述实施方式1的视线方向判定装置的视线方向判定处理的流程图。\n[0028] 图7是表示输入到上述实施方式1的视线方向判定装置的输入图像的例子的图。\n[0029] 图8A、图8B是表示在上述实施方式1的视线方向判定装置中使用的图像特征的例子的图。\n[0030] 图9是表示本发明的实施方式2的视线方向判定装置的结构的方框图。\n[0031] 图10是表示上述实施方式2的视线方向判定装置的视线方向判定处理的流程图。\n[0032] 图11是表示本发明的实施方式3的带自动校正功能的视线方向判定装置的结构的方框图。\n[0033] 图12是表示上述实施方式3的带自动校正功能的视线方向检测装置的动作的流程图。\n[0034] 图13A、图13B是说明上述实施方式3的带自动校正功能的视线方向判定装置能够自动地补偿视线方向的偏移的图。\n[0035] 图14是表示本发明的实施方式4的视线方向判定装置的结构的方框图。\n[0036] 图15A、图15B、图15C是表示上述实施方式4的视线方向判定装置的照射单元与摄像单元的位置关系的图。\n[0037] 图16A、图16B是表示上述实施方式4的视线方向判定装置的角膜反射图像与角膜投影图像的位置关系的图。\n[0038] 图17是上述实施方式4的具有警报装置单元的视线方向判定装置的结构方框图。\n[0039] 标号说明\n[0040] 100、500、1400、1700视线方向判定装置\n[0041] 110图像输入单元\n[0042] 111摄像单元\n[0043] 112照射单元\n[0044] 113同步单元\n[0045] 120脸检测单元\n[0046] 130脸器官检测单元\n[0047] 140图像特征检测单元\n[0048] 141瞳孔检测单元\n[0049] 142角膜反射图像检测单元\n[0050] 150线对称位置计算单元\n[0051] 160评价值计算单元\n[0052] 170视线方向判定单元\n[0053] 501脸方向计算单元\n[0054] 502脸视线方向判定单元\n[0055] 600带自动校正功能的视线方向检测装置\n[0056] 610视线方向计算单元\n[0057] 620视线检测校正单元\n[0058] 630校正参数存储单元\n[0059] 640输出单元\n[0060] 1400视线方向判定装置\n[0061] 1401摄像单元\n[0062] 1402瞳孔检测单元\n[0063] 1403角膜反射图像检测单元\n[0064] 1404线对称位置计算单元\n[0065] 1405视线方向判定单元\n[0066] 1501右眼的瞳孔\n[0067] 1502左眼的瞳孔\n[0068] 1503右眼的眼球\n[0069] 1504左眼的眼球\n[0070] 1505连结右眼的瞳孔的中心与左眼的瞳孔的中心的线段\n[0071] 1506平面\n[0072] 1507垂线\n[0073] 1508垂线\n[0074] 1509垂直二等分线\n[0075] 1510垂线的垂足\n[0076] 1511垂线的垂足\n[0077] 1600脸图像\n[0078] 1601右眼\n[0079] 1602左眼\n[0080] 1603右眼的角膜\n[0081] 1604左眼的角膜\n[0082] 1605右眼的瞳孔\n[0083] 1606左眼的瞳孔\n[0084] 1607右眼的角膜反射图像\n[0085] 1608左眼的角膜反射图像\n[0086] 1609线段\n[0087] 1610垂直二等分线\n[0088] 1611角膜投影图像\n[0089] 1700视线方向判定装置\n[0090] 1701警报装置单元\n具体实施方式\n[0091] 以下，参照附图详细说明本发明的实施方式。\n[0092] (实施方式1)\n[0093] 本发明涉及以下的视线方向判定装置，即：从由具有照明单元的摄像装置获得到的脸图像，检测瞳或瞳孔的中心、以及照明的角膜反射图像，从它们的线对称性判定受验者的视线方向。这里，所谓视线方向判定，表示判定受验者的视线是否朝向特定的方向。但是，特定方向并非必须是一个，也可以是多个方向。\n[0094] 本发明的实施方式1中记载以下的视线方向判定装置，即：从由具有照明单元的摄像装置获得到的脸图像，检测瞳或瞳孔的中心、以及照明的角膜反射图像，从它们的线对称性判定受验者的视线方向。\n[0095] 图1是表示本发明的实施方式1的视线方向判定装置的结构的方框图。本实施方式是对于以下的警报装置适用了本发明的视线方向判定装置的例子，即：其设置在汽车的车厢内，检测驾驶者的视线方向，并在较长时间未朝向正面时进行警告。\n[0096] 如图1所示，视线方向判定装置100例如能适用于汽车导航系统(Car Navigation System)、电视、扬声器等信息提示设备；驾驶者支援照相机、监视照相机等安全状态监视设备；静态照相机、摄像机等视频记录设备；机器人(Robot)等生活辅助设备等这些需要掌握操作者、被拍摄者正在观看哪里的信息的设备。\n[0097] 视线方向判定装置100具有图像输入单元110、脸检测单元120、脸器官检测单元\n130、图像特征检测单元140、线对称位置计算单元150、评价值计算单元160、以及视线方向判定单元170。\n[0098] 图像输入单元110将由摄像单元111拍摄的图像输出到后述的脸检测单元120。\n[0099] 图像输入单元110具有：设置在车的方向盘的上方或仪表盘上等驾驶席的正面，且设置在能够拍摄驾驶者的位置的摄像单元111；照射驾驶者的脸的照射单元112；以及使摄像单元111与照射单元112取得同步的同步单元113。\n[0100] 摄 像 单 元 111 具 有 CCD(Charge Coupled Devices，电 荷 耦 合 器 )、CMOS(Complementary Metal Oxide Semiconductor，互补性金属氧化物半导体)等图像传感器，根据从同步单元113输入的同步信号，取得图像。\n[0101] 另外，以下，以图像横方向为X轴，图像纵方向为Y轴，1像素为1坐标点，说明所拍摄的脸图像。\n[0102] 照射单元112具有不可视而在摄像单元111中具有感光度的近红外线LED，根据来自同步单元113的同步信号进行发光。\n[0103] 同步单元113在相当于从摄像单元111的曝光开始到结束为止的期间，将同步信号输出到摄像单元111和照射单元112。\n[0104] 脸检测单元120从由图像输入单元110输入的图像检测作为人物的脸的图像的脸图像，并将脸图像输出到脸器官检测单元130。\n[0105] 脸器官检测单元130从由脸检测单元120输入的脸图像，检测外眼角、内眼角、瞳中心、鼻孔、嘴角、眉的两端等脸器官，并将形成各个脸器官的轮廓的多个点的坐标输出到图像特征检测单元140。\n[0106] 图像特征检测单元140具有：从脸图像检测瞳孔的瞳孔检测单元141；以及从脸图像检测角膜上的照射单元112的反射图像的角膜反射图像检测单元142。所谓角膜反射图像表示被称为普尔钦图像(Purkinje image)的、角膜表面的反射图像。\n[0107] 瞳孔检测单元141从由图像输入单元110输入的脸图像以及从脸器官检测单元\n130输入的脸器官坐标检测左右眼的瞳孔，将左右瞳孔的中心坐标输出到线对称位置计算单元150。\n[0108] 角膜反射图像检测单元142从由图像输入单元110输入的脸图像以及由脸器官检测单元130输入的脸器官坐标，检测左右眼的、照射单元112的角膜反射图像，将左右角膜反射图像的中心坐标输出到线对称位置计算单元150。\n[0109] 线对称位置计算单元150从由图像特征检测单元140输入的左右眼的瞳孔中心坐标以及角膜反射图像中心坐标，计算左右眼中一侧的眼的角膜反射图像中心的线对称位置，将线对称位置坐标和另一侧的眼的角膜反射图像坐标分别输出到评价值计算单元160。\n所谓线对称是指对于以左右瞳孔中心为端点的线段的垂直二等分线呈线对称。\n[0110] 评价值计算单元160从由线对称位置计算单元150输入的投影坐标以及由图像特征检测单元140输入的角膜反射图像中心坐标和线对称位置坐标，计算评价角膜反射图像的线对称性的线对称性评价值，并将其输出到视线方向判定单元170。\n[0111] 视线方向判定单元170从由评价值计算单元160输入的线对称性评价值，判断左右角膜反射图像的线对称性，在具有线对称性时，判定为受验者的视线方向正朝向照相机方向；而在不具有线对称性时，判定为未朝向照相机方向，并将判定结果输出到未图示的警报装置。未图示的警报装置根据判定结果，在较长时间未朝向照相机方向时，发出警报。该警报为包含警告消息(message)的显示、由语音合成LSI产生的语音消息、LED发光、由扬声器等的发声、或它们的组合。\n[0112] 上述各个单元的功能，由微计算机执行控制程序而实现。也就是说，视线方向判定装置100具有作为控制单元的CPU、记录了控制程序的ROM及执行程序用的RAM等、作为摄像装置的照相机、作为显示和警报装置的显示单元，该控制单元控制视线方向判定装置100的各个单元的动作。图1的各个单元明确表示为进行控制单元所执行的视线方向判定处理的功能块。\n[0113] 以下，说明如上构成的视线方向判定装置100的动作。\n[0114] 首先，说明本视线方向判定方法的基本想法。\n[0115] 图2至图4是说明视线方向判定装置100的视线方向判定方法的图。\n[0116] 如图2A所示，投光器(projector)201(在图1中为照射单元112)照射脸202的眼球203。照相机206(在图1中为摄像单元111)获取反射到眼球203的角膜203a上的角膜反射图像205。如图2B所示，通过来自投光器201的光照射，在眼球203的角膜203a上显现角膜反射图像205。\n[0117] 视线方向判定装置100利用脸的左右对称性，检测左右眼的角膜反射图像205。也就是说，计算左右眼的角膜反射图像205的位置，判定获得的角膜反射图像位置在左右眼中是否处于线对称的位置。\n[0118] 如图3所示，在用左右眼获取投光器201的角膜反射图像205，从对于瞳孔204的反射图像位置205的对称性，检测正在观看投光器201方向的时候。另外，通过验证投光器\n201的角膜反射图像位置的左右对称性，判定是否正在观看照相机206方向。\n[0119] 具体而言，如图4A所示，正在观看照相机206、投光器201方向时，角膜反射图像\n205的位置为左右对称。另外，如图4B所示，在未观看照相机206、投光器201方向时，角膜反射图像205的位置为左右非对称。\n[0120] 接着，说明视线方向判定方法的细节。\n[0121] [算法]\n[0122] 1.检测瞳孔和角膜反射图像\n[0123] 2.将一方的反射图像投影到对于左右瞳孔的垂直二等分线对称的位置[0124] 3.检测投影反射图像与另一方反射图像的偏差\n[0125] 4.若偏差量在阈值以下，则将此时的视线方向判定为照相机方向[0126] 图5是说明视线方向判定算法的图，图5A表示脸图像，图5B表示脸图像以及连结了基于脸图像计算出的两眼的瞳孔的线段的垂直二等分线。\n[0127] 如图5A所示，从脸图像202检测眼球203，并检测两眼的瞳孔204和两眼的角膜反射图像205。\n[0128] 如图5B所示，本算法将单侧的反射图像投影到对于左右瞳孔的垂直二等分线211对称的位置。将投影到一侧的眼球203(参照投影线212)的、另一侧的眼的角膜反射图像\n205称为角膜投影图像215。这里，右眼的角膜反射图像205被投影到左眼，在左眼上，左眼的角膜反射图像205与所投影的角膜投影图像215接近排列。\n[0129] 本算法计算左眼的角膜反射图像205与所投影的角膜投影图像215之间的偏差。\n若该偏差量在阈值以下，则将此时的视线方向判定为照相机方向。再者，在后面通过图6的视线方向判定处理流程叙述本算法的实现方法。\n[0130] 这样，通过验证两眼的角膜反射图像的坐标位置对于垂直二等分线211是否为线对称，能够判定视线方向。\n[0131] 图6是表示视线方向判定装置100的视线方向判定处理的流程图。图7是表示输入到视线方向判定装置100的脸图像的图。\n[0132] 在图6中，通过开始本程序，图像输入单元110开始拍摄作业。开始拍摄作业，即可以通过人工进行，也可以以外部的某种信号为触发器而由视线方向判定装置100进行。\n[0133] 在步骤S1中，图像输入单元110从每一定期间由同步单元113取得了与照射单元\n112的同步的摄像单元111，获取图7的脸图像300，并将该脸图像300输出到脸检测单元\n120。\n[0134] 例如，图像输入单元110假设是由具有CMOS图像传感器和透镜的数码相机以及具有近红外线LED的投光器构成的传感器，由此与投光器取得同步地拍摄的PPM(Portable Pix Map file format；便携式像素图文件格式)格式的图像等被临时存储到存在于图像输入单元110中的图像存储单元中(例如，个人计算机的存储器空间)。\n[0135] 然后，该临时存储的图像以PPM格式输入到脸检测单元120。\n[0136] 此时，照射单元112是与摄像单元111的曝光时间取得同步而点亮的、同步脉冲驱动近红外线LED投光器。在能够获得为拍摄充足的光量的情况下，也可以不是同步脉冲驱动而是经常点亮。\n[0137] 在步骤S2中，脸检测单元120从由图像输入单元110输入的脸图像300，进行脸区域301的检测处理。\n[0138] 就脸区域检测来说，例如从输入图像提取构成特征的图像，比较提取出的构成特征的图像与预先准备的表示脸区域的特征图像，对于进行了比较的图像检测相似度较高的图像。\n[0139] 就相似度来说，例如对比预先获得到的平均脸的加博尔特征量(Gabor feature)和扫描输入图像而提取出的加博尔特征量，使用该差的绝对值的倒数。\n[0140] 此时，作为脸区域，与预先准备的模板比较，在图7的脸区域301中，从图像中搜索相关最高的区域。\n[0141] 另外，也可以通过从图像中或进行肤色区域检测，或进行椭圆检测，或使用统计式模式识别方法来检测脸区域301。除此之外，只要是能够进行上述脸检测的技术，可以是任何方法。\n[0142] 在步骤S3中，脸器官检测单元130以由脸检测单元120输入的脸图像300的脸区域301为搜索区域，进行嘴角、外眼角、内眼角等脸器官组302的检测处理。\n[0143] 脸器官检测例如使用分离度滤波器，检测嘴角、外眼角、内眼角等脸器官的端点或鼻孔等的二维坐标。\n[0144] 另外，既可以使学习器预先学习多个脸图像与对应于脸图像的脸器官的位置的关系，在将脸图像300输入到学习器时，将似然度最高之处检测为脸器官，也可以使用标准的脸器官的模板从脸图像300内搜索脸器官。\n[0145] 在步骤S4中，瞳孔检测单元141从在上述的步骤S3中通过脸器官组检测而检测出的眼区域中，检测图3的瞳孔303的中心坐标。\n[0146] 在脸图像中，瞳孔的中心坐标例如对于在上述的步骤S3中通过脸器官组检测而检测出的包含外眼角、内眼角的眼区域，适用圆形分离度滤波器，将亮度的分离度最高的圆的中心的坐标提取为瞳孔的中心坐标。\n[0147] 此时，考虑通过使用了索贝尔(Sobel)滤波器的边缘检测、使用了大津的阈值确定方法等的亮度的二值化等检测出的眼脸，仅将夹在上下眼睑中的区域内作为检测对象范围。\n[0148] 另外，也可以在包含外眼角、内眼角的区域中，在水平、垂直方向取亮度和，将在垂直方向得到的亮度和在水平方向得到的亮度和为最小的点作为瞳孔中心。\n[0149] 另外，检测对象也可以不是瞳孔而是虹膜的中心、角膜的中心。\n[0150] 除此之外，只要是能检测上述瞳孔的中心坐标的技术，可以采用任何检测方法。\n[0151] 在步骤S5中，角膜反射图像检测单元142从在上述的步骤S3中通过脸器官组检测所检测出的眼区域中，检测图7的角膜反射图像304的中心坐标。\n[0152] 就角膜反射图像的中心坐标来说，例如对于在上述的步骤S4中检测出的瞳孔的中心的周围区域，计算亮度直方图(brightness histogram)，将最大亮度像素的坐标的重心检测为角膜反射图像的中心坐标。另外，也可以获取直方图的高位数％(例如1％)的像素的重心。\n[0153] 此时，在最大亮度小于预先确定的阈值时，视为不存在角膜反射图像，中止判定处理，并返回到上述的步骤S1。另外，在最大亮度的像素数大于预先确定的阈值时，视为在角膜反射图像中包含照射单元112之外的物体的反射，中止处理，并返回到上述的步骤S1。\n[0154] 在步骤S6中，线对称位置计算单元150计算连结了从图像特征检测单元140输入的瞳孔303的中心坐标与角膜反射图像304的中心坐标的线段的垂直二等分线，计算对于计算出的垂直二等分线的左右一侧的角膜反射图像的线对称位置的中心坐标。\n[0155] 图8是表示在视线方向判定装置100中使用的图像特征的例子的图，图8A表示视线朝向照相机206的方向时的图像410，图8B表示视线未朝向照相机206的方向时的图像\n420。\n[0156] 在图8A中，瞳孔411与图7中的瞳孔303相同，角膜反射图像412与图7中的角膜反射图像304相同。\n[0157] 在图8中，线对称位置计算单元150根据下式(1)计算连结两眼的瞳孔411的中心坐标的线段的垂直二等分线414。\n[0158] \n[0159] 其中，设右眼瞳孔的坐标为(xr，yr)，左眼瞳孔的坐标为(x1，y1)。\n[0160] 接着，对于通过式(1)表示的垂直二等分线直线414，根据下式(2)，计算左右一侧的眼的角膜反射图像304的中心坐标的线对称位置。其中，式(2)是表示右眼的角膜反射图像的中心坐标的线对称位置的计算式，线对称位置的坐标以(xs，ys)表示。\n[0161] …(2)\n[0162] \n[0163] 其中，a、b分别通过下式(3)表示。\n[0164] …(3)\n[0165] \n[0166] 在步骤S7中，评价值计算单元160从由图像特征检测单元140输入的角膜反射图像304的中心坐标和由线对称位置计算单元150输入的线对称位置，计算左右角膜反射图像位置的线对称性作为下式(4)表示的线对称性评价值V。\n[0167] \n[0168] 此时，例如，如通过图8A的图像410表示，在视线朝向照相机206的方向时，左右一侧的角膜反射图像的线对称位置424位于与另一侧的角膜反射图像接近的位置，所以线对称性评价值V取较大的值。但是，如通过图8B的图像420表示，在视线未朝向照相机206的方向时，左右一侧的角膜反射图像的线对称位置422位于离另一侧的角膜反射图像421较远的位置，所以线对称性评价值取较小的值。\n[0169] 另外，线对称性评价值V并不需要是式(4)表示的值，只要是左右一侧的角膜反射图像的线对称位置422与另一侧的角膜反射图像421越接近，返回越高的值的评价值即可。\n[0170] 在步骤S8中，视线方向判定单元170从由评价值计算单元160输入的线对称性评价值，判定视线方向是否为特定的方向。例如，若线对称性评价值为预先确定的阈值以上，则判定为正朝向特定的方向。\n[0171] 另外，也可以记录一定时间的评价值，在其平均值为阈值以上时，判定为正朝向特定的方向。特定的方向表示图像输入单元110的方向。\n[0172] 除此之外，只要是能够进行上述视线方向判定的技术，可以采用任何判定方法。\n[0173] 在步骤S9中，未图示的警报装置在由视线方向判定单元170判定为视线未朝向正面方向时，使表示判定为未朝向正面的次数的警报计数增加1。此时，在N超过规定的阈值时，视为较长时间未看正面而发出警报。\n[0174] 另外，在判断为正朝向正面时，使警报计数为零。再者，警报计数在初始状态为零。\n[0175] 在步骤S10中，进行结束判定。结束判定既可以通过由人工输入结束命令来进行，也可以以外部的某种信号为触发器而通过视线方向判定装置100进行。\n[0176] 在结束判定的结果为要结束时，结束视线方向判定装置100的视线方向判定动作。在上述的步骤S10中不结束时，返回到上述的步骤S1。\n[0177] 如以上详细说明的这样，本实施方式的视线方向判定装置100具有：判定左眼或右眼的角膜反射图像对于左右眼的瞳孔的中心线处于线对称的位置的线对称位置判定单元150；以及从线对称位置判定结果判定包含摄像单元111或大致相同位置的照射单元112的设置位置的特定位置的视线方向的视线方向判定单元170，该视线方向判定装置判定角膜反射图像的线对称性，从该线对称性判定特定的视线方向，所以能够从刚开始测量就进行判定而无需进行注视对象的指示和事先的调整作业，能够高精度并准确地判定视线方向。\n[0178] 在现有技术的例子中，在使用瞳孔与角膜反射图像的位置关系时，仅以单眼进行计算。另外，即使在使用两眼的情况下，也仅仅是单纯地使用于视线的稳定化，而没有像本实施方式这样利用于特定方向的视线检测的例子。并且，在现有技术例子中，在要检测特定方向的视线方向时，需要指示或检测注视对象，并且从较长时间的检测结果的统计进行估计。由此，能够高精度且准确地判定视线方向。\n[0179] 相对于此，在本实施方式中，判定左眼或右眼的角膜反射图像对于左右眼的瞳孔的中心线处于线对称的位置。瞳孔、角膜反射图像具有从低分辨率的拍摄图像也能够稳定地检测的特征，能够稳定地判定视线方向。另外，角膜反射图像的左右对称性不存在个体差，所以不需要事先的调整作业，能够简便地利用。进而，只通过一张图像也能够进行判定，所以还具有从刚开始测量就能够进行判定的效果、以及在仅看特定的方向一瞬这样的状况下也能够进行判定的效果。另外，在本实施方式中，具有计算表示左右的角膜反射图像的线对称性的评价值的评价值计算单元160，视线方向判定单元170基于该评价值，首先判断左右角膜反射图像的线对称性，接着判定特定的视线方向，所以能够进行精度更优良的视线方向判定。\n[0180] (实施方式2)\n[0181] 图9是表示本发明的实施方式2的视线方向判定装置的结构的方框图。在本实施方式的说明中，对于与图1相同的结构部分标注相同的标号而省略重复部分的说明。\n[0182] 本实施方式是对于以下的警报装置适用了本发明的视线方向判定装置的例子，即：设置在汽车的车厢内而检测驾驶者的视线方向，并在较长时间未朝向正面时进行警告。\n[0183] 另外，以如下情况为例，即：视线方向判定装置500在脸正朝向照相机与投光器的中点方向时，判定视线是否正朝向照相机和投光器的中点。\n[0184] 视线方向判定装置500具有图像输入单元110、脸检测单元120、脸器官检测单元\n130、图像特征检测单元140、线对称位置计算单元150、评价值计算单元160、脸方向计算单元501以及脸视线方向判定单元502。\n[0185] 脸方向计算单元501从由脸器官检测单元130输入的脸器官位置计算脸方向信息，输出到脸视线方向判定单元502。\n[0186] 脸视线方向判定单元502首先在从脸方向计算单元501输入的脸方向信息的水平分量正朝向照相机与投光器的中间点时，继续处理，而在未朝向照相机和投光器的中间点时，结束处理。接着，脸视线方向判定单元502从由评价值计算单元160输入的线对称性评价值，判断左右角膜反射图像的线对称性，在具有线对称性时，判定为受验者的视线方向正朝向照相机与投光器的中点方向，而在不具有线对称性时，判定为未朝向照相机与投光器的中点方向，并将判定结果输出到未图示的警报装置。\n[0187] 以下，说明如上构成的视线方向判定装置500的动作。\n[0188] 表示在投光器(照射单元112)对于照相机(摄像单元111)在水平上偏离时的动作。但是，对于照相机与脸的距离而言，本实施方式的照相机与投光器的偏差非常小。\n[0189] 图10是表示视线方向判定装置500的视线方向判定处理的流程图。对进行与图\n6所示的流程相同处理的部分标注相同的步骤编号而省略重复部分的说明。\n[0190] 在步骤S7中，在由评价值计算单元160计算线对称性评价值后，进至步骤S21。\n[0191] 在步骤S21中，脸方向计算单元501从由脸器官检测单元130输入的脸器官组\n302，计算脸方向信息。\n[0192] 对于脸方向信息而言，在以三维输入脸器官位置时，例如获取左右眼的外眼角与嘴角的中点所存在的平面的法线矢量作为脸方向矢量。另外，在以二维输入脸器官位置时，例如，从脸器官组302的分布估计标准的头部三维模型的姿态，获取左右眼的外眼角与嘴角的中点所存在的平面的法线矢量作为脸方向矢量。\n[0193] 在步骤S22中，脸视线方向判定单元502首先从由脸方向计算单元501输入的脸方向信息，判定脸方向是否正朝向照相机和投光器的中点。作为判定方法，例如从预先测量的照相机的中心和投光器的中心，计算连结照相机的中心与投光器的中心的矢量，并取与脸方向矢量的水平分量的内积。\n[0194] 在内积的值为0时，判定为脸方向正朝向照相机与投光器的中点。但是，内积的值可以包含误差，内积的值也可以并非严格为0。此时，在未判定为脸方向正朝向照相机和投光器的中点时，判定为视线方向不是特定的方向。\n[0195] 接着，脸视线方向判定单元502从由评价值计算单元160输入的线对称性评价值，判定视线方向是否为特定的方向。例如，若线对称性评价值为预先确定的阈值以上，则判定为正朝向特定的方向。另外，也可以记录一定时间的评价值，在其平均值为阈值以上时，判定为正朝向特定的方向。特定的方向例如表示照相机和投光器的中点方向。\n[0196] 除此之外，只要是能够进行上述视线方向判定的技术，可以采用任何判定方法。\n[0197] 这样，根据本实施方式，视线方向判定装置500具有用于计算脸方向信息的脸方向计算单元501，脸视线方向判定单元502首先在脸正朝向照相机和投光器的中间点(这只是一个例子，可以是任意的位置)时，继续进行与实施方式1同样的视线方向判定处理，在脸未朝向照相机和投光器的中间点时，结束处理。由此，不仅视线方向，还能够将脸方向也包含在判定动作中。例如，能够检测驾驶者的脸正朝向正面。能够进行如下利用，即：在驾驶者较长时间未朝向正面时，将该信息输出到警报装置，警报装置发出警报等。\n[0198] (实施方式3)\n[0199] 实施方式3是具有自动地补偿视线方向检测装置的检测误差的功能的、带自动校正功能的视线方向检测装置的适用例。\n[0200] 一般而言，在从图像检测受验者的视线方向时，使用外眼角、内眼角、眉、鼻孔等脸器官的位置以及瞳孔的位置，计算视线方向。此时，或者从真值偏离地检测脸器官，或者在计算视线方向时所需的眼球模型与实际的眼球的形状存在误差，因此，检测出的视线方向与受验者实际正在观看的方向不同，发生定量的偏差。\n[0201] 为了补偿与该视线方向的真值的偏差，在测量前或测量中需要进行校正作业，该工作需要固定头部而注视多个点等，对受验者而言既繁杂又增加负担。这是因为在校正时，需要掌握受验者正在看哪里。\n[0202] 根据实施方式3，能够自动地进行该校正作业。具体而言，通过实施方式1、2的视线方向检测装置100、500，检测视线正朝向照相机方向时，与此时的视线方向检测装置\n100、500的检测结果进行比较，修正该偏差。\n[0203] 图11是表示本发明的实施方式3的带自动校正功能的视线方向判定装置的结构的方框图。\n[0204] 如图11所示，带自动校正功能的视线方向检测装置600的结构具有：视线方向判定装置100；视线方向计算单元610，从脸图像计算视线方向；视线检测校正单元620，校正(补偿)视线方向计算单元610的检测结果与真值的偏差；校正参数存储单元630，存储校正结果的参数；以及输出单元640，输出视线检测的结果。\n[0205] 在本实施方式中，使用了实施方式1的视线方向判定装置100，但也可以代替视线方向判定装置100而使用实施方式2的视线方向判定装置500。\n[0206] 视线方向判定装置100判定视线方向正朝向照相机方向，并获取判定结果作为视线方向判定信息。另外，视线方向判定装置100的图像输入单元110(参照图1)将脸图像输出到视线方向计算单元610，将视线方向判定信息输出到视线检测校正单元620。\n[0207] 视线方向计算单元610从由视线方向判定装置100的图像输入单元110输入的脸图像计算视线方向，并将其作为视线方向信息输出到视线检测校正单元620。\n[0208] 视线检测校正单元620从由视线方向判定装置100输入的视线方向判定信息以及从视线方向计算单元610输入的视线方向信息，计算校正参数P，并将校正参数输入到校正参数存储单元630中。另外，视线检测校正单元620从由视线方向计算单元610输入的视线方向信息和校正参数P，获取已校正视线方向信息。关于校正参数P，将在后面通过图12的流程叙述。\n[0209] 校正参数存储单元630存储从视线检测校正单元620输入的校正参数P，经由视线检测校正单元620输出到视线方向计算单元610。\n[0210] 输出单元640通过声音、视频、符号、字符等输出从视线检测校正单元620输入的已校正视线方向信息。\n[0211] 图12是表示带自动校正功能的视线方向检测装置600的动作的流程图。\n[0212] 在本程序开始后，视线方向判定装置100开始拍摄作业。拍摄作业的开始即可以通过人工进行，也可以以外部的某种信号为触发器通过视线方向判定装置100进行。\n[0213] 在步骤S31中，视线方向计算单元610计算视线方向。视线方向的计算获取视线方向信息作为视线方向矢量Ve。例如，视线检测方法采用以下的方法。a.视线方向检测如下这样从由脸器官检测单元190检测出的外眼角和内眼角以及由瞳孔检测单元141检测到的瞳孔的中心，计算视线方向。b.首先，从外眼角和内眼角的位置估计眼球的中心位置。例如，在向连结外眼角与内眼角的线段的法线方向前进了预先确定的距离之处视为存在眼球中心。c.另外，也可以采用预先对于多个受验者测量眼球中心对于外眼角和内眼角的位置，取其平均等统计的方法。d.接着，计算连结估计的眼球中心与瞳孔中心的直线。e.最后，计算上述直线的方向矢量，获取其作为视线方向矢量。\n[0214] 此外，只要是能够进行上述视线方向判定的技术，可以采用任何计算方法。\n[0215] 在步骤S32中，视线方向判定装置100通过实施方式1所示的方法，判定视线方向是否正朝向照相机方向。\n[0216] 在判定为视线方向正朝向照相机方向时，转移到步骤S33。\n[0217] 在判定为视线方向未朝向照相机方向时，转移到步骤S35。\n[0218] 在步骤S33中，视线检测校正单元620计算用于视线方向计算的校正参数P。校正参数P例如以由在上述的步骤S31中计算出的视线方向矢量Ve与视线朝向照相机方向时的视线方向矢量Vc构成的角表示。通过下式(5)计算校正参数P。\n[0219] \n[0220] 在步骤S34中，校正参数存储单元630存储校正参数P。此时，废弃过去的校正参数P，仅存储最新的校正参数P。\n[0221] 在步骤S35中，视线方向校正单元620从校正参数P校正视线方向信息，获取其作为已校正视线方向信息。在本实施方式中，以已校正视线方向矢量Vf表示已校正视线方向信息。视线方向信息的校正例如通过下式(6)计算。\n[0222] \n[0223] 其中，Rot(P)是旋转相当于校正参数P的角度的旋转矩阵。\n[0224] 在步骤S36中，输出单元640输出已校正视线方向信息。\n[0225] 在步骤S37中，进行结束判定。结束判定既可以通过人工进行，也可以通过某种自动的触发器进行。\n[0226] 在结束判定的结果为要结束时，结束带自动校正功能的视线方向检测装置600的视线检测校正动作。在上述的步骤S37中不结束时，返回到上述的步骤S31。\n[0227] 这样，根据本实施方式，能够实时地校正与视线方向的真值的定量的偏差。另外，具有以下的优异的效果，即：不需要固定头部而注视多个点等，对受验者而言既繁杂又增加负担的工作。由此，能够获得以下的效果。\n[0228] (1)即使不观看特定的注视对象，也能够自动地进行补偿(校正)。这意味着不需要注视，能够实现处理的轻便化，防止错误判定。\n[0229] (2)能够增加可进行补偿的机会。只要观看照相机方向即便一帧即可，所以以高可靠性进行补偿的机会扩大。\n[0230] 图13是说明能够自动地补偿视线方向的偏移(与真值的定量的偏差)的图。\n[0231] 如图13A所示，在现有的视线检测方法中，在视线方向发生与真值的定量的偏差。\n在将脸202的中心正面方向设为0°时，视线方向偏离得大约10°左方向。为了补偿该偏差，需要检测是“何时”在观看特定的场所。但是，正如在要解决的课题中论述的那样，难以进行该补偿。在本视线方向判定装置100中，能够通过左右眼获取投光器201的角膜反射图像，从反射图像位置205对于瞳孔204的对称性，实时地检测正在观看投光器方向的时候。\n由此，如图13B所示，能够自动地补偿视线方向的偏移，实现高精度的视线检测。\n[0232] (实施方式4)\n[0233] 图14是表示本发明的实施方式4的视线方向判定装置的结构的方框图。\n[0234] 以图像横方向为X轴，图像纵方向为Y轴，1像素为1坐标点，说明脸图像。\n[0235] 如图14所示，视线方向判定装置140具有照射单元112、摄像单元1401、瞳孔检测单元1402、角膜反射图像检测单元1403、线对称位置计算单元1404以及视线方向判定单元\n1405。\n[0236] 照射单元112通过光源照射驾驶者的两眼的角膜，摄像单元1401拍摄包含通过光源照射的两眼的脸图像。\n[0237] 照射单元112如在实施方式1中说明的那样，具有光源。照射单元112至少在从摄像单元1401的曝光开始到结束为止的期间发光。关于照射单元112与摄像单元1401的位置关系，将在后面叙述。\n[0238] 摄像单元1401具有CCD、CMOS等图像传感器，获取包括两眼的脸图像。再者，摄像单元1401设置在对于当驾驶者的视线朝向车的行进方向时连结两眼的瞳孔的线段的中心点的正面的上方或正面的下方。也就是说，在驾驶者的视线朝向车的行进方向时，驾驶者的视线朝向摄像单元1401的垂直方向。\n[0239] 瞳孔检测单元1402基于由摄像单元1401拍摄的脸图像，计算瞳孔的中心坐标，角膜反射图像检测单元1403基于由摄像单元1401获取的脸图像，计算照射单元112具有的光源的角膜中的角膜反射图像的中心坐标。\n[0240] 线对称位置计算单元1404基于两眼的瞳孔的中心坐标和两眼的角膜反射图像的中心坐标，计算对于连结左眼的瞳孔的中心坐标和右眼的瞳孔的中心坐标的线段的垂直二等分线的、两眼中的一侧的眼的角膜反射图像的线对称位置的坐标。\n[0241] 视线方向判定单元1405基于两眼中另一侧的眼的角膜反射图像的中心坐标与线对称位置的坐标之间的距离，判定驾驶者的视线方向。\n[0242] 接着，使用图15说明照射单元112与摄像单元1401的位置关系。\n[0243] 图15是表示两眼、照射单元112以及摄像单元1401之间的位置关系的图；图15A表示两眼、照射单元112以及摄像单元1401的俯视图；图15B表示两眼的正视图；图15C是表示两眼、照射单元112以及摄像单元1401的侧视图。再者，在图15中，以摄像单元1401处于能够拍摄两眼的位置，且照射单元112处于能够通过光源照射两眼的角膜的位置为前提。\n[0244] 如图15所示，在设右眼的瞳孔为1501、左眼的瞳孔为1502、右眼的眼球为1503、左眼的眼球为1504时，显示连结右眼的瞳孔1501的中心与左眼的瞳孔1502的中心的线段\n1505。另外，设包含线段1505的平面为1506，从照射单元112到平面1506的垂线为1507，从摄像单元1401到平面1506的垂线为1508，平面1506中包含的线段1505的垂直二等分线为1509，对于平面1506的垂线1507的垂足为1510，对于平面1506的垂线1508的垂足为1511。\n[0245] 如图15A所示，对于连结右眼的瞳孔1501的中心和左眼的瞳孔1502的中心的线段1505，摄像单元1401和照射单元112的朝向为垂直。\n[0246] 另外，如图15B、图15C所示，连结对于包含线段1505的平面1506的摄像单元1401的垂线1508的垂足1511与对于平面1506的照射单元112的垂线1507的垂足1510的线段1509是线段1507的垂直二等分线。\n[0247] 再者，以如图15C所示平面1506对于右眼的瞳孔1501为垂直进行了说明，但本发明并不限于此。也就是说，即使在平面1506对于与右眼的瞳孔1501垂直的面具有任意的角度的情况下，只要垂线1507与垂线1509之间的关系处于上述关系即可。\n[0248] 另外，以如图15A所示从摄像单元1401到线段1505的距离近于从照射单元112到线段1505的距离进行了说明，但本发明并不限于此。也就是说，在俯视图中，从摄像单元\n1401到线段1505的距离既可以远于从照射单元112到线段1505的距离，也可以两者相同。\n[0249] 另外，以对于右眼的瞳孔1501的视线方向，摄像单元1401和照射单元112位于下方进行了说明，但也可以摄像单元1401和照射单元112中的一方、或两方位于上方。\n[0250] 如上所述，以连结从摄像单元1401到包含连结两眼的瞳孔的线段的平面的垂线的垂足和从照射单元112到该平面的垂线的垂足的线段，与连接两眼的瞳孔的线段正交的方式，设置照射单元112。\n[0251] 瞳孔检测单元1402从由摄像单元1401获取的脸图像检测两眼的瞳孔，计算两眼的瞳孔的中心坐标。具体而言，瞳孔检测单元1402通过对脸图像中包含的两眼适用圆形分离度滤波器，将亮度的分离度最高的圆检测为瞳孔，并计算脸图像中的瞳孔的中心坐标。\n[0252] 角膜反射图像检测单元1403从由摄像单元1401获取的脸图像，检测照射单元112具有的光源的角膜中的角膜反射图像，并计算左右角膜反射图像的中心坐标。上述角膜反射图像是在光源映射到角膜时在角膜上产生的光源的反射图像。具体而言，角膜反射图像检测单元1403对于脸图像计算亮度直方图，检测亮度为最大的像素的重心，并将其计算为角膜反射图像的中心坐标。\n[0253] 这里，亮度为最大的像素的重心是从脸图像提取亮度为最大的像素或者具有规定的值以上的亮度的像素，将该像素的坐标作为重心。上述规定的值既可以动态地确定以使在亮度直方图中具有规定的值以上的亮度的像素的数量为规定的数量以上，或者，也可以是预先确定的值。\n[0254] 再者，计算重心时的坐标平均即可以是简单平均，也可以是将亮度作为权重的加权平均。\n[0255] 线对称位置计算单元1404从瞳孔检测单元1402接受两眼的瞳孔的中心坐标，从角膜反射图像检测单元1403接受两眼的角膜反射图像的中心坐标。然后，线对称位置计算单元1404计算连结左眼的瞳孔的中心坐标与右眼的瞳孔的中心坐标的线段的垂直二等分线，并计算对于两眼中一侧的眼的角膜反射图像的垂直二等分线的线对称位置的坐标。\n[0256] 图16是表示角膜反射图像与角膜投影图像的位置关系的图；图16A表示视线朝向了摄像单元1401(图14)的垂直方向时的脸图像中的两眼的正视图；图16B表示视线对于摄像单元1401的垂直方向朝向了横方向时的脸图像中的两眼的正视图。\n[0257] 如图16A所示，设包含两眼的脸图像为1600、右眼为1601、左眼为1602、右眼的角膜为1603、左眼的角膜为1604、右眼的瞳孔为1605、左眼的瞳孔为1606、右眼的角膜反射图像为1607、左眼的角膜反射图像为1608、连结了右眼的瞳孔和左眼的瞳孔的线段为1609、线段1609的垂直二等分线为1610、角膜投影图像为1611。\n[0258] 如图16A所示，在视线朝向了摄像单元1401(图14)的垂直方向时，照射单元\n112(图14)的光源从正面照射两眼的角膜，所以右眼的角膜反射图像1607a对于右眼的瞳孔1605a被投影在脸的内侧，左眼的角膜反射图像1608a对于左眼的瞳孔1606a被投影在脸的内侧。\n[0259] 线对称位置计算单元1404在脸图像1600a中，基于右眼的瞳孔1605a和左眼的瞳孔1606a连结线段1609a，并计算线段1609a的垂直二等分线1610a。\n[0260] 然后，线对称位置计算单元1404计算对于垂直二等分线1610a与右眼的角膜反射图像1607a处于线对称位置的坐标点。将上述坐标点定义为角膜投影图像。\n[0261] 这里，如图16A所示，在视线朝向了摄像单元1401的垂直方向时，照射单元112的光源从正面照射两眼的角膜，所以右眼的角膜反射图像1607a和左眼的角膜反射图像\n1608a对于垂直二等分线1610a呈线对称。因此，在两眼的角膜的形状相同等条件下，角膜投影图像1611a和左眼的角膜反射图像1608a为同一坐标。\n[0262] 再者，即使如图16B所示地在视线对于摄像单元1401的垂直方向朝向了横方向时，线对称位置计算单元1404也进行与使用图16A说明的处理相同的处理，计算角膜投影图像1611b。\n[0263] 这里，如图16B所示，在视线朝向了摄像单元1401的垂直方向的横方向时，照射单元112的光源从横方向照射两眼的角膜，所以右眼的角膜反射图像1607b和左眼的角膜反射图像1608b对于垂直二等分线1610b不呈线对称。因此，在角膜投影图像1611b的坐标点和左眼的角膜反射图像1608b的坐标点之间产生距离，视线越偏离摄像单元1401的垂直方向，距离越大。\n[0264] 基于以上说明的视线的方向、角膜反射图像1608b和角膜投影图像1611b的距离的之间关系，说明视线方向判定单元1405的功能。\n[0265] 这里，将对于垂直二等分线1610a和右眼的角膜反射图像1607a处于线对称位置的坐标点计算为角膜投影图像，但也可以将对于垂直二等分线1610a和左眼的角膜反射图像1608a处于线对称位置的坐标点计算为角膜投影图像。在这种情况下，在后述的视线方向判定单元1405中，基于角膜投影图像的坐标点和右眼的角膜反射图像的坐标点之间的距离，判定视线方向。\n[0266] 视线方向判定单元1405通过计算由线对称位置计算单元1404计算出的角膜投影图像1611的坐标点和在与角膜反射图像1611同一角膜上存在的角膜反射图像之间的距离，并与规定的阈值比较，判定视线方向。\n[0267] 如在图16所述，在视线朝向摄像单元1401的垂直方向时，一侧的眼的角膜投影图像和另一侧的眼的角膜反射图像存在于同一坐标点、或者附近的坐标点。\n[0268] 另一方面，在视线对于摄像单元1401的垂直方向正朝向横方向时，一侧的眼的角膜投影图像与另一侧的眼的角膜反射图像离开。\n[0269] 因此，在脸图像中，在一侧的眼的角膜投影图像与另一侧的眼的角膜反射图像的距离小于规定的距离时，能够判定为视线正朝向摄像单元1401的垂直方向，或者正朝向垂直方向附近的横方向，而在一侧的眼的角膜投影图像与另一侧的眼的角膜反射图像的距离大于规定的距离时，能够判定为视线未朝向摄像单元1401的垂直方向，或者未朝向垂直方向附近的横方向。\n[0270] 基于如上的原理，视线方向判定单元1405通过计算角膜投影图像1611a的坐标点和角膜反射图像1608a的坐标点之间的距离，并将其与规定的阈值比较，判定视线方向。\n[0271] 规定的阈值取决于包含角膜形状的脸器官，所以需要根据驾驶者的个性而设定。\n[0272] 在以上的说明中，通过由视线方向判定单元1405计算角膜投影图像1611a的坐标点和角膜反射图像1608a的坐标点之间的距离，判定了视线方向，但也可以像在实施方式1中说明的那样，设置评价值计算单元。\n[0273] 再者，像在实施方式1中说明的那样，如图17所示，也可以采用还具有警报装置单元1701的结构。图17是表示具有警报装置单元1701的视线方向判定装置1700的结构的方框图。警报装置单元1701在判定为视线未朝向正面方向的情况下，在表示判定为未朝向正面的次数的警报计数N超过了规定的阈值时，视为较长时间未看正面而发出警报。\n[0274] 上述的说明为本发明的优选实施方式的例证，本发明的范围并不限于此。在本实施方式中，对设置在汽车的车室内，检测驾驶者的视线方向，并在他较长时间未朝向正面时进行警告的报警装置进行了说明，但只要是具有判定视线方向的视线方向判定装置的电子设备，本发明能适用于任何装置。\n[0275] 例如，也可以考虑适用于电视机、扬声器等信息提示设备；监视照相机等安全状态监视设备；静态照相机、摄像机等视频记录设备；机器人等生活辅助设备；TV游戏、体感游戏等游戏设备等。通过适用于上述设备，具有以下的效果，即：不需要像以往技术那样对每个个人预先进行校正，并且能够稳定地进行视线方向的判定。\n[0276] 在这种情况下，上述各个实施方式的警报装置能够通过替换为用于记录输入图像的视频记录单元、用于机器人掌握用户或机器人等的状况的相关信息掌握单元、用于使游戏的状态发生变化的状态更新单元等来实现。\n[0277] 另外，上述各个实施方式中的线对称位置计算方法只不过是一个例子，能够使用各种计算方法替代。另外，线对称性评价值计算方法也可以采用其他计算方法。但是，根据本发明者的实验等，通过基于与对应于线对称位置的眼的角膜反射图像的中心的距离计算评价值的本方法，获得了良好的结果。\n[0278] 另外，在本实施方式中使用了视线方向判定装置及视线方向判定方法的名称，但这是为了便于说明，装置也可以是视线检测装置，方法也可以是视线方向检测方法等。\n[0279] 进而，构成上述视线方向判定装置的各个构成部分，例如脸检测单元的种类以及其脸器官检测方法等，以及图像特征检测单元的种类等并不限于上述实施方式。\n[0280] 以上说明的视线方向判定装置也能够通过用于使该视线方向判定装置的视线判定方法发挥作用的程序来实现。该程序存储在计算机可读取的记录介质中。\n[0281] 在2008年9月26日提交的特愿第2008-248877号日本专利申请所包含的说明书、说明书附图以及说明书摘要的公开内容，全部引用于本申请。\n[0282] 工业实用性\n[0283] 本发明的视线方向判定装置及视线方向判定方法，作为安装在个人计算机、OA设备、移动电话等信息终端、汽车、飞机、船、电车等移动工具上的信息提供装置极为有用。另外，也能应用于监视和警报装置、机器人、视频音频再现装置等的用途。