视线方向计测方法和视线方向计测装置

暂无

视线方向计测方法和视线方向计测装置\n技术领域\n[0001] 本发明涉及计测映入影像中的人物视线朝向多少度的方向的视线方向计测方法和进行该计测的视线方向计测装置，尤其是涉及在垂直方向的计测方法中适用的有效的技术。\n背景技术\n[0002] 通过计测映入图像中的人物的视线方向能够推测人物的兴趣对象和心理状态。作为计测人物的视线方向的一种方法，有通过分别计测面部方向和眼睛方向并对它们进行合成来计测视线方向的方法[特开2007-6427号公报(专利文献1)]。在该专利文献1中，虽然能够不需要事前校正就实现水平方向的面部·视线方向计测，但是没有公开关于垂直方向的计测。\n[0003] 作为水平·垂直方向的面部方向计测方法，有通过在眼睛、口等的特征点位置对对象物体的三次元模型进行投影，计测面部的方向的方法[特开2006-227739号公报(专利文献2)]。\n[0004] 专利文献1：特开2007-6427号公报\n[0005] 专利文献2：特开2006-227739号公报\n发明内容\n[0006] 但是在专利文献2中，事前首先需要使用眼睛、口等的特征点构筑计测对象的面部的三次元模型。通过将该三次元模型投影在某二次元图像平面上，生成任意的面部方向的图像，将其与作为计测对象的图像进行比较，通过找到与计测对象的图像最类似的投影图像，推测计测对象的面部方向。\n[0007] 像这样，通过现有方法在垂直方向的计测中存在需要事前对每个人物构筑三次元模型的问题。计测中使用的三次元模型是以眼睛、鼻、口等的特征点位置的三次元坐标为基础构筑模型，并在其上贴上面部图像的肌理而作成的，但是由于每个人物面部的样子有很大不同，所以每当计测的人物改变时必须进行模型构筑。\n[0008] 另外，在模型构筑时必须朝向正面时的面部。当面部朝向侧面图像上没有出现特征点的情况下，对三次元模型粘贴肌理变得很困难。如果以错误的模型进行计测，就会存在面部方向计测·视线方向计测的精度显著劣化的问题。\n[0009] 另外，还存在表情变化弱的问题。如果表情发生变化，则即使同一人物各个特征点的位置关系和视觉效果也发生变化。在这种情况下，即使正确地旋转三次元模型进行比较处理也会丧失类似性，使计测结果产生很大误差。\n[0010] 因此，本发明不使用每个人物的发生较大变化的面部表面的视觉效果的信息，通过推测表示垂直方向变化的变位量，实现不需要事前校正的面部·视线方向计测。并且，表示该垂直方向变化的变位量的推定是使用由表情变化引起的变动少的特征点而实现的。\n[0011] 在本申请中公开的发明中，简要说明代表性的内容概要如下。\n[0012] 即，代表性内容的概要是新设置面部垂直变位量计测部，其对被输入的面部图像，首先计测面部的水平方向的角度，根据通过该计测得到的头部的半径信息和人物的肩位置等的信息推定相对于头部姿势变化不发生变动的基准位置，计测表示垂直方向的变化的点相对于该基准位置发生多少变位。由此，了解垂直方向的变位并决定面部的垂直方向的角度。\n[0013] 根据所得的面部方向能够计测视线的水平方向的角度、眼球的半径，通过视线垂直变位量计测部，同样地能够求得垂直方向的变位、决定视线的垂直方向的角度。\n[0014] 在面部垂直变位量计测部中，通过以相对于人物的肩位置一定位置的地方为基准位置，能够在头部的上下决定不左右偏移的成为基准的点。\n[0015] 在视线垂直变位量计测部中，根据眼球的半径或面部的垂直方向、内眼角和外眼角的位置推定眼球的中心位置，根据眼球位置和瞳孔的中心位置求得视线的垂直方向的变位，决定垂直方向的角度。\n[0016] 这些垂直变位量计测中使用来自肩位置的变位、内眼角·外眼角的位置使表情变化的影响减低，进行高精度的计测。\n[0017] 在本申请中公开的发明中，简单说明通过代表性的内容得到的效果如下。\n[0018] 即，通过代表性的内容所得的效果是，能够实现不需要事前校正很难受到人物的表情变化造成的影响的高精度的视线方向计测方法。\n附图说明\n[0019] 图1是表示本发明的实施方式1的视线方向计测装置的结构的结构图。\n[0020] 图2是表示本发明的实施方式1的视线方向计测装置的面部方向和视线方向计测的概念图。\n[0021] 图3是表示本发明的实施方式1的视线方向计测装置的面部的水平方向计测的流程的流程图。\n[0022] 图4是表示本发明的实施方式1的视线方向计测装置的面部图像中的面部区域和面部器官中心位置的定义的一例的图。\n[0023] 图5是表示用于本发明的实施方式1的视线方向计测装置的面部的水平方向推定的面部模型的一例的图。\n[0024] 图6是表示本发明的实施方式1的视线方向计测装置的面部图像中的基准位置和计测点的定义的一例的图。\n[0025] 图7是表示用于本发明的实施方式1的视线方向计测装置的面部的垂直方向推定的面部模型的一例的图。\n[0026] 图8是表示本发明的实施方式1的视线方向计测装置的垂直水平方向变化引起的计测点的变化的图。\n[0027] 图9是表示本发明的实施方式1的视线方向计测装置的视线的水平方向计测的流程的流程图。\n[0028] 图10是表示用于本发明的实施方式1的视线方向计测装置的视线的水平方向计测的眼球模型的一例的图。\n[0029] 图11是表示用于本发明的实施方式1的视线方向计测装置的视线的水平方向计测的眼球模型的一例的图。\n[0030] 图12是表示用于本发明的实施方式1的视线方向计测装置的视线的垂直方向计测的眼球模型的一例的图。\n[0031] 图13是表示本发明的实施方式2的视线方向计测装置的结构的结构图。\n[0032] 图14是表示本发明的实施方式3的视线方向计测装置的结构的结构图。\n[0033] 图15是表示用于说明本发明的实施方式4的视线方向计测装置的视线方向的计测的眼球模型的一例的图。\n具体实施方式\n[0034] 以下，基于附图对本发明的实施方式进行详细的说明。并且，在用于说明实施方式的全部附图中，原则上对同一部件标注同一符号，并省略对其进行重复说明。\n[0035] (实施方式1)\n[0036] 利用图1，对本发明的实施方式1涉及的视线方向计测装置的结构进行说明。图1是表示本发明的实施方式1涉及的视线方向计测装置的结构的结构图。\n[0037] 在图1中，视线方向计测装置由摄像部101、面部检测部102、面部方向计测部103、视线方向计测部104构成，由面部检测部102、面部方向计测部103、视线方向计测部104构成视线方向演算部110。\n[0038] 面部方向计测部103由面部水平方向计测部201、面部垂直变位计测部202、面部垂直方向计测部203、面部方向决定部204构成。\n[0039] 视线方向计测部104由视线水平方向计测部205、视线垂直变位计测部206、视线垂直方向计测部207、视线方向决定部208构成。\n[0040] 摄像部101是照相机，具有通过总线·LAN等将所拍摄的影像数据传送到面部检测部102的功能。摄像部由一台或者多台的照相机构成。\n[0041] 面部检测部102，具有对从摄像部101传送来的图像进行图像处理，检测出图像中的面部的功能。\n[0042] 在面部方向计测部103中，取得在面部检测部102中被检测出的面部的图像，进行面部方向计测。面部方向计测也可以使用现有的计测方法，但是也可以通过以下的计测方法进行不需要事前校正的高精度的计测。\n[0043] 首先，由面部水平方向计测部201进行水平方向的面部方向计测。在面部垂直变位计测部202中利用由201所得的头部的信息，求得相对于面部的上下的变化成为基准的面部基准位置。在面部垂直方向计测部203中，由在面部垂直变位计测部202中求得的相对于面部基准位置的上下变位量计测垂直方向的面部方向。最后，在面部方向决定部204中，以所得的垂直·水平方向的变化为基础对计测角度进行修正，决定最终的面部方向。\n[0044] 在视线方向计测部104中，首先在视线水平方向计测部205中以面部方向的信息为基础计测水平方向的视线方向。接着，在视线垂直变位计测部206中，以视线水平方向计测部205中所得的眼球的信息为基础，求得视线垂直方向计测所需要的基准位置。在视线垂直方向计测部207中，以上述信息为基础计测垂直方向的视线方向。上述视线方向计测的处理是关于左右双眼进行。并且，在视线方向决定部208中，综合左右双眼的视线方向决定最终的视线方向。\n[0045] 像这样，对于由摄像部101得到的人物的图像，由面部检测部102进行面部检测处理。其结果是，如果在图像中检测出面部，则由面部方向计测部103计测面部方向。最后在视线方向计测部104中，使用面部方向计测结果计测视线的方向。\n[0046] 按照这样的流程，基于面部方向信息推测眼球的形状，根据所推测的眼球的样子能够计测视线方向。另外，由于在人的行动、面部的移动和视线的移动中存在密切的关系，因此通过计测面部方向，能够将视线的移动的范围限定在某一程度，提高计测精度。\n[0047] 接着，依据图2～图12，对本发明的实施方式1涉及的视线方向计测装置的面部方向计测部·视线方向计测部中的计测方法的详细内容进行说明。图2～图12是用于说明本发明的实施方式1涉及的视线方向计测装置的面部方向计测部·视线方向计测部中的计测方法的说明图，图2是面部方向和视线方向计测的概念图，图3是表示面部的水平方向计测的流程的流程图，图4是面部图像中的面部区域和面部器官中心位置的定义的一例的示意图，图5是用于面部的水平方向推定的面部模型的一例的示意图，图6是面部图像中的基准位置和计测点的定义的一例的示意图，图7是表示用于面部的垂直方向推定的面部模型的一例的示意图，图8是表示由于垂直水平方向变化引起的计测点的变化的示意图，图9是表示视线的水平方向计测的流程的流程图，图10是表示用于视线的水平方向计测的眼球模型的一例的示意图，图11是表示用于视线的水平方向计测的眼球模型的一例的示意图，图12是表示用于视线的垂直方向计测的眼球模型的一例的示意图。\n[0048] 在本实施方式的视线方向计测中，假想如图2所示的模型，分别计测面部的水平·垂直方向的角度、视线的水平·垂直方向的角度。并且，水平方向的角度记作φ，垂直方向的角度记作θ，面部方向标注下标“face”表示，视线方向标注下标“eye”表示。面部的水平方向·垂直方向的角度分别为φface、θface。另外，面部的旋转角度Ψface也可以同时求得。\n[0049] 首先，面部水平方向计测部201中的水平方向的面部方向计测的流程，如图3所示，例如按照专利文献1中所记载的方法等进行。\n[0050] 首先，在步骤301中，根据面部图像重新推定正确的面部区域。面部区域的推定例如使用背景差分、肤色区域抽出和椭圆霍夫变换(Hough Transform)等的方法进行。这里所说的面部区域是如图4所示的与头部外接的四角形区域。\n[0051] 该面部区域的中心位置称作面部区域中心位置，在步骤302中决定该位置。接着，在步骤303中检测出面部器官中心位置。所谓面部器官中心位置是指通过如图4所示的两眉的中心、鼻梁、唇的凹处部分的直线的位置。通过从面部图像中对眉、内眼角、鼻、口的轮廓等的面部器官进行检测，能够根据各个面部器官的位置关系推定该面部器官中心位置。\n[0052] 面部的各器官，是通过使用利用亮度值将面部图像2值化的图像、边缘图像、实施分离度过滤的图像等的现有的方法进行检测的。根据在步骤304中所得到的面部区域和面部器官中心位置计算水平方向的面部方向。\n[0053] 面部水平方向的计算通过参考图5所示的面部椭圆模型的公式决定。图5是从正上方向下看水平方向向右朝向φface时的头的映像。此时图像中出现的面部区域的两端为F1、F2，面部器官中心位置为C。此时，面部区域的中心位置为椭圆的中心位置Oface，是F1和F2的中点。Wface是面部区域的宽度，cface是COface间的距离。椭圆模型的短直径的一半为a，长直径的一半为b，该a和b的比为面部椭圆比k，通过以下的公式1能够求得面部方向φface。\n[0054] 公式1：\n[0055] \n[0056] 在本实施方式中椭圆比k约为1.25。其是根据人物的统计数据测定的平均的头部椭圆比的值。依据人物的不同该k的值多少有所不同，但是其差异在0.1以下的范围内，对面部方向精度的影响在本系统中是在容许的范围内。依据该系统结构，不是既定值，而是实际地求出该面部椭圆比k。\n[0057] 在本方法中，摄像部被设置在上方向，即使在各器官难以检测的情况下，仅使用鼻子等易于检测的器官也能够决定面部器官中心位置，因此能够推定精确的面部方向。并且，根据图像上的二次元的关系能够求得表示头部的深度方向的长度b。并且，在本计测中不仅可以使用面部器官中心位置，也可以使用耳的位置。通过使用耳的位置，能够高精度地推定朝向横45度以上的情况下的方向。\n[0058] 在面部垂直变位计测部202中，对于面部的垂直方向的变化检测出作为被固定的点的面部基准位置和根据面部方向的变化而变化的计测点这两点。将该两点的变位量作为面部的垂直方向变化引起的变位量。\n[0059] 作为面部基准位置的检测机构，例如如图6所示，使用人物的肩位置。此时，面部基准位置Oface能够定义为在距离肩位置一定的变位b×d的地方。这里b是通过面部水平方向计测部201得到的深度方向的长度，d是计算相对于肩的基准位置的地方的参数。\n[0060] 该参数d称作基准位置计算常数，使用既定值。该基准位置计算常数d通过因子分解法等从多个帧信息选择最适当的值，也可以构筑能够自动校正的系统结构并针对每个受验者计算最适当的值。如上所述，通过针对每个同一人物连续场景适当地切换参数值，能够进一步提高计测精度。使用来自肩的变位定义基准位置，由此能够推定不依赖面部的垂直方向的移动的固定点，能够在垂直方向计测中使用。\n[0061] 并且，由此所得的基准位置具有不受面部的表情变化的影响的优点。另外，例如在利用自动校正处理等针对每个人物校正参数的情况下，由于仅知道肩位置和面部方向也能够校正，因此即使除正面方向以外的面部也能够校正。\n[0062] 另外，作为基准位置的推定机构，例如也可以使用来自耳的位置的变位、头部整体的轮廓的中心位置等。并且也可以基于根据上述多个特征求得的基准位置的平均、或者通过图像处理的上述特征的检测结果决定使用的基准位置。在该情况下，例如基于图像处理的特征点检测的结果，不能检测出耳，但是如果能够良好的检测出肩，则成为采用根据肩位置求得的基准位置的流程。\n[0063] 图6中的计测点也同样地进行决定。其由双眼的内眼角位置的中心决定。\n[0064] 在面部垂直方向计测部203中，参考如图7所示的面部垂直方向计测中使用的椭圆模型，根据基准位置Oface和计测点C计测面部的垂直方向。对于图像中出现的基准点位置Oface和计测点C，在模型上分别成为O’face、C’的关系。相对于Oface的计测点C的变位为OfaceC，通过以下的公式2的式子能够计测面部的垂直方向。\n[0065] 公式2：\n[0066] \n[0067] 这里b是在水平方向计测中求得的头部的深度方向的半径。根据相对于b的基准位置和计测位置的变位能够计测垂直方向的面部方向θface。\n[0068] 由于在面部水平方向计测部201中能够推定半径，因此通过重新得到不依赖面部的垂直变化的基准位置和反映垂直变化的计测点的变位量，能够实现垂直方向的计测。由此能够实现不固定多个人物的计测。并且，能够实现基准位置不依据表情变化的高精度的计测。\n[0069] 在面部方向决定部204中，基于求得的水平方向·垂直方向的面部方向进行修正处理，决定最终的面部方向。在水平方向和垂直方向都变化的情况下，发生计测点的变位比设想的变得小的情况。\n[0070] 图8是表示水平·垂直方向变化时的计测点的样子。这里，面部方向的角度如果是(φface、θface)，则计测点的变位(x、y)＝(bsin(φface)cos(θface)、bsin(θface)cos(φface))。\n[0071] 即变位量的绝对值x减小cos(θface)，y减小cos(φface)。因此，通过除以各自的值之后的值作为实际的变位量，在水平方向计测的情况下抑制垂直方向变化的影响，在垂直方向计测的情况下抑制水平方向变化的影响，并再次重新计测。通过以上的修正处理，能够得到更加正确的面部方向。\n[0072] 另外，根据通过双眼的内眼角·外眼角的线的倾斜、表示面部器官中心位置的线段的倾斜等能够求得面部的旋转Ψface，即使使用面部的旋转角度也能够进行修正处理。\n[0073] 在视线方向计测部104中，基于由面部方向计测部103所得的面部方向(φface、θface)的信息，进行视线方向计测。并且，在视线方向计测部104中，根据通过上述以外的既存的计测方法计算出的面部方向对视线方向进行计测。\n[0074] 在视线水平方向计测部205中的视线方向计测的流程如图9所示，在步骤901中，首先从面部图像中检测出瞳孔的中心位置。在步骤902中，根据在步骤901中检测出的瞳孔的数目进行条件分支。\n[0075] 在左右两方瞳孔检测都失败的情况下，成为视线方向检测失败，作为在步骤906中不能进行计测而结束。如果仅一只眼睛或者双眼检测成功，则进入作为下一流程的步骤\n903。\n[0076] 在步骤903中基于通过步骤902求得的瞳孔位置求得各个瞳孔所属的眼睛区域。\n步骤904是根据在步骤903中检测出的眼睛区域进行条件分支。在不能正确地检测出眼镜区域的情况下，成为视线方向检测失败。如果即使仅单只眼睛也能够正确地检测到眼睛区域则进入步骤905，根据瞳孔的中心位置和眼睛区域计算水平方向的视线方向。\n[0077] 这里，对在步骤905中进行的视线方向计算的方法进行说明。其中使用面部方向、通过步骤901、步骤903求得的瞳孔位置、眼镜区域的信息，利用基于图10所示的眼球模型的公式进行计算。\n[0078] 由于眼球被皮肤覆盖，所以在图像中实际出现的眼睛区域仅是眼角膜部分。其在图10的眼球模型中为弧E1`E2`部分。该E1`和E2`的位置在从各个眼球的水平线开始角度为α的地方。\n[0079] 在图10中Oeye、I分别是图像中的眼球的中心位置和瞳孔的中心位置，Oeye`成为实际的眼球的中心。φface是通过上述面部方向检测得到的面部方向的角度，φeye是视线方向的角度，weye是图像中的眼区域的宽度，ceye是图像中的眼球中心位置与瞳孔中心位置的长度。此时视线方向的角度φeye通过以下的公式3的式子决定。这里眼球的隐没部分的角度α为既定值。\n[0080] 公式3：\n[0081] \n[0082] 并且，在公式3中，ceye由I-E1表示。这在后述的公式4和公式5的式子中也是同样。\n[0083] 另外，在面部的中心侧和外侧，也可以使眼球的隐没部分的角度不同而计算视线的方向。此时，双眼的眼球如图11所示。使面部的中心侧的隐没部分的角度为β，外侧为α。以与公式2的式子相同的方式建立公式，则在左眼和右眼公式变得不同。左眼的视线方向的角度φeye能够通过以下的公式4求得。\n[0084] 公式4：\n[0085] \n[0086] 同样地，右眼的视线方向的角度能够通过以下的公式5求得。\n[0087] 公式5：\n[0088] \n[0089] 眼球的隐没部分α、β使用既定值(例如α＝33、β＝40)。其能够根据一般的眼球的半径的值和图像上的眼睛区域的位置的值等推定。\n[0090] 另外，视线水平方向计测部205中，通过以下的公式6的式子计算在后述的视线垂直变位计测部206、视线垂直方向计测部207中使用的眼球的半径的值reye。\n[0091] 公式6：\n[0092] \n[0093] 接下来，在视线垂直变位计测部206中，进行垂直方向的视线方向计测中必要的基准位置和计测点的检测。\n[0094] 图12中表示垂直方向的视线方向计测模型、和基准位置、计测点的位置。图12的视线方向计测模型是从头部的左侧看眼球的示意图。视线基准位置Oeye是在眼球的中心位置的点，计测点是瞳孔的中心I的位置。另外计测点I在视线水平方向计测部205的瞳孔检测中已经被检测出来。\n[0095] 视线基准位置根据内眼角、外眼角的高度决定。图12中所示点E`是在图11的水平方向计测模型的E1`、E2`的点，是表示内眼角、外眼角的位置的点。现在，使左眼的内眼角、外眼角的点的y坐标为E1、E2，能够通过以下的公式7的式子求得视线基准位置O`eye的图像平面上的y坐标Oeye。\n[0096] 公式7：\n[0097] Oeye＝(E1+reyecosβsinθface+E2+reye cosαsinθface)/2\n[0098] 同样地通过以下公式8的式子能够求得右眼的视线基准位置Oeye。\n[0099] 公式8：\n[0100] Oeye＝(E1+reyecosαsinθface+E2+reye cosβsinθface)/2\n[0101] 公式7的式子、公式8的式子表示，根据眼的两端E1、E2的高度和面部的垂直方向的角度分别推定基准位置，将其平均值作为最终的基准位置。依据情况，也可以仅根据E1或者E2中任一点求得基准位置。例如，在面部朝向非常侧方的情况下等，由于一侧的端点隐没，所以这时能够根据能够看到的一方的端点求得。\n[0102] 在视线垂直方向计测部207中，根据所得到的视线基准位置Oeye和计测点I决定垂直方向的视线方向。如果使相对于视线基准位置Oeye的计测点I的变位为OeyeI，则能够通过以下的公式9的式子求得垂直方向的视线方向的角度θeye。\n[0103] 公式9：\n[0104] \n[0105] 通过定义如图12所示的计测模型，能够通过水平方向计测求得的眼球的半径和利用内眼角外眼角的y坐标值推定视线基准位置(y坐标系中的眼球中心位置)，由相对于基准位置的瞳孔中心的变位能够计测垂直方向的视线方向。在本实施方式中，能够不受眼睑的开闭的影响推定眼球中心位置。因此，眼睑的变位也能够应用于瞳孔的变位的推定，由此能够实现计测的高精度化。\n[0106] 在视线方向决定部208中，根据双眼的视线方向决定最终的视线方向。在视线水平方向计测部205中，不能检测瞳孔·眼睛区域，判定为视线方向检测失败的情况下，不能进行计测。\n[0107] 如果即使单只眼也能够计测视线方向，则将该单只眼的视线方向作为最终的视线方向加以采用。在双眼都能够计测视线方向的情况下，对双眼的视线方向进行加权、通过加算(足し合わせる)来决定最终的视线方向。视线方向具有的比重通过面部的方向决定。\n[0108] 在面部朝向右方的情况下，由于右眼几乎在图像上不显现，因此对于左眼的比重增加，以左眼的视线方向信息为主要的视线方向。当面部朝向正面时，视线方向为双眼的平均。并且，该双眼的视线方向的决定关于垂直方向、水平方向分别进行。\n[0109] 通过以上的流程，能够不需要事前校正就计测单眼照相机影像中的人物的水平·垂直方向的视线方向。并且在本实施方式中，由于在面部方向计测中没有使用眼睛或者口等具有变动性的特征，因此能够在表情变化中实现精准的面部方向计测，由于在视线方向计测中没有使用眼睑的开闭等，因此能够高精度地计测视线方向。\n[0110] (实施方式2)\n[0111] 利用图13，对本发明的实施方式2涉及的视线方向计测装置的结构进行说明。图\n13是表示本发明的实施方式2涉及的视线方向计测装置的结构的结构图。\n[0112] 在图13中，视线方向计测装置1300，由图像输入部1301、图像存储器1302、CPU1303、RAM1304、ROM1305、计测结果记录部1306、接口1307和输出装置1308构成。\n[0113] 在本实施方式的视线方向计测装置1300中，计测由作为摄像部101的照相机得到的图像中的人物的视线方向。本实施方式的视线方向计测装置1300中的CPU1303相当于实施方式1的图1所示的视线方向演算部110，视线方向演算部110的各演算处理作为程序执行并通过CPU1303进行演算处理而实现。\n[0114] 在本实施方式中，依据视线方向演算部110中的计测方法在CPU1303中进行演算处理，计测视线方向。\n[0115] 针对每个人物、场景的视线方向计测结果被记录在计测结果记录部1306中。计测结果通过接口1307进行数据变换为适当的形式，输出到输出装置1308中。这里，作为输出装置考虑显示器、打印机、PC等。\n[0116] 在本实施方式中，通过计算机等的信息处理装置，能够进行作为视线方向计测装置的演算处理。\n[0117] (实施方式3)\n[0118] 利用图14对本发明的实施方式3涉及的视线方向计测装置的结构进行说明。图\n14是表示本发明的实施方式3涉及的视线方向计测装置的结构的结构图。\n[0119] 实施方式3的特征在于，在实施方式1中作为输入重新设置注视判定部1401、在视线方向计测部中设置模型校正部1402。由此，提供在模型校正部1402中例如能够针对每个计测对象自动校正在面部垂直方向计测中的面部基准位置计算常数d等的参数，能够实现更高精度的视线方向计测的视线方向计测装置。\n[0120] 注视判定部1401是例如由LED光源投光器和红外线照相机等构成，在将视线朝向注视判定部1401的情况下，能够检测出视线的装置。如果预先知道注视判定部1401和摄像部101的位置关系，则当注视注视判定部1401时就能够知道由摄像部得到的面部图像的视线方向，将其作为校正参数进行参数的校正处理。\n[0121] 模型校正部1402具有根据由注视判定部1401所得的校正参数，对面部方向计测部103或者视线方向计测部104中使用的参数进行校正的功能。\n[0122] 接下来，以面部基准位置计算常数d的校正为例说明模型校正部1402内的处理的流程。\n[0123] 当注视判定部1401被注视时，从面部检测部102取得注视注视判定部1401的帧的面部图像。根据取得的图像按实施方式1的倒过来的顺序进行演算，由此决定面部基准位置的参数d。\n[0124] 现在，由于视线方向(φeye、θeye)为已知，首先通过视线方向计测部的公式5的式子、公式9的式子的逆运算求得面部方向(φface、θface)。根据所得的面部方向能够推定深度方向的半径b的值，根据该b的值和面部方向能够求得最适当的面部基准位置的参数d。\n其他的参数也同样地能够通过进行逆运算加以校正。\n[0125] 如果是在线计测所必需的系统，至通过注视判定部1401的注视进行参数校正为止使用平均的参数，在参数校正之后在进行同一人物的计测期间使用相同的参数。\n[0126] 另外，在容许顾客的兴趣分析等在线计测的系统中，在进行利用上述处理的参数校正之后，可以从映照该人物的最初的帧开始重新计测视线方向，在对象人物出现的场景内即使一次看注视判定部1401也能够进行校正。\n[0127] 在本实施方式中，因为没有使用眼、鼻、口等的由于角度而消失较多的特征点，所以即使正面方向以外的面部也能够进行参数的校正。因此，即使在摄像部101和注视判定部1401为稍微离开的位置也能够进行自动校正。由此，能够在受验者必须注视的位置设置注视判定部1401，能够在不使受验者意识到的情况下自动地进行校正处理。\n[0128] (实施方式4)\n[0129] 本实施方式是在实施方式1中准备有新的参数，而视线方向计测装置的结构与实施方式1相同。\n[0130] 利用图15对本发明的实施方式4涉及的视线方向计测装置的视线方向的计测进行说明。图15是用于说明本发明的实施方式4涉及的视线方向计测装置的视线方向的计测的眼球模型的一例的图，表示左眼的眼球模型的例子。\n[0131] 图15中所示的眼球模型是内眼角和外眼角位置从眼球的中心在垂直方向上偏移γ度的模型。像这样，通过重新准备参数γ，能够更加正确地推定眼球的形状，能够高精度地计测视线方向。\n[0132] 首先，根据内眼角E1和外眼角E2的x坐标E1x、E2x与面部方向(φface、θface)，利用以下的公式10的式子计算出眼球的半径r。\n[0133] 公式10：\n[0134] \n[0135] 根据由此求得的眼球的半径r，通过以下的公式11的式子计算出眼球中心位置O的位置。\n[0136] 公式11：\n[0137] Ox＝E1x-rsin(β-90+φface)cos(γ+θface)\n[0138] Oy＝{E1y+E2y\n[0139] -rsin(γ+θface)(sin(β-90+φface)+sin(α-90+φface))}/2\n[0140] 如上所述，能够计算出眼球的半径r和眼球中心位置O，能够推定眼球的形状。接下来，根据图像中的瞳孔的中心位置I，利用以下的公式12的式子分别计测视线方向的水平成分φeye、垂直成分θeye。\n[0141] 公式12：\n[0142] \n[0143] \n[0144] 如上所述，在内眼角·外眼角的位置根据人物而不同的情况下，通过自动地求得最适当的参数γ，能够更高精度地计测视线方向。\n[0145] 以上，基于实施方式具体地说明由本发明者完成的发明，但是本发明并不局限于上述实施方式，当然在不脱离其主要内容的范围内能够有各种变更。