1.一种头部佩戴型显示装置,其特征在于,
是透视型的头部佩戴型显示装置,具备:
图像显示部,其在被佩戴于使用者的头部的状态下,生成表示图像的图像光,并使使用者视觉确认所述图像光,并且使外景透过;
检测部,其检测使用者的视线方向、和距使用者的眼睛在规定距离内的遮挡使用者的视线的遮挡物中的至少一方;以及
控制部,其基于所述检测出的检测结果来进行所述图像光的控制,所述图像显示部将多个可选择的对象、和表示与检测出的所述视线方向对应的位置的指示图像作为所述图像光来使使用者视觉确认,
所述控制部对所述头部佩戴型显示装置进行与多个所述对象和所述指示图像的位置关系对应的内容的控制,
所述检测部检测所述视线方向上的所述遮挡物,
作为所述控制,所述控制部基于所述位置关系进行一个所述对象的选择,并基于所述遮挡物的检测结果进行选择出的所述对象的决定,
所述检测部检测右眼前指标值和左眼前指标值,所述右眼前指标值和左眼前指标值表示从使用者的右眼和左眼分别至所述规定距离的范围内的颜色或者照度的至少一方,所述控制部进行与所述位置关系、以及检测出的所述右眼前指标值和所述左眼前指标值对应的内容的控制。
2.根据权利要求1所述的头部佩戴型显示装置,其特征在于,
所述检测部检测作为所述遮挡物的使用者的眼皮的状态,
所述控制部进行与检测出的所述眼皮的状态和所述位置关系对应的内容的控制。
3.根据权利要求2所述的头部佩戴型显示装置,其特征在于,
所述检测部检测使用者的右眼皮的开闭状态和左眼皮的开闭状态,
所述控制部进行与所述位置关系、以及检测出的所述右眼皮的开闭状态和所述左眼皮的开闭状态的组合对应的内容的控制。
4.根据权利要求1所述的头部佩戴型显示装置,其特征在于,
所述图像显示部基于检测出的所述视线方向和所述遮挡物的检测结果来设定生成所述图像光的区域。
5.根据权利要求1所述的头部佩戴型显示装置,其特征在于,还具备:
拍摄部,其拍摄外景;以及
图像识别部,其识别包含在拍摄的外景内,且存在于比所述规定距离远的位置的特定对象,
所述图像显示部基于识别出的所述特定对象,来设定生成所述图像光的区域。
6.根据权利要求1所述的头部佩戴型显示装置,其特征在于,还具备:
朝向检测部,其检测使用者的头部的方向,
所述图像显示部基于检测出的所述头部的方向,来设定生成所述图像光的区域。
7.根据权利要求1所述的头部佩戴型显示装置,其特征在于,还具备:
拍摄部,其拍摄外景,
作为所述控制,所述控制部基于所述遮挡物的检测结果来进行所述拍摄部的操作,所述图像显示部生成表示拍摄区域的图像光亦即区域图像光。
8.根据权利要求7所述的头部佩戴型显示装置,其特征在于,
所述图像显示部生成表示与相对拍摄的外景的所述视线方向对应的位置的图像光亦即视线位置图像光,并使使用者视觉确认所述视线位置图像光,
所述控制部基于检测出的所述视线方向与使用者的右眼皮的开闭状态和左眼皮的开闭状态的组合,来设定拍摄的外景的一部分区域,
所述区域图像光是表示所设定的所述一部分区域的图像光。
9.根据权利要求8所述的头部佩戴型显示装置,其特征在于,
所述操作包括调整所述拍摄部的透镜的焦距,
对于所述区域图像光,在所述焦距包含于规定距离内的情况下,将所述区域图像光生成在所述一部分区域的周边部分,在所述焦距未包含于所述规定距离的情况下,生成表示所述一部分区域的外景图像的外景图像光作为所述区域图像光。
10.根据权利要求7~9中任意一项所述的头部佩戴型显示装置,其特征在于,还具备:
图像识别部,其基于所述操作,识别包含于拍摄的外景的特定对象,
所述控制部在拍摄的外景中识别出所述特定对象的情况下,基于所述特定对象来设定拍摄的外景的一部分区域,
所述外景图像光是表示设定的所述一部分的区域的图像光。
11.根据权利要求10所述的头部佩戴型显示装置,其特征在于,
所述控制部在拍摄的外景中未识别出所述特定对象的情况下,基于在拍摄的外景中识别出所述特定对象时的所述特定对象的位置的变化,来推断从所述拍摄部至所述特定对象的方向,
所述拍摄部拍摄推断出的方向。
12.根据权利要求7~9中任意一项所述的头部佩戴型显示装置,其特征在于,还具备:
朝向检测部,其检测使用者的头部相对于重力方向的朝向,
所述图像显示部在检测出的所述头部的朝向与所述重力方向所成的角度是规定值以上的情况下,基于所述角度来生成所述区域图像光,该区域图像光是表示将与和所述重力方向正交的水平面平行的轴作为光轴而拍摄的外景的至少一部分区域的图像光。
13.根据权利要求1所述的头部佩戴型显示装置,其特征在于,
所述检测部检测使用者注视特定的点时的视线的摆动,所述特定的点是注视点,所述控制部基于所述视线的摆动来进行所述控制。
14.根据权利要求13所述的头部佩戴型显示装置,其特征在于,
所述控制部在所述视线的摆动的振幅小于阈值的情况下,判定为使用者注视所述特定的点。
15.根据权利要求13或者14所述的头部佩戴型显示装置,其特征在于,
所述控制部在所述视线方向在规定期间内收敛于以所述特定的点为中心的规定范围内的情况下,判定为使用者注视所述特定的点。
16.根据权利要求15所述的头部佩戴型显示装置,其特征在于,
所述图像显示部将表示所述规定范围的图像光作为所述图像光使使用者视觉确认。
17.根据权利要求15所述的头部佩戴型显示装置,其特征在于,还具备:
声音输出部,其输出声音,
所述控制部在所述视线方向在所述规定期间内收敛于所述规定范围内的情况下,使所述声音输出部输出特定的声音。
18.根据权利要求14所述的头部佩戴型显示装置,其特征在于,
所述控制部在判定为使用者注视所述特定的点的情况下,能够选择所述对象。
19.一种透视型的头部佩戴型显示装置的控制方法,所述透视型的头部佩戴型显示装置具备:图像显示部,其在被佩戴于使用者的头部的状态下,生成表示图像的图像光,并使使用者视觉确认所述图像光,并且使外景透过;以及检测部,其检测使用者的视线方向、和距离使用者的眼睛在规定距离内的遮挡使用者的视线的遮挡物中的至少一方,其特征在于,
具备基于所述检测出的检测结果来进行所述图像光的控制的工序,
所述图像显示部将多个可选择的对象、和表示与检测出的所述视线方向对应的位置的指示图像作为所述图像光来使使用者视觉确认,
所述控制部对所述头部佩戴型显示装置进行与多个所述对象和所述指示图像的位置关系对应的内容的控制,
所述检测部检测所述视线方向上的所述遮挡物,
作为所述控制,所述控制部基于所述位置关系进行一个所述对象的选择,并基于所述遮挡物的检测结果进行选择出的所述对象的决定,
所述检测部检测右眼前指标值和左眼前指标值,所述右眼前指标值和左眼前指标值表示从使用者的右眼和左眼分别至所述规定距离的范围内的颜色或者照度的至少一方,所述控制部进行与所述位置关系、以及检测出的所述右眼前指标值和所述左眼前指标值对应的内容的控制。
头部佩戴型显示装置以及头部佩戴型显示装置的控制方法\n技术领域\n[0001] 本发明涉及头部佩戴型显示装置。\n背景技术\n[0002] 已知有佩戴于头部的显示装置即头部佩戴型显示装置(头戴式显示器(Head Mounted Display),HMD)。头部佩戴型显示装置例如利用液晶显示器以及光源生成表示图像的图像光,并利用投影光学系统、导光板将生成的图像光导入至使用者的眼睛,从而使使用者视觉确认虚像。头部佩戴型显示装置有使用者除了能够视觉确认虚像外还能够视觉确认外景的透视型、和使用者不能够视觉确认外景的非透视型这两种类型。透视型的头部佩戴型显示装置有光学透视型和视频透视型。作为用于操作头部佩戴型显示装置的输入装置,例如已知有键盘、鼠标、跟踪板等。另一方面,已知有检测使用者的眼睛的状态,并基于检测出的眼睛的状态进行拍摄,拍摄外景的照相机。\n[0003] 在专利文献1中公开有如下的技术,即,在使使用者的一只眼睛视觉确认内容等的图像的头部佩戴型显示装置中,拍摄一只眼睛的眼球运动,并且拍摄另一只眼睛的眼皮的动作,并基于拍摄到的眼球运动以及眼皮的动作来控制使使用者视觉确认的图像。另外,在专利文献2中公开有如下的技术,在头部佩戴型显示装置中,在距使用者规定距离内的平面内,使使用者视觉确认键盘等用户接口的图像,并检测使用者对用户接口的输入操作,从而操作头部佩戴型显示装置。另外,在专利文献3中公开有如下的技术,即:使头部佩戴型显示装置的输入装置亦即键盘、和使用者触摸的键盘的键作为图像使使用者视觉确认。\n[0004] 在专利文献4中公开有如下的技术,即,在检测使用者的眼睛的眨动,并基于检测出的眨动拍摄外景的照相机中,能够将拍摄模式选择为在从检测到眨动起延迟了规定期间后进行拍摄的延迟模式、和无延迟地进行拍摄的非延迟模式。另外,在专利文献5中公开有基于检测到的使用者的眼睛的眨动来拍摄外景,从而抑制拍摄时的手抖动的照相机。另外,在专利文献6中公开有如下的技术,在使使用者的一只眼睛视觉确认内容等图像的头部佩戴型显示装置中,拍摄一只眼睛的眼球运动,并且拍摄另一只眼睛的眼皮的动作,并基于拍摄到的眼球运动以及眼皮的动作来设定使使用者视觉确认的图像。\n[0005] 在专利文献7中公开有如下的技术,在使使用者视觉确认作为用户接口的指示图像的图像的头部佩戴型显示装置中,检测使用者固视了规定时间以上的位置,在检测出的位置显示指示图像,然后,在使用者固视的位置改变了的情况下,若在显示指示图像的状态下点击接受使用者的操作的跟踪球,则使指示图像移动并显示至位置变化后的使用者所固视的位置。在专利文献8中公开有如下的技术,在显示多个虚拟窗口的显示器上,在使用者凝视了特定的窗口的一部分的情况下,显示是否激活被凝视的特定的窗口的消息。\n[0006] 专利文献1:日本特开2010-152443号公报\n[0007] 专利文献2:日本特开2002-318652号公报\n[0008] 专利文献3:日本特开2003-91353号公报\n[0009] 专利文献4:日本特开2010-41643号公报\n[0010] 专利文献5:日本特开平6-208158号公报\n[0011] 专利文献6:日本特开2010-152443号公报\n[0012] 专利文献7:日本特开平9-128138号公报\n[0013] 专利文献8:日本特开平9-204287号公报\n[0014] 非专利文献1:吉田久准、小濱剛、“目の動きから心の変化=脳の活動をとらえる”、[online],[2013年10月17日检索],网络〈http://www.waka.kindai.ac.jp/topics/\n20110609_3.html〉\n[0015] 非专利文献2:渡邊淳司、「視覚情報提示のための時空間統合知覚特性の研究」,博士论文,东京大学研究生院信息理工学系研究科系统信息学专业,[online],[2013年10月17日检索],网络〈,http://www.junji.org/papers/DoctorThesis.pdf〉\n[0016] 但是,在专利文献1所记载的头部佩戴型显示装置中,基于使用者的眼睛的眼球运动来控制使使用者视觉确认的图像,但存在想要通过使用者的眼球运动,进行头部佩戴型显示装置中的图像的控制以外的操作的期望。另外,存在想要不仅通过一只眼睛的眼球运动,而是通过包括双眼的眼球运动的各种各样的动作来进行头部佩戴型显示装置的操作的期望。另外,在专利文献2所记载的技术中,存在在距使用者在规定距离以内没有平面的情况下,不能够使使用者视觉确认用户接口的图像的情况,在便利性上存在改善的余地。另外,在专利文献3所记载的技术中,使用者能够视觉确认触摸作为输入装置的键盘上的键,但有在不需要键盘等输入装置的状态下,使用者不使用手,而操作头部佩戴型装置的期望。\n此外,上述的课题并不局限于头部佩戴型显示装置,是能够使使用者视觉确认输入装置的显示装置中共有的课题。\n[0017] 另外,在专利文献4以及专利文献5所记载的技术中,在使用者在拍摄外景的情况下,必须通过观看取景器来确认拍摄的图像,在拍摄时的操作性上存在提高的余地。另外,基于使用者的眼睛的眼皮的状态来控制照相机的拍摄功能,但有想要基于眼皮的状态来控制拍摄功能以外的功能的期望。另外,在专利文献6所记载的头部佩戴型显示装置中,基于使用者的眼睛的眼球运动来设定视觉确认的图像,但也存在基于眼球运动的操作很难的情况,希望更加简便的操作方法。\n[0018] 另外,在专利文献7所记载的技术中,通过使用者的视线位置进行使用者移动指示图像的操作,但由于通过视线位置以外的操作进行指示图像移动后的输入等操作,所以存在也想通过视线位置等进行输入等操作的课题。另外,在专利文献8所记载的技术中,通过使用者凝视,从多个虚拟窗口中选择特定的窗口,但也存在想要通过使用者的视线来进行窗口的选择以外的操作的课题。\n发明内容\n[0019] 本发明是为了解决上述课题的至少一部分而完成的,能够作为以下的方式来实现。\n[0020] (1)根据本发明的一个方式,提供透视型的头部佩戴型显示装置。该头部佩戴型显示装置具备:图像显示部,其在被佩戴于使用者的头部的状态下,生成表示图像的图像光,使使用者视觉确认上述图像光,并且使外景透过;检测部,其检测使用者的视线方向、和距使用者的眼睛规定距离内的遮挡使用者的视线的遮挡物中的至少一方;以及控制部,其基于上述检测出的检测结果来进行上述图像光的控制。\n[0021] (2)在上述方式的头部佩戴型显示装置中,上述图像显示部作为上述图像光,使使用者视觉确认多个可选择的对象、和表示与检测出的上述视线方向对应的位置的指示图像;上述控制部对上述头部佩戴型显示装置进行与多个上述对象和上述指示图像的位置关系对应的内容的控制。根据该方式的头部佩戴型显示装置,即使使用者不使用手,也能够基于使用者的视线方向进行头部佩戴型显示装置的各种控制,使用者的操作性提高。另外,即使没有作为物体具有形状的键盘等用户接口,使用者也能够进行头部佩戴型显示装置的控制,头部佩戴型显示装置的便携性提高。\n[0022] (3)根据上述方式的头部佩戴型显示装置,也可以为上述检测部检测上述视线方向上的上述遮挡物,作为上述控制,上述控制部基于上述位置关系进行一个上述对象的选择,基于上述遮挡物的检测结果来进行选择出的上述对象的决定。根据该方式的头部佩戴型显示装置,由于基于使用者的视线方向和在视线方向上存在的遮挡物来控制头部佩戴型显示装置,所以使用者完全不使用手就能够控制头部佩戴型显示装置,使用者的操作性提高。\n[0023] (4)根据上述方式的头部佩戴型显示装置,也可以为上述检测部检测作为上述遮挡物的使用者的眼皮的状态,上述控制部进行与检测出的上述眼皮的状态和上述位置关系对应的内容的控制。根据该方式的头部佩戴型显示装置,由于基于使用者的视线方向和两眼皮的开闭状态来控制头部佩戴型显示装置,所以使用者完全不使用手就能够控制头部佩戴型显示装置,使用者的操作性提高。\n[0024] (5)根据上述方式的头部佩戴型显示装置,也可以为上述检测部检测使用者的右眼皮的开闭状态和左眼皮的开闭状态,上述控制部进行与上述位置关系、以及检测出的上述右眼皮的开闭状态和上述左眼皮的开闭状态的组合对应的内容的控制。根据该方式的头部佩戴型显示装置,由于基于两眼皮的开闭状态的组合来进行头部佩戴型显示装置的控制,所以能够向使用者提供与操作的种类对应的较多的决定的组合,使用者的操作性提高。\n[0025] (6)根据上述方式的头部佩戴型显示装置,也可以为上述检测部检测用于表示从使用者的右眼和左眼至上述规定距离的范围内的颜色或者照度的至少一方的右眼前指标值和左眼前指标值,上述控制部进行与上述位置关系、以及检测出的上述右眼前指标值和上述左眼前指标值对应的内容的控制。根据该方式的头部佩戴型显示装置,在使用者疲于眼皮的状态的操作的情况下,能够使用手掌等身体的一部分凭感觉进行操作,使用者的便利性提高。\n[0026] (7)根据上述方式的头部佩戴型显示装置,上述图像显示部也可以基于检测出的上述视线方向和上述遮挡物的检测结果来设定生成上述图像光的区域。根据该方式的头部佩戴型显示装置,由于使用者不使用手等就能够基于使用者的意思设定生成图像光的位置,所以使用者的操作性以及便利性提高。\n[0027] (8)根据上述方式的头部佩戴型显示装置,也可以为还具备:拍摄部,其拍摄外景;\n和图像识别部,其识别包括在拍摄的外景内,且存在于比上述规定距离远的位置的特定对象,上述图像显示部基于识别出的上述特定对象,来设定生成上述图像光的区域。根据该方式的头部佩戴型显示装置,由于基于图像识别部识别出的特定对象来设定生成图像光的区域,所以使用者能够凭感觉设定图像光的大小,使用者的便利性提高。另外,对于图像光的生成,使用者只要将特定对象配置在规定距离即可,所以使用者的便利性提高。\n[0028] (9)根据上述方式的头部佩戴型显示装置,也可以为还具备朝向检测部,其检测使用者的头部的朝向,上述图像显示部基于检测出的上述头部的朝向,来设定生成上述图像光的区域。根据该方式的头部佩戴型显示装置,检测使用者变更头部的朝向,而变更了使用者想要视觉确认的对象,在不妨碍使用者的视野的位置自动地生成图像光,所以使用者的便利性提高。\n[0029] (10)在上述方式的头部佩戴型显示装置中,也可以为还具备:拍摄部,其拍摄外景,作为上述控制,上述控制部基于上述遮挡物的检测结果进行上述拍摄部的操作,上述图像显示部生成表示拍摄区域的图像光亦即区域图像光。根据该方式的头部佩戴型显示装置,使用者视觉确认并且拍摄外景,从而使使用者视觉确认表示拍摄的外景的至少一部分的区域的区域图像光。因此,使用者不特意观看取景器等就视觉确认并且拍摄外景,所以能够容易测定拍摄的时机,使用者的便利性提高。另外,使用者在不触摸拍摄部就能够拍摄外景,所以能够抑制手抖动地进行拍摄。\n[0030] (11)在上述方式的头部佩戴型显示装置中,也可以为上述检测部检测作为上述遮挡物的使用者的眼皮的状态,上述控制部基于检测出的上述眼皮的状态进行上述操作。根据该方式的头部佩戴型显示装置,使用者不使用手就能够使用拍摄部拍摄外景,使用者的便利性提高。\n[0031] (12)在上述方式的头部佩戴型显示装置中,也可以为上述检测部检测使用者的右眼皮的开闭状态和左眼皮的开闭状态,上述控制部基于检测出的上述右眼皮的开闭状态和上述左眼皮的开闭状态的组合来进行上述操作。根据该方式的头部佩戴型显示装置,使用者能够不使用手就能够使用拍摄部拍摄外景,使用者的便利性提高。\n[0032] (13)在上述方式的头部佩戴型显示装置中,也可以为上述图像显示部生成表示与相对于拍摄的外景的上述视线方向对应的位置的图像光即视线位置图像光,并使使用者视觉确认上述视线位置图像光,上述控制部基于检测出的上述视线方向与上述组合,设定拍摄的外景的一部分的区域,上述区域图像光是表示设定的上述一部分的区域的图像光。根据该方式的头部佩戴型显示装置,使用者不使用手就能够设定拍摄部拍摄的一部分的区域,并使使用者视觉确认表示设定的一部分的区域的图像的区域图像光,使用者的适用性、便利性、操作性提高。\n[0033] (14)在上述方式的头部佩戴型显示装置中,也可以为上述操作包括调整上述拍摄部的透镜的焦距,对于上述区域图像光,在上述焦距包含于规定距离内的情况下,将上述区域图像光生成在上述一部分的区域的周边部分,在上述焦距未包含于上述规定距离内的情况下,生成表示上述一部分的区域的外景图像的外景图像光作为上述区域图像光。根据该方式的头部佩戴型显示装置,使用者能够不使用手设定拍摄部的焦距,所以使用者的便利性提高。另外,在设定的焦距是成为与视觉确认的外景相同的外景的焦距的情况下,区域图像光是表示一部分的区域的图像光。另外,在设定的焦距是成为与视觉确认的外景不同的外景的焦距的情况下,区域图像光是表示一部分的区域的外景图像的外景图像光。因此,图像显示部根据使用者视觉确认的外景与区域图像光的比较来生成图像光,所以使用者的可视性以及操作性提高。\n[0034] (15)在上述方式的头部佩戴型显示装置中,也可以为上述检测部检测用于表示从使用者的右眼和左眼到上述规定距离的范围内的颜色或者照度的至少一方的右眼前指标值和左眼前指标值,上述控制部基于检测出的上述右眼前指标值和上述左眼前指标值来进行上述操作。根据该方式的头部佩戴型显示装置,在使用者疲于通过眨动等眼皮的状态的变化来操作的情况下,能够使用手等身体的一部分,凭感觉进行与眼皮的状态的变化相同的操作,使用者的便利性提高。\n[0035] (16)在上述方式的头部佩戴型显示装置中,也可以为还具备:图像识别部,其基于上述操作,识别包含在拍摄的外景内的特定对象,上述控制部在拍摄的外景中识别到上述特定对象的情况下,基于上述特定对象来设定拍摄的外景的一部分的区域,上述外景图像光是表示设定的上述一部分的区域的图像光。根据该方式的头部佩戴型显示装置,即使在特定对象未包含在拍摄的外景中的情况下,也自动地推断出特定对象的位置,并拍摄特定对象,所以使用者的便利性提高。\n[0036] (17)在上述方式的头部佩戴型显示装置中,也可以为上述控制部在拍摄的外景中没有识别到上述特定对象的情况下,基于在拍摄的外景中识别到上述特定对象时的上述特定对象的位置的变化,推断从上述拍摄部到上述特定对象的方向,上述拍摄部拍摄推断出的方向。根据该方式的头部佩戴型显示装置,即使不在特定对象上安装发送器等,也图像识别特定对象,从而自动地跟踪并拍摄特定对象,所以使用者的适用性以及操作性提高。另外,由于使用者会视觉确认到与使用者视觉确认的外景不同的表示包括特定对象的外景的图像光,所以使用者即使在拍摄特定对象的情况下,也无需视觉确认特定对象,使用者的便利性提高。\n[0037] (18)在上述方式的头部佩戴型显示装置中,可以为还具备:朝向检测部,其检测使用者的头部相对于重力方向的朝向,上述图像显示部在检测出的上述头部的朝向与上述重力方向所成的角度是规定值以上的情况下,基于上述角度生成上述区域图像光,该区域图像光是表示将与和上述重力方向正交的水平面平行的轴作为光轴而拍摄的外景的全部或者一部分的区域的图像光。根据该方式的头部佩戴型显示装置,即使在使用者的头部的方向暂时变更的情况下,拍摄部也拍摄以与水平面平行的轴为光轴的外景,所以使用者的适用性提高。\n[0038] (19)在上述方式的头部佩戴型显示装置中,也可以为上述检测部检测使用者注视上述特定的点时的视线的摆动,上述控制部基于上述视线的摆动进行上述控制。根据该方式的头部佩戴型显示装置,由于基于考虑了使用者的视线的摆动的视线方向来进行图像光的控制,所以能够提高控制的精度。\n[0039] (20)在上述方式的头部佩戴型显示装置中,也可以为上述控制部在上述视线的摆动的振幅小于阈值的情况下,判定为使用者注视上述特定的点。根据该方式的头部佩戴型显示装置,通过振幅的设定,能够简便地进行使用者是否注视特定的点的判定。\n[0040] (21)在上述方式的头部佩戴型显示装置中,也可以为上述控制部在上述视线方向在规定的期间收敛于以上述特定的点为中心的规定的范围内的情况下,判定为使用者注视上述特定的点。根据该方式的头部佩戴型显示装置,通过规定的范围的设定,能够简便地进行使用者是否注视特定的点的判定。\n[0041] (22)在上述方式的头部佩戴型显示装置中,也可以为上述图像显示部作为上述图像光,使使用者视觉确认表示上述规定的范围的图像光。根据该方式的头部佩戴型显示装置,能够通过表示规定的范围的图像光,使使用者视觉确认使用者是否注视特定的点的程度,使用者的便利性提高。\n[0042] (23)在上述方式的头部佩戴型显示装置中,也可以为还具备声音输出部,其输出声音,上述控制部在上述视线方向在上述规定的期间内收敛于上述规定的范围内的情况下,使上述声音输出部输出特定的声音。根据该方式的头部佩戴型显示装置,能够通过声音使使用者识别是使用者能够控制图像光的状态,使用者的便利性提高。\n[0043] (24)在上述方式的头部佩戴型显示装置中,也可以为上述图像显示部将多个可选择的对象、和表示与检测出的上述视线方向对应的位置的指示图像作为上述图像光使使用者视觉确认,上述控制部在判定为使用者注视上述特定的点的情况下,能够选择上述对象。\n根据该方式的头部佩戴型显示装置,能够防止尽管使用者没有注视图像光中的可选择的对象,也选择该对象的误操作,从而进行反映了使用者的意图的准确的操作。\n[0044] 上述的本发明的各方式所具有的多个构成要素并非全部都是必须的要素,为了解决上述的课题的一部分或者全部、或者为了实现本说明书所记载的效果的一部分或者全部,能够适当地对上述多个构成要素的一部分的构成要素进行其变更、删除、与新的其他的构成要素的替换、限定内容的部分删除。另外,为了解决上述的课题的一部分或者全部、或者为了实现本说明书所记载的效果的一部分或者全部,也可以将上述的本发明的一个方式所包括的技术特征的一部分或者全部与上述的本发明的其他的方式所包括的技术特征的一部分或者全部进行组合,而构成本发明的独立的一个方式。\n[0045] 例如,本发明的一个方式能够作为具备图像显示部、检测部以及控制部这三个要素中的一个以上或者全部的要素的装置来实现。即,该装置可以具有图像显示部,也可以不具有图像显示部。另外,装置可以具有检测部,也可以不具有检测部。另外,装置可以具有控制部,也可以不具有控制部。图像显示部例如也可以在佩戴于使用者的头部的状态下,生成表示图像的图像光,并使使用者视觉确认上述图像光,并且使外景透过。检测部例如也可以检测使用者的视线方向、和距离使用者的眼睛规定距离内的遮挡使用者的视线的遮挡物中的至少一方。控制部例如也可以基于上述检测出的检测结果来进行上述图像光的控制。这样的装置例如能够作为头部佩戴型显示装置来实现,但也能够作为头部佩戴型显示装置以外的其他的装置来实现。根据这样的方式,能够解决装置的操作性的提高以及简单化、装置的一体化、使用装置的使用者的便利性的提高等各种课题的至少一个。上述的头部佩戴型显示装置的各方式的技术特征的一部分或者全部均能够应用于该装置。\n[0046] 本发明也能够以头部佩戴型显示装置以外的各种方式来实现。例如,能够以显示装置、头部佩戴型显示装置以及显示装置的控制方法、头部佩戴型显示系统、用于实现显示装置、头部佩戴型显示系统以及显示装置的功能的计算机程序、记录有该计算机程序的记录介质、包括该计算机程序在载波内具体化的数据信号等方式来实现。\n附图说明\n[0047] 图1是表示头部佩戴型显示装置100的外观构成的说明图。\n[0048] 图2是功能性地表示头部佩戴型显示装置100的构成的框图。\n[0049] 图3是表示由图像光生成部射出图像光的样态的说明图。\n[0050] 图4是表示视线操作输入处理的流程的说明图。\n[0051] 图5是表示视线操作输入处理的流程的说明图。\n[0052] 图6是表示调整大小之前的控制用图像CI的一个例子的说明图。\n[0053] 图7是表示调整了大小后的控制用图像CI的一个例子的说明图。\n[0054] 图8是表示第二实施方式中的头部佩戴型显示装置100a的外观构成的说明图。\n[0055] 图9是表示图像显示部20a中的各种传感器与使用者的眼皮的关系的概况的说明图。\n[0056] 图10是功能性地表示头部佩戴型显示装置100a的构成的框图。\n[0057] 图11是表示拍摄图像显示处理的流程的说明图。\n[0058] 图12是表示拍摄图像显示处理的流程的说明图。\n[0059] 图13是表示拍摄图像显示处理中的眼皮的开闭状态所分配的处理的一个例子的说明图。\n[0060] 图14是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0061] 图15是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0062] 图16是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0063] 图17是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0064] 图18是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0065] 图19是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0066] 图20是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0067] 图21是表示固视微动的概况的说明图。\n[0068] 图22是表示固视微动的概况的说明图。\n[0069] 图23是表示使用者移动了视线方向时的经过时间与视线移动量的关系的一个例子的说明图。\n[0070] 图24是表示使用者移动了视线方向时的相对于经过时间的视线移动量以及移动量变化量的关系的一个例子的说明图。\n[0071] 图25是表示第三实施方式中的控制用图像显示处理的流程的说明图。\n[0072] 图26是表示使用者视觉确认的视场VR的一个例子的说明图。\n[0073] 图27是表示图像显示部20所显示的控制用图像CIa的一个例子的说明图。\n[0074] 图28是表示图像显示部20所显示的控制用图像CIb的一个例子的说明图。\n[0075] 图29是表示在拍摄调整模式下使用者视觉确认的视场VR的一个例子的说明图。\n[0076] 图30是表示变形例中的头部佩戴型显示装置的外观构成的说明图。\n具体实施方式\n[0077] 接下来,基于实施方式并按照以下的顺序对本发明的实施方式进行说明。\n[0078] A.第一实施方式:\n[0079] A-1.头部佩戴型显示装置的构成:\n[0080] A-2.视线操作输入处理:\n[0081] B.第二实施方式:\n[0082] C.第三实施方式:\n[0083] D.变形例:\n[0084] A.第一实施方式:\n[0085] A-1.头部佩戴型显示装置的构成:\n[0086] 图1是表示头部佩戴型显示装置100的外观构成的说明图。头部佩戴型显示装置\n100是佩戴于头部的显示装置,也被称作头戴式显示器(Head Mounted Display,HMD)。本实施方式的头部佩戴型显示装置100是使用者能够视觉确认虚像的同时也能够直接地视觉确认外景的光学透视型的头部佩戴型显示装置。此外,在本说明书中,为了方便起见,也将使用者通过头部佩戴型显示装置100视觉确认的虚像称为“显示图像”。另外,也将射出基于图像数据生成的图像光说成“对图像进行显示”。\n[0087] 头部佩戴型显示装置100具备在佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20、和控制图像显示部20的控制部10(控制器10)。\n[0088] 图像显示部20是佩戴于使用者的头部的佩戴体,在本实施方式中具有眼镜形状。\n图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学影像显示部26、左光学影像显示部28、外景拍摄照相机61、距离传感器63、右眼拍摄照相机37、左眼拍摄照相机38、右眼照度传感器45以及左眼照度传感器47。右光学影像显示部26以及左光学影像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右眼以及左眼前。右光学影像显示部26的一端与左光学影像显示部28的一端在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置处相互连接。\n[0089] 右保持部21是从右光学影像显示部26的另一端亦即端部ER向使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置延伸设置的部件。同样,左保持部23是从左光学影像显示部28的另一端亦即端部EL向使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置延伸地设置成的部件。使右保持部21以及左保持部23像眼镜的镜腿(挂耳部分)那样地将图像显示部20保持在使用者的头部。\n[0090] 右显示驱动部22与左显示驱动部24被配置在使用者佩戴了图像显示部20时的与使用者的头部对置的一侧。此外,以下,也将右保持部21以及左保持部23仅统称为“保持部”,将右显示驱动部22以及左显示驱动部24仅统称为“显示驱动部”,将右光学影像显示部\n26以及左光学影像显示部28仅统称为“光学影像显示部”。\n[0091] 显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display,以下也称为“LCD241、242”)、投影光学系统251、252等(参照图2)。后述显示驱动部22、24的构成的详细内容。作为光学部件的光学影像显示部26、28包括导光板261、262(参照图2)与调光板。导光板261、262由透光性的树脂材料等形成,将从显示驱动部22、24输出的图像光导入至使用者的眼睛。调光板是薄板状的光学元件,被配置成覆盖图像显示部20的与使用者的眼睛侧相反的一侧即表面侧。调光板保护导光板261、262,抑制导光板261、262的损伤、污垢的附着等。另外,通过调整调光板的透光率,能够调整进入到使用者的眼睛的外光量,以调整虚像的视觉确认的难易度。此外,可以省略调光板。\n[0092] 外景拍摄照相机61被配置于使用者佩戴了图像显示部20时的与使用者的眉间对应的位置。外景拍摄照相机61拍摄外部的景色即外景,并获取外景图像。本实施方式中的外景拍摄照相机61是单眼照相机,但也可以是立体照相机。外景拍摄照相机61相当于技术方案中的拍摄部。\n[0093] 距离传感器63被配置在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置。距离传感器63是发出红外线,并且接受被对象物反射的红外线,基于反射光的受光位置来测定距离传感器63与对象物的距离的红外线距离传感器。在本实施方式中使用的距离传感器63通过测定特定的位置处的距离传感器63与对象物的距离,来检测距距离传感器63规定距离内的对象物。在其他的实施方式中,距离传感器63也可以是具有多个发光部,还测定对象物的大小、位置的红外线距离传感器。另外,距离传感器63也可以不是红外线传感器,而是光学传感器、超声波传感器。距离传感器63相当于技术方案中的图像识别部。\n[0094] 右眼拍摄照相机37以及左眼拍摄照相机38(以下也称为“眼睛拍摄照相机37、38”)是分别拍摄使用者的右眼以及左眼的小型CCD照相机。右眼照度传感器45以及左眼照度传感器47(以下也称为“照度传感器45、47”)是检测使用者的右眼以及左眼分别视觉确认的外景的照度的传感器。此外,眼睛拍摄照相机37、38相当于技术方案中的检测部。另外,照度传感器45、47相当于技术方案中的检测部,右眼照度传感器45所检测的照度以及左眼照度传感器47所检测的照度分别相当于技术方案中的右眼前指标值以及左眼前指标值。\n[0095] 图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包括与控制部10连接的主体软线48、右软线42、左软线44、以及连结部件46。右软线42与左软线44是主体软线48分支出的两根软线。右软线42从右保持部21的延伸方向的前端部AP插入至右保持部21的筐体内,与右显示驱动部22连接。同样地,左软线44从左保持部23的延伸方向的前端部AP插入至左保持部23的筐体内,与左显示驱动部24连接。连结部件46被设置于主体软线48和右软线42以及左软线44的分支点,具有用于连接耳机插头30的插孔。从耳机插头30延伸有右耳机32以及左耳机34。\n[0096] 图像显示部20和控制部10经由连接部40进行各种信号的传输。在主体软线48的与连结部件46相反侧的端部和控制部10分别设置有相互嵌合的连接器(未图示)。通过主体软线48的连接器与控制部10的连接器的嵌合/嵌合解除,使控制部10与图像显示部20连接或分离。右软线42、左软线44、主体软线48例如能够采用金属线缆、光纤。\n[0097] 控制部10是用于控制头部佩戴型显示装置100的装置。控制部10包括决定键11、点亮部12、显示切换键13、跟踪板14、亮度切换键15、方向键16、菜单键17以及电源开关18。决定键11检测按下操作,并输出用于决定利用控制部10操作的内容的信号。点亮部12通过其发光方式来通知头部佩戴型显示装置100的动作状态。作为头部佩戴型显示装置100的动作状态,例如有电源的开/关等。作为点亮部12,例如使用LED(Light Emitting Diode:发光二极管)。显示切换键13检测按下操作,例如输出用于将内容视频的显示模式切换为3D和2D的信号。跟踪板14检测使用者的手指在跟踪板14的操作面上的操作,并输出与检测内容对应的信号。作为跟踪板14能够采用静电式、压力检测式、光学式之类的各种跟踪板。亮度切换键15检测按下操作,并输出用于增减图像显示部20的亮度的信号。方向键16检测对与上下左右方向对应的键的按下操作,输出与检测内容对应的信号。电源开关18通过检测开关的滑动操作,来切换头部佩戴型显示装置100的电源接通状态。\n[0098] 图2是功能性地表示头部佩戴型显示装置100的构成的框图。如图2所示,控制部10具有输入信息获取部110、存储部120、电源130、无线通信部132、操作部135、CPU140、接口\n180、发送部51(Tx51)以及发送部52(Tx52)。操作部135受理使用者的操作,由决定键11、显示切换键13、跟踪板14、亮度切换键15、方向键16、菜单键17以及电源开关18构成。\n[0099] 输入信息获取部110获取与使用者的操作输入对应的信号。作为与操作输入对应的信号,例如有针对配置于操作部135的跟踪板14、方向键16、电源开关18的操作输入。电源\n130向头部佩戴型显示装置100的各部供给电力。作为电源130,例如能够使用二次电池。存储部120储存有各种计算机程序。存储部120由ROM、RAM等构成。无线通信部132遵循无线LAN、蓝牙之类的规定无线通信标准,例如与内容服务器、电视机、个人计算机这类的其他的设备之间进行无线通信。CPU140通过读出并执行储存于存储部120的计算机程序,来作为操作系统150(OS150)、显示控制部190、声音处理部170、方向判定部161、照度处理部145、图像判定部142、视线输入部175、图像处理部160发挥作用。\n[0100] 显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言,显示控制部190通过控制信号,分别独立地通过右LCD控制部211控制右LCD241的驱动开/关,通过右背光源控制部201控制右背光源221的驱动开/关,通过左LCD控制部212控制左LCD242的驱动开/关,通过左背光源控制部202控制左背光源222的驱动开/关等。由此,显示控制部190通过右显示驱动部22以及左显示驱动部24控制图像光的生成以及射出。例如,显示控制部190使右显示驱动部22以及左显示驱动部24的双方生成图像光,或者仅使一方生成图像光,或者使双方都不生成图像光。\n[0101] 显示控制部190经由发送部51以及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。另外,显示控制部190分别发送针对右背光源控制部201与左背光源控制部202的控制信号。\n[0102] 方向判定部161计算使用者的头部的倾斜、和重力方向以及与重力方向正交的水平面所成的角度,其中,基于后述的9轴传感器66检测出的图像显示部20的朝向来推断使用者的头部的倾斜。此外,方向判定部161以及9轴传感器66相当于技术方案中的朝向检测部。\n[0103] 照度处理部145对照度传感器45、47各自检测出的被使用者的右眼以及左眼视觉确认的外景的照度进行各种计算。本实施方式中的照度处理部145计算右眼的外景的照度与左眼的外景的照度之差,以及在恒定期间内检测出的照度的变化。照度处理部145判定计算出的照度之差,以及照度变化前后的照度之差是否为预先设定的阈值以上。例如,在白天的晴天时,使用者用自己的手等仅覆盖了右光学影像显示部26或者左光学影像显示部28中的任意一方的情况下,照度处理部145判定为右眼的外景的照度和左眼的外景的照度存在阈值以上的差。此外,照度处理部145相当于技术方案中的检测部。\n[0104] 图像判定部142通过对眼睛拍摄照相机37、38各自拍摄到的使用者的右眼以及左眼的图像进行解析,来判定右眼以及左眼的眼皮的开闭情况,而且检测视线方向。图像判定部142分别对眼睛拍摄照相机37、38拍摄到的使用者的右眼以及左眼分别进行眼皮的开闭状态的图案匹配,以此判定眼皮闭合的状态、眼皮半闭合的半睁状态等。另外,图像判定部\n142对距离传感器63检测出的对象物进行确认是否与预先登记的设定对象物相同的图案匹配。此外,图像判定部142相当于技术方案中的检测部以及图像识别部。\n[0105] 视线输入部175基于照度处理部145计算出的照度之差以及照度的变化、图像判定部142判定出的眼皮的开闭状态等,使图像显示部20显示用于受理使用者的输入的控制用图像。图像显示部20所显示的控制用图像包括多个可选择的按钮、和表示与检测出的视线方向对应的位置的位置图像。视线输入部175基于眼皮的开闭状态、视线方向等控制头部佩戴型显示装置100、以及与头部佩戴型显示装置100连接的各种装置。此外,所谓的与头部佩戴型显示装置100连接的装置并不限于利用软线等直接地连接的装置,也包括经由无线通信部132通信的装置。视线输入部175相当于技术方案中的控制部。\n[0106] 图像处理部160获取内容所包括的图像信号。图像处理部160从获取的图像信号分离出垂直同步信号VSync、水平同步信号HSync等同步信号。另外,图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期,利用PLL(Phase Locked Loop:锁相环)电路等(未图示)生成时钟信号PCLK。图像处理部160使用A/D转换电路等(未图示),将分离了同步信号的模拟图像信号转换成数字图像信号。之后,图像处理部160将转换后的数字图像信号作为对象图像的图像数据Data(RGB数据),以帧为单位储存于存储部120内的DRAM。此外,图像处理部160也可以根据需要,对图像数据执行分辨率转换处理、亮度、彩度的调整之类的各种色调修正处理、梯形修正处理等图像处理。\n[0107] 图像处理部160经由发送部51、52分别发送生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及存储于存储部120内的DRAM的图像数据Data。此外,也将经由发送部51发送的图像数据Data称为“右眼用图像数据”,将经由发送部52发送的图像数据Data称为“左眼用图像数据”。发送部51、52作为在控制部10和图像显示部20之间进行串行传输的收发器发挥作用。\n[0108] 声音处理部170获取内容所包括的声音信号,并放大获取的声音信号,并将其供给至与连结部件46连接的右耳机32内的扬声器(未图示)以及左耳机34内的扬声器(未图示)。\n此外,例如,在采用了Dolby(注册商标)系统的情况下,进行针对声音信号的处理,分别从右耳机32以及左耳机34输出例如改变了频率等的不同声音。\n[0109] 接口180是用于使成为内容的供给源的各种外部设备OA与控制部10连接的接口。\n作为外部设备OA,例如有个人计算机(PC)、移动电话终端、游戏机终端等。作为接口180,例如能够使用USB接口、微型USB接口、存储卡用接口等。\n[0110] 图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学影像显示部26的右导光板261、作为左光学影像显示部28的左导光板262、外景拍摄照相机61、距离传感器\n63、9轴传感器66、右眼拍摄照相机37、左眼拍摄照相机38、右眼照度传感器45以及左眼照度传感器47。\n[0111] 9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。由于9轴传感器66被设置于图像显示部20,所以在图像显示部20被佩戴于使用者的头部时,检测使用者的头部的活动。根据检测出的使用者的头部的活动确定出图像显示部20的朝向,方向判定部161推断使用者的头部的朝向。\n[0112] 右显示驱动部22包括接收部53(Rx53)、作为光源发挥作用的右背光源控制部201(右BL控制部201)以及右背光源221(右BL221)、作为显示元件发挥作用的右LCD控制部211以及右LCD241、以及右投影光学系统251。右背光源控制部201和右背光源221作为光源发挥作用。右LCD控制部211和右LCD241作为显示元件发挥作用。此外,也将右背光源控制部201、右LCD控制部211、右背光源221以及右LCD241统称为“图像光生成部”。\n[0113] 接收部53作为在控制部10与图像显示部20之间进行串行传输的接收器发挥作用。\n右背光源控制部201基于输入的控制信号来驱动右背光源221。右背光源221例如是LED、电致发光(EL)等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射型液晶面板。\n[0114] 右投影光学系统251由用于使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学影像显示部26的右导光板261使从右投影光学系统251输出的图像光沿着规定的光路反射并导入至使用者的右眼RE。此外,也将右投影光学系统251与右导光板261统称为“导光部”。\n[0115] 左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24包括接收部\n54(Rx54)、作为光源发挥作用的左背光源控制部202(左BL控制部202)以及左背光源222(左BL222)、作为显示元件发挥作用的左LCD控制部212以及左LCD242、以及左投影光学系统\n252。左背光源控制部202与左背光源222作为光源发挥作用。左LCD控制部212与左LCD242作为显示元件发挥作用。此外,也将左背光源控制部202、左LCD控制部212、左背光源222以及左LCD242统称为“图像光生成部”。另外,左投影光学系统252由用于使从左LCD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学影像显示部28的左导光板262使从左投影光学系统252输出的图像光沿着规定的光路反射并导入至使用者的左眼LE。此外,也将左投影光学系统252与左导光板262统称为“导光部”。\n[0116] 图3是表示由图像光生成部射出图像光的样态的说明图。右LCD241通过对配置成矩阵状的各像素位置的液晶进行驱动,使透过右LCD241的光的透过率变化,从而将由右背光源221照射的照明光IL调制成表现图像的有效的图像光PL。左侧也相同。此外,如图3所示,在本实施方式中采用背光源方式,但也可以为使用前光源方式、反射方式来射出图像光的构成。\n[0117] A-2.视线操作输入处理:\n[0118] 图4以及图5是表示视线操作输入处理的流程的说明图。在视线操作输入处理中,若检测到预先决定的使用者的眼皮的状态,则图像显示部20的显示模式移至视线输入模式,使用者能够不使用手而基于眼皮的开闭状态来进行头部佩戴型显示装置100等的控制。\n首先,眼睛拍摄照相机37、38监视在规定期间是否检测到预先决定的使用者的眼皮的状态(步骤S310)。在本实施方式中,预先决定的眼皮的状态是使用者的作为主眼的右眼睁开的状态、和作为副眼的左眼的眼皮闭合的状态的组合。此外,一般而言,主眼与作为副眼的另一方的眼睛相比,容易视觉确认外景,而作为副眼的另一方的眼睛与主眼相比,容易闭合眼皮。因此,在本实施方式中,对于使用者来说,预先决定的眼皮的状态的组合适用性较好。主眼与副眼的另一方的眼睛可以由使用者预先设定,在其他的实施方式中,眼皮的状态的组合也可以不受主眼限定,而是右眼皮与左眼皮的状态的组合。\n[0119] 在步骤S310的处理中,在规定期间没有检测到预先决定的眼皮的状态的情况下(步骤S310:否),眼睛拍摄照相机37、38继续监视眼皮的状态(步骤S310)。若在规定期间检测到预先决定的眼皮的状态(步骤S310:是),则图像显示部20将显示模式移至视线输入模式。(步骤S320)。在视线输入模式下,图像显示部20显示控制用图像。视线输入部175基于包括位置图像的控制用图像和使用者的眼皮的开闭状态来控制头部佩戴型显示装置100、以及与头部佩戴型显示装置100连接的各种装置,其中,位置图像表示与使用者的视线方向对应的位置。此外,包括视线输入模式,在以下所表示的图像显示部20的显示模式中,在移至各显示模式后,即使使用者的两眼皮变化成睁开状态亦即通常状态,也不移至其他的显示模式。图像显示部20只有在检测到用于变更显示模式的特定的眼皮的状态的情况下,才移至其他的显示模式。\n[0120] 接下来,距离传感器63监视距距离传感器63规定距离内的特定对象物的检测(步骤S330)。在未检测到特定对象物的情况下(步骤S330:否),距离传感器63继续监视特定对象物的检测(步骤S330)。若检测到特定对象物(步骤S330:是),则图像判定部142通过图案匹配进行特定对象物是否为预先设定的设定对象物的判定(步骤S340)。在本实施方式中,作为设定对象物,预先设定有人的手掌,但在其他的实施方式中,也可以是手掌以外的对象物,也可以是使用者能够任意地变更设定对象物的方式。\n[0121] 在步骤S340的处理中,在判定为检测到的特定对象物不是设定对象物的情况下(步骤S340:否),距离传感器63再次监视与检测到的特定对象物不同的对象物的检测(步骤S330)。在判定为特定对象物是设定对象物的情况下(步骤S340:是),图像判定部142进行特定对象物的大小是否为预先决定的规定大小以上的判定(步骤S350)。图像显示部20显示根据拍摄到的特定对象物的大小设定的控制用图像。\n[0122] 在判定为特定对象物的大小不是规定大小以上的情况下(步骤S350:否),图像判定部142结合检测到的特定对象物,来调整控制用图像的大小特定对象(步骤S360)。在调整了控制用图像的大小的情况下(步骤S360),或者在步骤S350的处理中判定为控制用图像的大小是规定大小以上的情况下(步骤S350:是),图像显示部20显示包括位置图像的控制用图像,其中,位置图像表示检测出的使用者的视线方向(步骤S370)。\n[0123] 图6是表示调整大小之前的控制用图像CI的一个例子的说明图。图6示出在控制用图像CI的大小被调整之前,假设控制用图像CI被显示于图像显示部20的情况下,使用者视觉确认的视场VR。应予说明,控制用图像CI在被判断为不是规定大小以上的情况下,不被显示于图像显示部20。因此,调整大小之前的控制用图像CI不被使用者视觉确认。如图6所示,在使用者的视场VR中,视觉确认到透过的外景SC,外景SC包括使用者的手掌HD。此外,最大图像显示区域PN表示能够使使用者视觉确认图像显示部20所生成的图像光的最大区域。虽然使用者看不到最大图像显示区域PN的外框,但为了方便起见,在图6中用实线表示最大图像显示区域PN的外框。\n[0124] 在图像显示部20显示控制用图像CI的情况下,首先,图像判定部142检测在通过图案匹配检测出的使用者的手掌HD中,预先设定的拇指的前端SP1、食指的前端SP2、小指的前端SP3的位置。图像显示部20显示以拇指的前端SP1、食指的前端SP2、小指的前端SP3中的至少一个前端为顶点,且以通过剩余两个的前端,与最大图像显示区域PN的横轴以及纵轴平行的线为外框的矩形的控制用图像CI。图6示出以小指的前端SP3为顶点,通过拇指的前端SP1以及食指的前端SP2的矩形的控制用图像CI。图像判定部142通过判定生成的控制用图像CI的外框的纵边以及横边的长度是否为规定的长度以上来判定控制用图像CI是否为规定大小以上。在图6中,由于调整大小之前的控制用图像CI的纵向的外框小于规定长度,所以判定为控制用图像CI不是规定大小以上,图像显示部20调整并显示控制用图像CI的大小。\n[0125] 图7是表示调整了大小之后的控制用图像CI的一个例子的说明图。图7示出图像显示部20显示调整了大小后的控制用图像CI,使用者视觉确认的视场VR。如图7所示,图像显示部20显示进行了使被判定为小于规定长度的纵向的外框延长的调整的控制用图像CI。在图6中,在假设显示了调整大小之前的控制用图像CI的情况下,控制用图像CI生成在最大图像显示区域PN的靠上的部分。因此,在调整了控制用图像CI的大小之后,如图7所示,图像显示部20向下延长显示控制用图像CI的纵向的外框。在本实施方式中,被延长的外框的纵向长度是不足在显示控制用图像CI的情况下预先设定的长度的长度。\n[0126] 如图7所示,在显示的控制用图像CI中包括指示图像(Pointer)P1、键盘KB、输入空间IB1、IB2、检索按钮B1、切换键B2以及菜单切换键B3。指示图像P1是表示控制用图像CI中的与使用者的视线方向对应的位置的位置图像。键盘KB是配置有字母的键盘,使用键盘KB与指示图像P1输入的文字被显示于输入空间IB1、IB2。键盘KB包括用于切换字母的大写和小写的切换键B2。检索按钮B1是基于输入至输入空间IB1、IB2的文字执行在网络上的检索的按钮。菜单切换键B3是用于将控制用图像CI切换到,例如用于显示保存于特定的文件夹的文件的一览表这样的、不同的控制用图像的按钮。并且,与键盘KB所包括的各字母对应的键、检索按钮B1、切换键B2、以及菜单切换键B3相当于技术方案中的对象(object),指示图像P1相当于技术方案中的指示图像。\n[0127] 若显示出控制用图像CI(图4的步骤370),则接下来,视线输入部175监视基于使用者的视线方向与眼皮的状态的输入检测(图5的步骤S380)。在本实施方式中,图像判定部\n142判定被拍摄的使用者的右眼的视线方向,图像显示部20在与右眼的视线方向对应的位置显示指示图像P1。因此,根据使用者的视线方向的变化,变更指示图像P1在控制用图像CI中的位置。视线输入部175在未检测到预先决定的表示决定操作的眼皮的状态的情况下(步骤S380:否),继续监视表示决定操作的眼皮的状态的检测(步骤S380)。\n[0128] 在步骤S380的处理中,在指示图像P1与控制用图像CI的可选择按钮重叠的状态下,且在检测到表示决定操作的眼皮的状态亦即在左眼皮闭合了规定期间的状态下检测到右眼皮眨动的情况下(步骤S380:是),视线输入部175进行输入的操作。视线输入部175决定指示图像P1所重叠的键而进行输入的操作,图像显示部20将输入结果显示于输入空间IB1、IB2(步骤S390)。如图7所示,在输入空间IB1、IB2以字母的大写输入并显示有“A”、“B”、“C”。\n在本实施方式中,若在决定了切换键B2之后,决定字母“a”,则图像显示部20将大写的“A”显示于输入空间IB1、IB2。因此,图7中的输入空间IB1、IB2的输入结果是依次选择了切换键B2、“a”、切换键B2、“b”、切换键B2、“c”的按键的状态。此外,在其他的实施方式中,也可以为若决定切换键B2,则固定地切换其以后的字母的大小写,也可以将键盘KB的各键所显示的小写字母变更为大写的字母进行显示。\n[0129] 接下来,眼睛拍摄照相机37、38对表示结束向输入空间IB1、IB2的输入而进行网络检索的操作的眼皮的状态的检测进行监视(图5的步骤S400)。在未检测到表示进行网络检索的操作的眼皮的状态的情况下(步骤S400:否),继续监视表示决定操作的眼皮的状态的检测(步骤S380)。若检测到表示进行网络检索的操作的决定检索按钮B1的眼皮的状态(步骤S400:是),则控制部10经由无线通信部132进行网络检索,图像显示部20显示检索结果(步骤S410)。若显示检索结果,则与显示控制用图像CI的情况相同,基于图像判定部142判定出的视线方向的变化来变更显示指示图像P1的位置。另外,若检测到表示决定的眼皮的状态,则视线输入部175基于显示出的检索结果中的可选择图标等和指示图像P1的位置进行各种操作。\n[0130] 接下来,眼睛拍摄照相机37、38对表示将显示于图像显示部20的检索结果变更为不同的显示图像的操作的眼皮的状态的检测进行监视(步骤S420)。作为变更显示的检索结果的操作,若在规定的时间内检测到右眼皮闭合的状态且左眼皮睁开的状态(步骤S420:\n是),则眼睛拍摄照相机37、38监视输入的检测(步骤S380)。在未检测到用于变更显示的检索结果的眼皮的状态的情况下(步骤S420:否),眼睛拍摄照相机37、38监视表示结束视线操作输入处理的操作的眼皮的状态的检测(步骤S430)。在未检测到表示结束视线操作输入处理的操作的眼皮的状态的情况下(步骤S430:否),眼睛拍摄照相机37、38监视输入的检测(步骤S380)。作为结束视线操作输入的操作,若检测到使两眼皮闭合了规定的时间之后仅使右眼皮睁开规定的时间的状态(步骤S430:是),则控制部10结束视线操作输入处理。\n[0131] 如以上说明的那样,在本实施方式的头部佩戴型显示装置100中,图像显示部20显示包括指示图像P1、键盘KB、输入空间IB1、IB2、检索按钮B1、切换键B2以及菜单切换键B3的控制用图像CI。视线输入部175基于键盘KB等与指示图像P1的位置关系来控制头部佩戴型显示装置100。因此,在本实施方式的头部佩戴型显示装置100中,使用者即使不使用手,也能够基于使用者的视线方向进行头部佩戴型显示装置100的各种控制,使用者的操作性提高。另外,作为物体,即使没有具有形状的键盘等用户接口,使用者也能够进行头部佩戴型显示装置100的控制,头部佩戴型显示装置100的便携性提高。\n[0132] 另外,在本实施方式的头部佩戴型显示装置100中,眼睛拍摄照相机37、38分别拍摄使用者的右眼以及左眼,图像判定部142判定两眼皮的开闭状态。视线输入部175基于键盘KB与指示图像P1的位置关系选择键盘KB中的字母键,并基于两眼皮的开闭状态进行选择出的键的决定。因此,在本实施方式的头部佩戴型显示装置100中,由于基于使用者的视线方向和两眼皮的开闭状态来控制头部佩戴型显示装置100,所以使用者完全不使用手就能够控制头部佩戴型显示装置100,使用者的操作性提高。另外,由于基于两眼皮的开闭状态的组合进行决定,所以能够向使用者提供与操作的种类对应的较多的决定的组合,使用者的操作性提高。\n[0133] 另外,在本实施方式的头部佩戴型显示装置100中,图像判定部142对距离传感器\n63检测出的对象物进行是否与预先登记的设定对象物相同的图案匹配。通过图像判定部\n142的图案匹配,在特定对象物是预先设定的设定对象物的情况下,图像显示部20显示根据拍摄到的特定对象物的大小设定的控制用图像CI。因此,在本实施方式的头部佩戴型显示装置100中,由于图像判定部142根据识别出的对象物的大小来变更控制用图像CI的大小,所以使用者能够凭感觉调整控制用图像CI的大小,使用者的便利性提高。另外,为了使控制用图像CI从非显示的状态变化为显示的状态,使用者仅将手掌HD伸在眼前即可,所以使用者的便利性提高。\n[0134] B.第二实施方式:\n[0135] 图8是表示第二实施方式中的头部佩戴型显示装置100a的外观构成的说明图。在第二实施方式中,与第一实施方式相比,外景拍摄照相机61a的形状不同,在图像显示部20a形成有跟踪板36。第二实施方式中的外景拍摄照相机61a是单眼照相机,但也可以是立体照相机。在第二实施方式中使用的外景拍摄照相机61a的视场角以光轴为起点,上下分别为40度,左右分别为60度。\n[0136] 跟踪板36检测使用者的手指在跟踪板36的操作面上的操作,并输出与检测内容对应的信号。跟踪板36被配置在使用者将图像显示部20a佩戴于头部的情况下,与右显示驱动部22对置的与使用者的侧头部相反侧的面。作为跟踪板36,能够采用静电式、压力检测式、光学式这类的各种的跟踪板。应予说明,在第二实施方式中,虽然跟踪板36被配置在右显示驱动部22,但在其他的实施方式中,也可以配置在左显示驱动部24,也可以是相对于图像显示部20a可拆装的构成。\n[0137] 图9是表示图像显示部20a中的各种传感器与使用者的眼皮的关系的概况的说明图。图9示出从使用者的头上观察图像显示部20a、和将图像显示部20a佩戴于头部的使用者时的概况。由于右眼拍摄照相机37以及左眼拍摄照相机38分别拍摄使用者的右眼RE以及左眼LE,所以也同时拍摄使用者的右眼皮RL以及左眼皮LL。因此,眼睛拍摄照相机37、38拍摄使用者的两眼皮的开闭状态。\n[0138] 右眼照度传感器45以及左眼照度传感器47分别具备发光元件和受光元件,针对照度传感器45、47的发光,检测来自右眼RE与左光学影像显示部28之间、以及左眼LE与右光学影像显示部26之间的反射光,从而检测照度。\n[0139] 图10是功能性地表示头部佩戴型显示装置100a的构成的框图。在第二实施方式中,与第一实施方式相比,控制部10a中的CPU140a将视线输入部175替换为拍摄设定部176发挥作用这一点不同。\n[0140] 拍摄设定部176基于方向判定部161计算出的角度、照度处理部145的判定、图像判定部142判定出的眼皮的开闭情况以及推断出的视线方向等,来进行外景拍摄照相机61a的各种设定,针对图像显示部20a生成表示拍摄的外景的全部或者一部分的图像信号。方向判定部161根据通过9轴传感器66检测出的使用者的头部的活动能够得知图像显示部20a的朝向,所以能够推断出使用者的视线方向。\n[0141] 图11以及图12是表示拍摄图像显示处理的流程的说明图。在拍摄图像显示处理中,若检测到预先决定的使用者的眼皮的状态,则将图像显示部20a的显示模式移至使用者能够基于眼皮的状态拍摄外景的拍摄调整模式。\n[0142] 图13是表示拍摄图像显示处理中的分配给眼皮的开闭状态的处理的一个例子的说明图。在图13中用一览表示出图像显示部20a的显示模式的转换、以及进行各显示模式中的处理的眼皮的状态。在本实施方式中,例如用于将图像显示部20a的显示模式移至拍摄调整模式的眼皮的状态是使用者的作为主眼的右眼睁开的状态,且作为副眼的左眼的眼皮闭合的状态的组合(眨眼)。\n[0143] 在拍摄图像显示处理中,首先,眼睛拍摄照相机37、38监视在规定的期间是否检测到预先决定的使用者的眼皮的状态(图11的步骤S510)。在规定的期间没有检测到预先决定的眼皮的状态的情况下(步骤S510:否),眼睛拍摄照相机37、38继续监视眼皮的状态(步骤S510)。若在规定的期间检测到预先决定的眼皮的状态(步骤S510:是),则拍摄设定部176将图像显示部20a的显示模式移至拍摄调整模式(步骤S520)。在拍摄调整模式下,拍摄设定部\n176基于使用者的两眼皮的开闭状态以及使用者的右眼的视线方向,在外景拍摄照相机61a所拍摄的外景内,设定生成并保存的图像数据、显示于图像显示部20a的图像。此外,包括拍摄调整模式在内,在以下所表示的图像显示部20a的显示模式中,在移至各显示模式之后,即使使用者的两眼皮返回到通常的状态,只要没有检测到变更显示模式的眼皮的状态,就不移至其他的显示模式。\n[0144] 图14~图20的各图是表示使用者视觉确认的视场VR的一个例子的说明图。图14示出移至拍摄调整模式之前的视场VR,图15示出拍摄调整模式中的视场VR。图14示出使用者透过图像显示部20a视觉确认的外景SC,在外景SC中包括作为被拍摄体的帆船OB。第二实施方式中的最大图像显示区域PN的横向的像素个数是960个,纵向的像素个数是540个,但在其他的实施方式中也可以是不同的像素个数。\n[0145] 在图15中相对于图16,显示有图像显示部20a生成的表示图像数据的范围的图像范围外框IA这一点不同。图像范围外框IA是蓝色的线,在移至拍摄调整模式的初始状态下,与最大图像显示区域PN的外框相同,之后,通过使用者的视线方向等的设定而被变更。在拍摄调整模式下,若变更外景拍摄照相机61a的光学变焦透镜的焦距,则拍摄设定部176在拍摄调整模式下,在焦距为35毫米以上50毫米以下的情况下显示图像范围外框IA。后述焦距小于35毫米以及超过50毫米的情况下的详细内容。此外,图像范围外框IA不限于蓝色的线,也可以是其他的颜色,线的种类可以不同,在能够使使用者视觉确认图像范围外框IA所包围的区域的范围内能够进行各种变形。\n[0146] 若显示图像范围外框IA,则接下来,拍摄设定部176基于受理的操作来指定外景拍摄照相机61a拍摄的外景SC的一部分的区域(图11的步骤S530)。图16示出在拍摄调整模式下,在指定了拍摄的外景SC的一部分的区域的情况下,使用者视觉确认的视场VR。图16示出表示推断出的使用者的视线方向的指示图像PO1、和表示以指示图像PO1为中心的规定的区域的拍摄图像VI1。在拍摄调整模式下,若检测到右眼的半睁状态,则图像显示部20a显示指示图像PO1。若在显示指示图像PO1的状态下变更左眼的视线方向,则左眼拍摄照相机38以及图像判定部142推断视线方向。图像显示部20a基于推断出的视线方向,变更显示指示图像PO1的位置,并将以指示图像PO1为中心,表示预先决定的区域的图像显示于拍摄图像VI1。\n[0147] 若在显示了指示图像PO1的状态下,拍摄设定部176变更焦距,则显示于拍摄图像VI1的图像被放大或者缩小。在本实施方式中,在右眼为半睁的状态的情况下,焦距自动地逐渐增大,若达到某一焦距,则焦距逐渐变小。若图像判定部142检测到右眼从半睁状态向通常的睁开状态的变化,则拍摄设定部176设定为在检测到了右眼是通常的睁开状态的时刻的焦距。在焦距小于35毫米的情况下,图像显示部20a将放大了以指示图像PO1为中心的一部分的区域的外景图像显示于拍摄图像VI1。在焦距超过50毫米的情况下,图像显示部\n20a将缩小了以指示图像PO1为中心的一部分的区域的外景图像显示于拍摄图像VI1。由于在光学变焦透镜的焦距为35毫米以上50毫米以下的情况下,拍摄接近使用者视觉确认的外景SC的大小的外景图像,所以不显示拍摄图像VI1,从而使用者能够在更广的范围内视觉确认外景SC。另外,在光学变焦透镜的焦距小于35毫米、或者超过50毫米的情况下,显示拍摄图像VI1,从而使用者能够确认拍摄的外景图像,并且能够视觉确认外景SC。\n[0148] 图17示出在拍摄调整模式下,在外景拍摄照相机61a的焦距被设定为35毫米以上\n50毫米以下的情况下,使用者视觉确认的视场VR。若将焦距设定为35毫米以上50毫米以下,则拍摄设定部176不显示拍摄图像VI1,而显示以指示图像PO1为中心的图像范围外框IA。此外,在其他的实施方式中,也可以与焦距无关,不显示图像范围外框IA,而继续显示拍摄图像VI1。\n[0149] 接下来,在显示了指示图像PO1的状态下,右眼拍摄照相机37监视表示向拍摄区域固定模式的转移的眼皮的状态的检测,在该拍摄区域固定模式下,固定以指示图像PO1为中心的一部分区域地继续拍摄(图11的步骤S540)。若右眼拍摄照相机37检测到右眼皮闭合了规定期间的状态(步骤S540:是),则拍摄设定部176将图像显示部20a的显示模式移至继续拍摄以指示图像PO1为中心的一部分的区域的拍摄区域固定模式(步骤S550)。\n[0150] 图18示出在拍摄区域固定模式下,使用者进一步抬头时视觉确认的视场VR。拍摄设定部176基于9轴传感器66以及方向判定部161检测出的图像显示部20a的朝向,调整外景拍摄照相机61a相对于图像显示部20a的朝向,使得外景拍摄照相机61a拍摄设定后的指示图像PO1的方向。若调整了外景拍摄照相机61a的朝向,则右眼拍摄照相机37监视表示拍摄外景SC的操作的眼皮的状态的检测(图11的步骤S560)。在未检测到表示拍摄的操作的眼皮的状态的、右眼的眼皮在规定的期间内开闭两次的状态的情况下(步骤S560:否),右眼拍摄照相机37继续监视眼皮的状态(步骤S560)。在步骤S560的处理中,若检测到规定的眼皮的状态(步骤S560:是),则外景拍摄照相机61a拍摄外景SC,并且,拍摄设定部176生成并保存用于表示显示于拍摄图像VI1的外景SC的图像数据(步骤S570)。图像显示部20a将表示生成的图像数据的图像在最大图像显示区域PN中的规定的范围内显示恒定期间后,返回到拍摄区域固定模式。\n[0151] 在步骤S540的处理中,在未检测到移至拍摄区域固定模式的眼皮的状态的情况下(步骤S540:否),在拍摄调整模式下,右眼拍摄照相机37监视与步骤S560的处理相同的表示拍摄的操作的眼皮的状态的检测(步骤S565)。在未检测到表示拍摄的操作的眼皮的状态的情况下(步骤S565:否),右眼拍摄照相机37监视表示向拍摄区域固定模式的转移的眼皮的状态(步骤S540)。在步骤S565的处理中,在检测到表示拍摄的操作的眼皮的状态的情况下(步骤S565:是),外景拍摄照相机61a拍摄外景SC,且拍摄设定部176生成并保存用于表示显示于拍摄图像VI1的外景SC的图像数据(步骤S570)。图像显示部20a将表示生成的图像数据的图像在最大图像显示区域PN中的规定的范围内显示了恒定期间后,返回到拍摄调整模式。\n[0152] 接下来,眼睛拍摄照相机37、38监视表示结束拍摄处理的操作的眼皮的状态的检测(图12的步骤S580)。在表示结束拍摄处理的操作的眼睛拍摄照相机37、38未检测到表示结束拍摄处理的操作的使用者的两眼皮睁开的状态的情况下(步骤S580:否),再次进行步骤S520以后的处理。若眼睛拍摄照相机37、38检测到表示结束拍摄处理的操作的眼皮的状态(步骤S580:是),则监视表示向用于一览显示保存的外景图像的缩略图显示模式的转移的眼皮的状态的检测(步骤S590)。在眼睛拍摄照相机37、38检测到表示用于表示向缩略图显示模式的转移的、两眼皮在规定的期间内眨动三次的情况下(步骤S590:是),拍摄设定部\n176使图像显示部20a的显示模式移至缩略图显示模式(步骤S600)。\n[0153] 图19示出在缩略图显示模式下,使用者视觉确认的视场VR。如图19所示,使用者视觉确认图像显示部20a所显示的拍摄图像IMG1、IMG2和指示图像PO2。在缩略图显示模式下,若眼睛拍摄照相机37、38在规定的期间检测到使用者的右眼闭合且左眼睁开的眼皮的状态(眨动),则图像显示部20a显示指示图像PO2。在显示了指示图像PO2的状态下,若变更使用者的左眼的视线方向,则左眼拍摄照相机38以及图像判定部142推断视线方向。图像显示部\n20a基于推断出的视线方向的变化,变更显示用于表示使用者的视线方向的指示图像PO2的位置。\n[0154] 接下来,左眼拍摄照相机38监视表示从显示于最大图像显示区域PN的拍摄图像IMG1、IMG2中选择一个图像的操作的眼皮的状态的检测(图12的步骤S610)。如图19所示,在指示图像PO2与拍摄图像IMG1重叠的状态下,若表示选择拍摄图像IMG1的操作的左眼拍摄照相机38在规定的期间检测到两次左眼的眨动(步骤S610:是),则拍摄设定部176将图像显示部20a的显示模式移至选择图像放大模式(步骤S620)。\n[0155] 图20示出在选择图像放大模式下,使用者视觉确认的视场VR。如图20所示,在选择了拍摄图像IMG1的选择图像放大模式下,在最大图像显示区域PN的整个区域放大地显示拍摄图像IMG1。在放大地显示拍摄图像IMG1的情况下,眼睛拍摄照相机37、38监视用于表示结束选择图像放大模式的操作的眼皮的状态的检测(图12的步骤S625)。在未检测到表示结束选择图像放大模式的眼皮的状态的、两眼皮闭合恒定期间的状态的情况下(步骤S625:否),继续在最大图像显示区域PN放大显示拍摄图像IMG1。在检测到结束选择图像放大模式的眼皮的状态的情况下(步骤S625:是),拍摄设定部176将图像显示部20a的显示模式移至缩略图显示模式,进行步骤S600以后的处理。\n[0156] 在步骤S590的处理、或者在步骤S610的处理中,在未检测到规定的眼皮的状态的情况下(步骤S590:否,步骤S610:否),眼睛拍摄照相机37、38监视用于表示结束拍摄图像显示处理的操作的眼皮的状态的检测(步骤S630)。在未检测到表示拍摄图像显示处理的结束的从闭合左眼的眨动向闭合右眼的眨动的眼皮变化的状态的情况下(步骤S630:否),再次进行图11的步骤S520以后的处理。若在图12的步骤S630的处理中,若检测到表示拍摄图像显示处理的结束的眼皮的状态(步骤S630:是),则结束拍摄图像显示处理。\n[0157] 如以上说明的那样,在第二实施方式的头部佩戴型显示装置100a中,眼睛拍摄照相机37、38以及图像判定部142检测作为遮挡使用者的视线的遮挡物的眼皮的状态,拍摄设定部176基于图像判定部142解析出的遮挡视线的遮挡物亦即眼皮的检测结果来进行图像显示部20a的操作。因此,在第二实施方式的头部佩戴型显示装置100a中,使用者通过视觉确认并且拍摄外景SC,生成表示外景SC的一部分的区域的图像数据。因此,使用者不用特意观看取景器等,就能够视觉确认并且拍摄外景SC,能够容易地测量拍摄的时机,使用者的便利性提高。另外,由于使用者不触摸控制部10a以及图像显示部20a就能够拍摄外景SC,所以能够抑制抖动地进行拍摄。\n[0158] 另外,在第二实施方式的头部佩戴型显示装置100a中,右眼拍摄照相机37检测使用者的右眼皮的开闭状态,左眼拍摄照相机38检测使用者的左眼皮的开闭状态。拍摄设定部176基于检测到的右眼皮以及左眼皮的开闭状态的组合,来进行头部佩戴型显示装置\n100a的各种操作。因此,在第二实施方式的头部佩戴型显示装置100a中,使用者能够不使用手地使用外景拍摄照相机61a拍摄外景SC,使用者的便利性提高。\n[0159] 另外,在第二实施方式的头部佩戴型显示装置100a中,眼睛拍摄照相机37、38以及图像判定部142推断使用者的视线方向,图像显示部20a显示用于表示推断出的使用者的视线方向的指示图像PO1。拍摄设定部176基于推断出的视线方向和眼皮的检测指定外景SC的一部分的区域,并使图像显示部20a显示表示指定的一部分的区域的图像范围外框IA或者拍摄图像VI1。因此,在第二实施方式的头部佩戴型显示装置100a中,使用者不使用手就能够选择出外景拍摄照相机61a拍摄的一部分的区域,并生成选择出的区域的图像数据,使用者的适用性、便利性、操作性提高。\n[0160] 另外,在第二实施方式的头部佩戴型显示装置100a中,基于眼睛拍摄照相机37、38以及图像判定部142检测出的眼皮的状态来设定外景拍摄照相机61a的焦距。图像显示部\n20a在焦距为35毫米以上50毫米以下的范围的情况下显示图像范围外框IA,在焦距为其以外的范围的情况下显示表示以指示图像PO1为中心的一部分的区域的图像。因此,在本实施方式的头部佩戴型显示装置100a中,使用者不使用手就能够设定生成的图像数据的焦距,所以使用者的便利性提高。另外,在设定的焦距是生成成为与视觉确认的外景SC相同的外景SC的图像数据的焦距的情况下,图像显示部20a通过图像范围外框IA表示生成图像数据的一部分的区域并使使用者透视外景SC。另外,在设定的焦距是生成成为与视觉确认的外景SC不同的外景SC的图像数据的焦距的情况下,图像显示部20a将表示图像数据的图像显示于图像显示部20a。因此,根据使用者视觉确认的外景SC和生成的图像数据的外景SC的比较,来变更图像显示部20a显示的图像,所以使用者的可视性以及操作性提高。\n[0161] C.第三实施方式:\n[0162] 第三实施方式相对于上述实施方式,视线方向的确定方法不同。使用者在凝视特定的点即注视点的情况下,实际上并不是仅凝视注视点这一点,而是凝视以注视点为中心的规定的范围内。将像这样,即使人们想要凝视注视点,但总是不由自主地引起的眼睛的微小的晃动称为固视微动。在第三实施方式中,在固视微动中,基于规定的时间内的眼睛的晃动距注视点的距离、眼睛的晃动的频率确定等来确定视线方向。\n[0163] 在第三实施方式中,图像判定部142通过解析固视微动中的眼睛的晃动来确定使用者的视线方向,并且判定使用者是否正在凝视注视点。图21以及图22是表示固视微动的概况的说明图。图21示出在使用者的左眼LE凝视注视点PC的情况下,在规定的时间内,使用者的左眼LE的晃动ED1(以下也称为“视线方向的晃动ED1”)的晃动范围EC1包括在判定圆JC的情况。判定圆JC是距离注视点PC规定距离R的圆。图22示出与图21不同的、使用者的左眼LE的晃动ED2(视线方向的晃动ED2)的晃动范围EC2未包括于判定圆JC的情况。此外,注视点PC相当于技术方案中的特定的点。另外,左眼LE的晃动ED1、ED2相当于技术方案中的视线的摆动,判定圆JC相当于技术方案中的规定的范围,距离R相当于技术方案中的视线的摆动的振幅。在第三实施方式中,所谓的视线方向指从使用者的眼睛到包括晃动ED1的晃动范围EC1中的任意点的方向。\n[0164] 另外,对于从使用者利用大脑识别出注视点PC,到凝视注视点PC所花费的时间,了解以下情况。图23是表示使用者移动视线方向时的经过时间与视线移动量的关系的一个例子的说明图。图23示出在使用者凝视注视点PC1之后,使视线方向移动到与注视点PC1不同的注视点PC2的情况下,相对于经过时间(s)的视线移动量L1。将以下时刻作为开始时刻测量经过时间,即,从注视点PC1作为应该凝视的点而被以黑点示出的状态开始,在使注视点PC1的位置的黑点为非显示的同时,使注视点PC2的位置的黑点显示的瞬间。如图23所示,使用者在显示注视点PC2的位置的黑点之后,经过约0.3秒(s)后开始移动视线,在经过约0.4(s)后凝视注视点PC2。由此可知,对于使用者来说,从利用大脑识别出新的注视点PC2到开始移动视线花费恒定的时间,并且,从开始移动视线到凝视注视点PC2花费了恒定的时间。\n[0165] 图24是表示使用者移动了视线方向时的相对于经过时间的视线移动量以及移动量变化量的关系的一个例子的说明图。图24除了示出了图23所示的视线移动量L1之外,还示出了相对于经过时间的视线移动量的变化量L2(以下也称为“移动量变化量L2”)。如图24所示,从注视点PC1向注视点PC2的黑点的显示转移后的期间被分为潜伏期间PT1、视线移动期间PT2以及稳定期间PT3。潜伏期间PT1是从注视点PC1向注视点PC2的黑点的显示转移后的约0.3秒的期间。视线移动期间PT2是从潜伏期间PT1结束至视线不移动的期间,是从潜伏期间PT1结束,至从注视点PC1向注视点PC2的黑点的显示转移后约0.7秒的期间。稳定期间PT3是凝视注视点PC2,从而使用者的视线不移动的期间,是视线移动期间PT2结束以后的期间。基于以上所述,在第三实施方式中,作为用于判定使用者是否凝视注视点PC的规定的时间,使用视线移动期间PT2的0.4秒(s),在其他的实施方式中,规定的时间也可以是0.4秒以外的时间。\n[0166] 图像判定部142在被持续拍摄的使用者的眼睛RE、LE中,使用最小平方法,计算作为规定的时间每隔0.4秒期间的注视点PC。图像判定部142判定0.4秒期间内的使用者的眼睛RE、LE的晃动范围是否收纳在计算出的距离注视点PC预先决定的距离R的判定圆JC中。在眼睛RE、LE的晃动范围收纳在判定圆JC中的情况下,图像判定部142判定为使用者注视注视点PC,在眼睛RE、LE的晃动范围未收纳在判定圆JC中的情况下,判定为使用者未注视注视点PC。即,图像判定部142在使用者的眼睛RE、LE的晃动的振幅小于距离R的情况下,判定为使用者注视注视点PC。\n[0167] 图25是表示第三实施方式中的控制用图像显示处理的流程的说明图。控制用图像处理相当于第一实施方式的视线操作输入处理中的步骤S370的处理。控制用图像处理是在不包括指示图像P1的控制用图像CI(图7)显示于最大图像显示区域PN后所进行的处理。首先,图像判定部142判定使用者是否在规定的时间凝视了注视点PC(步骤S372)。在作为规定的时间的0.4秒期间,范围EC2未持续包括于判定圆JC内,判定为未凝视注视点PC的情况下(步骤S372:否),图像判定部142继续监视使用者是否凝视注视点PC(步骤S372)。在0.4秒期间,范围EC1持续收纳于判定圆JC内,而判定为凝视注视点PC的情况下(步骤S372:是),视线输入部175使图像显示部20作为控制用图像CI追加显示指示图像P1(步骤S374)。\n[0168] 接下来,视线输入部175判定指示图像P1在控制用图像CI中是否与可选择的按钮(例如检索按钮B1等)重叠(步骤S376)。例如,在判定为指示图像P1不与任何的可选择的按钮重叠的情况下(步骤S376:否),图像判定部142监视凝视与当前时刻所显示的指示图像P1不同的新的注视点PC(步骤S372)。在第三实施方式中,为了使使用者视觉确认凝视哪个位置,将指示图像P1以恒定时间显示于最大图像显示区域PN,但在其他的实施方式中,也可以为在判定为指示图像P1不与控制用图像CI中的可选择的按钮重叠的时刻,不显示指示图像P1。\n[0169] 在步骤S376的处理中,在判定为指示图像P1与控制用图像CI中的可选择的按钮重叠的情况下(步骤S376:是),图像显示部20弹出显示重叠的可选择的按钮,并且,声音处理部170以及耳机32、34输出表示可选择的按钮的声音。图26是表示使用者视觉确认的视场VR的一个例子的说明图。如图26所示,图像显示部20作为弹出PU较大地显示指示图像P1所重叠的键盘KB中的字母“C”的文字。另外,声音处理部170经由耳机32、34,向使用者输出“C”的声音。\n[0170] 如以上说明的那样,在第三实施方式的头部佩戴型显示装置100中,图像判定部\n142检测相对于从使用者的眼睛RE、LE连结至注视点PC的视线方向的眼睛的晃动,视线输入部175在眼睛RE、LE的晃动范围收纳在判定圆JC中的情况下,作为控制用图像CI显示指示图像P1。因此,在第三实施方式的头部佩戴型显示装置100中,基于考虑了使用者的眼睛的晃动的视线方向进行显示图像的控制,所以能够提高控制的精度。\n[0171] 另外,在第三实施方式的头部佩戴型显示装置100中,图像判定部142在使用者的眼睛RE、LE的晃动的振幅小于判定圆JC的半径亦即距离R的情况下,判定为使用者凝视注视点PC。另外,图像判定部142在眼睛RE、LE的晃动范围收纳在判定圆JC中的情况下,判定为使用者凝视注视点PC。因此,在第三实施方式的头部佩戴型显示装置100中,通过判定圆JC的半径亦即距离R的设定,能够简便地进行使用者是否凝视注视点PC的判定。\n[0172] 另外,在第三实施方式的头部佩戴型显示装置100中,在判定为使用者凝视注视点PC的情况下,声音处理部170在最大图像显示区域PN中,经由耳机32、34,向使用者输出表示注视点PC的指示图像P1所重合的键盘KB中的字母“C”的声音。在该第三实施方式中的头部佩戴型显示装置100中,能够通过声音使使用者识别是使用者能够控制显示图像的状态,使用者的便利性提高。\n[0173] 另外,在第三实施方式的头部佩戴型显示装置100中,在图像显示部20显示控制用图像CI,并判定为使用者凝视注视点PC的情况下,视线输入部175使图像显示部20显示指示图像P1,而成为能够选择控制用图像CI所包含的键盘KB等的按键的状态。因此,在第三实施方式的头部佩戴型显示装置100中,能够防止尽管使用者没有凝视控制用图像CI中的可选择的键,也选择该键的误操作,能够进行反映了使用者的意图的正确的操作。\n[0174] D.变形例:\n[0175] 此外,该发明并不限于上述实施方式,在不脱离其主旨的范围内能够在各种方式中实施,例如,也能够进行如下的变形。\n[0176] D1.变形例1:\n[0177] 图27是表示图像显示部20所显示的控制用图像CIa的一个例子的说明图。图27示出包括使用者视觉确认的外景SC以及显示出的控制用图像CIa的视场VR。控制用图像CIa是表示经由无线通信部132与头部佩戴型显示装置100连接的电视的操作部(遥控器)的图像。\n控制用图像CIa包括切换电视的电源的开/关的电源按钮PW、调节电视的音量的音量按钮Vup、Vdw以及变更电视的频道的频道变更按钮Cup、Cdw。若选择并确定音量按钮Vup,则电视的音量增大规定的数值,若选择并确定音量按钮Vdw,则电视的音量减小规定的数值。若选择并确定频道变更按钮Cup,则电视接收并将频道数设定为与规定的数对应的大的频道数进行接收。若选择并确定频道变更按钮Cdw,则电视接收并将频道数设定与规定的数对应的较的频道数进行接收。另外,控制用图像CIa还包括具有多个按钮的DVD操作按钮群PB,该多个按钮用于进行利用有线与电视连接的DVD播放机的操作。如图27所示,指示图像P1显示在与DVD操作按钮群PB所包含的停止DVD播放机的播放的停止按钮SB重叠的位置。与上述实施方式相同,若眼睛拍摄照相机37、38检测到表示决定的操作的眼皮的状态,则视线输入部\n175停止由DVD播放机播放的内容。在该变形例中,通过使用者的视线方向以及眼皮的状态来操作与头部佩戴型显示装置100连接的装置的调整。\n[0178] 图28是表示图像显示部20所显示的控制用图像CIb的一个例子的说明图。图28示出包括使用者视觉确认的外景SC以及显示的控制用图像CIb的视场VR。图28所示的控制用图像CIb是一览显示与存储于存储部120的视频、音乐内容相关联的用文字来表达的多个图标图像的图像。控制用图像CIb由光标图像C1、一览表图像C2以及指示图像P1构成。在该变形例中,光标图像C1是呈十字的形状,是能够选择上下左右的方向的图像。如图28所示,若在指示图像P1与指示十字的右方向的箭头的部分重叠的状态下,检测到表示确定的操作的眼皮的状态,则在一览表图像C2中,用于表示选择地图的图标图像的选择显示图像SI向右移动一次。在该变形例中,在一览表图像C2中,在地图的图标图像的右侧没有其他的图标图像,所以选择显示图像SI循环而移动至左侧的邮件的图标图像,与邮件的图标图像重叠地显示。另外,在该变形例中,即便不在将指示图像P1重叠在光标图像C1的十字方向的其中一个方向上的状态下进行确定的操作,也能够在将指示图像P1重叠到一览表图像C2的其中一个图标图像上的状态下选择并确定特定的图标图像。若在特定的图标图像与选择显示图像SI重叠地显示的状态下,且在指示图像P1与决定键RB重叠的状态下进行确定的操作,则确定与选择显示图像SI重叠地显示的图标图像,并进行与该图标图像相关联的操作。\n[0179] D2.变形例2:\n[0180] 另外,在上述实施方式中,基于眼皮的开闭状态检测确定的操作,但检测确定的操作的方法并不限于眼皮的开闭状态,能够进行各种变形。即使是眼皮睁开的状态,也可以基于使用者视觉确认的外景的颜色、照度来进行各种操作。在该变形例中,照度传感器45、47检测假定被使用者的右眼以及左眼视觉确认的外景的照度。因此,即使使用者不闭合眼皮,例如若通过使用者的手掌覆盖左光学影像显示部28的表面,则左眼视觉确认不到外景图像,所以左眼照度传感器47检测到比右眼照度传感器45检测到的照度小的值的照度。在照度处理部145判定为由左眼照度传感器47检测出的照度比由右眼照度传感器45检测出的照度小规定的阈值以上的情况下,视线输入部175进行与上述实施方式中的左眼皮闭合的状态相同的操作。因此,在该变形例的头部佩戴型显示装置100中,在使用者疲于基于眼皮的状态的操作的情况下,能够使用手掌等身体的一部分凭感觉进行操作,使用者的便利性提高。\n[0181] 另外,在其他的变形例中,也可以替换照度传感器45、47,配置用于检测右眼以及左眼的视线方向的RGB数据的RGB彩色传感器。还可以根据分别与右眼以及左眼对应的RGB彩色传感器检测出的值,来进行各种操作。例如,在覆盖左光学影像显示部28的表面的情况下,与左眼对应的RGB彩色传感器检测表示接近黑色的颜色的RGB数据。相反,在与右眼对应的RGB彩色传感器检测出的RGB数据不表示接近黑色的颜色的情况下,也可以判定为是使用者的左眼皮闭合的状态。\n[0182] D3.变形例3:\n[0183] 另外,在上述实施方式中,假设控制用图像CI显示在预先决定的位置,但无需将显示控制用图像CI的位置固定在预先决定的位置等,对于控制用图像CI的显示位置以及显示位置的变更方法能够进行各种变形。在该变形例的头部佩戴型显示装置100中,9轴传感器\n66以及方向判定部161推断使用者的头部的方向,并计算推断出的头部的方向与重力方向所成的角度。例如,在使用者抬头,方向判定部161计算出的角度是规定的角度以上的情况下,图像显示部20在最大图像显示区域PN中的上方的部分以外显示控制用图像CI。因此,在该变形例的头部佩戴型显示装置100中,使用者变更头部的方向,推断出使用者变更了想要视觉确认的对象,在不妨碍使用者的视野的位置自动地显示控制用图像CI,所以提高使用者的便利性。\n[0184] 另外,也可以为图像显示部20基于使用者的视线方向、眼皮的开闭状态等变更显示控制用图像CI的位置。例如,也可以为在眼睛拍摄照相机37、38检测出仅使用者的右眼皮闭合了规定的时间的状态后,若在某一恒定的期间内,检测出仅左眼皮闭合了规定的时间的状态,则基于使用者的视线方向来变更控制用图像CI在最大图像显示区域PN中的位置。\n在该变形例的头部佩戴型显示装置100中,由于能够不使用手等设定基于使用者的意思显示控制用图像CI的位置,所以使用者的操作性以及便利性提高。\n[0185] 另外,在上述实施方式中,若检测作为设定对象物的手掌HD,则根据拍摄到的手掌HD的大小来显示控制用图像CI,但设定对象物与控制用图像CI的关系并不局限于此,能够进行各种变形。例如,也可以根据拍摄到的手掌HD的大小、形状来变更显示的控制用图像CI的种类。另外,也可以基于拍摄到的手掌HD与图像显示部20的位置关系,将控制用图像CI的显示位置设定在最大图像显示区域PN的中心以外。在该变形例中,能够基于拍摄到的设定对象物的位置、大小,以在较多的区域不重合的方式使使用者视觉确认透过的外景SC与控制用图像CI,使用者的便利性提高。\n[0186] D4.变形例4:\n[0187] 另外,在上述实施方式中,通过距离传感器63检测距距离传感器63在规定距离内的对象物,但头部佩戴型显示装置100未必需要具备距离传感器63,能够对头部佩戴型显示装置100的构成进行各种变形。例如,也可以为外景拍摄照相机61以及图像判定部142与和对象物的距离无关地对拍摄到的对象物进行图案匹配,从而判定是否是设定对象物。\n[0188] 另外,在上述实施方式中,通过眼睛拍摄照相机37、38以及图像判定部142判定眼皮的开闭状态,但检测遮挡使用者的视线方向的遮挡物的方法并不局限于此,能够进行各种变形。例如,也可以替换眼睛拍摄照相机37、38,使用红外线传感器。红外线传感器将发出的红外线在使用者的眼睛或者眼皮处反射,并基于反射的反射光判定使用者的眼皮的开闭状态。另外,图像判定部142也可以不基于图案匹配,而是将眼睛拍摄照相机37、38所获取的图像的RGB数据二值化成黑和白,基于二值化的数据判定使用者的眼皮的开闭状态。\n[0189] 另外,眼睛拍摄照相机37、38也可以具备稳定器功能。通过稳定器功能,眼睛拍摄照相机37、38例如在使用者步行中的情况下,减轻因步行产生的摇晃,能够更加正确地检测并判定出眼皮的状态。\n[0190] 另外,也可以是基于操作部135和检测出的眼皮的状态来抑制电源130的电力消耗的方式。例如,也可以在操作部135中的跟踪板14受理来自使用者的操作的情况下,停止对检测使用者的眼皮的状态的眼睛拍摄照相机37、38以及照度传感器45、47的电力供给。另外,也可以在通过使用者的视线方向以及眼皮的状态来操作头部佩戴型显示装置100以及与头部佩戴型显示装置100连接的装置的情况下,停止对操作部135的电力供给。在该变形例中,通过在利用操作部135与控制用图像CI中的一方的操作部受理来自使用者的操作的情况下,停止对未受理操作的操作部的电力,能够抑制头部佩戴型显示装置100所消耗的电力。另外,也可以替换控制部10,例如与智能手机那样的移动终端连接,并抑制连接的移动终端的电力消耗。\n[0191] 另外,在上述实施方式中,视线输入部175基于使用者的视线方向以及眼皮的状态进行头部佩戴型显示装置100的操作,但操作头部佩戴型显示装置100的方法未必局限于此,能够进行各种变形。例如,眼睛拍摄照相机37、38以及图像判定部142也可以仅检测使用者的视线方向,基于视线方向选择控制用图像CI所包括的任意的键,以操作部135所包含的任意的按钮进行确定。另外,也可以不是操作部135所包括的按钮,而是另外另行具备的用户接口,还可以是形成于图像显示部20的确定按钮等。在该变形例中,仅利用视线方向进行选择,不以眼皮的状态,而是以操作部135所具备的按钮等进行确定,所以使用者能够简单地进行确定的操作,使用者的便利性以及操作性提高。\n[0192] 另外,在上述实施方式中,作为与技术方案中的对象相当的具体例,例举与键盘KB所包括的各字母对应的键、检索按钮B1、切换键B2、以及菜单切换键B3,作为与技术方案中的指示图像相当的具体例,以指示图像P1为例进行了说明,但对于对象以及指示图像能够进行各种变形。例如,作为技术方案中的对象或者指示图像,也可以是像记号、标识、标记、符号、选择按钮、软键、以及软键盘这样,改变了形状、颜色、以及图形等的方式。\n[0193] 另外,在上述实施方式中,眼睛拍摄照相机37、38检测距距离眼睛拍摄照相机37、\n38在规定距离,处于视线方向上方的眼皮的开闭,但也可以不必检测处于规定距离内的眼皮等遮挡物。例如,通过检测存在于到规定距离的恒定的范围内的遮挡物,进行与检测眼皮的开闭相同的操作。\n[0194] D5.变形例5:\n[0195] 另外,外景拍摄照相机61也可以配置于控制部10,还可以与控制部10、图像显示部\n20分立设置,例如配置在使用者佩戴的头盔的上部等。\n[0196] 另外,在上述实施方式中,如图2所示,9轴传感器66、距离传感器63、外景拍摄照相机61、眼睛拍摄照相机37、38、以及照度传感器45、47被配置于图像显示部20,但未必需要配置于图像显示部20,能够对配置进行各种变形。例如,右眼睛拍摄照相机37、38也可以与图像显示部20分立设置,与图像显示部20分立地佩戴于头部的方式,也可以以可拆装的方式形成于图像显示部20。\n[0197] 在上述实施方式中,在控制部10形成有操作部135,但能够对操作部135的方式进行各种变形。例如,也可以是与控制部10分体存在作为操作部135的用户接口的方式。在这种情况下,操作部135与形成有电源130等的控制部10分立设置,所以能够小型化,使用者的操作性提高。另外,检测操作部135的动作的9轴传感器形成于操作部135,基于检测出的动作进行各种操作,从而使用者能够凭感觉进行头部佩戴型显示装置100的操作。\n[0198] 例如,图像光生成部也可以为具备有机EL(有机电致发光,Organic Electro-Luminescence)的显示器、和有机EL控制部的构成。另外,例如图像生成部也可以替换LCD而使用LCOS(Liquid crystal on silicon:硅基液晶,LCoS是注册商标)、数字微镜设备等。另外,例如,也能够将本发明应用于激光网膜投影型的头戴式显示器。在激光网膜投影型的情况下,所谓的“图像光生成部中的图像光的可射出区域”能够定义为被使用者的眼睛识别的图像区域。\n[0199] 另外,例如,头戴式显示器也可以为光学影像显示部仅覆盖使用者的眼睛的一部分的方式的头戴式显示器,换言之,也可以为光学影像显示部没有完全覆盖使用者的眼睛的方式的头戴式显示器。另外,头戴式显示器也可以是所谓的单眼式的头戴式显示器。\n[0200] 另外,耳机也可以采用耳钩式、头戴型,也可以省略。另外,例如也可以构成为安装于汽车、飞机等车辆的头戴式显示器。另外,例如也可以构成内置于头盔等的身体防护具的头戴式显示器。\n[0201] D6.变形例6:\n[0202] 图29是表示在拍摄调整模式下使用者视觉确认的视场VR的一个例子的说明图。图\n29示出在使用者使脖子向右倾斜的状态下,即使用者的头部的方向相对于重力方向倾斜而与水平面所成的角度小于90度的状态下,使用者视觉确认的视场VR。在图29所示的拍摄图像VI2中示出在将外景拍摄照相机61a的光轴设为与和重力方向正交的水平面平行的轴的情况下,拍摄的外景图像。在该变形例中,方向判定部161以及9轴传感器66推断出使用者的头部的方向,方向判定部161计算推断出的头部的方向与重力方向所成的角度。方向判定部\n161在计算出的角度是规定的角度以上的情况下,拍摄设定部176修正与计算出的角度对应的量,显示图像显示部20a所显示的拍摄图像VI2。此外,对于重力方向或者水平面与使用者的头部的方向所成的角度并不限于图29所示的例子,能够进行各种变形。例如,在检测出使用者使脖子上下倾斜规定的角度以上的状态的情况下,也可以对拍摄图像VI2所显示的图像进行修正。此外,拍摄图像VI2是修正了与计算出的角度对应的量的外景图像,但也可以不进行角度的修正,而是基于计算出的角度,使外景拍摄照相机61a相对于图像显示部20a变更方向,且外景拍摄照相机61a将与水平面平行的轴作为光轴拍摄外景SC。\n[0203] 在该变形例中的头部佩戴型显示装置100a中,9轴传感器66以及方向判定部161检测使用者的头部相对于重力方向的方向,在检测出的重力方向与头部的方向所成的角度是规定的角度以上的情况下,显示外景拍摄照相机61a以与和重力方向正交的水平面平行的轴为光轴拍摄的外景SC。因此,在该变形例中的头部佩戴型显示装置100a中,例如即使在使用者扭头而暂时变更了头部的方向的情况下,也能够拍摄与假定为使用者想要拍摄的水平面平行的外景SC,所以使用者的适用性提高。\n[0204] D7.变形例7:\n[0205] 另外,在上述实施方式中,基于眼睛拍摄照相机37、38检测出的眼皮的开闭状态进行图像显示部20a的显示模式的设定、以及拍摄的外景SC中的一部分的区域的设定等操作,但这些操作也可以根据眼皮的开闭状态以外的遮挡使用者的视线方向的遮挡物的检测结果来进行。例如,即使是使用者的两眼皮睁开的状态,也可以基于使用者视觉确认的外景SC的颜色、照度来进行图像显示部20a以及外景拍摄照相机61a的操作。在该变形例中,照度传感器45、47检测假定为被使用者的右眼以及左眼视觉确认的外景SC的照度,并基于检测出的照度的数值进行操作。即使使用者不闭合眼皮,例如若利用使用者的手覆盖左光学影像显示部28的表面,则被左眼照度传感器47检测出的照度的数值比被右眼照度传感器45检测出的照度的数值小。在这种情况下,照度处理部145进行与上述实施方式中的图像判定部\n142闭合左眼皮的状态相同的判定,拍摄设定部176基于该判定进行图像显示部20a以及外景拍摄照相机61a的操作。另外,照度传感器45、47进行恒定期间中的照度的检测,照度处理部145通过比较两个时刻的照度之差,可以替换上述实施方式中的眼皮的开闭状态,进行图像显示部20a以及外景拍摄照相机61a的操作。\n[0206] 在该变形例的头部佩戴型显示装置100a中,照度传感器45、47检测分别从使用者的右眼和左眼到用手覆盖光学影像显示部26、28的表面的位置的规定的范围的照度,拍摄设定部176基于该检测结果进行图像显示部20a等的操作。因此,在该变形例的头部佩戴型显示装置100a中,在使用者疲于通过眨动等眼皮的状态的变化进行的操作的情况下,使用手掌等身体的一部分,能够凭感觉进行与眼皮的状态的变化相同的操作,使用者的便利性提高。\n[0207] 另外,分别配置于右眼以及左眼的RGB彩色传感器也可以检测分别从使用者的右眼以及左眼到光学影像显示部26、28的表面的范围中的RGB数据。拍摄设定部176也可以基于由分别与右眼以及左眼对应的RGB彩色传感器检测出的值来进行各种操作。例如,在利用使用者的手覆盖左光学影像显示部28的表面的情况下,与左眼对应的RGB彩色传感器检测表示接近黑色的颜色的RGB数据。与此相对,也可以在与右眼对应的RGB彩色传感器检测出的RGB数据是在白天的晴天下表示白色的RGB数据的情况下,判定为与上述实施方式中的使用者的左眼皮闭合的眨动相同。\n[0208] 另外,也可以替换照度传感器45、47而配置红外线传感器。也可以通过红外线传感器的受光部检测从红外线传感器发出的红外线在遮挡视线方向的遮挡物反射的反射光,替换上述实施方式中的眼皮的开闭状态,进行图像显示部20a以及外景拍摄照相机61a的操作。在该变形例中,即使在夜晚的较暗的场所也能够检测遮挡物,使用者的便利性提高。\n[0209] 另外,在上述实施方式中,在使用者的右眼是半睁的状态的情况下,自动地变更光学变焦透镜的焦距,但焦距的调整方法并不局限于此,能够进行各种变形。例如,若利用使用者的手覆盖左光学影像显示部28的表面,则也可以是根据左眼照度传感器47所检测出的照度的变化,来使焦距逐渐增大的设定。另外,若利用使用者的手覆盖右光学影像显示部26的表面,则也可以是根据右眼照度传感器45检测出的照度的变化,使焦距逐渐变小的设定。\n[0210] 另外,在上述实施方式中,外景拍摄照相机61a形成为能够相对于图像显示部20a变更拍摄的方向,但也可以固定于图像显示部20a,也可以与图像显示部20a分立设置地形成。另外,外景拍摄照相机61a能够变更光学变焦透镜的焦距,但也可以是通过数字变焦,生成放大了拍摄范围的一部分的图像的方式。\n[0211] D8.变形例8:\n[0212] 另外,在上述实施方式中,为在图像显示部20a的显示模式是拍摄区域固定模式的情况下,确定拍摄的外景SC所包括的一部分的区域的方式,但也可以是图像判定部142识别特定对象,从而外景拍摄照相机61a跟踪拍摄识别出的特定对象的方式。在该变形例中,若基于眼皮的状态、视线方向来选择拍摄的外景SC所包括的特定对象,则图像判定部142识别特定对象物。图像判定部142从恒定期间拍摄的外景图像内,在多个时刻计算外景图像中的特定对象物的变化,从而基于计算出的变化来确定特定对象物。之后,在拍摄的外景SC中包括特定对象物的情况下,拍摄设定部176设定包括特定对象物的外景SC的一部分的区域。外景拍摄照相机61a相对于图像显示部20a变更方向,并拍摄设定的一部分的区域,且图像显示部20a显示包括特定对象物的外景SC。另外,例如,在识别出的特定对象物的移动速度迅速增大,且拍摄的外景SC中未包括有特定对象物的情况下,拍摄设定部176基于拍摄的外景SC中包括特定对象物时的特定对象物的移动变化,来推断特定对象物的位置。外景拍摄照相机61a朝向推断出的特定对象物的位置变更拍摄的方向并拍摄。\n[0213] 在该变形例中的头部佩戴型显示装置100a中,即使不在特定对象物上佩戴发送器等,也能够图像识别特定对象物,从而自动地跟踪拍摄特定对象物,所以使用者的适用性以及操作性提高。另外,即使拍摄的包括特定对象物的外景图像与视觉确认的外景SC不同,也显示于图像显示部20a,所以使用者在想要拍摄包括特定对象物的外景SC的情况下,无需视觉确认特定对象物,使用者的便利性提高。另外,即使是特定对象物从拍摄的外景SC偏离的情况下,也能够自动地推断出特定对象物的位置,拍摄包括特定对象物的外景SC,所以使用者的便利性提高。\n[0214] D9.变形例9:\n[0215] 另外,在上述实施方式中,外景拍摄照相机61a保存拍摄外景SC而得的外景图像,但拍摄的图像并不局限于在特定的时刻的静态图像的图像,也可以是视频。还可以是基于检测出的眼皮的开闭状态以及推断出的使用者的视线方向,将图像显示部20a的模式变更为拍摄图像的模式、和录制视频的模式的方式。\n[0216] 另外,在上述实施方式中,根据由右眼拍摄照相机37以及图像判定部142检测出的使用者的右眼的开闭状态来设定外景拍摄照相机61a的焦距,但设定焦距的操作并不局限于此,能够进行各种变形。例如,也可以为在拍摄调整模式下,使用者的手指触摸配置于图像显示部20a的跟踪板36,从而显示指示图像PO1,再基于使用者的手指的动作设定焦距。例如,也可以为触摸跟踪板36的使用者的手指从右耳向使用者的前方的方向移动,从而图像显示部20a将放大了以指示图像PO1为中心的一部分的区域的外景图像显示于拍摄图像VI1。相反,还可以为触摸跟踪板36的使用者的手指从使用者的前方向右耳的方向移动,从而图像显示部20a将缩小了以指示图像PO1为中心的一部分的区域的外景图像显示于拍摄图像VI1。\n[0217] D10.变形例10:\n[0218] 在固视微动中有漂移、抖动、以及滑动。漂移是较小的平滑动作,抖动是非常小的高频的振动。滑动是小的跳动那样的动作,且是减小跳动的动作。图像判定部142也可以通过对漂移、抖动以及滑动的至少一个频率特性进行解析,来确定出距离R、注视点PC,判定使用者是否凝视注视点PC。\n[0219] 如上述第三实施方式中的图24所示,使用者从注视点PC1向注视点PC2移动凝视的视线位置,需要至少潜伏期间PT1和视线移动期间PT2相加的约0.7秒钟。因此,对于使用者凝视注视点PC的判定也可以使用视线移动期间PT2的0.4秒,使用者是否移动凝视的注视点PC的判定也可以使用0.7秒。例如,从使用者凝视注视点PC1的状态至变化成凝视注视点PC2的状态,作为阈值也可以设定0.7秒。在该情况下,在0.7秒以下的时间内,在注视点PC的位置发生了变化的情况下,判断为该变化不是使用者的意图。此外,用于使用者是否移动了凝视的注视点PC的判定的阈值并不局限于0.7秒,例如也可以是1秒的期间。\n[0220] 另外,在上述第三实施方式中,如图26所示,在判定为指示图像P1与控制用图像CI中的可选择的按钮重合的情况下,弹出显示重合的可选择的按钮,但可选择的按钮与指示图像P1的显示方法并不局限于此,能够进行各种变形。例如,在选择了某个按钮的情况下,可以闪烁显示弹出显示、或者放大显示弹出显示。另外,也可以对指示图像P1附近的按钮显示判定为指示图像P1与可选择的按钮重合的范围,也可以对全部的按钮显示判定的范围。\n另外,也可以在最大图像显示区域PN显示图21或者图22所示的判定圆JC、注视点PC、以及范围EC1的关系。通过显示这些,能够根据判定圆JC与范围EC1的关系使使用者视觉确认使用者是否凝视注视点PC的程度,使用者的便利性提高。另外,由于使用者视觉确认到计算出的注视点PC,从而能够抑制使用者不希望的按钮的选择,能够减少使用者的误操作。\n[0221] 另外,在上述第三实施方式的头部佩戴型显示装置100中,也可以通过使用者操作操作部135等,来任意地设定视线移动期间PT2的秒数、判定圆JC中的距离R。在该变形例的头部佩戴型显示装置100中,使用者能够任意地变更与视线方向的特定有关的设定,使用者的便利性进一步提高。\n[0222] 另外,也可以根据使用者的年龄、性别这样的个人差异、使用者使用头部佩戴型显示装置100的环境的亮度等,根据分类成多个图案的视线移动期间PT2的秒数、判定圆JC中的距离R中选择出最佳的图案。这些图案可以通过操作部135等的操作、基于使用者的视线方向的各种操作来设定。另外,也可以根据由使用者注视注视点PC的时间、使用者的眼睛的眨动来变更设定这些图案的设定模式、和通常的显示模式等。另外,在头部佩戴型显示装置\n100与个人计算机(PC)连接时,也可以根据基于使用者的视线方向的各种操作、视线方向的变化速度来设定附属于PC的鼠标的追随性。\n[0223] 另外,在上述第三实施方式中,在判定为指示图像P1与控制用图像CI中的可选择的按钮重合的情况下,弹出显示重合的可选择的按钮,并且输出表示可选择的按钮的声音,但未必需要进行弹出显示和声音输出的双方。例如,也可以只进行弹出显示,还可以只进行声音输出。另外,对于声音输出,无需将声音输出至右耳机32与左耳机34的双方,也可以仅输出至一方。另外,能够对弹出的显示、输出的声音进行各种变形。例如,也可以在进行弹出显示的同时,在声音中输出“可以输入”这样的声音。\n[0224] 另外,在通过眼皮的开闭确定规定的处理时、判定为使用者凝视注视点PC时,可以通过声音输出来通知使用者,也可以使注视点PC或者最大图像显示区域PN中的至少一部分的区域闪烁。另外,也可以替换声音输出、闪烁,图像显示部20、控制部10通过振动通知使用者,还可以将指示图像P1固定规定的时间来通知使用者。\n[0225] D11.变形例11:\n[0226] 上述实施方式中的头部佩戴型显示装置100的构成只是一个例子,能够进行各种变形。例如,也可以省略设置于控制部10的方向键16、跟踪板14的一方,或者在方向键16、跟踪板14的基础上设置操作杆等其他的操作用接口,或替换方向键16、跟踪板14而设置操作杆等其他的操作用接口。另外,控制部10也可以是能够连接键盘、鼠标等输入设备的构成,并从键盘、鼠标受理输入。\n[0227] 另外,作为图像显示部,也可以替换像眼镜那样佩戴的图像显示部20,例如采用像帽子那样佩戴的图像显示部这类的其他的方式的图像显示部。另外,可以适当地省略耳机\n32、34、外景拍摄照相机61。另外,在上述实施方式中,作为生成图像光的构成,利用LCD和光源,但也可以替换这些,采用有机EL显示器这样的其他的显示元件。另外,在上述实施方式中,作为检测使用者的头的动作的传感器,利用9轴传感器66,但也可以将其替换,利用由加速度传感器、角速度传感器、地磁传感器中的一个或者两个构成的传感器。另外,在上述实施方式中,头部佩戴型显示装置100为双眼式的光学透视型,但本发明例如也能够同样地应用于视频透视型、单眼式这样的其他的形式的头部佩戴型显示装置。\n[0228] 图30是表示变形例中的头部佩戴型显示装置的外观构成的说明图。图30(A)的例子的情况与图1所示的头部佩戴型显示装置100的差别在于,图像显示部20b替换右光学影像显示部26而具备右光学影像显示部26b这一点、和替换左光学影像显示部28而具备左光学影像显示部28b这一点。与上述实施方式的光学部件相比,右光学影像显示部26b较小地形成,被配置在佩戴头部佩戴型显示装置100b时的使用者的右眼的斜上方。同样,与上述实施方式的光学部件相比,左光学影像显示部28b较小地形成,被配置在佩戴头部佩戴型显示装置100b时的使用者的左眼的斜上方。图30(B)的例子的情况与图1所示的头部佩戴型显示装置100的差别在于,图像显示部20c替换右光学影像显示部26而具备右光学影像显示部\n26c这一点、和替换左光学影像显示部28而具备左光学影像显示部28c这一点。与上述实施方式的光学部件相比,右光学影像显示部26c较小地形成,被配置在佩戴头戴式显示器时的使用者的右眼的斜下方。与上述实施方式的光学部件相比,左光学影像显示部28c较小地形成,被配置在佩戴头戴式显示器时的使用者的左眼的斜下方。像这样,只要将光学影像显示部配置在使用者的眼睛的附近即可。另外,形成光学影像显示部的光学部件的大小也是任意的,能够作为光学影像显示部仅覆盖使用者的眼睛的一部分的方式的头部佩戴型显示装置100来实现,换言之,能够作为光学影像显示部不完全覆盖使用者的眼睛的方式的头部佩戴型显示装置100来实现。\n[0229] 另外,在上述实施方式中,头部佩戴型显示装置100也可以将表示相同的图像的图像光导入使用者的左右眼而使使用者视觉确认二维图像,也可以将表示不同的图像的图像光导入使用者的左右眼而使使用者视觉确认三维图像。\n[0230] 另外,在上述实施方式中,也可以将通过硬件来实现的构成的一部分置换为软件,相反,也可以将通过软件来实现的构成的一部分置换为硬件。例如,在上述实施方式中,通过CPU140读出并执行计算机程序来实现图像处理部160、声音处理部170,但这些功能部也可以通过硬件电路来实现。\n[0231] 另外,在利用软件来实现本发明的功能的一部分或者全部的情况下,能够以储存于计算机可读取的记录介质的方式来提供该软件(计算机程序)。在该发明中,所谓的“计算机可读取的记录介质”并不局限于软盘、CD-ROM那样的便携式的记录介质,也包括各种RAM、ROM等计算机内的内部存储装置、硬盘等固定于计算机的外部存储装置。\n[0232] 另外,在上述实施方式中,如图1以及图2所示,控制部10与图像显示部20分别作为独立的构成而形成,但控制部10和图像显示部20的构成不限于此,能够进行各种变形。例如,也可以在图像显示部20的内部形成形成于控制部10的构成的全部,也可以形成其一部分。另外,也可以单独地形成上述实施方式中的电源130,使其是能够更换的构成,形成于控制部10的构成也可以重合地形成于图像显示部20。例如,图2所示的CPU140也可以形成于控制部10与图像显示部20的双方,还可以是将形成于控制部10的CPU140和形成于图像显示部\n20的CPU所实现的功能分别划分开的构成。\n[0233] 另外,也可以是将控制部10内置于个人计算机(PC),并替换PC的显示器而使用图像显示部20的方式,也可以是将控制部10与图像显示部20一体化,并安装在使用者的衣服上的可穿戴式计算机的方式。\n[0234] 本发明并不限于上述实施方式、变形例,能够在不脱离其主旨的范围内以各种构成来实现。例如,为了解决上述课题的一部分或者全部,或者为了实现上述的效果的一部分或者全部,能够将与发明的摘要栏中所记载的各方式中的技术特征对应的实施方式、变形例中的技术特征适当地进行更换、组合。另外,若该技术特征在本说明书中没有作为必须的特征进行说明,能够适当地删除。\n[0235] 符号说明\n[0236] 10…控制部;11…决定键;12…点亮部;13…显示切换键;14…跟踪板;15…亮度切换键;16…方向键;17…菜单键;18…电源开关;20…图像显示部;21…右保持部;22…右显示驱动部;23…左保持部;24…左显示驱动部;26…右光学影像显示部;28…左光学影像显示部;30…耳机插头;32…右耳机;34…左耳机;37…右眼拍摄照相机(检测部);38…左眼拍摄照相机(检测部);40…连接部;42…右软线;44…左软线;45…右眼照度传感器(检测部);\n46…连结部件;47…左眼照度传感器(检测部);48…主体软线;51、52…发送部;53、54…接收部;61…外景拍摄照相机;63…距离传感器(图像识别部);66…9轴传感器(朝向检测部);\n100…头部佩戴型显示装置;110…输入信息获取部;120…存储部;130…电源;132…无线通信部;135…操作部;140…CPU;142…图像判定部(检测部、图像识别部);145…照度处理部(检测部);150…操作系统;160…图像处理部;161…方向判定部(朝向检测部);170…声音处理部;175…视线输入部(控制部);180…接口;190…显示控制部;201…右背光源控制部;\n202…左背光源控制部;211…右LCD控制部;212…左LCD控制部;221…右背光源;222…左背光源;241…右LCD;242…左LCD;251…右投影光学系统;252…左投影光学系统;261…右导光板;262…左导光板;VSync…垂直同步信号;HSync…水平同步信号;PCLK…时钟信号;\nData…图像数据;USB接口…微型;P1、PO1、PO2…指示图像(指示图像);B1…检索按钮(对象);B2…切换键(对象);B3…菜单切换键(对象);C1…光标图像;C2…一览表图像;CI、CIa、CIb…控制用图像;KB…键盘;RB…决定键(对象);PB…DVD操作按钮群;SB…停止按钮(对象);SC…外景;HD…手掌;RE…右眼;LE…左眼;SI…选择显示图像;EL…端部;IL…照明光;\nPL…图像光;PN…最大图像显示区域;VR…视场;PW…电源按钮(对象);IB1、IB2…输入空间;SP1…拇指的前端;SP2…食指的前端;SP3…小指的前端;Vup、Vdw…音量按钮(对象);\nCup、Cdw…频道变更按钮(对象);IMG1、IMG2、VI1、VI2…拍摄图像;IA…图像范围外框;OB…帆船;RL…右眼皮;LL…左眼皮;PC、PC1、PC2…注视点(特定的点);ED1、ED2…视线方向的晃动(视线的摆动);JC…判定圆(规定的范围);EC1、EC1…晃动范围;L1…视线移动量;PT1…潜伏期间;PT2…视线移动期间;PT3…稳定期间;R…距离(视线的摆动的振幅)。
法律信息
- 2019-01-04
- 2016-02-03
实质审查的生效
IPC(主分类): G02B 27/01
专利申请号: 201410108223.X
申请日: 2014.03.21
- 2014-10-01
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |