操作输入装置及操作输入方法

1.一种操作输入装置，其特征在于，包括：
指示空间设定单元，设定连接展开面与位于离开该展开面的场 所的规定基准点而形成的锥体状的虚拟指示空间；以及
指示动作检测单元，其包括：
位置检测单元，检测上述虚拟指示空间内的物体的三维位置；
坐标检测单元，基于由上述位置检测单元检测的上述虚拟指示 空间内的上述物体的三维位置，利用映射关系检测上述展开面上的 对象点的坐标；
移动检测单元，检测上述虚拟指示空间内的上述物体的三维移 动；及
判断单元，根据由上述坐标检测单元检测的上述展开面上的对 象点的坐标和由上述移动检测单元检测的上述物体的三维移动，判 断操作输入内容，输出对应的操作指令。
2.如权利要求1所述的操作输入装置，其特征在于，
上述展开面是显示器画面。
3.如权利要求1所述的操作输入装置，其特征在于，
上述展开面包含显示器画面和在该显示器画面的外部假定的延 长面。
4.如权利要求2或3所述的操作输入装置，其特征在于，
包括显示控制单元，当通过上述指示动作检测单元检测出进行 了拖拉动作时，使上述显示器画面滚动显示，以便使上述展开面上 的对象点在拖拉方向仅移动拖拉量。
5.如权利要求2或3所述的操作输入装置，其特征在于，
包括显示控制单元，当通过上述指示动作检测单元检测出进行 了点击动作时，使上述显示器画面滚动显示，以便使上述展开面上 的对象点移动到上述显示器画面内的规定位置。
6.如权利要求3所述的操作输入装置，其特征在于，
上述指示空间设定单元将上述延长面的一部分或全部分割成1 个以上区域，将其分别设定为指示区域；
上述指示动作检测单元输出与由上述物体的三维位置和三维移 动指示的指示区域对应的命令的执行指令。
7.如权利要求1～3中任一项所述的操作输入装置，其特征在 于，
包括指示物识别单元，识别由上述位置检测单元检测的上述虚 拟指示空间内的物体是否为规定的指示物；
对于由上述指示物识别单元识别为上述指示物的物体，上述坐 标检测单元基于由上述位置检测单元检测的上述虚拟指示空间内的 上述物体的三维位置，检测上述展开面上的对象点的坐标；
上述移动检测单元检测由上述指示物识别单元识别为上述指示 物的物体的三维移动。
8.如权利要求1～3中任一项所述的操作输入装置，其特征在 于，
上述基准点是由上述位置检测单元检测的操作者的眼睛位置。
9.如权利要求1～3中任一项所述的操作输入装置，其特征在 于，
上述基准点是由上述位置检测单元检测的操作者的有效眼睛位 置。
10.如权利要求2或3所述的操作输入装置，其特征在于，
上述基准点是把如下的2个面作为截面而持有的锥体顶点的位 置，该2个面是上述展开面、和连接在上述虚拟指示空间上对上述 显示器画面的四角分别进行指示动作时的指示物位置而得到的面。
11.如权利要求2或3所述的操作输入装置，其特征在于：
上述指示空间设定单元，将把如下的2个面作为截面而持有的 锥体顶点的位置设定为上述基准点的初始值，该2个面是上述展开 面、和连接在上述虚拟指示空间上对上述显示器画面的四角分别进 行指示动作时的指示物位置而得到的面；并根据由上述移动检测单 元基于由上述位置检测单元检测的操作者眼睛的三维位置而检测的 上述操作者眼睛的三维移动，使上述基准点从上述初始值开始移 动。
12.如权利要求1所述的操作输入装置，其特征在于：
上述指示空间设定单元将把上述展开面映射在离开该展开面的 上述虚拟指示空间上的空间面设定为指示面。
13.一种操作输入方法，其特征在于，包括：
第1步骤，设定连接显示器画面和规定的基准点而构成的锥体 状的虚拟指示空间，上述规定的基准点位于离开该显示器画面的场 所；
第2步骤，检测上述虚拟指示空间内的物体的三维位置；基于 检测出的上述虚拟指示空间内的上述物体的三维位置，利用映射关 系检测上述显示器画面上的对象点的坐标；检测上述虚拟指示空间 内的上述物体的三维移动；并且，根据检测出的上述显示器画面上 的对象点的坐标和检测出的上述物体的三维移动，判断操作输入内 容，输出对应的操作指令。
14.一种操作输入方法，其特征在于，包括：
第1步骤，设定连接展开面与规定的基准点而构成的锥体状的 虚拟指示空间，该展开面包含显示器画面及在该显示器画面的外部 假定的延长面，上述规定的基准点位于离开该展开面的场所；
第2步骤，检测上述虚拟指示空间内的物体的三维位置；基于 检测出的上述虚拟指示空间内的上述物体的三维位置，利用映射关 系检测上述展开面上的对象点的坐标；检测上述虚拟指示空间内的 上述物体的三维移动；并且，根据检测出的上述展开面上的对象点 的坐标和检测出的上述物体的三维移动，判断操作输入内容，输出 对应的操作指令。

技术领域\n本发明是涉及操作输入装置及操作输入方法，特别是适用于对 计算机设备及导航装置等赋予通过操作员操作输入的输入指命令的 操作输入装置。\n背景技术\n现有的对计算机设备及导航装置等赋予通过操作员操作输入的 输入指令的操作输入装置，大多采用具有键盘、鼠标、跟踪球及操 纵杆等遥控器、触摸屏等。这些操作输入装置都是通过人手实际接 触进行操作的接触型输入设备，操作麻烦。\n例如，在计算机设备上起动应用软件进行操作业时，就需要一 个一个分开使用进行字符输入等的键盘、和进行位置指定等的鼠标 或跟踪球，这种分开使用非常麻烦。另外，当操作车载的导航装置 时，驾驶员为了安全，需要把车停下来，将手从方向盘上离开，来 一个一个操作遥控器的操纵杆或触摸屏，无法进行简单的操作。\n对此，也曾提出了检测空间上的手指移动，来进行操作输入的 非接触型技术(例如，参照专利文献1)。在该专利文献1所记载 的技术中，在对应于显示器画面的规定空间扫描红外线，通过红外 线传感器检测红外线照射在进入该空间内的手指等指示物上。然 后，从此时的红外线照射位置，求出由该指示物所指定的空间上的 位置，并定位与该空间位置对应的显示器画面上的位置，输出由该 位置指定确定的规定的操作指令。\n专利文献1：日本特开平8-202480号公报\n但是，在上述专利文献1中记载的技术中，由于应操作输入的 空间位置被特定在红外线扫描面上，所以必须将手指等指示物特意 移动到该空间面上。特别是，无论操作者相对于显示器画面是否总 是位于同一位置，可以操作输入的空间却总是固定在对应于显示器 画面的规定空间。因此，无论操作者在何处，都必须将手指等指示 物特意移动到所确定位置的空间面上，使用非常困难。\n另外，使用操作输入装置的操作者并不一定是一个人，也有可 能是体态不同的操作者进行操作，而专利文献1中记载的技术，如 上所述地，可以操作输入的空间面却被固定在规定的位置。但是， 操作者的手到达的范围因体态不同而有所差异，因空间面位置的不 同，对个子小的操作者会有操作输入较困难的问题。另外，由于空 间面相对于显示器画面是以绝对位置关系规定的，所以当操作者的 位置改变时，看空间面的角度各不相同，就会有在操作输入上产生 误差的问题。\n另外，在上述专利文献1所记载的技术中，由于与指示物的操 作输入对应的移动与其他移动没有区别，所以只要指示物进入空间 面就全都判断为操作输入，存在可能违反用户意图而进行操作输入 的问题。\n另外，上述的接触型及非接触型的操作输入装置，都只是可以 对显示器画面上显示的目标进行操作输入，而不能对假定为位于显 示器画面外侧的目标进行直接操作。\n例如，导航装置的情况下，在显示器画面上显示的地图只是全 部中的一小部分，在其周围存在接续的地图。这种地图信息中，在 假定为位于显示器画面外的信息，可以从显示器画面内显示的信息 中很容易想象出来，而且，即使在可以假定位置的地点位于画面外 的情况下，现有技术也不能直接操作该地点。为此，需要反复进行 画面的滚动操作，直到使所假定的地点进入画面内，非常麻烦。\n另外，计算机设备及导航装置等的指令输入方法，广泛使用点 压显示器画面上显示的按钮状指示区域的方法。例如，如果是触摸 屏，则通过用手指触摸显示器画面上显示的按钮状的指示区域，来 输入指令。\n但是，当加大指示区域的面积时，则显示地图或电影等的主要 内容信息的面积变小，主要的内容信息就不易观看了。反之，为了 防止这一情况而减小指示区域的面积时，就会要求用手指点压的精 度，产生及难以操作的问题。这一问题，尤其在像导航装置那样显 示器画面的尺寸不那么大时更为显著。\n发明内容\n本发明就是为了解决这一问题而提出的，其目的在于，在所确 定的固定空间不需要特意移动手指等指示物，提高使用的方便性。\n另外，本发明的目的还在于，与操作者所在位置无关，从任何 位置都可以进行普通的操作输入。\n另外，本发明的目的还在于，与操作者所在位置无关，无论从 何处操作都难以产生误差。\n另外，本发明的目的还在于，可以避免进行违反用户意图的操 作的不当情况。\n本发明是鉴于这样的实际情况而形成的，其目的在于，对于假 定为位于显示器画面外侧的点及目标，可以直接进行操作输入。\n另外，本发明的目的还在于，加大显示主要内容信息的面积的 同时，而不减小指示区域，可以容易地进行操作输入。\n为了解决上述的课题，本发明的操作输入装置，包括：指示空 间设定单元，设定连接展开面与位于离开该展开面的场所的规定基 准点而形成的锥体状的虚拟指示空间；以及指示动作检测单元，其 包括：位置检测单元，检测上述虚拟指示空间内的物体的三维位 置；坐标检测单元，基于由上述位置检测单元检测的上述虚拟指示 空间内的上述物体的三维位置，利用映射关系检测上述展开面上的 对象点的坐标；移动检测单元，检测上述虚拟指示空间内的上述物 体的三维移动；及判断单元，根据由上述坐标检测单元检测的上述 展开面上的对象点的坐标和由上述移动检测单元检测的上述物体的 三维移动，判断操作输入内容，输出对应的操作指令。\n另外，为了解决上述课题，本发明的操作输入方法包括：第1 步骤，设定连接显示器画面与规定的基准点而构成的锥体状的虚拟 指示空间，上述规定的基准点位于离开该显示器画面的场所；第2 步骤，检测上述虚拟指示空间内的物体的三维位置；基于检测出的 上述虚拟指示空间内的上述物体的三维位置，利用映射关系检测上 述显示器画面上的对象点的坐标；检测上述虚拟指示空间内的上述 物体的三维移动；并且，根据检测出的上述显示器画面上的对象点 的坐标和检测出的上述物体的三维移动，判断操作输入内容，输出 对应的操作指令。\n本发明的另一种操作输入方法包括：第1步骤，设定连接展开 面与规定的基准点而构成的锥体状的虚拟指示空间，该展开面包含 显示器画面及在该显示器画面的外部假定的延长面，上述规定的基 准点位于离开该展开面的场所；第2步骤，检测上述虚拟指示空间 内的物体的三维位置；基于检测出的上述虚拟指示空间内的上述物 体的三维位置，利用映射关系检测上述展开面上的对象点的坐标； 检测上述虚拟指示空间内的上述物体的三维移动；并且，根据检测 出的上述展开面上的对象点的坐标和检测出的上述物体的三维移 动，判断操作输入内容，输出对应的操作指令。\n上述的操作输入装置检测物体的三维位置，并检测连接显示器 画面和规定基准点而形成的虚拟的指示(ポインテイング)空间内 物体的三维移动，并且，计算出将指示空间内的物体所存在的位置 映射在显示器画面上而得到的显示器画面上的对象点坐标，根据物 体的三维移动和对应于物体位置的显示器画面上的对象点坐标，判 断操作输入内容。\n另外，也可以识别指示空间内的物体是规定的指示物，并基于 对识别为是指示物的物体检测出的指示空间内的位置，检测该指示 物的三维移动及在显示器画面上的对象点的坐标。\n另外，上述的指示空间，是连接显示器画面与位于离开该显示 器画面的场所的规定基准点而形成的锥体状的虚拟空间，规定的基 准点最好设定在例如操作者眼睛的位置。另外，规定的基准点也可 以将接触显示器画面与连接在各虚拟指示空间上对该显示器画面的 四角分别进行指示动作时的物体位置所得到的面的双方为断面具有 的锥体顶点的位置作为初始值，跟踪操作者移动而移动。另外，当 可以假定操作者的移动很小时，也可以固定在初始值。\n另外，在显示器画面的外部假定具有一定大小的延长面，并对 显示器画面和延长面合在一起的展开面进行设定。然后，检测对该 展开面进行的指示动作，输出对应的操作指令。\n发明的效果\n根据上述构成的本发明，由于可以用手指等指示物操作的指示 空间，设定成连接显示器画面和基准点的圆锥状，所以不必进行将 手指等指示物特意移动到被固定为平面状的空间面上的操作。另 外，如果指示物的位置是在指示空间内，则指示物也可以是显示器 画面和操作者间的任意位置，所以在操作者的手可以够到的范围 内，可以通常地进行操作输入。这样，可以提高空间上的人机接口 的操作输入装置的使用方便性。\n另外，根据本发明，由于显示器画面上的坐标是映射指示物存 在的位置而得到的，所以无论操作者相对于显示器画面位于哪个位 置，都可以使在操作输入中产生误差的不良情况减到最小限度。\n另外，根据本发明，由于从在指示空间内所检测的物体中识别 规定的指示物，并只以该指示物为对象进行操作输入内容的判断， 所以即使指示物以外的物体在指示空间内移动，也不会判断为有操 作输入。另外，由于只在指示物进行规定的移动时才判断为有操作 输入，所以可以区别对应于指示物操作输入的移动与其他的移动， 即使指示物偶然在指示空间内移动，只要是无意图的移动，也不会 判断为有操作输入。这样，可以防止违反用户意图进行操作输入的 不良情况。\n另外，当把操作者眼睛的位置设定为规定指示空间的规定的基 准点时，如果操作者移动，则指示空间也随移动的眼睛位置移动。 这样，无论操作者相对于显示器画面移动到什么位置，也不必进行 像现有技术那样把手指等指示物特意移动到被固定的空间面上的操 作，可以通常地进行操作输入，可以更加提高空间上的人机接口的 使用方便性。\n另外，当规定指示空间的规定基准点，是设定在接触连接显示 器画面、与在各空间上对该显示器画面的四角进行指定操作时的指 示物位置所得到的面的双方为断面具有的锥体顶点的位置时，操作 者盯着显示器画面对显示器画面内的位置进行普通指示时的指示物 位置，一定包含在指示空间中。这样，可以以更自然的形式进行操 作输入，可以更加提高空间上的人机接口的使用方便性。\n另外，不仅在显示器画面的内侧，还可以对在显示器画面的外 侧假定的延长面进行指示动作，所以，对于假定为位于显示器画面 外侧的点及目标，可以直接进行操作输入。\n另外，通过将延长面的一部分或全部分割成1个以上的区域， 分别将其设定为指示区域，并对各个指示区域分配命令执行等，使 显示器画面的内部几乎全用作显示主要的内容信息显示，可以使显 示器画面外部预测的延长面作为命令执行的指示区域使用。这样， 可以加大显示主要内容信息的面积，而指示区域也不减小，使操作 输入容易进行。\n附图说明\n图1是表示第1实施方式例的操作输入装置构成例的图。\n图2是表示第1实施方式的微型计算机具有的功能构成的方框 图。\n图3是用于说明第1实施方式的指示空间的概念图。\n图4是为用于说明第1～第4实施方式的指示动作的内容的图。\n图5是表示第1～第4实施方式的操作输入装置的动作的流程 图。\n图6是表示第2实施方式的操作输入装置构成例的图。\n图7是用于说明第2实施方式的指示空间的概念图。\n图8是表示第2实施方式的微型计算机具有的功能构成的方框 图。\n图9是用于说明有效眼睛的概念图。\n图10是表示第3实施方式的微型计算机具有的功能构成的方框 图。\n图11是表示基准点的校准画面的图。\n图12是用于说明以立体摄像机作为位置检测装置使用时的物体 的位置检测方法的图。\n图13是用于说明第1实施方式的变形例所涉及的指示空间和指 示面的概念图。\n图14是用于说明第1实施方式的被扩展的指示空间的概念图。\n图15是表示进行拖拉动作时的动作例的图。\n图16是表示进行点击动作时的动作例的图。\n图17是用于说明第2实施方式的被扩展的指示空间的概念图。\n图18是用于说明第1实施方式的变形例所涉及的被扩展的指示 空间和指示面的概念图。\n具体实施方式\n(第1实施方式)\n下面，参照附图说明本发明的一实施方式。图1是表示第1实 施方式的操作输入装置构成例的图。如图1所示，第1实施方式的 操作输入装置的构成包括：作为位置检测装置的三维图象传感器 1、具备CPU2a、ROM2b、RAM2c等构成的微型计算机(以下简称 为微机)2、及作为对显示器20进行显示控制的显示控制装置的显 示控制器3。\n三维图象传感器1用于检测空间上的物体三维位置。例如对物 体照射光束，通过测量反射回来的光束来检测与物体之间的距离 (物体的相对位置)。该三维图象传感器1，例如可以使用美国专 利第6,515,740号说明书中公开的公知技术。如果使用该美国专利 中记载的技术，则不仅可检测物体相对于三维图象传感器1的设置 位置的三维相对位置，而且可以检测物体的三维形状。即，当物体 上有凹凸不平，在物体的表面上存在距三维图象传感器1的距离差 时，通过输出对应于该距离差的位置信息，可以检测出物体的三维 形状。\n微机2具有的CPU2a对整个操作输入装置进行控制。ROM2b 中存储操作输入装置的工作所需要的各种程序。RAM2c暂时存放 在CPU2a的各种处理过程中所得到的数据、及各种处理结果所得 到的数据。即CPU2a根据ROM2b中所存储的各种程序，将 RAM2c作为工作存储器使用，同时对操作输入装置的工作进行控 制。\n图2是表示微机2具有的功能构成的方框图。而图3是用于说 明本实施方式的指示空间的概念图。如图2所示，本实施方式的微 机2，其功能构成包括：指示空间设定部21、指示物识别部22、坐 标检测部23、移动检测部24及操作输入内容判断部25。\n如图3所示，指示空间设定部21，设定连接显示器20的画面 (以下称为显示器画面30)与位于离开该显示器画面30的位置的 规定基准点31而形成的锥体状的虚拟指示空间32。\n此处，在多数情况下，基准点31设定在估计操作者所在的位置 上。例如，当将本实施方式的操作输入装置应用在车载用导航装置 上时，最好在驾驶席的安全枕前的空间，将基准点31设定在假定 为驾驶员眼睛位置的一点上。图3表示了这一状态。即，车载用导 航装置的情况下，显示器画面30设置在仪表盘的大体中央，而驾 驶席在车辆的靠右侧(或靠左侧)，所以指示空间32如图3所示 形成倾斜的锥体状。\n这时，由于预先知道显示器画面30的位置和基准点31的位置 (例如在RAM2c及其他未图示的存储器中作为信息存储)，所以 指示空间32可唯一决定。\n指示物识别部22通过三维图象传感器1检测指示空间32内的 物体，识别为规定的指示物34。在本实施方式中，指示物34是棒 状的突出物。例如操作者伸出的一根手指、操作者拿的笔及指示工 具等就相当于指示物34。\n当将三维图象传感器1设置在显示器画面30的附近时，指示物 34向着显示器画面30的方向，即向着三维图象传感器1的方向进 行操作。这时，如上所述，由于三维图象传感器1输出对应于与物 体之间的距离的位置信息，所以当棒状物体向着三维图象传感器1 的方向时，只输出仅对该棒状物体的尖端部分近的位置信息，从 而，可以将输出该近的位置信息的部分作为指示物34存在的位置 进行检测。\n另外，当在显示器画面30和基准点31之间的指示空间32的侧 面设置三维图象传感器1时，指示物34从三维图象传感器1看去 是向着横向操作。如上所述，三维图象传感器1可以对应于物体的 三维形状输出位置信息。从而，指示物识别部22，根据与从三维图 象传感器1输出的物体形状对应的位置信息，判断在指示空间32 内是否存在大于等于规定长度、且小于等于规定粗细的物体，当存 在时，可以将该物体识别为指示物34。\n坐标检测部23基于通过三维图象传感器1所检测的指示空间 32内的指示物34的位置，利用映射关系，检测显示器画面30上的 对象点36的坐标。即，坐标检测部23将通过基准点31的位置和 指示物34的位置的线35同显示器画面30交叉的对象点36，作为 显示器画面30的坐标，根据在指示空间32内识别并检测出的指示 物34的位置进行计算。通过三维图象传感器1所检测的指示物34 的位置，是从三维图象传感器1看的相对位置，但由于预先知道三 维图象传感器1本身的位置，所以也可以检测指示物34的绝对位 置。\n坐标检测部23将检测的对象点36的坐标信息输出给显示控制 器3。显示控制器3根据由坐标检测部23供给的对象点36的坐标 信息，进行在显示器画面30上的对象点36的坐标位置、根据需要 显示规定标记(例如，箭头标记等)的控制。\n移动检测部24检测指示空间32内的指示物34的三维移动。如 上所述，三维图象传感器1随时输出指示空间32内的物体的三维 位置信息，通过指示物识别部22检测物体是否是指示物34。从 而，通过观察有关指示物34的位置信息的变化，可以检测指示物 34的三维移动。\n操作输入内容判断部25，根据由坐标检测部23所检测的显示 器画面34上的对象点36的坐标、及由移动检测部24所检测的指 示物34的三维移动，判断由操作者进行的指示物34的操作输入内 容，输出对应的操作指令。\n例如如图4所示，在指示空间32内，当指示物34在显示器画 面30的规定坐标范围内以大于等于规定速度接近显示器画面30移 动时，操作输入内容判断部25判断为进行了指示开始动作。另 外，在指示空间32内，当指示物34在显示器画面30的规定坐标 范围内以大于等于规定速度远离显示器画面30移动时，判断为进 行了指示解除动作。\n另外，在指示空间32内，指示物34进行上述的指示开始动作 后，在规定时间内进行指示解除动作时，判断为进行了点击动作。 另外，在指示空间32内，指示物34进行上述指示开始动作后，不 进行指示解除动作，而是由坐标检测部23检测的显示器画面30上 的对象点36的坐标进行移动动作时，则判断为进行了拖拉动作， 并将在显示器画面30上的坐标上的移动量作为拖拉量检测。\n操作输入内容判断部25将表示检测的操作输入内容的信息输出 给显示控制器3。显示控制器3根据从操作输入内容判断部25供给 的信息，控制显示器画面30上的显示。例如，当通过操作输入内 容判断部25判断为进行了拖拉动作时，进行显示控制，使由坐标 检测部23检测出的显示器画面30上的对象点36的坐标位置(有 箭头标记的位置)上的目标，向拖拉的方向移动该拖拉量。\n下面对上述构成的本实施方式的操作输入装置的操作进行说 明。图5是表示本实施方式的操作输入装置操作的流程图。在图5 中，首先通过三维图象传感器1检测空间上的物体的三维位置(步 骤S1)。然后，通过指示物识别部22判断该物体是否在指示空间 32中(步骤S2)。当物体在指示空间32内时，指示物识别部22 再判断该物体是否是指示物34(步骤S3)。当物体不在指示空间 32内时，或者即使物体在指示空间32内但它不是指示物34时，返 回到步骤S1的处理。\n当通过指示物识别部22识别出指示空间32内的指示物34时， 通过移动检测部24检测指示空间32内的指示物34的三维移动 (步骤S4)。再基于由三维图象传感器1检测的指示空间32内的 指示物34的位置，利用映射关系，通过坐标检测部23计算显示器 画面30上的对象点36的坐标(步骤S5)。该步骤S4的处理和步 骤S5的处理顺序也可以颠倒。\n最后，操作输入内容判断部25根据由移动检测部24检测的指 示物34的三维移动、及与由坐标检测部23检测的指示物34的位 置对应的显示器画面30上的对象点36的坐标，判断操作输入内 容，输出对应的操作指令(步骤S6)。即，根据是否有过规定的移 动来判断点击动作或拖拉动作，并输出对应于该动作的操作命令。\n例如，当操作输入内容判断部25判断为向着在对象点36的坐 标位置存在的目标(例如GUI的操作按钮)进行了拖拉动作时，输 出用于执行分配给该操作按钮的处理的操作指令。当操作输入内容 判断部25判断为对在对象点36的坐标位置存在的目标(例如图 标)进行了拖拉动作时，将使该目标向拖拉的方向仅移动拖拉量的 操作指令，输出给显示控制器3。在进行地图显示的导航装置上使 用本实施方式的操作输入装置时，也可以输出使地图整体滚动的操 作指令，使由指示开始动作所指示的地点向拖拉的方向仅移动拖拉 量。\n如以上详细说明，根据本实施方式，不是在像现有技术那样被 固定成平面状的场所检测空间上的手指等指示物34，而是在锥体状 的指示空间32内进行检测，根据其位置和移动来判断操作内容。 这样，就不必进行将手指等指示物特意移动到固定成平面状的空间 面上的麻烦操作，只要是在指示空间32内，就可以在喜欢的地方 进行操作输入。\n另外，根据本实施方式，由于显示器画面30上的对象点36的 坐标，是对指示物34存在的位置进行映射得到的，所以操作者无 论相对于显示器画面30处于什么位置，都可以使在操作输入中产 生误差的不良情况减到最小限度。\n另外，根据本实施方式，由于在指示空间32内检测出的物体 中，只以识别为规定指示物34的物体作为对象，进行操作输入内 容的判断，所以，即使在指示空间32内有指示物34以外的物体移 动，也不判断为有过操作输入。另外，由于限定与操作输入内容对 应的指示物34的移动，所以可区别对应于指示物34的操作输入的 移动和除此之外的移动，即使在指示空间32内指示物34偶然移 动，如果是无意图的移动，也不会判断为有过操作输入。这样，可 以防止违反用户意图进行操作输入的不良情况。\n(第2实施方式)\n下面对本发明的第2实施方式进行说明。图6是表示第2实施 方式的操作输入装置构成例的图。在该图6中，由于具有与图1中 所示的标号相同标号的部件具有相同功能，故在此省略其重复的说 明。\n如图6中所示，第2实施方式的操作输入装置具有作为位置检 测装置的2个三维图象传感器1-1、1-2。一个三维图象传感器1-1 与第1实施方式一样，用于对指示空间32内的指示物34的三维位 置进行检测。另一个三维图象传感器1-2用于检测操作者眼睛的三 维位置。\n图7是为说明第2实施方式的指示空间的概念图。如图7中所 示，在第2实施方式中，在由另一个三维图象传感器1-2所检测的 操作者眼睛的位置上设定规定的基准点31。即，第2实施方式的指 示空间32，是连接显示器画面30和操作者眼睛的位置31而形成的 锥体状空间。\n图8是表示第2实施方式的微机2的功能构成例的方框图。在 该图8中，由于具有与图2中所示的标号相同标号的构成具有相同 功能，所以在此省略其重复说明。如图8中所示，在第2实施方式 中，微机2的功能构成具有基准点识别部26。另外，具有与图2所 示的指示空间设定部21不同功能的指示空间设定部27。\n基准点识别部26根据由另一个三维图像传感器1-2输出的信 息，识别应作为基准点31的操作者眼睛。另外，指示空间设定部 27设定以所识别的操作者眼睛的位置为基准点31的指示空间32。 规定指示空间32的另一个要素的显示器画面30的位置信息，其预 先登录在RAM2c等存储器中。在本实施方式中，指示物识别部22 根据一个三维图象传感器1-1输出的指示空间32内的物体位置信 息，识别指示物34。\n如上所述，在将由三维图象传感器1-2所检测的操作者眼睛的 位置作为指示空间32的基准点31进行设定时，当操作者移动时， 根据移动的眼睛位置，指示空间32也移动。这样，无论操作者相 对于显示器画面30移动到什么地方，也不必像现有技术那样，进 行使手指等指示物34特意移动到固定的空间面上的麻烦操作，可 以进一步提高使用方便性。另外，由于无论操作者相对于显示器画 面30移动到什么位置，操作者总是盯着显示器画面30进行操作， 所以可以使操作输入产生误差的不良情况控制在最小限度。\n作为基准点31使用的操作者眼睛的位置，最好是有效眼睛的位 置。如图9(a)所示，两眼看显示器画面30时，显示器画面30和 操作者之间的指示物34看成双重的。这是由于如图9(b)和9 (c)所示，对指示物34和显示器画面30用右眼看时和用左眼看 时，看见的指示物34的位置是不同的缘故。\n一般来说，当因视差而看见双重像时，由有效眼睛看的像起判 断作用。例如，当有效眼睛是右眼时，睁开双眼，用手指指某个目 标时，即使闭上左眼，指尖也不会偏离目标，而闭上右眼，指尖就 会成为偏离目标的位置。从而，通过将指示空间32的锥体作为从 操作者有效眼睛看显示器画面30的锥体，即使指示物34看成双重 的，指示的对象点36也是所要的点。\n操作者的有效眼睛是哪一个的信息，例如使用键盘、鼠标、操 作杆等输入设备(未图示)事前登录在微机2的RAM2c或未图示 的其他存储器等中即可。这时，指示物识别部22根据事先登录的 有效眼睛的信息，根据另一个三维图象传感器1-2输出的信息，识 别有效眼睛。然后，指示空间设定部27设定以有效眼睛为基准点 31的指示空间32。\n在第2实施方式中，对将操作者眼睛的位置设定为基准点31的 例子进行了说明，也可以在鼻子的位置、嘴的位置、脸的中央等设 定基准点31。\n(第3实施方式)\n下面对本发明的第3实施方式进行说明。第3实施方式与图1 中所示的第1实施方式一样，位置检测装置使用一个三维图象传感 器1。第3实施方式的微机2的功能构成如图10所示的方框图。在 该图10中，由于具有与图2中所示的标号相同标号的构成具有相 同功能，故在此省略其重复的说明。\n如图10所示，在第3实施方式中，微机2的功能构成，具有与 图2中所示的指示空间设定部21不同功能的指示空间设定部28。 指示空间设定部28在可设定操作者方便自然地操作指示物34的指 示空间32的位置上，设定基准点31。具体来说，指示空间设定部 28对显示控制器3发出指令，将图11所示的基准点31的校准画面 显示在显示器画面30上。在该校准画面的四角显示有规定的标记 40。\n操作者在空间上对四角的标记40进行指示动作(例如指示开始 动作或点击动作)。如果通过操作者对四角的标记40进行了指示 动作，则指示空间设定部28对四角的每个标记分别，通过三维图 象传感器1检测操作者开始或结束指示动作时的指示物34的位 置，并确定连接这4个位置而构成的平面。指示空间设定部28假 定显示器画面30(更准确的说是连接显示器画面30四角的标记40 而构成的平面)、和连接对显示器画面30四角的标记40分别进行 指示动作时的指示物34位置所得到的平面的双方作为截面而持有 的锥体，并将成为其顶点的位置设定为基准点31。将连接这样得到 的基准点31和显示器画面30而成的锥体，作为指示空间32进行 设定。\n在上述的第2实施方式中，在连接显示器画面30上想要操作的 对象点36和假定为操作者眼睛位置的基准点31的直线35上，必 须放置手指等指示物34进行指示动作。与其相比，根据第3实施 方式，当使用图11这样的校准画面，对显示器画面30的四角进行 指示动作时，如果该操作者在最容易操作的自然位置放置指示物34 进行指示动作，可设定肯定包含由其四角规定的平面的指示空间。 从而，对应每个操作者，可以在操作者便于操作输入的位置设定指 示空间32，可以进一步提高空间上的人机接口的使用方便性。\n另外，由于四角的标记40的指示动作一般是无意识地利用有效 眼睛进行的，所以，如第2实施方式那样，也可以不必使用输入设 备，事先将有效眼睛登录在存储器中，相当于在进行四角的标记40 的指示动作时，自动设定有效眼睛。\n(第4实施方式)\n下面对本发明的第4实施方式进行说明。第4实施方式是上述 第2实施方式和第3实施方式的组合。即在第4实施方式中，利用 一个三维图象传感器1-1，以与第3实施方式同样的动作，检测校 准时指示物24的移动，求出基准点31，将其设定为初始值。另 外，用与第2实施方式同样的动作，由另一个三维图象传感器1-2 检测操作者的眼睛、鼻子、嘴、脸部中央等的移动，并根据该移动 使基准点31从初始值移动。\n这样，当操作者移动时，根据移动的眼睛等的位置，指示空间 32也移动。从而，操作者相对于显示器画面30无论移动到什么部 位，只要是指示空间32的移动进行跟踪，操作者的操作性就不变 化，所以可以提高使用方便性。另外，由于无论操作者相对于显示 器画面30移动到什么部位，操作者总是盯着显示器画面30进行操 作，所以可以使在操作输入中产生误差的不良情况控制在最小限 度。\n在上述第1～第4实施方式中，作为位置检测装置，对于采用三 维图象传感器的例子进行了说明，但是并不限于该例。例如也可以 采用立体摄像机。图12是为说明以立体摄像机作为位置检测装置 使用时的物体的位置检测方法的图。\n如图12所示，例如在显示器画面30的右侧，向着有指示物34 的指示空间32的方向设置基准摄像机41，并且，例如在显示器画 面30的左侧，向着有指示物34的指示空间32的方向设置辅助摄 像机。这2台摄像机41、42具有相等的光学系统，设置成光轴以 距离d、角度θ交差。\n在此，假设指示物34在基准摄像机41的摄像面上成像的成像 点A1的位置为(x1，y1)，指示物34在辅助摄像机42的成像面 上成像的成像点A2的位置为(x2，y2)。另外，当假设各摄像机 41、42具有的镜头41a、42a的焦距为F时，则从显示器画面30看 的指示物34的三维位置(x，y，z)可由下式求出。\nx＝d·x1·G(x2)/H(x1，x2)\ny＝d·y1·G(y2)/H(y1，y2)\nz＝d·F·G(x1)/H(x1，x2)\n其中，G(x1)＝F·sin θ·x1(1-cosθ)\nH(x1，x2)＝(F+x1·x2)sinθ+F(x1-x2)cosθ\n另外，在上述第1～第4实施方式中，对在一个地方设置指示 空间32的基准点31的例子进行了说明，但是也可以在多个地方设 定基准点31，并设定多个指示空间32。另外，也可以根据操作者 的位置切换基准点31的位置。例如在车载导航装置上使用上述第1 实施方式的操作输入装置时，可将基准点31切换到在驾驶席、助 手席、后部席的附近设置的规定中的任一个位置。另外，在车载导 航装置上使用上述第2实施方式的操作输入装置时，可将基准点31 切换到在驾驶席、助手席、后部席上坐着的操作者眼睛的任一个位 置。另外，在车载导航装置上使用上述第3实施方式的操作输入装 置时，可将基准点31切换到在驾驶席、助手席、后部席坐着的操 作者通过校准设定的任一个位置。另外，第4实施方式是用第2实 施方式和第3实施方式的组合来切换基准点31。\n另外，在上述第2实施方式及第4实施方式中，采用了检测指 示物34的一个三维图象传感器1-1和检测基准点31的另一个三维 图象传感器1-2这两个，但是也可以用能够复盖指示物34和基准点 31所在的两个区域的一个三维图象传感器，进行同样的操作。\n另外，在上述第1～第4实施方式中，指示空间设定部21、 27、28设定指示空间32，但是也可以在该指示空间32内再设定指 示面。图13是为说明这时的指示空间32和指示面33的概念图。\n例如，以第1实施方式为例说明，指示空间设定部21如图13 所示地设定连接显示器画面30和位于离开该显示器画面30的位置 的规定基准点31而构成的锥体状的虚拟指示空间32，并且，将把 显示器画面30的坐标映射到指示空间32内的空间面设定为指示面 33。\n此处，指示面33必须设定在显示器画面30和操作者(在基准 点3 1的前面)之间。该指示面33包括操作者使用指示物34进行 指示动作(包括指示开始动作、指示解除动作、点击动作、拖拉动 作)时的该指示物34尖端(指尖等)所在的位置，是假定为在操 作者自然地移动指示物34时指示物34的轨迹的平面或曲面。\n如上所述，在第1实施方式中，由于显示器画面30的位置和基 准点30的位置是预先知道的，所以指示空间32是唯一确定的。与 此相比，指示面33可根据指示空间32内的指示物34的移动进行 动态设定。即，每当进行指示动作时，指示空间设定部21就动态 地设定上述的指示面33。\n(指示空间的扩展)\n可是，在上述第1～第4实施方式中，如图3所示，指示空间 设定部21设定连接显示器20的画面(以下称显示器画面30)和位 于离开该显示器画面30的位置上的规定基准点31而形成的锥体状 的虚拟指示空间32。\n但是，如图14所示，指示空间设定部21，也可以在显示器20 的画面(以下称显示器画面30)的外部假定一定大小的延长面 37，将显示器画面30和延长面37合在一起作为展开面38。然后， 设定连接该展开面38和位于离开该展开面38的位置上的规定基准 点3而形成的锥体上的虚拟指示空间32。\n这时，在上述各实施方式的指示空间32的说明中，可以将显示 器画面30当作展开面38。\n当在第1实施方式中使用该指示空间时，当根据由坐标检测部 23供给的对象点36的坐标信息、该坐标信息不是在延长面37上而 是在显示器画面30上时，显示控制器3进行根据需要将规定的标 记(例如，箭头标记等)显示在显示器画面30上的对象点36的坐 标位置上的控制。\n另外，当该坐标信息在延长面37上时，也可以进行在连接显示 器画面30的中央部和由该坐标信息所表示的对象点36的线、与显 示器画面30的端都相交的点上、显示规定的标记(例如，向着该 对象点36方向的箭头标记等)的控制。\n操作输入内容判断部25将表示检测的操作输入内容的信息输出 给显示控制器3。例如，操作输入内容判断部25判断为向着在对象 点36的坐标位置上存在的目标(例如GUI的操作按钮)进行了点 击动作时，则输出用于执行分配给该操作按钮的处理的操作指令。 此外，当操作输入内容判断部25判断为对在对象点36的坐标位置 上存在的目标(例如图标)进行了拖拉动作时，则将使该目标向拖 拉方向仅移动拖拉量的操作指令输出给显示控制器3。\n当在进行地图显示的导航装置上使用本实施方式的操作输入装 置时，也可以将地图整体滚动的操作指令输出给显示控制器3，以 便使由指示开始动作所指示的地点向拖拉方向仅移动拖拉量。\n或者，在将本实施方式的操作输入装置使用于导航装置时，当 通过操作输入内容判断部25判断为进行了拖拉动作时，控制地图 整体滚动的显示，使位于由坐标检测部23检测的展开面38上的对 象点36的坐标位置上的地点(在指示了延长面37上的坐标位置 时，退定为位于该延长面37上的地点)向拖拉方向仅移动拖拉 量。\n图15是表示进行拖拉操作时的动作例的图。该图15是表示将 本实施方式的操作输入装置使用于导航装置时的操作例，图中表示 了显示器画面30和延长面37的一部分。如图15所示，根据本实 施方式，可以通过指示物34选定假定为显示器画面30外部的地点 (图15(a))，并通过进行拖拉动作(图15(b))，滚动画面使位于 显示器画面30外部的地点进入显示器画面30中。\n在图15中，对通过拖拉动作使画面外部的地点滚动到画面内部 的例子进行了说明，但是并不限于此。例如，也可以通过点击画面 外部的地点，使画面滚动，所点击的地点自动移动到画面内的规定 位置。作为画面内的规定位置，例如可以考虑画面中央、车辆的当 前位置(显示车辆位置标记的位置)、显示着光标的位置等。\n图16是表示进行了点击动作时的动作例的图。在图16所示的 例子中，指示空间设定部21将延长面37的一部分分割成多个区 域，分别设定为指示空间51。在各个指示区域51中，分配有执行 规定处理的虚拟操作按钮。另外，为了使操作者知道在延长面37 上存在指示区域51，沿着显示器画面30的外周部，对应指示区域 51所在的位置，在显示器画面30上显示带状的操作接受区域52。\n这时，操作者通过对位于显示器画面30外部的延长面37上的 指示区域51进行点击动作，可以指示指令的执行。这时，操作输 入内容判断部25判断在延长面37上的哪个指示区域51被点击， 输出与被点击的指示区域51对应的命令的执行指令。这样，在显 示器画面30上，可以加大显示主要内容信息的面积(操作接受区 域52以外的区域面积)，而指示区域51也不减小，使操作输入容 易进行。\n在图16中表示了将延长面37的一部分分割成多个指示区域51 的例子，但是也可以将延长面37的全部分割成多个指示区域51。 另外，也可以在延长面37的一部分或全部上只设置一个指示区域 51。另外，在对指示区域51进行了指示开始动作时，也可以在显 示器画面30内以下拉方式显示对应的操作接受区域52。\n正如以上详细说明的那样，根据本实施方式，由于不仅对显示 器画面30的内侧，而且对在显示器画面30外侧假定的延长面37 也可以进行指示动作，所以，对假定为位于显示器画面30外侧的 点及目标，可以直接进行点击动作和拖拉动作。\n这样，如图15所示，通过选定假定为显示器画面30外部的地 点后进行拖拉动作或点击动作，不必在画面内重复多次操作直到画 面外的假定地点进入画面内，也可以通过画面的滚动使期望的地点 简单地移动到画面内。\n另外，如图16所示，将延长面37的一部分或全部分割成1个 以上的区域，将其分别设定为指示区域51，通过对各个指示区域 51分配命令执行等，显示器画面30内部的几乎所有区域都可以用 作主要内容信息的显示，可将在显示器画面30外部假定的延长面 37作为命令执行的指示区域51使用。这样，可以加大显示主要内 容信息的面积，同时指示区域51也不减小，容易进行操作输入。\n关于上述第1～第4实施方式，增加了设定连接展开面38和基 准点31而形成的指示空间32、并在该指示空间32内部进行指示动 作的例子，但是也不限于此。例如，也可以在展开面38上进行指 示动作。\n此外，上述实施方式都只不过表示了实施本发明时的具体化的 一例，因此，本发明的技术范围并不限定所解释的内容。即，本发 明在不脱离其精神或主要特征的情况下，可以用各种形式实施。\n产业上利用的可能性)\n本发明可用于对计算机设备或导航装置等赋予通过操作员操作 输入的输入指令的操作输入装置中。