一种非接触式目控操作系统和方法

暂无

技术领域\n本发明涉及一种非接触式操作系统和方法，尤其涉及一种非接触 式目控操作系统和方法。\n背景技术\n现有的操作装置几乎都需要用手来进行操作，其输入装置包括鼠 标、键盘、触敏屏等。在操作这样的操作装置时，需要用手移动鼠标 或者用手接触触摸屏等，因此在公共场合很容易传播病菌。此外，对 不方便利用手动方式进行操作的残疾人来说，使用手动装置之类的接 触式操作装置是有障碍的。\n佳能公司曾发明过一种新的“人-机”摄影控制方式，其原理主要 是：眼球经红外光束照射时会在眼角膜上反射出红外光斑，而这个红 外光斑会与瞳孔中心形成横竖两个方向的角度差，该角度差的值会随 着眼球的转动(即视线的改变)而变化。通过微型检测装置就可以读 取到这个差值的大小，将其与预先储存的眼控对焦点的间隔角度基准 值进行对比，从而计算出拍摄者的视线是通过哪一个自动对焦点注视 到主体的，进而可以完成相应的自动对焦。\n在上面所公开的方案中，要求人眼贴近相机的取景器，实际上也 属于接触式方式。另外，上述方案工作时需要有红外光束发生装置。\n发明内容\n本发明的目的是针对传统接触式操作方式的上述缺陷提供一种 能以非接触的方式进行操作的途径。\n根据本发明的一个方面，提供了一种非接触式操作系统，包括显 示用于操作的对象的显示终端，该系统还包括：\n图像获取装置，提供操作者头部正面的图像；\n图像处理装置，根据所述图像获取装置所提供的操作者头部正面 的图像计算操作者的头部姿态参数和眼睛姿态参数的值；\n视线方向分析装置，根据所述图像处理装置所计算的头部姿态参 数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区 域上的位置，并根据所确定的视线位置判断操作者所注视的对象；\n通知装置，以操作者可感知的方式通知操作者所判断出的注视对 象；\n动作分析装置，根据所述图像处理装置所计算的头部姿态参数和 眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者 的动作进行识别，并根据识别结果确定操作指令；和\n操作执行装置，基于所述视线方向分析装置所判断出的注视对象 和所述动作分析装置所确定的操作指令执行操作。\n根据本发明的另一个方面，提供了一种非接触式操作方法，以对显 示屏幕的显示区域上的用于操作的对象进行操作，包括：\n(a)提供操作者头部正面的图像；\n(b)根据所提供的操作者头部正面的图像计算操作者的头部姿 态参数和眼睛姿态参数的值；\n(c)根据所计算的头部姿态参数和眼睛姿态参数的值确定操作 者的视线在所述显示区域上的位置，并根据所确定的视线位置判断操 作者所注视的对象；\n(d)以操作者可感知的方式通知操作者所判断出的注视对象；\n(e)根据所计算的头部姿态参数和眼睛姿态参数的值中的至少 一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别 结果确定操作指令；和\n(f)基于所判断出的注视对象和所确定的操作指令执行操作，\n其中步骤(c)和步骤(e)并行进行或顺序进行。\n根据本发明的操作系统以图像获取装置为输入装置，通过图像获 取装置提供操作者的头部正面的图像，并运用图像处理装置来分析操 作者头部和眼睛的姿态参数。通过将这些参数进一步转化为操作者视 线所对应的、显示终端的屏幕上的相应区域来确定操作对象，并通过 利用图像获取装置接收某些特定动作来实现非接触式操作。利用本发 明，操作者可以距离显示终端及图像获取装置50cm左右，实现了真 正的非接触式操作。因此本发明的有益效果是：有助于防止使用公用 设施时传播病菌；和为不方便利用手动方式进行接触式操作的残疾人 提供了便利。本发明的附加优点是避免了因经常接触使用而可能对操 作设备造成的人为磨损。\n附图说明\n参照附图，结合对实施方式的详细描述将能够更加清楚地了解本 发明，其中：\n图1是根据本发明的非接触式操作系统的一个实施例的框图；\n图2是根据本发明的一个实施例的操作者脸部及双眼的示意图；\n图3是根据本发明的一个实施例的操作者眼睛和瞳孔的示意图；\n图4是一个眼睛姿态参数随时间的变化图；和\n图5是一个头部姿态参数随时间的变化图。\n具体实施方式\n参照图1，其示出了根据本发明的非接触式操作系统的一个实施 例的框图。如图所示，该操作系统包括图像获取装置10、连接到图像 获取装置10的图像处理装置12、连接到图像处理装置12的视线方 向分析装置14和动作分析装置16、连接到视线方向分析装置14和 动作分析装置16的操作执行装置18、连接到操作执行装置18的显 示终端20以及连接到视线方向分析装置14的通知装置(未示出)。 在显示终端20的显示区域上显示用于操作的对象，所述对象可以采 用按钮的形式或其它形式。图像处理装置12、视线方向分析装置14、 动作分析装置16、操作执行装置18和通知装置可以是在处理器上运 行的软件模块或在处理器外部单独实现的硬件电路。\n图像获取装置10捕捉操作者头部正面的图像并以一定的帧率提 供所捕捉的操作者头部正面的图像给图像处理装置12。优选地，图 像获取装置10以每秒30帧的帧率提供操作者头部正面的图像给图像 处理装置12。在一个特定实施例中，图像获取装置10是一只分辨率 为640×480的摄像头，该摄像头可以放置在显示终端20的屏幕上方， 使得当操作者坐在显示终端的屏幕前时该摄像头对准操作者的头部 正面以捕捉操作者头部正面的图像。\n图像处理装置12根据图像获取装置10所提供的操作者头部正面 的图像计算操作者的头部姿态参数和眼睛姿态参数的值。在一个实施 例中，头部姿态参数包括与头部的俯仰姿势有关的头部俯仰参数和与 头部的水平转动角度有关的头部水平转动参数，眼睛姿态参数包括与 视线在水平方向上的注视方向有关的水平注视参数和与视线在竖直 方向上的注视方向有关的竖直注视参数。可以根据操作者脸部和双眼 的大小、双眼相对于脸部的位置以及瞳孔的位置来计算这些参数的 值，因此在该实施例中，对所提供的每帧图像，图像处理装置12检 测操作者头部正面的图像中操作者脸部的位置及大小，这可以利用人 脸检测技术或其它已知技术来完成；继而在所检测出的操作者脸部上 检测出操作者双眼的位置及大小，这可以通过模板匹配算法或其它已 知方法来实现；进而在所检测出的双眼上分别确定瞳孔的位置及中心 坐标，例如，用直方图的方法来确定。现在参照图2和图3作进一步 描述。\n图2是所检测到的操作者脸部及双眼的示意图，其示出了检测出 的操作者脸部高度H和脸部宽度W。根据双眼的位置可以求出眉心 的位置，根据操作者脸部的位置及大小、双眼的位置及大小和眉心的 位置可以求出操作者双眼距下颌的高度Y1和眉心距脸部左侧边缘的 距离X1，也分别在图2中示出。\n因此，可以计算头部俯仰参数(下文用a1表示)的值，即比值 a1＝Y1/H，其大小与操作者头部的俯仰姿势有关，俯仰角在±10度的 范围内时，操作者越向上仰，该比值越大；反之越小。也可以计算头 部水平转动参数(下文用a2表示)的值，即比值a2＝X1/W，其大小 与操作者头部的水平转动角度有关，水平转动角度在±30度的范围 内时，操作者越向右转，该比值越小；越向左转，该比值越大。\n图3是操作者眼睛和瞳孔的示意图，其示出了操作者眼睛的宽度 W2和高度Y2。根据眼睛的位置和大小及瞳孔的中心坐标可以求出操 作者瞳孔中心到眼睛外侧的距离X2，也在图3中示出。\n因此，可以计算水平注视参数(下文用a3表示)的值，即比值 a3＝X2/W2，其大小与操作者视线在水平方向上的注视方向有关。也 可以计算竖直注视参数(下文用a4表示)的值，即比值a4＝Y2/W2， 其大小与操作者视线在竖直方向上的注视方向有关，操作者越向上方 注视，Y2就越大，因而比值也越大。\n图像处理装置12将所计算的头部姿态参数和眼睛姿态参数的 值，例如参数值a1、a2、a3和a4，提供给视线方向分析装置14和 动作分析装置16。\n视线方向分析装置14根据图像处理装置12所计算的头部姿态参 数和眼睛姿态参数的值确定操作者的视线在显示终端20的显示区域 上的位置，并根据所确定的视线位置判断操作者所注视的对象。优选 地，视线方向分析装置通过将所计算的头部姿态参数和眼睛姿态参数 的值与预先存储的、对应于显示终端20的显示区域的多个位置的多 组头部姿态参数和眼睛姿态参数的基准值进行匹配和利用插值的方 法来确定操作者的视线在所述显示区域上的位置。\n为便于理解，现在举例说明获得上述多组头部姿态参数和眼睛姿 态参数的基准值的过程。在显示终端20的显示区域的多个不同位置 显示一个红色的小球，小球直径为20个像素，显示位置包括屏幕显 示区域的左上角、左下角、右上角、右下角、中心和上下左右四个边 各自的中点等。当小球显示在每个位置上的时候，操作者用目光注视 小球足够长的时间，例如3秒以上，在此期间，如摄像头之类的图像 获取装置捕捉并以每秒30帧的帧率提供操作者头部正面的图像。将 所提供的图像保存在合适的媒介上，待获得对应于上述各个期望位置 的图像之后分别进行处理。现在以计算对应于上述期望位置中的左上 角的头部姿态参数和眼睛姿态参数的基准值为例，说明具体的处理方 式。对在屏幕左上角获得的每帧图像，按照前面所描述的方法利用图 像处理装置12分别计算出操作者的头部姿态参数和眼睛姿态参数的 值，则可得到若干组头部姿态参数和眼睛姿态参数的值。对各组中的 对应参数值分别取平均，以a1为例，根据上面的描述可以得到若干 个关于a1的参数值，通过计算这若干个参数值的平均值及均方差可 以确定对应于该位置的a1的基准值。同样方法，可以得到对应于该 位置的a2、a3和a4的基准值。这样就得到了对应于屏幕显示区域左 上角的头部姿态参数和眼睛姿态参数的基准值。对在其它位置上获得 的图像，进行类似的处理，就得到了对应于显示区域的多个位置的多 组头部姿态参数和眼睛姿态参数的基准值，将它们存储在存储器中供 以后使用。\n在一个实施例中，通过上述过程预先得到了分别对应于显示区域 的多个位置的多组a1、a2、a3和a4的基准值。视线方向分析装置将 所计算的a1、a2、a3和a4值与所述多组a1、a2、a3和a4的基准值 进行匹配，并通过插值方法得到更精细的结果。a1与a4是存在关联 关系的。例如，同样将视线向下移动，操作者可能保持眼球不动，将 头向下低一点(即减小a1)；也可能保持头部不动，将眼睛向下转 动(即减小a4)；也可能通过共同调整两者来完成。这一关联关系 可以通过统计来得出。a2与a3是存在关联关系的，这一关联关系也 可以通过统计来得出。为了方便叙述，现在假设在操作者头部保持不 动的情况下(即根据a3、a4的值)来确定视线位置。根据a3的值确 定视线在左右方向上的大致位置。例如，假设显示区域上的左边中间 位置所对应的a3的基准值为0.2，中心位置所对应的a3的基准值为 0.5。假设计算得到的a3值为0.35，如果利用线性插值方法则可以推 出此时视线在左右方向上大致处于中心偏左1/4的位置，根据具体的 精度要求还可以利用更高阶的插值方法，如二阶或三阶等。同样，可 以根据a4的值确定视线在竖直方向上的大致位置。这样，操作者视 线在屏幕上的方位就基本确定了。在头部参数的值也发生变化的情况 下，用类似的方法，根据a1、a2、a3、a4的值并结合a2与a3以及 a1与a4的关联关系确定操作者视线在显示区域上的具体位置。\n然后，视线方向分析装置14可以基于关于显示终端所显示的对 象与所述对象在其显示区域上的位置之间的对应关系的信息、根据所 确定的视线位置来判断操作者所注视的对象。\n通知装置，以操作者可感知的方式通知操作者所判断出的注视对 象。在一个实施例中，当视线方向分析装置判断出当前操作者注视的 对象时，通知装置将该对象的颜色加深，以此来通知操作者系统所理 解的其希望操作的对象，于是操作者可以发出相应的操作指令。通知 装置也可以以其它操作者可感知的方式来通知操作者，如语音方式 等。\n动作分析装置根据图像处理装置12所计算的头部姿态参数和眼 睛姿态参数的值中的至少一个单独参数值，例如a1、a2、a3和a4中 的至少一个，随时间的变化对操作者的动作进行识别，并根据识别结 果确定操作指令。根据上面的描述，已知头部姿态参数和眼睛姿态参 数的值会随着操作者头部姿势和眼睛注视方向等变化。例如，图4为 眨两眼时a4随时间的变化图，当眼睛逐渐闭合时，a4越来越小；当 眼睛逐渐睁开时，a4越来越大。图5为摇头时a2随时间变化的趋势， 最初一段时间没有明显的动作，但从第25个时间点开始，a2呈现出 大幅度有规律的变化。点头时a1随时间也会有类似的变化，当操作 者头向下点时，a1逐渐减小；当操作者向上抬头时，a1逐渐增大。 在一个实施例中，根据这一点建立了分别对应于多个预定动作的多个 预定动作模式并存储在存储器中，动作分析装置将图像处理装置所计 算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随 时间的变化与存储的所述多个预定动作模式进行比较，并且将与所述 变化匹配的一个预定动作模式所对应的预定动作识别为操作者的动 作，根据识别结果确定操作指令。需要说明的是，可以事先规定分别 对应于所述多个预定动作的操作指令，例如，规定连续眨两下眼睛表 示″点击一个按钮″、点头表示″同意″、摇头表示″不同意″等。基于这 种规定可以根据预定动作来确定操作指令，从而根据识别结果确定操 作指令。\n操作执行装置，基于视线方向分析装置所判断出的注视对象和动 作分析装置所确定的操作指令执行操作。动作分析装置与视线方向分 析装置可以并行运行，在这种情况下，一方面，操作执行装置从视线 方向分析装置接收操作对象(即所判断出的注视对象)；另一方面， 操作执行装置从动作分析装置接收操作指令，只有在接收到操作对象 和操作指令两者时操作执行装置才会执行操作。\n在根据本发明的实施例中，主要靠视线方位来决定显示终端的屏 幕上某些按钮的操作，而这些按钮的大小可以设计为30×50像素，且 按钮之间相互间隔30至50像素。\n前面的描述意图仅是说明性的，而不是为了限制本发明，根据本 发明的众多另外的替换实施例对本领域技术人员来说是显然的。本领 域的普通技术人员可以对在这里公开的实施例的形式和细节进行许 多变化。因此，虽然在这里公开了本发明的某些优选实施例，但对本 领域技术人员来说显而易见的是：在本发明的形式和细节上可能作出 的各种改变没有脱离如下列权利要求的整体范围所示出的本发明的 精神和范围。