著录项信息
专利名称 | 探测多悬停点设备的主要悬停点 |
申请号 | CN201480051000.2 | 申请日期 | 2014-09-12 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2016-06-08 | 公开/公告号 | CN105659202A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06F3/0488 | IPC分类号 | G;0;6;F;3;/;0;4;8;8查看分类表>
|
申请人 | 微软技术许可有限责任公司 | 申请人地址 | 美国华盛顿州
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 微软技术许可有限责任公司 | 当前权利人 | 微软技术许可有限责任公司 |
发明人 | L·戴;D·黄 |
代理机构 | 上海专利商标事务所有限公司 | 代理人 | 顾嘉运 |
摘要
涉及建立、管理或废除用于悬停敏感的输入/输出界面的主要悬停点的示例装置和方法。一种示例装置包括探测与输入/输出界面相关联的悬停空间中的物体的接近探测器。该装置产生关于该物体的表征数据。表征数据可以标识物体位于何处、物体如何移动、物体正在做什么或物体的其他属性。该装置可以根据表征数据向物体指派悬停点指定。该装置基于悬停点指定有选择地控制与物体相关联的输入动作。该装置可以接受与主要悬停点相关联的输入动作且忽略与非主要悬停点相关联的动作。
1.一种用于探测多悬停点设备的主要悬停点的方法,包括:
为一组物体的第一成员建立主要悬停点指定,其中所述一组物体的各成员至少部分出现在与输入/输出界面相关联的悬停空间中,所述输入/输出界面与装置相关联;
为所述一组物体的不同的第二成员建立非主要悬停点指定;以及
至少部分地基于所述主要悬停点指定和所述非主要悬停点指定有选择地控制所述输入/输出界面如何处理由所述一组物体的各成员执行的动作。
2.如权利要求1所述的方法,其中建立所述主要悬停点指定是根据所述一组物体中哪一成员首先进入所述悬停空间。
3.如权利要求1所述的方法,其中建立所述主要悬停点指定是根据所述一组物体中哪一成员已经在所述悬停空间中耗费了最长时间量。
4.如权利要求1所述的方法,其中建立所述主要悬停点指定是根据所述一组物体中哪一成员最接近所述输入/输出界面。
5.如权利要求1所述的方法,其中建立所述主要悬停点指定是根据所述一组物体中哪一成员位于与所述输入/输出界面相关联的校准点的阈值距离之内。
6.如权利要求1所述的方法,其中建立所述主要悬停点指定是根据所述一组物体中哪一成员做出预先确定的手势。
7.如权利要求1所述的方法,其中建立所述主要悬停点指定是根据所述一组物体中哪一成员展现出识别特征。
8.如权利要求1所述的方法,其中有选择地控制所述输入/输出界面如何处理动作包括控制所述输入/输出界面接受来自所述第一成员的输入且拒绝来自所述第二成员的输入。
9.如权利要求1所述的方法,其中有选择地控制所述输入/输出界面如何处理动作包括控制所述输入/输出界面在接受来自所述第二成员的输入之前接受来自所述第一成员的输入。
10.如权利要求1所述的方法,包括:
为所述一组物体的成员的第一子集建立主要悬停点指定,以及
为所述一组物体的成员的不同的第二子集建立非主要悬停点指定,所述第一子集和所述第二子集不相交。
11.如权利要求1所述的方法,包括:
为所述第一成员移除所述主要悬停点指定,以及
为所述一组物体的不同成员建立所述主要悬停点指定。
12.如权利要求11所述的方法,
其中,移除所述主要悬停点指定是根据所述第一成员离开所述悬停空间或所述第一成员做出第二预先确定的手势,以及
其中,为所述不同成员建立所述主要悬停点指定是根据所述不同成员进入所述悬停空间、所述不同成员比所述一组物体的任何其他成员更接近所述输入/输出界面、所述不同成员做出第一预先确定的手势或所述不同成员位于校准点的阈值距离之内。
13.一种用于探测多悬停点设备的主要悬停点的装置,包括:
悬停敏感的输入/输出界面;
接近探测器,其被配置为探测与所述悬停敏感的输入/输出界面相关联的悬停空间中的物体;
第一逻辑,其被配置为产生关于所述物体的表征数据,其中所述表征数据描述所述物体何时进入所述悬停空间、所述物体进入所述悬停空间何处、所述物体位于所述悬停空间何处、所述物体的行进方向、所述物体的行进速度、所述物体执行的手势、所述物体的定向、所述物体的尺寸、所述物体位于所述悬停空间的时间量、所述物体的活跃水平或与所述物体相关联的识别标记;以及
第二逻辑,其被配置为至少部分地基于所述表征数据建立和维护在所述物体和所述输入/输出界面的主要悬停点之间的关系,其中所述关系控制所述输入/输出界面将如何解释所述物体在所述悬停空间中执行的动作,包括至少部分地基于所述主要悬停点以及为不同于所述物体的另一物体建立的非主要悬停点指定来有选择地控制所述输入/输出界面如何处理由所述物体和所述另一物体执行的动作。
14.如权利要求13所述的装置,其中建立所述悬停点指定是根据标识以下项:
所述物体是否是所述悬停空间中的唯一物体,
所述物体是否是所述悬停空间中的多个物体中进入所述悬停空间的第一个物体,所述物体是否比所述悬停空间中的任何其他物体已经处于所述悬停空间中更久,所述物体是否是所述悬停空间中最接近所述输入/输出界面的物体,
是否所述物体已经做出预先确定的手势,
所述物体是否位于校准点的阈值距离之内,或
所述物体是否具有预先确定的标识符。
15.如权利要求13所述的装置,包括:
第三逻辑,其:
根据所述关系控制所述输入/输出界面如何处理来自所述物体的输入动作,在所述关系把所述物体标识为与所述主要悬停点相关联时,控制所述输入/输出界面有选择地接受来自所述物体的输入动作,以及
在所述关系把所述物体标识为不与所述主要悬停点相关联时,控制所述输入/输出界面有选择地忽略来自所述物体的输入动作,以及
第四逻辑,其重新配置所述第二逻辑如何建立所述关系,其中所述第四逻辑响应于通过消息收发接口从用户或应用接收的消息重新配置所述第二逻辑。
16.一种包括用于执行如权利要求1-12中的任一项所述的方法的装置的计算机系统。
17.一种具有指令的计算机可读存储介质,所述指令在被执行时使机器执行如权利要求1-12中的任一项所述的方法。
探测多悬停点设备的主要悬停点\n[0001] 背景\n[0002] 在一些装置中,触敏屏幕已经被依赖于接近探测器的悬停敏感的屏幕所替代。尽管触敏屏幕探测触摸屏幕的物体,但悬停敏感的屏幕可以探测在屏幕的一定距离内的物体。触敏屏幕可以标识屏幕上由用户、用户指示笔或其他物体触摸的点。可以基于触摸点和在触摸点处发生的动作控制各动作。\n[0003] 常规的悬停敏感的屏幕探测与悬停敏感设备相关联的悬停空间中的物体。当悬停空间中存在单个物体时,常规的系统不难把主要悬停点关联到单个物体。然而,当悬停空间中存在多个物体时,或者当各物体进入悬停空间、在悬停空间中来回移动和离开悬停空间时,可能已经难以(即使可能的话)建立主要悬停点指定、维护主要悬停点指定并把主要悬停点指定重新指派给多个移动物体。适当地对用户动作做出反应至少部分地取决于正确地标识主要悬停点且然后建立、维护和管理该主要悬停点指定。\n[0004] 概述\n[0005] 提供本概述以便以简化形式引入下面在详细描述中进一步描述的概念的选集。本概述不旨在标识所要求保护的本主题的关键特征或必要特征,也不预期用来限制所要求保护的本主题的范围。\n[0006] 各示例方法和装置涉及标识悬停敏感的屏幕的主要悬停点。示例方法和装置可以探测与悬停敏感的输入/输出(I/O)界面相关联的悬停空间中的一组物体,且然后把主要悬停点指定与所述一组物体的一个子集关联起来。在一种实施例中,可以建立单个主要悬停点,而在另一实施例中,可以建立多个主要悬停点。然后,各示例方法和装置可以把非主要悬停点指定与没有被指定为与主要悬停点相关联的物体关联起来。然后,至少部分地通过是由与主要悬停点相关联的物体执行动作还是由与非主要悬停点相关联的物体执行动作,确定由I/O界面响应于用户动作执行的动作。\n[0007] 一些实施例可以包括悬停敏感的I/O界面和接近探测器,该接近探测器探测与装置相关联的三维体积(例如,悬停空间)中的物体(例如,手指、拇指、指示笔)。悬停空间可以放置为靠近I/O界面且放置在接近探测器可访问的区域中。一种实施例可以产生关于物体的表征数据。一种实施例可以根据表征数据和该表征数据是与和主要悬停点相关联的物体还是与非主要悬停点相关联的物体相关联来有选择地控制在I/O界面上执行的动作。\n[0008] 附图简述\n[0009] 附图阐释在此描述的各种示例装置、方法和其他实施例。应明白,各图中所阐释的元素边界(例如,框、多组框或其他形状)表示边界的一种示例。在一些示例中,一个元素可以被设计成多个元素,或者多个元素可以被设计成一个元素。在一些示例中,被示出为另一元素的内部组件的元素可以被实现为外部组件,且反之亦然。此外,可以不按比例绘制各元素。\n[0010] 图1阐释示例悬停敏感设备。\n[0011] 图2阐释示例悬停敏感设备。\n[0012] 图3阐释示例悬停敏感设备的一部分。\n[0013] 图4阐释示例悬停敏感设备的一部分。\n[0014] 图5阐释与主要悬停点处理相关联的示例方法。\n[0015] 图6阐释与主要悬停点处理相关联的示例方法。\n[0016] 图7阐释其中可以支持主要悬停点控制的示例云操作环境。\n[0017] 图8是叙述被配置为支持主要悬停点处理的示例性移动通信设备的系统图。\n[0018] 图9阐释执行主要悬停点处理的示例装置。\n[0019] 详细描述\n[0020] 示例装置和方法探测与I/O界面相关联的悬停空间中的物体。然后,示例装置和方法判断物体中的哪些(如果有的话)将被标识为与主要悬停点相关联。一旦标识了与(多个)主要悬停点相关联的(多个)物体,将至少部分地通过在物体和主要悬停点之间建立的关系控制由I/O界面执行的I/O。在一种实施例中,可以建立在单个物体和单个主要悬停点之间的关系。在这一实施例中,仅可以从单个物体接收输入。在另一实施例中,两个或更多个物体可以被标识为与两个或更多个主要悬停点相关联。在这一实施例中,可以个别地或组合地从两个或更多个物体接收到输入。示例装置和方法也可以管理(例如,改变)和废除(例如,移除)在物体和悬停点之间的关联。在一种实施例中,一旦物体与主要悬停点相关联,该物体将保持与该主要悬停点相关联,直到该物体离开悬停空间。在另一实施例中,基于该物体或其他物体所采取的动作,哪些(多个)物体与(多个)主要悬停点相关联可以随时间改变。例如,另一物体可以更加靠近I/O界面,另一物体可能在悬停空间中更加活跃,另一物体可能在悬停空间中做出更可识别的手势,另一物体可以位于校准点上,或其他动作。\n[0021] 使用悬停技术来探测悬停空间中的物体。“悬停技术”和“悬停敏感”是指感知与电子设备中的显示器隔开(例如,不触摸)但紧靠的物体。“紧靠”可以意指例如超过1mm但在\n1cm内、超过0.1mm但在10cm内或其他范围的组合。处于紧靠包括处于在其中接近探测器可以探测和表征悬停空间中的物体的范围内。该设备可以是例如电话、平板计算机、计算机或其他设备。悬停技术可以取决于与悬停敏感的设备相关联的(多个)接近探测器。示例装置可以包括(多个)接近探测器。\n[0022] 图1阐释示例悬停敏感设备100。设备100包括输入/输出(I/O)界面110。I/O界面\n100是悬停敏感的。I/O界面100可以显示一组物品,包括例如虚拟键盘140,且更一般地显示用户界面元素120。用户界面元素可以用来显示信息并接收用户交互。可以在悬停空间150中无需触摸设备100就执行用户交互。设备100或I/O界面110可以存储关于用户界面元素\n120、虚拟键盘140或所显示的其他项的状态130。用户界面元素120的状态130可以取决于使用虚拟键盘140执行的动作。状态130可以包括例如被指派为与主要悬停点相关联的物体的位置、被指派为与非主要悬停点相关联的物体的位置或其他信息。执行哪些用户交互可以至少部分地取决于认为悬停空间中的哪一物体是主要悬停点。例如,与主要悬停点相关联的物体可以做出一种手势。与此同时,与非主要悬停点相关联的物体也可能看上去是做出一种手势。按照惯例,在呈现同时手势时已经难以(即使有可能的话)决定执行哪种I/O操作。示例装置和方法可以至少部分地基于主要/非主要的指定决定执行哪种I/O操作。\n[0023] 设备100可以包括接近探测器,该接近探测器探测物体(例如,指、笔、带有容性尖端的指示笔)何时接近但不接触I/O界面110。接近探测器可以标识物体160在三维悬停空间\n150中的位置(x,y,z)。接近探测器也可以标识物体160的其他属性例如包括物体160在悬停空间150中移动的速度、物体160相对于悬停空间150的定向(例如,俯仰角、横滚角、偏航角)、物体160相对于悬停空间150或设备100移动的方向、正由物体160做出的手势或物体\n160的其他属性。尽管阐释了单个物体160,但接近探测器可以探测悬停空间150中多于一个的物体。\n[0024] 在一种实施例中,当悬停空间150中存在多于一个的物体时,示例装置和方法可以把各物体中的一个指定为与主要悬停点相关联且可以把其他物体归类为与辅助或非主要悬停点相关联。在另一实施例中,当悬停空间中存在多于一个的物体时,示例装置和方法可以把物体的子集指定为与主要悬停点相关联,且可以把不处于该子集内的物体指定为与辅助或非主要悬停点相关联。然后,示例装置和方法可以至少部分地基于主要/非主要指定决定采取什么输入动作。另外,示例装置和方法可以至少部分地基于主要/非主要指定决定采取什么输出动作。\n[0025] 在不同的示例中,接近探测器可以使用主动或被动系统。例如,接近探测器可以使用包括但不限于以下的感知技术:电容、电场、电感、霍尔效果、里德效应、涡流、磁阻、光学阴影、光学可见光、光学红外(IR)、光学色彩识别、超声波、声发射、雷达、热、声纳、导电和电阻技术。主动系统可以包括红外或超声波系统以及其他系统。被动系统可以包括,电容或光学阴影系统以及其他系统。在一种实施例中,当接近探测器使用电容技术时,探测器可以包括一组电容感知节点来探测悬停空间150中的电容改变。电容改变可以例如由出现在电容感知节点的探测范围内的(多个)指(例如,手指、拇指)或(多个)其他物体(例如,笔、电容指示笔)引起。在另一实施例中,在接近探测器使用红外光时,接近探测器可以发射红外光并探测来自在红外传感器的探测范围内(例如,在悬停空间150中)的物体的光的反射。类似地,在接近探测器使用超声波时,接近探测器可以把声音发射到悬停空间150,且然后测量声音的回波。在另一实施例中,在接近探测器使用光电探测器时,接近探测器可以跟踪光亮度的改变。亮度的增加可以揭示从悬停空间150移除物体,而亮度的减少可以揭示物体进入到悬停空间150。\n[0026] 一般地,接近探测器包括一组接近传感器,这些接近传感器在与I/O界面110相关联的悬停空间150中产生一组感知场。当在悬停空间150中探测到物体时,接近探测器产生信号。在一种实施例中,可以采用单个感知场。在其他实施例中,可以采用两个或更多个感知场。在一种实施例中,可以使用单种技术来探测或表征悬停空间150中的物体160。在另一实施例中,可以使用两种或更多种技术的组合来探测或表征悬停空间150中的物体160。\n[0027] 在一种实施例中,表征物体包括接收来自由设备提供的探测系统(例如,接近探测器)的信号。探测系统可以是主动探测系统(例如,红外、超声波)、被动探测系统(例如,容性)或各系统的组合。探测系统可以被合并到设备中或由设备提供。\n[0028] 表征物体也可以包括其他动作。例如,表征物体可以包括判断物体(例如,指、指示笔)已经进入悬停空间或已经离开悬停空间。表征物体也可以包括标识物体存在于悬停空间中的预先确定的位置。该预先确定的位置可以是相对于I/O界面或者可以相对于具体用户界面元素的位置。在一种实施例中,通过把物体放置在预先确定的“在这里定义主要悬停点”用户界面元素上,或者通过做出“我是与主要悬停点关联的物体”手势,用户可以控制哪一物体将与主要悬停点相关联。\n[0029] 图2阐释仿真悬停敏感设备200。已经把用户的食指210指定为与主要悬停点相关联。因此,食指210所采取的动作引起悬停敏感设备200上的I/O活动。例如,把手指210悬停在虚拟键盘的特定键上可以引起该键变得高亮。然后,在高亮键上做出仿真键入动作(例如,虚拟击键)可以引起输入动作,该输入动作引起特定键击出现在文本输入框中。例如,字母E可以被放置在文本输入框中。不幸的是,在拇指220或手腕230也出现在悬停空间中时,常规系统可能有困难。例如,如果拇指220更接近I/O界面或者是进入悬停空间的第一物体,那么,拇指220而不是手指210可能无意中与主要悬停点相关联。类似地,如果手腕230更接近I/O界面或者是进入悬停空间的第一物体,那么,手腕230而不是手指210可以与主要悬停点相关联。示例装置和方法促进标识与主要悬停点相关联的适当物体。示例装置和方法也促进管理在物体和主要悬停点之间的关系。传统上,最初可以把手指210指定为与主要悬停点相关联,但拇指220的外观或动作可能引起无意的和不期望的主要悬停点切换。\n[0030] 图3阐释悬停敏感的I/O界面300。线320表示与悬停敏感的I/O界面300相关联的悬停空间的外边界。线320位于离I/O界面300的距离330。对不同的装置,距离330且因而线320可以具有不同的尺寸和位置,这取决于例如支持I/O界面300的设备所使用的接近探测技术。\n[0031] 示例装置和方法可以标识位于以I/O界面300和线320为边界的悬停空间中的物体。在第一时刻T1,可以在悬停空间中探测到物体310,且在悬停空间中不可以探测到物体\n312。在第二时刻T2,物体312可以进入悬停空间且可以实际上比物体310更接近I/O界面\n300。示例装置和方法促进建立在物体和主要悬停点指定之间或在物体和非主要悬停点指定之间的关系。在一种实施例中,由于物体310是进入悬停空间的第一物体,物体310可以与主要悬停点相关且物体312可以是与非主要悬停点相关。在另一实施例中,由于物体312更接近I/O界面300,物体310可以失去与主要悬停点的关系且物体312可以获得该关系。但是在另一实施例中,只是因为物体312更接近I/O界面300,可以不允许物体312取代在物体310和主要悬停点之间的关系。\n[0032] 关于应当如何处理先入关系和最近关系,不同的用户可以具有不同的期望。因而,在一种实施例中,示例装置和方法可以提供应用编程接口(API),用户、程序、进程或其他参与者可以通过该应用编程接口(API)配置或重新配置I/O界面300。因而,一个用户可以选择先入方法,而另一用户可以选择最近方法。在一种实施例中,可以使用支持I/O界面300的设备中的逻辑执行该配置,而在另一实施例中,可以离开该设备执行该配置。\n[0033] 图4阐释悬停敏感的I/O界面400。线420叙述与I/O界面400相关联的悬停空间的界限。线420位于离开I/O界面400的距离430。悬停空间可以出现在I/O界面400和线420之间。\n尽管阐释了直线,但悬停空间的大小和形状可以改变。悬停空间中存在四个物体。物体410可能是进入悬停空间的第一物体。物体414可能最靠近I/O界面400。物体416可能位于校准点490上。物体412可能已经处于悬停空间中最长的时间段,也可能已经是悬停空间中最活跃的物体,或者可能已经在悬停空间中做出可识别手势。物体412也可以具有可识别特性(例如,指纹,射频标识(RFID)标签、条形码、快速响应(QR)码)。示例装置和方法促进灵活地定义装置应如何标识哪一或哪些物体与主要悬停点相关联以及哪一或哪些物体与非主要悬停点相关联。一旦物体已经与任一主要悬停点或非主要悬停点关联起来,然后,可以至少部分地基于这些关系确定输入。类似地,可以至少部分地通过这些关系控制由I/O界面400呈现的输出。由于不同的用户可能拥有不同的偏好,在如何把物体标识为与主要悬停点相关联以及如何把物体标识为与非主要悬停点相关联方面,I/O界面400是可配置的。\n[0034] 用对在存储器内的数据比特的操作的算法和符号表示来呈现下面的详细描述的一些部分。本领域中的技术人员使用这些算法描述和表示来向其他人表达他们的工作的实质。算法被认为是产生结果的操作序列。操作可以包括创建和操纵可以采取电子值的形式的物理量。创建或操纵电子值的形式的物理量产生具体的、有形的、有用的、真实世界的结果。\n[0035] 已经证明,主要出于一般用途的原因,有时候把这些信号称为比特、值、元素、符号、字符、项、数字和其他术语是方便的。然而,应当牢记,这些术语和类似的术语与适当的物理量相关联,且仅仅是应用到这些量的方便的标签。除非另外具体说明,否则应明白,贯穿本描述,包括处理、计算和判断在内的术语是指计算机系统、逻辑、处理器或操纵和变换被表示为物理量(例如,电子值)的数据的类似电子设备的动作和过程。\n[0036] 参考流程图可以更好地明白各示例方法。出于简单起见,把所阐释的方法示出和描述为一系列框。然而,各方法可以不受各框的顺序的限制,这是因为,在一些实施例中,各框可以以不同于所示出和描述的次序发生。此外,可能要求比少于全部所阐释的框来实现示例方法。可以组合各框或将其分成多个组件。此外,额外的或备选的方法可以采用额外的为阐释的框。\n[0037] 图5阐释与主要悬停点处理相关联的示例方法500。方法500包括,在530建立主要悬停点指定。在一种实施例中,可以为一组物体中的单个成员指定单个主要悬停点。所述一组物体的各成员将至少部分出现在与输入/输出界面相关联的悬停空间中,该输入/输出界面与装置相关联。例如,指尖可以处于悬停空间中,同时最接近手的手指的部分可以不处于悬停空间中。类似地,指示笔的尖端可以位于悬停空间中,同时指示笔的另一端不位于悬停空间中。建立指定可以包括,例如,更新计算机存储器中的值、向装置发送消息、生成由处理器处理的中断、把值存储在寄存器中、把值存储在数据存储中或其他动作。\n[0038] 方法500也可以包括,在540为所述一组物体的第二不同成员建立非主要悬停点指定。非主要悬停点指定可以是,例如,辅助指定、要忽略的指定或其他指定。\n[0039] 在一种实施例中,方法500可以在530为所述一组物体的第一成员子集建立主要悬停点指定。在这一实施例中,方法500也可以在540为所述一组物体的第二不同的成员子集建立非主要悬停点指定。第一子集和第二子集可以不相交。\n[0040] 在530可以以不同的方式建立主要悬停点。在一种实施例中,建立主要悬停点指定是根据所述一组物体中哪一成员首先进入悬停空间。在另一实施例中,建立主要悬停点指定是根据所述一组物体中哪一成员已经在悬停空间中耗费了最长时间量。在其他实施例中,建立主要悬停点指定是根据所述一组物体中哪一成员最接近输入/输出界面,或者是根据所述一组物体中哪一成员位于与输入/输出界面相关联的校准点的阈值距离之内。在一种实施例中,建立主要悬停点指定是根据所述一组物体中哪一成员做出预先确定的手势。\n该手势可以用来把做出该手势的物体标识为想要与主要悬停点相关联。考虑到一个指可能比其他指更加移动、敏捷、精确或多样。也考虑到指示笔可能比一些指以更多的移动性、敏捷性、精确性或多样性操作。因此,为了实现主要悬停点指定,可能要求执行精确或复杂手势。以这种方式,某一指或指示笔可能可以执行手势,而拇指或手腕的基部可能不可以执行手势。在一种实施例中,建立主要悬停点指定是根据所述一组物体中哪个成员展现出识别特征。例如,手指可以展现出预先确定的指纹、指示笔可以呈现RFID标签、笔可以显示条形码或光笔可以呈现QR码。用户可以习惯性地使用某种指或实现(例如,指示笔)与设备交互。\n因而,方法500可以在530响应于探测到已经最为习惯性地与主要悬停点相关联的物体建立主要悬停点指定。\n[0041] 在一种实施例中,在540,使用与在530用来建立主要悬停点指定的那些方法类似的方法,可以建立非主要悬停点指定。在一种实施例中,根据结合动作530描述的一种或多种动作或属性,可以建立主要的或非主要的指定。\n[0042] 方法500也可以包括,在550有选择地控制输入/输出界面如何处理由所述一组物体的各成员执行的动作。可以至少部分地基于主要悬停点指定和非主要悬停点指定训练该控制。在一种实施例中,在550有选择地控制输入/输出界面如何处理动作包括接受来自第一成员的输入和拒绝来自第二成员的输入。在另一实施例中,在550有选择地控制输入/输出界面如何处理动作包括在接受来自第二成员的输入之前接受来自第一成员的输入。在一种实施例中,输入/输出界面如何处理动作可以是用户可配置的。\n[0043] 图6阐释类似于方法500(图5)的示例方法600。例如,方法600包括在630建立(多个)主要悬停点指定、在640建立(多个)非主要指定以及在640控制输入处理。然而,方法600也包括额外的动作。\n[0044] 方法600也包括,在620,探测悬停空间中的一组物体。可以响应于接收来自由执行其悬停点处理的装置提供的探测系统的信号探测各物体。探测系统可以是例如主动探测系统或被动探测系统。探测物体和表征物体可以是正在进行的过程。\n[0045] 传统上,可能已经通过屏幕上的配置来配置用户界面元素的外观、操作和其他属性。然而,用来把物体定义为与主要悬停点相关联的用户界面元素或手势可能已经不是可配置的。可以通过用户与元素交互且不通过计划性的控制发生可能的配置(如果有的话)。\n示例装置和方法提供更加可配置的和可扩展的方法以便配置。为了支持这种可配置性,方法600可以包括在610接收入站消息。可以例如通过由设备上运行的进程提供的应用编程接口(API)接收消息。在不同的实施例中,也可以使用其他消息传递方法例如套接字、远程过程调用、中断或共享存储器来接收入站消息。入站消息可以包括配置信息,其控制装置将如何判断把哪一或哪些物体与一个或多个主要悬停点关联起来以及把哪一或哪些物体与一个或多个非主要悬停点关联起来。\n[0046] 根据接收入站消息,方法600可以在630有选择地重新配置如何建立主要悬停点指定或在640有选择地重新配置如何建立非主要悬停点指定。\n[0047] 用户可以在不同的时刻以不同的方式与悬停敏感的屏幕交互。例如,在第一时刻,用户可能正在使用文本应用,在第二时刻用户可能正在编辑照片,且在第三时刻用户可能正在处理他们的电子邮件。不同的应用可以具有用户可以以不同的方式与其交互的不同类型的界面。用户可以借助于他们的食指与他们的文本应用交互,可以借助于他们的拇指与他们的电子邮件应用交互,且可以借助于指示笔与摄影应用交互。因此方法600也包括,在\n660为第一成员移除主要悬停点指定,且在670为所述一组物体的不同成员建立主要悬停点指定。尽管对不同的应用来说可能期望改变指定,但可以作为用户动作的结果发生改变。例如,移除主要悬停点指定可以是根据第一成员离开悬停空间或第一成员做出第二预先确定的手势。尽管第一预先确定的手势可能已经指示物体想要接收主要悬停点指定,但第二预先确定的手势可能指示该物体想要放弃该主要悬停点指定。为不同成员建立主要悬停点指定可以根据以下项:该不同成员进入悬停空间,该不同成员比所述一组物体的任何其他成员更接近输入/输出界面,该不同成员做出第一预先确定的手势或该不同成员位于校准点的阈值距离之内。\n[0048] 尽管图5和图6阐释串行发生的各种动作,但应明白,图5和图6中所阐释的各种动作可以基本上并行发生。作为阐释,第一进程可以标识物体,第二进程可以管理物体与主要悬停点的关系,且第三进程可以管理物体与非主要悬停点的关系。尽管描述了三个进程,但应明白,可以采用更多或更少数量的进程,且可以采用轻量级进程、常规进程、线程和其他方法。\n[0049] 在一个示例中,一种方法可以被实现为计算机可执行指令。因而,在一个示例中,计算机可读存储介质可以存储计算机可执行指令,如果由机器(例如,计算机)执行,这些计算机可执行指令引起机器执行在此描述或要求保护的方法,包括方法500或600。尽管与所列出的方法相关联的可执行指令被描述为存储在计算机可读存储介质上,但应明白,与在此描述或要求保护的其他示例方法相关联的可执行指令也可以存储在计算机可读存储介质上。在不同的实施例中,可以以不同的方式触发在此描述的各示例方法。在一种实施例中,可以由用户手动触发方法。在另一示例中,可以自动地触发方法。\n[0050] 图7阐释示例云操作环境700。云操作环境700支持作为抽象服务而非独立产品提供计算、处理、存储、数据管理、应用和其他功能。各服务可以由虚拟服务器提供,虚拟服务器可以被实现为一个或多个计算设备上的一个或多个进程。在一些实施例中,各进程可以在服务器之间迁移,而不会破坏云服务。在云中,可以在网络上把共享资源(例如,计算、存储)提供给包括服务器、客户机和移动设备的计算机。可以使用不同的网络(例如,以太网、Wi-Fi、802.x、蜂窝式)访问云服务。与云交互的用户可能不需要知道实际上提供该服务(例如,计算、存储)的设备的详情(例如,位置、名称、服务器、数据库)。用户可以经由例如web浏览器、瘦客户机、移动应用或其他方式访问云服务。\n[0051] 图7阐释驻留在云中的示例主要悬停点服务760。主要悬停点服务760可以依赖于服务器702或服务704来执行处理且可以依赖于数据存储706或数据库708来存储数据。尽管阐释了单个服务器702、单个服务704、单个数据存储706和单个数据库708,但服务器、服务、数据存储和数据库的多个实例可以驻留在云中,且因而可以由主要悬停点服务760使用。\n[0052] 图7阐释访问云中的主要悬停点服务760的各种设备。各设备包括计算机710、平板\n720、膝上型计算机730、个人数字助理740和移动设备(例如,蜂窝式电话、卫星电话)750。可能的情况是,处于不同位置、使用不同设备的不同用户可以通过不同的网络或接口访问主要悬停点服务760。在一个示例中,主要悬停点服务760可以由移动设备750访问。在另一示例中,主要悬停点服务760的各部分可以驻留在移动设备750上。主要悬停点服务760可以执行包括以下的动作:例如,配置设备的主要悬停点标识,执行设备的主要悬停点探测,管理设备的主要悬停点指定或其他动作。在一种实施例中,主要悬停点服务760可以执行在此描述的方法(例如,方法500、方法600)的各部分。\n[0053] 图8是叙述示例性移动设备800的系统图,示例性移动设备800包括一般地在802示出的各种可选硬件和软件组件。移动设备800中的组件802可以与其他组件通信,但为便于阐释并未示出所有连接。移动设备800可以是各种计算设备(例如,蜂窝式电话、智能电话、手持式计算机、个人数字助理(PDA)等等)且可以允许借助于诸如蜂窝或卫星网络之类的一个或多个移动通信网络804进行无线双向通信。\n[0054] 移动设备800可以包括控制器或处理器810(例如,信号处理器、微处理器、专用集成电路(ASIC)或其他控制和处理逻辑电路)用于执行包括信号编码、数据处理、输入/输出处理、功率控制或其他功能的任务。操作系统812可以控制组件802的分配和使用并支持应用程序814。应用程序814可以包括移动计算应用(例如,电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)或其他计算应用。\n[0055] 移动设备800可以包括存储器820。存储器820可以包括不可移动存储器822或可移动存储器824。不可移动存储器822可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、硬盘或其他存储器存储技术。可移动存储器824可以包括闪速存储器或GSM通信系统中已知的订户身份模块(SIM)卡或其他存储器存储技术如“智能卡”。存储器820可以用来存储用于运行操作系统812和应用814的数据或代码。示例数据可以包括物体与主要悬停点关系的数据、物体与非主要悬停点关系的数据、悬停点建立配置数据、用户界面元素状态、web页面、文本、图像、声音文件、视频数据或经由一个或多个有线或无线网络发送给一个或多个网络服务器或其他设备或从其接收的其他数据集。存储器820可以存储诸如国际移动订户身份(IMSI)之类的订户标识符和诸如国际移动设备标识符(IMEI)之类的设备识符。可以把各标识符发送给网络服务器以便标识用户或装备。\n[0056] 移动设备800可以支持包括但不限于以下的一个或多个输入设备830:触摸屏832、悬停屏幕833、话筒834、照相机836、物理键盘838或跟踪球840。尽管描述了触摸屏832和物理键盘838,但一种实施例中,屏幕可以是悬停敏感的且可以显示虚拟键盘。移动设备800也可以支持包括但不限于扬声器852和显示器854的输出设备850。其他可能的输入设备(未示出)包括加速度计(例如,一维、二维、三维)。其他可能的输出设备(未示出)可以包括压电或其他触觉输出设备。一些设备可以提供多于一个的输入/输出功能。例如,在单个输入/输出设备中可以组合触摸屏832和显示器854。输入设备830可以包括自然用户界面(NUI)。NUI是允许用户以“自然”方式与设备交互的界面技术,免受诸如鼠标、键盘、遥控器和其他之类的输入设备所施加的认为约束。NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、手势识别(两者都在屏幕上且邻近屏幕)、空中手势、头和眼跟踪、语音和言语、视觉、触摸、手势和机器智能的那些。NUI的其他示例包括使用加速度计/陀螺仪、面部识别、三维(3D)显示器、头、眼和视线跟踪、沉浸式增强现实和虚拟现实系统的运动手势探测,以上全都提供更自然的界面,以及使用电场感知电极(脑电图(EEG)和相关方法)来感知大脑活动的技术。因而,在一种特定的示例中,操作系统812或应用814可以包括作为语音用户界面的一部分的语音识别软件,其允许用户经由语音命令操作设备800。进一步,设备800可以包括允许用户经由用户的空间手势交互(例如探测和解析手势以便向应用提供输入)的输入设备和软件。\n[0057] 无线调制解调器860可以耦合到天线891。在一些示例中,使用射频(RF)滤波器且处理器810不需要为已选择频段选择天线配置。无线调制解调器860可以支持在处理器810和外部设备之间的双向通信。一般地示出调制解调器860,且其可以包括用于与移动通信网络804通信的蜂窝式调制解调器和/或基于其他无线电的调制解调器(例如,蓝牙864或Wi-Fi 862)。无线调制解调器860可以被配置为用于一个或多个蜂窝式网络如全球移动通信系统(GSM)网络通信,用于在单个蜂窝式网络内、在多个蜂窝式网络之间或在移动设备和公用交互电话网(PSTN)之间的数据和语音通信。移动设备800也可以使用例如近场通信(NFC)元件892来进行本地通信。\n[0058] 移动设备800可以至少包括一个输入/输出端口880、电源882、卫星导航系统接收器884如全球定位系统(GPS)接收器、加速度计886或物理连接器890,它们可以是通用串行总线(USB)端口、IEEE 1394(火线)端口、RS-232端口或其他端口。不要求所阐释的组件802,或者并非全部包括在内,这是由于可以删除或添加其他组件。\n[0059] 移动设备800可以包括主要悬停点逻辑899,主要悬停点逻辑899被配置成为移动设备800提供功能。例如,主要悬停点逻辑899可以允许客户机与服务(例如,图7的服务760)交互。在此描述的示例方法的各部分可以由主要悬停点逻辑899执行。类似地,主要悬停点逻辑899可以实现在此描述的装置的各部分。\n[0060] 图9阐释支持主要悬停点处理的装置900。在一个示例中,装置900包括接口940,接口940被配置为连接处理器910、存储器920、一组逻辑930、接近探测器960和悬停敏感I/O界面950。装置900的各元素可以被配置为相互通信,但出于阐释的清晰起见并没有示出所有连接。\n[0061] 接近探测器960可以探测与装置900相关联的悬停空间970中的物体980。接近探测器960也可以探测悬停空间970中的另一物体990。悬停空间970可以是例如被放置为靠近I/O界面950且在接近探测器960可访问的区域中的三维体积。悬停空间970具有有限边界。因此接近探测器960可以不探测位于悬停空间970外的物体999。用户可以把指放置在悬停空间970中,可以把多个指放置在悬停空间970中,可以把他们的手放置在悬停空间970中,可以把物体(例如,指示笔)放置在悬停空间中,可以在悬停空间970中做出手势,可以从悬停空间970移除指,或采取其他动作。装置900分析与悬停空间970中的各物体相关联的数据,确定哪一物体应与主要悬停空间相关联,并至少部分地基于在物体和主要悬停点之间的关系控制I/O界面950的操作。\n[0062] 装置900可以包括第一逻辑932,第一逻辑932被配置成产生关于出现在悬停空间\n970中的物体或多个物体的表征数据。在一种实施例中,表征数据可以描述物体980何时进入悬停空间970。知道物体何时进入悬停空间970支持把物体与主要悬停点关联起来的先入或最长进入方法。表征数据也可以描述物体980在何处进入悬停空间970或物体980位于悬停空间970何处。知道物体在何处进入悬停空间970或物体位于悬停空间何处支持标识主要悬停点的最靠近I/O界面方法或“在校准点上”方法。表征数据也可以描述物体980的行进方向、物体980的行进速度或由物体980执行的手势。知道物体如何移动支持标识主要悬停点的标识基于手势或基于移动的方法。表征数据也可以描述物体980的定向或物体980的大小。知道物体的大小或定向支持考虑物体的大小(例如,手指相对于拇指)以及物体是否面向I/O界面950的用于标识主要悬停点的方法。表征数据也可以描述物体980的活跃水平、物体980上的或与物体980相关联的标识标记或其他属性。表征数据也可以描述悬停空间970中的物体990或其他物体。表征数据可以取决于由接近探测器960提供给第一逻辑932的信号。然后,装置900可以把物体980或990中的任一个或两者指定为与主要悬停点相关联。装置900可以把不与主要悬停点相关联的物体指定为与非主要悬停点相关联的。各指定可以至少部分地基于表征数据。\n[0063] 装置900可以包括第二逻辑934,第二逻辑934被配置成为输入/输出界面950建立和维护在物体980和主要悬停点之间的关系。建立该关系可以包括,例如,更新存储器920中的值、向另一装置发送消息、生成由处理器910处理的中断、把值存储在寄存器中、把值存储在数据存储中或其他动作。在一种实施例中,该关系可以被存储为I/O界面950的状态数据。\n该关系可以至少部分地基于表征数据。该关系控制输入/输出界面950将如何解释在悬停空间970中由物体980执行的动作。例如,该关系可以控制是否将处理或忽略由物体980执行的动作或是否将处理或忽略由物体990执行的动作。\n[0064] 在一种实施例中,可以为作为悬停空间970中的唯一物体的物体建立悬停点指定。\n在另一实施例中,可以为作为悬停空间970中的多个物体中进入悬停空间970的第一个物体的物体建立悬停点指定。在另一实施例中,可以为已经处于悬停空间比悬停空间中的任何其他物体更久的物体建立悬停点指定。在另一实施例中,可以为作为悬停空间970中离输入/输出界面最近的物体的物体建立悬停点指定。在另一实施例中,可以为在悬停空间970中做出预先确定的手势的物体建立悬停点指定。例如,装置900可以被配置为识别“我是主要物体”手势。执行“我是主要物体”手势的物体可以接收主要悬停点指定。在另一实施例中,可以为位于校准点的阈值距离之内的物体建立悬停点指定。例如,装置900可以控制I/O界面950显示用户可以把用户预期将其与主要悬停点相关联的物体放置在其上的靶心或其他符号。在又另一实施例中,可以为呈现预先确定的标识符的物体建立悬停点指定。例如,用户可以习惯性地用某一手指或拇指打字。该手指或拇指可以具有唯一指纹。在呈现预先确定的指纹的物体处于悬停空间970时,该物体可以接收主要悬停点指定。类似地,用户可以习惯性地使用带有容性尖端的某种指示笔。指示笔可以装饰有QR码或可以包括RFID标签。在呈现预先确定的QR码或RFID标签的物体出现时,该物体可以接收主要悬停点指定。\n[0065] 装置900可以包括第三逻辑936,第三逻辑936被配置成根据该关系控制输入/输出界面950如何处理来自物体980的输入动作。在一种实施例中,第三逻辑936被配置成在该关系把物体标识为与主要悬停点相关联时控制输入/输出界面950有选择地接受来自物体的动作作为输入。第三逻辑936也可以被配置成在关系把物体标识为不与主要悬停点相关联时控制输入/输出界面950有选择地忽略来自物体的动作。物体指定可以已经由处理由第一逻辑932产生的表征数据的第二逻辑934建立。\n[0066] 装置900也可以包括第四逻辑938,第四逻辑938被配置成重新配置第二逻辑934如何建立关系。在一种实施例中,第四逻辑938响应于通过消息收发接口从用户或应用接收的消息重新配置第二逻辑934。该消息可以描述例如用户愿意如何将物体被标识为与主要悬停点相关联或用户愿意如何将物体被标识为是与非主要悬停点相关联。在一种实施例中,非主要悬停点可以是辅助悬停点或要忽略的悬停点。作为阐释,用户可以向第四逻辑938提供配置信息。该信息可以标识仅具有第一指纹的第一手指、具有第二指纹的第二手指或具有唯一指示笔属性(例如,RFID标签、QR码)的指示笔可与主要悬停点相关联。在三种选择中的两种或更多种出现在悬停空间中时,用户也可以提供用于在三种可能选择之间做出决定的配置信息。\n[0067] 装置900可以包括存储器920。存储器920可以包括不可移动存储器或可移动存储器。不可移动存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、硬盘或其他存储器存储技术。可移动存储器可以包括闪速存储器,或其他存储器存储技术,如“智能卡”。存储器920可以被配置为存储用户界面状态信息、表征数据、物体数据或其他数据。\n[0068] 装置900可以包括处理器910。处理器910可以是例如信号处理器、微处理器、专用集成电路(ASIC)或用于执行包括信号编码、数据处理、输入/输出处理、功率控制或其他功能在内的任务的其他控制和处理逻辑电路。处理器910可以被配置为与建立和管理主要悬停点关联和非主要(例如,辅助、忽略)悬停点关联的逻辑930交互。\n[0069] 在一种实施例中,装置900可以是通过包含一组逻辑930可以变换成专用计算机的通用计算机。一组逻辑930可以被配置为执行输入和输出。装置900可以通过例如计算机网络与其他装置、过程和服务交互。\n[0070] 以下包括在此采用的所选择的术语的定义。定义包括落在可以用于实现的术语的范围内的组件的各种示例或形式。各示例不预期是限制。各术语的单数和复数形式都可以处于各定义之内。\n[0071] 对“一种实施例”、“一个实施例”、“一个示例”和“一种示例”的引用表示这样描述的(多个)实施例或(多个)示例可以包括具体的特征、结构、特性、性质、元素或限制,但并非每一实施例或示例必定包括具体的特征、结构、特性、性质、元素或限制。此外,重复使用短语“在一种实施例中”不必定是指相同的实施例,但可以是指相同的实施例。\n[0072] 在此所使用的“计算机可读存储介质”,是指存储指令或数据的介质。“计算机可读存储介质”不指所传播的信号。计算机可读存储介质可以采取包括但不限于非易失性介质,和易失性介质的形式。非易失性介质可以包括例如光盘、磁盘、磁带和其他介质。易失性介质可以包括例如半导体存储器、动态存储器和其他介质。常见形式的计算机可读存储介质可以包括但不限于软盘、灵活的盘、硬盘、磁带、其他磁介质、专用集成电路(ASIC)、紧致盘(CD)、随机存取存储器(RAM)、只读存储器(ROM)、存储器芯片或卡、存储棒和计算机、处理器或其他电子设备可以读取的其他介质。\n[0073] 在此所使用的“数据存储”是指可以存储数据的物理或逻辑实体。数据存储可以是例如数据库、表、文件、列表、队列、堆、存储器、寄存器和其他物理储存库。在不同的示例中,数据存储可以驻留在一个逻辑或物理实体中,或者可以在两个或更多个逻辑或物理实体之间分布。\n[0074] 在此所使用的“逻辑”包括但不限于在机器上执行的硬件、固件、软件,或每一种执行(多个)函数或(多个)动作的组合,或引起来自另一逻辑、方法或系统的函数或动作。逻辑可以包括软件控制微处理器、分立逻辑(例如,ASIC)、模拟电路、数字电路、编程逻辑器件、包含指令的存储器设备和其他物理设备。逻辑可以包括一个或多个门、门的组合或其他电路组件。在描述多个逻辑上的逻辑的场合,有可能把多个逻辑上的逻辑合并成一个物理逻辑。类似地,在描述单个逻辑的逻辑的场合,有可能把该单个逻辑的逻辑分布在多个物理逻辑之间。\n[0075] 在详细描述或权利要求中采用术语“包括(include)”或“包括(including)”的范意义上,预期如同在权利要求中用作过渡词时解释术语“包含(comprising)”的那样以类似于该术语的方式包括在内。\n[0076] 在详细描述或权利要求中采用术语“或”(例如,A或B)的意义上,预期意指“A或B或两者”。在申请人预期表示“仅A或B但不是两者”时,那么,将采用术语“仅A或B但不是两者”。\n因而,在此使用术语“或”是包括在内的、但不是排他性的使用。参见Bryan A.Garner的现代法律用法辞典第624页(1995年第二版)。\n[0077] 尽管已经用结构特征和/或方法动作专用的语言描述了各实施例,但应理解,在所附权利要求中界定的本主题并不必定限于以上所描述的特定特征或动作。相反,以上所描述的特定特征和动作是作为实现权利要求的示例形式而公开的。
法律信息
- 2019-11-19
- 2016-07-06
实质审查的生效
IPC(主分类): G06F 3/0488
专利申请号: 201480051000.2
申请日: 2014.09.12
- 2016-06-08
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2012-10-24
|
2012-04-09
| | |
2
| |
2012-04-04
|
2011-08-31
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |