著录项信息
专利名称 | 姿势检测及其简明表示 |
申请号 | CN201210574786.9 | 申请日期 | 2012-12-26 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2013-07-03 | 公开/公告号 | CN103186239A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06F3/01 | IPC分类号 | G;0;6;F;3;/;0;1查看分类表>
|
申请人 | 马克西姆综合产品公司 | 申请人地址 | 美国加利福尼亚州
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 马克西姆综合产品公司 | 当前权利人 | 马克西姆综合产品公司 |
发明人 | P·J·凯特尔 |
代理机构 | 永新专利商标代理有限公司 | 代理人 | 陈松涛;王英 |
摘要
本发明涉及一种姿势检测及其简明表示。具体而言,本发明描述了一种可以以电子设备实现的技术,用以检测传感器的视场内的姿势,并且产生检测到的姿势的简明数据表示。在实施方式中,传感器配置为检测姿势,并且响应于其而提供信号。估计器,其与传感器进行通信,配置为产生姿势的椭圆表示。用于姿势的简明表示的多个系数可以用于定义表示姿势的椭圆。
1.一种电子设备,包括:
传感器,配置为检测姿势,并且响应于所述姿势而提供信号;以及
估计器,可通信地耦合到所述传感器,所述估计器配置为从所述传感器接收所述信号,并且产生对应于所述姿势的椭圆表示的一个或多个估计值,其中所述姿势的所述椭圆表示包括多个系数,所述多个系数基于所述一个或多个估计值产生并且能够用于在地理平面中形成椭圆,以表示检测到的姿势。
2.根据权利要求1所述的电子设备,进一步包括照明源,该照明源配置为发出波长的有限光谱内的光,其中,所述传感器包括光电检测器,该光电检测器配置为检测所述波长的有限光谱内的光以便检测所述姿势。
3.根据权利要求1所述的电子设备,其中,所述多个系数包括以下中的至少一个:中心系数,表示地理平面内的椭圆的中心坐标;第一半径系数,表示所述地理平面内的所述椭圆的半长半径值;第二半径系数,表示所述地理平面内的所述椭圆的半短半径值;或者θ系数,表示所述地理平面内的所述椭圆的取向。
4.根据权利要求1所述的电子设备,其中,所述估计器进一步配置为导出至少一个偏差偏移状态。
5.根据权利要求1所述的电子设备,其中,所述估计器包括卡尔曼估计器。
6.根据权利要求1所述的电子设备,其中,使用最小二乘模型确定所述姿势的所述椭圆表示。
7.根据权利要求1所述的电子设备,其中,所述传感器包括光电检测器,该光电检测器配置为四方分段光电检测器、光电二极管的2×2阵列或光电二极管的4×4阵列中的至少一种。
8.一种系统,包括:
照明源,配置为发出波长的有限光谱中的光;
传感器,配置为在所述波长的有限光谱内检测姿势,并且响应于所述姿势而提供信号;
以及
处理器,可通信地耦合到所述传感器,所述处理器配置为从所述传感器接收所述信号;
控制可在所述处理器上执行并且配置为产生所述姿势的椭圆表示的编程,其中所述姿势的所述椭圆表示包括多个系数,所述多个系数能够用于在地理平面中形成椭圆,以表示检测到的姿势。
9.根据权利要求8所述的系统,进一步包括估计器,所述估计器可通信地耦合到所述处理器,所述估计器配置为产生对应于所述姿势的椭圆表示的一个或多个估计值。
10.根据权利要求9所述的系统,其中,所述估计器是卡尔曼估计器。
11.根据权利要求8所述的系统,其中,所述信号表示检测到的光的一个或多个特性,所述一个或多个特性包括以下中的至少一个:入射在光电检测器上的所述检测到的光的强度、所述光入射在所述光电检测器上的时间、或者入射在所述光电检测器上的所述检测到的光的取向。
12.根据权利要求8所述的系统,其中,所述多个系数包括以下中的至少一个:中心系数,表示地理平面内的所述椭圆的中心坐标;第一半径系数,表示所述地理平面内的所述椭圆的半长半径值;第二半径系数,表示所述地理平面内的所述椭圆的半短半径值;或者θ系数,表示所述地理平面内的所述椭圆的取向。
13.根据权利要求8所述的系统,进一步包括显示器,该显示器配置为显示所述姿势的所述椭圆表示。
14.根据权利要求8所述的系统,其中,使用最小二乘模型确定所述姿势的所述椭圆表示。
15.根据权利要求8所述的系统,其中,所述传感器包括光电检测器,该光电检测器配置为四方分段光电检测器、光电二极管的2×2阵列或光电二极管的4×4阵列中的至少一种。
16.一种方法,包括:
响应于传感器检测到出现在所述传感器的视场内的姿势而从所述传感器接收信号;
估计与所述信号有关的且对应于所述姿势的椭圆表示的一个或多个值,其中所述姿势的所述椭圆表示包括多个系数,所述多个系数基于所述一个或多个值产生并且能够用于在地理平面中形成椭圆,以表示检测到的姿势。
17.根据权利要求16所述的方法,进一步包括导出定义所述姿势的所述椭圆表示的多个系数。
18.根据权利要求16所述的方法,其中,估计与所述信号有关的一个或多个值包括使用卡尔曼估计器估计与所述信号有关的所述一个或多个值。
19.根据权利要求16所述的方法,其中,使用最小二乘模型确定所述姿势的所述椭圆表示。
20.根据权利要求16所述的方法,其中,所述多个系数包括以下中的至少一个:中心系数,表示地理平面内的椭圆的中心坐标;第一半径系数,表示所述地理平面内的所述椭圆的半长半径值;第二半径系数,表示所述地理平面内的所述椭圆的半短半径值;或者θ系数,表示所述地理平面内的所述椭圆的取向。
姿势检测及其简明表示\n技术领域\n[0001] 本发明涉及一种姿势检测及其简明表示。\n背景技术\n[0002] 姿势检测及识别可以用于向电子设备提供新的且更直观的界面。姿势识别的目的是借助数学算法解释(interpret)人类的姿势。一般而言,姿势可以源自任何身体运动或状态,但大多数常常源自人类用户的面部或手,例如以手势的方式。常常将姿势识别视为计算机开始理解人类身体语言的方式,以便提供在机器与人类之间的比基于文本的界面与图形用户界面(GUI)更为方便和/或直观的界面,基于文本的界面与图形用户界面通常将大多数电子设备输入局限于键盘、鼠标,还有可能是触控面板。这样,姿势检测与识别可以使得人类能够更自然地与机器交互作用,而无需使用机械输入设备。\n发明内容\n[0003] 描述了可以以电子设备实现的技术,用以在传感器的视场内检测姿势,并且产生检测到的姿势的简明数据表示。在实施方式中,传感器配置为检测姿势,并且响应于该姿势而提供信号。与传感器通信的估计器配置为产生姿势的椭圆表示。可以使用用于姿势的简明表示的多个系数来定义表示姿势的椭圆。\n[0004] 提供本发明内容部分仅是介绍主题,所述主题在具体实施方式部分和附图中被充分描述。因此,不应认为发明内容部分描述了基本特征或者用于确定权利要求的范围。\n附图说明\n[0005] 参考附图来描述具体实施方式部分。在附图中,附图标记最左边的数字标识附图标记第一次出现所在的附图。相同的附图标记在说明与附图的不同示例中的使用可以表示类似或相同的项目。\n[0006] 图1是根据本公开内容的示例性实施方式的光电二极管阵列中布置的四个光电二极管的图示说明。\n[0007] 图2是示出当由光电二极管阵列检测到从左向右挥动(swipe)的姿势时图1中所示的四个光电二极管的响应的曲线图。\n[0008] 图3是示出当由光电二极管阵列检测到从上向下挥动的姿势时图1中所示的四个光电二极管的响应的曲线图。\n[0009] 图4是示出连同四个光电二极管的响应的绝对量一起的两对图1中所示的四个光电二极管的差分响应的曲线图。\n[0010] 图5是示出根据本公开内容的示例性实施方式的四个光电二极管相对于笛卡尔坐标参照系的响应的直接测量结果的曲线图。\n[0011] 图6是示出用于图5中所示的光电二极管响应的估计位置状态的曲线图。\n[0012] 图7是示出用于图5中所示的光电二极管响应的卡尔曼估计器导出的速度矢量/伪(pseudo)速度状态的曲线图。\n[0013] 图8是示出用于图5中所示的光电二极管响应的估计的深度状态的曲线图。\n[0014] 图9是示出根据本公开内容的示例性实施方式的用于从左向右水平挥动的姿势的相对于dydt绘制的dxdt的曲线图。\n[0015] 图10是示出根据本公开内容的示例性实施方式的用于从上向下垂直挥动的姿势的相对于dydt绘制的dxdt的曲线图。\n[0016] 图11是图9中所示的从左向右水平挥动的椭圆表示的曲线图。\n[0017] 图12是图10中所示的从上向下垂直挥动的椭圆表示的曲线图。\n[0018] 图13是示出根据本公开内容的示例性实施方式的电子设备的框图,所述电子设备可以配置为确定姿势的简明表示。\n[0019] 图14A到14D是图13中所示的电子设备的图示说明,其中,电子设备配置为经由显示器提供姿势的简明表示的可视表示。\n[0020] 图15是示出根据本公开内容的示例性实施方式的用于确定姿势的简明表示的方法的流程图。\n具体实施方式\n[0021] 概述\n[0022] 姿势检测越来越多地被电子设备用于检测对与电子设备相关的多个应用的输入。\n然而,这种电子设备通常使用大量的光电检测器来改进姿势检测的范围与操作(例如,降噪)。\n[0023] 因此,描述了可以以电子设备实现的技术,用以检测传感器(例如,光电检测器)的视场内的姿势,并且产生检测到的姿势的简明数据表示。在实施方式中,电子设备的光电检测器配置为检测对应于姿势的光,并且响应于所述光而提供信号。例如,光电检测器可以包括分段光电检测器,所述分段光电检测器包括单个光电检测器的阵列(例如,二乘二(2×2)光电检测器的阵列)。与传感器/光电检测器进行通信的估计器配置为对应于姿势的椭圆表示产生信号的一个或多个估计值。例如,估计器可以是卡尔曼估计器,配置为基于由分段光电检测器产生的信号来估计速度矢量。\n[0024] 可以基于姿势的椭圆表示来确定与估计值相关的多个系数。这些系数于是可以用于表示姿势。在实施方式中,五个(5)系数可以用于表示椭圆的多个特性。例如,典型的系数可以包括地理平面内椭圆的中心坐标(形心)、地理平面内椭圆的半径(例如,半长半径与半短半径)、以及地理平面内椭圆的取向(例如,相对于地理平面的轴的角度测量结果)。在实施方式中,椭圆的取向可以用于表示姿势相对于光电检测器的取向的方向,而椭圆的半长半径可以用于表示姿势的速率/速度,椭圆的面积可以用于表示物体的尺寸与高度。\n[0025] 因此,电子设备配置为检测姿势并确定姿势的无损且简明的椭圆表示(例如,使用五个系数),允许较大的姿势检测鲁棒性。在实施方式中,椭圆的直接最小二乘拟合可以充分利用测量的姿势数据,转换为用于特定传感器尺寸的操作的有效范围中的增大。通过使用随机估计技术和最小二乘识别,可以增大姿势检测鲁棒性,同时可以减小错误肯定。这个随机估计可以提供对例如光路径和/或电路径中的缺陷的补偿。这个改进的性能表现为扩展的操作范围。此外,例如通过在仍保持足够的性能的同时减小诸如光电二极管的相关检测设备所需的面积,可以减小与姿势检测相关的设备的成本。\n[0026] 示例性技术\n[0027] 现在参考图1到12,描述了传感器,其配置为感测姿势并提供表示姿势的一个或多个电子信号。例如,参考图1,可以使用包括多个光电二极管(例如,四个光电二极管102、\n104、106与108)的光电二极管阵列100来实现传感器。然而,应注意,仅是示例性地提供了光电二极管阵列100,并非意图成为本公开内容的限制。因此可以使用其他传感器。例如,光电二极管阵列100可以包括光电二极管的四乘四(4×4)阵列等等。在实施方式中,可以用诸如平板电脑、移动电话、智能电话、个人计算机(PC)、膝上型电脑、笔记本电脑、手持便携式电脑、个人数字助理(PDA)、多媒体设备、游戏设备、电子书阅读器设备(eReader)、智能TV设备、表面计算设备(例如,台式计算机)等等来实现用于姿势检测和/或识别的光电二极管阵列100。\n[0028] 随着物体(例如,手)从左到右横穿光电二极管阵列100的视场,产生的阵列响应可以由图2中所示的曲线图来表示,其中,光电二极管对102与106呈现了类似的响应,光电二极管对104和108也是如此。在本示例的背景下,这些响应表示物体从左面进入光电二极管阵列100的视场内并向右离开(例如,以从左到右挥动的姿势的方式)。类似地,如图3所示,当物体从上面进入光电二极管阵列100的视场并在下面离开时(例如,以从上到下挥动的姿势的方式),光电二极管对102和108可以呈现类似的响应,光电二极管对102和104也是如此。用以确定姿势的方向的一个技术是对零点交叉或阈值进行时间标记(time stamp),随后基于单个采样点确定方向(例如,参考零点交叉或阈值)。然而,这个技术易受噪声影响。\n[0029] 现在参考图4,可以为用于姿势识别的光电二极管阵列100的四个光电二极管102、\n104、106和108计算差分响应。例如,可以定义差分对,以使得光电二极管104的响应减去光电二极管106的响应用于表示东北到西南(NESW)梯度,其中主要方向北(N)、南(S)、东(E)和西(W)分别对应于相对于上、下、右、左的光电二极管阵列100的取向。类似地,光电二极管\n102的响应减去光电二极管108的响应用于表示西北到东南(NWSE)的方向梯度。另外,可以对四个光电二极管102、104、106与108的响应求和,以便为光电二极管阵列100提供绝对量/深度。\n[0030] 参考图5,可以组合差分对(例如,如上所述的),以形成笛卡尔参照系内的直接测量结果(例如,使用x和y坐标)。例如,可以定义坐标系,其中,基于将光电二极管102和106的响应相加,随后从得到的和中减去光电二极管104与108的响应来确定x坐标。此外,可以基于将光电二极管102与104的响应相加,并且减去光电二极管106与108的响应来确定y坐标。\n图5中示出了以此方式计算的光电二极管阵列100的响应,其中,可以看出在x维中存在明确定义的激励,而在y维中存在轻微的激励。这个响应暗示了从左到右的姿势。应注意,可以以类似的方式描绘从右到左的姿势,但符号有变化。\n[0031] 在实施方式中,可以使用用于速度矢量估计和传感器校准的卡尔曼估计器,并且使用用来将数据拟合到椭圆的直接形式最小二乘估计,以产生姿势的椭圆表示。在本示例中,卡尔曼估计器包括7个状态:x、dxdt、y、dydt、z、xoffset和yoffset。在这个示例中,(x,y)对应于以上得到的笛卡尔参照系中的坐标;(dxdt,dydt)是参照系内物体的无量纲速度矢量;(z)对应于幅值矢量,其在概念上与物体的深度/高度/侧边成比例;并且(xoffset,yoffset)表述了光/电路径内的轨迹偏差偏移量。例如,透镜上的灰尘将显示为(z1,z2)的测量结果中的偏差。\n[0032] 本示例使用卡尔曼估计器的线性形式。可以以极坐标系使用类似的扩展卡尔曼估计器,并且所述扩展卡尔曼估计器可以提供对相位信息的估计。可以以卡尔曼估计器的任一种形式来使用本文所述的技术。对于这些状态,定义了以下等式:\n[0033] x(k+1)=A*x(k)+G*q\n[0034] 其中,A表示状态转换矩阵,Q=G*v表示模型方差,且\n[0035]\n[0036]\n[0037] 对于测量,定义了以下测量等式:\n[0038] y(k)=H*x(k)+W*r\n[0039] 其中,H是测量矩阵,R=W*rr'是噪声方差,且\n[0040]\n[0041]\n[0042] 以下的卡尔曼估计器代码段在每一次测量上迭代,并且估计状态:\n[0043] for i=1:max(size(z))\n[0044] %a priori update\n[0045] x=A*x;\n[0046] P=A*P*A'+Q;\n[0047] %a postpripri update\n[0048] y=z(:,i)-H*x;\n[0049] K=P*H'*(H*P*H'+R)^-1;\n[0050] x=x+K*y;\n[0051] P=(eye(size(P))-K*H)*P;\n[0052] output(i,:)=x(:);\n[0053] Z(:,i)=x(5);\n[0054] end\n[0055] 现在参考图6,示出了位置状态(x,y),其对应于图5中所示的滤波测量结果。应注意,滤波器带宽由误差协方差与测量参数导出,所述误差协方差与测量参数取决于例如光电二极管102、104、106与108的噪声特性。参考图7,描绘了估计的伪速度状态(dxdt,dydt)。\n在图8中描绘了估计的深度。现在参考图9与10,可以看出,相对于dydt绘制的dxdt在本质上是椭圆形的。图9针对从左到右挥动的姿势描述了这个图形,并且图10针对从上到下挥动的姿势描绘了这个图形。可以看出,姿势的取向在这个图示中是隐含的。图9与10的姿势的椭圆表示分别在图11与12中示出。在一些实施方式中,当在椭圆表示的两个极值点之间的样本数量较小时(例如,小于四(4)),可以认为姿势是无效/未定义的。然而,仅是示例性地提供了数量四(4),并非意图限制本公开内容。因此,可以要求其他数量的样本来检测有效姿势。\n[0056] 在以下论述中,描述了示例性电子设备。随后描述可以由该设备使用的示例性过程。\n[0057] 示例性环境\n[0058] 图13示出了示例性电子设备1300,其可操作以执行本文所述的技术。可以以多种方式来配置电子设备1300。例如,电子设备1300可以配置为平板电脑、移动电话、智能电话、PC、膝上型电脑、上网本电脑、手持便携式电脑、PDA、多媒体设备、游戏设备、电子阅读器设备、智能TV设备、表面计算设备(例如,桌上计算机)、人机接口设备(HID)、其组合等等。然而,仅是示例性地提供了这些设备,并非意图用于限制本公开内容。因此,电子设备1300可以配置为多种其他设备,其可以包括不用动手的人机接口。\n[0059] 在图13中,电子设备1300示出为包括处理器1302与存储器1304。处理器1302为电子设备1300提供处理功能,并且可以包括任何数量的处理器、微控制器或其他处理系统,以及驻留存储器或外部存储器,所述驻留存储器或外部存储器用于存储由电子设备1300存取或产生的数据与其他信息。处理器1302可以执行一个或多个软件程序,所述软件程序实现了本文所述的技术和模块。处理器1302不局限于构成它的材料或其中所使用的处理机制,就其本身而言,可以借助半导体和/或晶体管(例如,电子集成电路(IC))等等来实现。\n[0060] 存储器1304是设备可读存储介质的示例,其提供存储功能,用以存储与电子设备\n1300的操作相关的各种数据,例如,上述的软件程序和代码段,或其他数据,以便指示处理器1302以及电子设备1300的其他元件执行本文所述的技术。尽管示出了单个存储器1304,但可以使用广泛的各类存储器及其组合。存储器1304可以与处理器1302集成在一起,可以是单独的存储器,或者可以是二者的组合。例如,存储器可以包括可移动或不可移动的存储元件,诸如随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器(例如,安全数字(SD)卡、小型SD卡、微型SD卡)、磁存储器、光存储器、通用串行总线(USB)存储器设备等等。在电子设备1300的实施例中,存储器1304可以包括可移动集成电路卡(ICC)存储器,诸如由用户识别模块(SIM)卡、通用用户识别模块(USIM)卡、通用集成电路卡(UICC)等等提供的存储器。\n[0061] 如图13所示,电子设备1300包括传感器,例如光电传感器/光电检测器1306(例如,环境光传感器(ALS))。可以以多种方式来配置光电检测器1306。例如,光电检测器1306可以包括一个或多个光电传感器二极管、光电晶体管等等(例如,参考图1所述的)。在实施方式中,光电检测器1306能够检测光,并且响应于所述光而提供信号。因此,光电检测器1306可以通过基于检测到的光的强度将光转换为电流和/或电压来提供信号。例如,当光电检测器\n1306暴露于光时,可以产生多个自由电子,以生成由电流组成的信号。信号可以对应于检测到的光的一个或多个特性。例如,所述特性可以对应于但不必局限于:检测到的光相对于光电检测器1306的位置、入射在光电检测器1306上的光的强度(例如,辐照度等)、光入射在光电检测器1306上的时间、入射在光电检测器1306上的光的方向等等。\n[0062] 光电检测器1306可以配置为检测可见光谱与近红外光谱中的光。本文所用的术语“光”用于指代出现在可见光谱和/或近红外光谱中的电磁辐射。例如,本文提及的可见光谱(可见光)包括出现在从约三百九十纳米(390nm)到约七百五十纳米(750nm)波长范围中的电磁辐射。类似地,本文提及的近红外光谱(红外光)包括从约7七百纳米(700nm)到三微米(3μm)波长范围中的电磁辐射。在实施方式中,互补金属氧化物半导体(CMOS)制造技术可以用于形成光电检测器1306。\n[0063] 在实施方式中,光电检测器1306包括ALS,配置为分段光电检测器1306。分段光电检测器1306可以包括在单一封装中提供的单个光电检测器的阵列。例如,可以使用四段光电检测器,其功能上等价于以四方(例如,二乘二(2×2))布局阵列布置的四个(4)单个光电检测器。因此,光电检测器1306可以配置为检测在相对于光电检测器1306的取向的多个取向上的姿势(例如,从右到左、从左到右、从上到下、从下到上、对角穿过光电检测器等)。例如,随着物体(例如手)通过分段光电检测器1306的视场,每一个单个光电检测器都可以随着物体通过各个单个光电检测器而提供信号,所述信号与分段光电检测器1306的其他光电检测器不同相。\n[0064] 虽然以如包括布置在阵列中的多个光电二极管(例如,如图13所示)和/或如分段光电检测器1306的一些特征描述了光电检测器1306,但仅是示例性地提供了这些结构,并非意图限制本公开内容。因此,光电检测器1306可以包括但不必局限于:有源像素传感器(例如,包括像素传感器的阵列的图像传感器,其中每一个像素传感器都由光传感器与有源放大器组成);电荷耦合器件(CCD);反向偏置以充当光电二极管的发光二极管(LED);响应于入射辐射的加热效应的光学检测器,例如,热电检测器、红外线指示器、热电偶、和/或热敏电阻;光敏电阻器/光敏电阻(LDR);光电池;光电二极管(例如,工作在光伏模式或光导模式中);光电倍增管;光电管;光电晶体管等等。此外,仅是示例性地提供了光电检测器1306,并且其他传感器也可以用于检测姿势运动,包括接近传感器,其发出电磁辐射束(例如,红外光)、触控板、照相机等等。例如,一个或多个照相机可以用于检测姿势,诸如深度感知照相机、立体照相机等等。\n[0065] 电子设备1300可以包括照明源1307,所述照明源1307配置为产生波长的有限光谱内的光(例如,近红外光和/或可见光)。照明源1307可以用于照明电子设备1300附近的物体,例如操作者的手,允许光电检测器1306更容易地和/或准确地检测物体。在实施方式中,光电检测器1306可以配置为检测从照明源1307产生并发出的光(例如,从设备1300附近的物体反射的光)。因此,光电检测器1306可以配置为检测波长的有限光谱内的光。例如,照明源1307可以产生出现在波长的第一光谱中的光,并且光电检测器1306可以配置为检测仅出现在波长的第一光谱内的光。在实施方式中,照明源1307可以包括发光二极管、激光器二极管或者另一类光源。\n[0066] 如图13所示,电子设备1300包括估计器1308,所述估计器1308配置为基于从光电检测器1306接收到的信号(例如,经由数据总线等)提供估计值。在实施方式中,估计值对应于检测到的光的特性(例如,检测到的光在光电检测器1306视场内的位置数据、用于导出与在视场内的物体有关的深度数据的入射在光电检测器1306上的光的强度、用于导出与物体有关的方向数据的入射在光电检测器1306上的光的方向、用于导出与物体有关的速度数据的光入射在光电检测器1306上的时间等)。例如,估计器1308配置为接收表示由光电检测器\n1306(例如,分段光电检测器1306)检测到的光的特性的信号,并且基于这些特性产生估计值。估计器1308可以在硬件、软件、固件、其组合等中实现。\n[0067] 估计器1308可以使用任何适合的随机技术来导出估计值。例如,估计器1308可以是卡尔曼估计器等。在特定示例中,估计器1308可以是卡尔曼估计器,所述卡尔曼估计器配置为产生表示检测到的光的线性坐标信息。例如,估计器1308可以配置为通过预测对应于(例如,由光电检测器1306测量的)光的特性的估计值,估计预测估计值的不确定性,并计算预测估计值与测量值的加权平均值,来导出诸如速度估计(例如速度矢量)之类的信号的测量值和/或与信号相关的计算值的估计值。在实施方式中,估计器1308可以作为光入射在光电检测器1306上的时间量的函数来导出速度矢量。\n[0068] 估计器1308还可以基于光电检测器1306的哪一个单个光电检测元件在给定时间量中接收到反射光,来确定姿势的方向。例如,随着物体在分段光电检测器1306的视场内移动,分段光电检测器1306内的第一光电检测元件可以在第二光电检测元件检测到光之前,检测到从姿势反射的光。因此,估计器1308可以配置为基于作为时间函数(例如,作为光电检测器1306的捕获率的函数)的光电检测器1306的视场内的检测到的光的位置变化而产生所检测物体的速度矢量。在另一个特定示例中,估计器1308可以是卡尔曼估计器,所述卡尔曼估计器配置为导出检测到的光的极坐标信息(例如,导出检测到的光的相位信息等)。\n[0069] 在设备1300操作时,估计器1308可以配置为从光电检测器1306连续对信号进行采样。例如,估计器1308可以配置为连续对由光电检测器1306在预定时间间隔时或期间产生的信号进行采样(例如,约每微秒、约每毫秒、约每秒等进行采样)。此外,估计器1308可以配置为解释从光电检测器1306接收的信号内的偏差和/或偏移的原因。例如,估计器1308可以配置为解释光电检测器1306的视场内的模糊(obscurity)(例如,液滴、灰尘颗粒等)的原因,并且产生对应于入射在光电检测器1306上的光的特性的估计值(例如,速度估计),同时相对于检测到的光特性补偿模糊。例如,估计器1308可以导出与检测到的光有关的偏移信息。\n[0070] 如图13所示,电子设备1300可以包括椭圆估计模块1310,其(例如,经由数据总线等)与估计器1308通信。椭圆估计模块1310表示用以产生对应于(例如表示)由估计器1308产生的估计值的系数的功能。例如,按照相对于地理平面而测量的,可以为姿势方向和姿势幅度的椭圆表示产生五个(5)系数。例如,椭圆表示可以是常用参数表示、标准表示、极坐标表示等中的椭圆的描述。在实施方式中,椭圆估计模块1310配置为基于由估计器1308产生的速度矢量产生与检测到的姿势(例如手指挥动等)有关的系数。椭圆估计模块1310可以使用适合的椭圆估计模型来导出系数数据集,例如最小二乘模型等等。例如,椭圆估计模块\n1310可以使用如“Direct Least Squares Fitting of Ellipses”(Fitzgibbon,Andrew W.;Pilu,Maurizio;&Fisher,Robert B.(1999).Direct Least Square Fitting of Ellipses.IEEE Transactions on Pattern Analysis and Machine Intelligence,21(5):476-480.)中所述的最小二乘模型,其通过参考整体并入本文中。在实施方式中,如本文所述,椭圆估计模块1310使用最小二乘模型来产生五个(5)系数。\n[0071] 在特定实例中,使用最小二乘模型导出的系数可以包括椭圆的常用参数表示,包括:两个(2)中心系数,其表示地理(例如,笛卡尔坐标)平面内椭圆的中心坐标(其中本文将中心系数表示为Cx、Cy),两个(2)半径系数,其表示地理平面内椭圆的半径值(例如,半长半径或半短半径)(本文表示为Rx、Ry),以及一个(1)系数,其表示地理平面内椭圆的取向(例如角度)(本文表示为θ(theta))。因此,坐标系体现了用于姿势的几何表示的参照系,并且相对于这个参照系来表示姿势的取向与速度。应注意,用于映射产生的椭圆的地理平面可以与做姿势者相对于光电检测器1306的空间位置相关联。例如,用于表示空间上分离的姿势的椭圆的中心系数可以由坐标系内的有限距离来分离,其中,中心系数之间的距离对应于相对于例如光电检测器1306的由做姿势者提供的姿势之间的空间距离。虽然参考常用参数表示而提供了这个示例,但应注意,也可以使用其它椭圆表示,包括但不必局限于:标准表示和极坐标表示。\n[0072] 在实施方式中,θ系数对应于检测到的姿势相对于光电检测器1306的取向的方向(例如,包括表示姿势的从左到右、从右到左、从上到下、从下到上和对角取向的角度等)。在实施方式中,一个和多个半径值可以对应于检测到的姿势的速度。例如,光入射在光电检测器1306上的时间越长,半径值相比于与光入射在光电检测器1306上的较短时间量相关的半径值会更短(例如,对于在光电检测器1306上执行的较慢姿势相对于在光电检测器1306上执行的较快姿势而言)。\n[0073] 电子设备1300可以配置为基于两个或多个姿势解释姿势的估计值。例如,一旦设备1300从非工作状态转换到工作状态,当不同用户开始操作电子设备时等等,设备1300可以请求基准(baseline)姿势,以更准确地解释用于随后执行的姿势的相对速度值。例如,电子设备1300可以发起对用户以中间速度(例如,在该特定用户的快速与慢速之间)执行姿势的请求。因此,可以使用比用于表示基准姿势的半径系数大的半径系数来表示比基准快的检测到的姿势(例如,在较少光入射在光电检测器1306上的情况下)。相反地,可以使用比用于该用户的比基准半径系数小的半径系数来表示比基准慢的检测到的姿势(例如,在较大量光入射在光电检测器1306上的情况下)。此外,电子设备1300可以以系数形式存储基准姿势信息(例如,使用存储器1304等等),以便解释针对特定用户的随后检测到的姿势。\n[0074] 设备1300可以配置为区分不同(distinct)姿势。考虑到本公开内容的目的,不同姿势可以定义为在入射在光电检测器1306上的可测量的光的一些量转变为入射在光电检测器1306上的至少基本上较不可测量的光时出现。在一些实例中(例如,在由物体反射的光用于测量姿势的情况下),从较少检测到的光到基本上较多检测到的光,并且再次到较少检测到的光的转变可以包括不同的姿势。在其它实例中(例如,在由物体阻挡的光用于测量姿势的情况下,诸如用于从背后照亮的物体),从较多检测到的光到基本上较少检测到的光,并且再次到较多检测到的光的转变可以包括不同的姿势。例如,光电检测器1306可以配置为产生对应于入射在光电检测器1306上的光(例如,从照明源1307发出的光)的特性的信号。因此,一旦光电检测器1306在预定时间量中(例如,纳秒、微秒、秒等等)不再提供信号,椭圆估计模块1310就可以确定已经完成相关的姿势,并且产生对应于表示不同姿势的信号的系数。\n[0075] 应注意,考虑到本公开内容的目的,在与“检测”、“感测”、“转换”等一起使用时,术语“光”不应解释为局限于光的存在与否的检测或转换(例如,高于或低于特定阈值),或者局限于检测波长的光谱或将其转换为表示光谱内总光强度(例如,辐照度)的单一测量结果。因此,本公开内容背景下的光存在的检测和/或转换可以用于指代检测和/或转换光的存在与否(例如,高于或低于特定阈值)、检测波长的光谱和/或将其转换为表示光谱内总光强度的单一测量结果,以及检测和/或转换可能频率范围内的多个频率,例如在光谱内波长的两个或多个子集中分别检测和/或转换辐射的强度,以及用于诸如光的颜色之类的单个频率,等等。\n[0076] 因此,诸如“较多检测到的光”与“较少检测到的光”之类的短语可以指代宽波长范围内的光的表示,以及有限波长范围内的光的表示(例如,用于有色光谱内的特定颜色等)。\n例如,短语“从较多检测到的光到基本上较少检测到的光,并且再次到较多检测到的光的转变”可以用于指代波长的光谱内的光的测量结果(例如,用于可见光),以及在一个或多个特定波长和/或多个波长范围内的光的测量结果(例如,用于特定颜色)。因此,参考光电二极管的阵列所述的技术也可以与图像捕获设备(例如,照相机)一起使用,其中,可以通过区分其颜色与表示周围环境的不同颜色来检测物体(例如手)。\n[0077] 电子设备1300包括显示器1312,用以向电子设备1300的用户显示信息。在实施例中,显示器1312可以包括LCD显示器(液晶二极管)显示器、TFT(薄膜晶体管)LCD显示器、LEP(发光聚合物)或PLED(聚合物发光二极管)显示器、有机发光二极管(OLED)显示器等等,其可以配置为显示文本和/或图形信息,例如图形用户接口等等。电子设备1300还可以包括一个或多个输入/输出(I/O)设备1314(例如,键盘、按钮、无线输入设备、姆指轮输入设备、轨迹导杆(trackstick)输入设备等等)。在实施方式中,光电检测器1306可以配置为I/O设备\n1314。例如,光电检测器1306可以检测表示对应于与电子设备1300相关的期望的操作的姿势的光。另外,I/O设备1314可以包括一个或多个音频I/O设备,诸如话筒、扬声器等等。\n[0078] 电子设备1300可以包括通信模块1316,所述通信模块1316代表通信功能,用以允许电子设备1300在不同设备(例如,部件/外设部件)之间和/或通过一个或多个网络1318发送/接收数据。通信模块1316可以代表各种通信部件与功能,包括但不必限于:天线;浏览器;发射机和/或接收机;无线电;数据端口;软件接口和/或驱动器;网络接口;数据处理部件等等。一个或多个网络1318代表各种不同的通信路径和网络连接,可以单独或组合地使用它们,以在环境1300的部件中进行通信。因此,一个或多个网络1318可以代表使用单个网络或多个网络实现的通信路径。此外,一个或多个网络1318代表各种不同类型的网络与连接,可以设想它们包括但不必限于:互联网;内联网;卫星网络;蜂窝网络;移动数据网络;有线和/或无线连接等等。\n[0079] 无线网络的示例包括但不必限于:根据以下标准配置用于通信的网络:电气与电子工程师协会(IEEE)的一个或多个标准,诸如802.11或802.16(Wi-Max)标准;由Wi-Fi联盟颁布的Wi-Fi标准;由蓝牙技术联盟颁布的蓝牙标准;3G网络;4G网络等等。还设想了有线通信,例如通过USB、以太网、串行连接等等。借助由通信模块1316代表的功能,电子设备1300可以配置为经由一个或多个网络1318进行通信,以便从一个或多个内容储存库1322(例如,互联网提供商、蜂窝数据提供商等)接收多个内容1320。内容1320可以表示各种不同内容,其示例包括但不必限于:网页;服务,音乐、照片、视频、电子邮件服务、即时通讯、设备驱动器、指令更新等等。\n[0080] 电子设备1300可以包括用户接口1324,其可存储在存储器1304中并可由处理器\n1302执行。用户接口1324代表用以控制经由显示器1312向电子设备1300的用户显示信息与数据的的功能。在一些实施方式中,显示器1312可以不作为电子设备1300的一部分而被包括在内,并且可以代之以使用USB、以太网、串行连接等从外部连接。用户接口1324可以提供通过经由I/O设备1314提供输入以允许用户与电子设备1300的一个或多个应用1326交互作用的功能。例如,用户接口1324可以导致产生应用编程接口(API),以向应用1326提供配置用于由显示器1312或者结合另一个显示器进行显示的应用的功能。在实施例中,API还可以提供如下功能:配置应用1326,以通过经由I/O设备1314提供输入来允许用户与应用交互作用。例如,用户可以提供对应于与应用1326相关的期望的操作的接近光电检测器1306的手势。例如,用户可以执行接近光电检测器1306的手指挥动,以在显示器1312内、在显示多个应用1326的多个显示页面之间转换。\n[0081] 电子设备1300可以包括应用1326,其可以包括软件,该软件可存储在存储器1304中并由处理器1302执行,例如,执行特定操作或操作组,以向电子设备1300提供功能。示例性应用包括蜂窝电话应用、即时通讯应用、电子邮件应用、游戏应用、地址簿应用等等。在实施方式中,用户接口1324可以包括浏览器1328。浏览器1328使得电子设备1300能够显示内容1320并与之交互作用,内容1320例如是万维网内的网页、私有网络中由网络服务器提供的网页等等。可以以各种方式来配置浏览器1328。例如,浏览器1328可以配置为由用户接口\n1324访问的应用1326。浏览器1328可以是网络浏览器,适合于由具有实际存储器和处理器资源的完全资源设备(例如,智能电话、PDA等)使用。浏览器1328可以是移动浏览器,适合于由具有有限存储器和/或处理资源的低资源设备(例如,移动电话、便携式音乐设备、便携式娱乐设备等)使用。\n[0082] 电子设备1300配置为经由光电检测器1306检测姿势,并且产生检测到的姿势的简明表示。如上所述,估计器1308配置为产生与入射在光电检测器1306上的光有关的估计值。\n基于检测到的光的特性来产生估计值。因此,估计值可以取决于入射在光电检测器1306上的光的强度、光入射在光电检测器1306上的时间量、入射在光电检测器1306上的光的取向(方向)等等。在实施方式中,椭圆估计模块1310从估计器1308接收诸如速度值的估计值,并且基于估计值产生五个(5)系数(Cx,Cy,Rx,Ry,θ)。五个系数可以用于在地理平面中形成椭圆,以表示检测到的姿势。在实施方式中,椭圆的半长半径与姿势的速度/无量纲速度矢量(其可以相对于基准姿势来测量)成比例,并且椭圆的取向对应于姿势的方向(例如,相对于光电检测器1306的取向)。此外,椭圆的面积可以表达执行姿势的物体的尺寸(例如高度)。\n[0083] 在实施方式中,可以以各种方式来描述(例如,存储、发送、解释等等)姿势的椭圆表示。例如,可以使用表示椭圆的数学定义的(例如,如前所述的)系数来描述椭圆表示。此外,可以将椭圆表示描述为图像(例如,位图等)。在其它的实施方式中,可以使用幅度和角度测量(例如,分别为伪速度和度数记法)来描述姿势的椭圆表示。例如,可以将缓慢的从左到右姿势表示为[097,0.1],而可以将较快的从右到左姿势表示为[271,0.4](其中,以罗盘记法(compass rose notation)来描述度数测量结果)。应注意,可以在游戏接口的背景内提供离散的事件接口(例如,其中将从右到左姿势表示为类似“Right2Left”的文本串,从左到右姿势表示为“Left2Right”等等)。\n[0084] 在实施方式中,姿势的椭圆表示(例如,椭圆表示的图像、定义椭圆表示的系数、从椭圆表示导出的幅度与角度信息、文本串等等)包括在姿势的中间表示,并且可以用于导出一个或多个离散的事件,包括但不必限于:从左到右挥动、从右到左挥动、从上到下挥动、从下到上挥动、停止-暂停-选择运动、两指捏、两指缩放、两指旋转等等。在实施方式中,椭圆表示可以由电子设备1300用于多个应用中。例如,椭圆和/或椭圆的系数可以用作到电子设备1300和/或到连接到电子设备1300的另一个设备(例如,当电子设备1300实现为接口设备时)的输入命令。例如,具有小幅度的椭圆表示(例如,参考具有较大幅度的基准姿势)可以用于定义缩放命令。\n[0085] 用户可以通过在显示器1312内显示的电子书来转换(例如,执行手指挥动来“翻转”电子书的页面)。在另一个实施方式中,可以作为用于应用1326的参数而提供系数。例如,系数可以表示游戏序列内的期望的操作。例如,可以将系数提供给诸如高尔夫球游戏的游戏应用1326,并且系数可以表示到游戏应用1326的输入的力量与取向(例如,系数可以表示高尔夫球游戏内的挥杆的力量与取向)。另外,系数可以用作操作用户接口1324的参数。\n此外,系数可以由电子设备1300用于需要从用户输入命令的多个应用中。例如,操作系统或应用可以通过以与导出速度、导出速度矢量或从速度矢量导出的导出线性(例如,水平或垂直的)分量矢量成比例的速率进行显示,来对从姿势的椭圆表示导出的离散命令做出响应。\n[0086] 使用这类方案,用户可以浏览(例如轻击)控制速度、方向和/或选择的菜单。例如,随着用户接近预期轨迹,用户可以以快速的从右到左挥动,随后是较慢的从右到左挥动来浏览封面流的艺术品(cover-flow artwork)的一系列层叠的图形表示。随后,停止-暂停-选择事件可以用于完成选择。从下到上挥动可以构成取消事件。用以提供此类姿势的简明且无损的表示的能力可以提供直观且无触摸的用户接口。在另一个示例性实施方式中,从左到右挥动可以用于改变智能TV上的频道,而从上到下挥动可以用于降低TV的音量。例如可以使用位于TV框架的边框中的光电检测器1306来实现这类接口,并且这类接口可以补充或替换要不然就要为实现对TV功能的控制而提供的按钮。在进一步的示例中,水平和/或垂直挥动可以用于对无按钮的电子阅读器进行翻页。\n[0087] 如图14A到14D所示,电子设备1300可以配置为使表示姿势的椭圆的显示作为可视的反馈,以允许用户可视化和/或改进用户的姿势。在实施方式中,椭圆估计模块1310配置为向显示器1312提供指令,以显示基于用户的输入姿势产生的椭圆(及可能的随后产生的椭圆)。因此,椭圆估计模块1310可以基于在光电检测器1306的视场内执行的姿势产生五个系数。一旦椭圆估计模块1310产生系数,模块1310(或另一个模块)就可以提供指令以例如使用显示器1312基于系数显示椭圆。用户随后可以执行后续的姿势以进一步改进姿势(例如,如前所述的那样,当建立基准姿势时)。在一些实施方式中,将系数用于多个参数的椭圆估计模块1310和/或应用1326可以向用户提供反馈(例如,显示与产生的椭圆叠加的预定椭圆)。这个反馈可以允许用户根据反馈调整姿势运动。\n[0088] 通常,本文所述的任何功能都可以使用软件、固件、硬件(例如,固定逻辑电路)、手动处理或这些实施方式的组合来实现。例如,如以智能电话和/或平板计算设备实现的,用于确定姿势的椭圆表示的算法可以存在于应用处理器上和/或存在于协处理器/子系统内。\n本文使用的术语“模块”和“功能”通常表示软件、固件、硬件或其组合。在图13的电子设备\n1300的模块之间的通信可以是有线的、无线的或其某种组合。在软件实现的情况下,例如,模块表示可执行指令,当在诸如具有图13的电子设备1300的处理器1302之类的处理器上执行时,其执行特定的任务。程序代码可以存储在一个或多个设备可读存储介质中,其示例是与图13的电子设备1300相关的存储器1304。\n[0089] 示例性过程\n[0090] 以下论述描述了可以在电子设备中实现以检测姿势的过程。可以在硬件、固件或软件或者其组合中实现过程的方案。过程显示为一组块,其指定由一个或多个设备执行的操作,并且不必局限于为由各个块执行操作而示出的顺序。在以下论述的部分中,可以参考图13的环境1300。以下所述的技术的特征是与平台无关的,意思是该技术可以在具有各种处理器的各种商业电子设备平台上实现。\n[0091] 图15描绘了示例性实施方式中的过程1500,其中将电子设备配置为借助传感器检测一个或多个姿势。如图15所示,传感器响应于传感器检测到姿势而提供信号(块1502)。例如,参考图13,光电检测器1306可以连续检测从物体反射和/或发射的光,并且在电子设备\n1300可操作时提供对其的响应。在一些实施方式中,光电检测器1306可以配置为检测从照明源1307产生的光(例如,检测出现在波长的有限光谱内的光),并且产生对应于检测到的光的特性的信号。\n[0092] 如图15所示,基于由传感器产生的信号来估计一个或多个值(块1504)。继续参考图13,一旦由光电检测器1306产生信号,估计器1308就接收信号,并且配置为基于由信号表示的光的特性估计一个或多个值。在实施方式中,估计器借助检测到的姿势的适合的随机技术(例如,使用卡尔曼估计器)估计速度矢量(例如,姿势相对于光电检测器的速度与取向)。信号可以表示由光电检测器1306检测的不同姿势。例如,在从光电检测器1306最初检测到反射的在特定波长内的光时到光电检测器1306至少基本上未检测到反射的特定波长内的光时的时间段内可以定义单个姿势(例如,手通过光电检测器1306并在一时间段内反射光)。\n[0093] 估计器可以确定是否检测到姿势(决定块1506)。如果姿势不完整(决定块1506为否),估计器就继续从光电检测器接收信号,并且基于信号产生估计值。当检测到完整的姿势时(决定块1506为是),估计器就向椭圆估计模块提供诸如速度矢量之类的估计值。\n[0094] 随后,确定姿势的椭圆表示(块1508)。例如,从估计值导出系数(块1510)。在实施方式中,由椭圆估计模块通过适合的诸如最小二乘模型之类的椭圆估计模型导出五个(5)系数(例如,如前所述的那样)。系数可以包括两个(2)中心系数,其表示地理(例如,笛卡尔坐标)平面内的椭圆的中心坐标(Cx,Cy);两个(2)半径系数,其表示地理平面内的椭圆的半径值(Rx,Ry);以及一个(1)系数,其表示地理平面内的椭圆的取向(θ)。一旦椭圆估计模块导出系数,系数就可以用作多个应用中的参数。例如,系数可以用于在电子书内的页面之间转换。在另一个实施方式中,系数可以用于产生用于经由电子设备显示的椭圆。\n[0095] 结论\n[0096] 尽管以对于结构特征和/或过程操作而言特定的语言描述了主题,但能够理解,在所附权利要求书中定义的主题不必局限于上述的特定特征或操作。相反,作为实现权利要求的示例性形式而公开了上述的特定特征和操作。
法律信息
- 2017-09-08
- 2015-02-04
实质审查的生效
IPC(主分类): G06F 3/01
专利申请号: 201210574786.9
申请日: 2012.12.26
- 2013-07-03
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2005-02-02
|
2004-05-31
| | |
2
| |
2010-03-24
|
2008-06-12
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |