1.一种计算机实施的方法,其包括:
在配置有可执行指令的一个或多个计算系统的控制下,
确定将在计算装置的显示元件上显示的图形界面,所述图形界面具有活动层和至少一个其他层,所述活动层被呈现为看起来位于所述图形界面中的所述至少一个其他层的上方;
在所述显示元件上显示多个界面元素作为所述图形界面的一部分,所述多个界面元素与被呈现的层中的至少一个被呈现的层关联;
从所述计算装置的用户接收选择的界面元素,以致所选择的界面元素变成活动的;以及
将所选择的界面元素与所述活动层关联并且调整所选择的界面元素的外观以与所述活动层对应,并且使得所选择的界面元素相比于未选择的界面元素看起来更接近所述显示元件的表面,当与所述活动层关联时,所选择的界面元素能够从所述用户接收输入。
2.根据权利要求1所述的计算机实施的方法,其还包括:
响应于选择所述界面元素中的一个界面元素,将先前与所述活动层关联的先前活动界面元素与所述至少一个其他层关联并且调整所述先前活动界面元素的外观以与所述至少一个其他层对应。
3.根据权利要求2所述的计算机实施的方法,其中调整所述先前活动界面元素的所述外观包括调整所述界面元素的大小、形状、颜色、阴影或模糊中的至少一个。
4.根据权利要求1所述的计算机实施的方法,其中具有第一优先级的界面元素与所述活动层关联并且具有第二优先级的界面元素与所述至少一个其他层关联,所述第二优先级低于所述第一优先级。
5.根据权利要求1所述的计算机实施的方法,其还包括:
确定所述计算装置的用户的相对位置;以及
以至少部分基于所确定的所述用户的相对位置的外观呈现所选择的界面元素和所述图形界面的所述至少一个其他层。
6.根据权利要求5所述的计算机实施的方法,其中所选择的界面元素被呈现为从所确定的所述用户的相对位置处看起来位于所述未选择的界面元素上方的某一距离处。
7.根据权利要求5所述的计算机实施的方法,其中确定所述用户的所述相对位置包括使用所述计算装置的至少一个相机撷取图像信息并且分析所撷取的图像信息以确定所述用户的所述相对位置。
8.根据权利要求7所述的计算机实施的方法,其还包括:
在显示所述图形界面期间撷取其他图像信息;
分析所述其他图像信息以确定所述用户的所述相对位置的变化;以及
调整所述活动层或所述至少一个其他层中的至少一个的所述呈现,以使所述活动层的所述界面元素从所述用户的当前相对位置处看起来维持在所述至少一个其他层的所述界面元素上方的某一距离处。
9.根据权利要求7所述的计算机实施的方法,其还包括:
使用所述计算装置的至少一个传感器,检测所述计算装置的朝向或位置中的至少一个的变化;
至少部分基于所检测的变化,确定所述用户的当前相对位置;以及
调整所述活动层或所述至少一个其他层中的至少一个的所述呈现,以使所述活动层的所述界面元素从所述用户的所述当前相对位置处看起来维持在所述至少一个其他层的所述界面元素上方的某一距离处。
10.根据权利要求5所述的计算机实施的方法,其中确定用户的所述相对位置包括确定所述用户的至少一个脸部特征的所述相对位置。
11.一种计算装置,其包括:
处理器;
显示屏;以及
存储器,其包括指令,当所述指令由所述处理器执行时,使所述计算装置:
在所述显示屏上呈现要显示的图形界面,所述图形界面包括多个界面元素,所述多个界面元素当活动时能够从所述计算装置的用户接收文本输入;
从所述计算装置的用户接收对所述界面元素中的一个界面元素的选择,以致所选择的界面元素变成活动的;
确定所述用户相对于所述计算装置的当前相对位置;
响应于所述选择,至少部分基于所述用户的所述当前相对位置调整所选择的界面元素的呈现以使得所选择的界面元素比至少一个其他未选择的显示界面元素看起来更接近所述用户某一距离;以及
对于所选择的界面元素,从所述用户接收文本输入。
12.根据权利要求11所述的计算装置,其还包括:
相机,所述相机用于撷取所述用户的至少一部分的图像,至少部分通过使用所述计算装置的所述处理器分析所撷取的图像来确定所述当前相对位置。
13.根据权利要求11所述的计算装置,其还包括:
传感器,所述传感器被配置成检测所述计算装置的朝向或位置中的至少一个的变化,至少部分通过使用所述计算装置的所述处理器分析所检测的变化来确定所述当前相对位置。
14.根据权利要求11所述的计算装置,其还包括:
麦克风,所述麦克风被配置成从所述用户接收语音输入,所选择的界面元素能够包括界面元素,所述界面元素指示能够为所选择的界面元素提供音频输入。
15.根据权利要求11所述的计算装置,其中所述显示屏是触敏的,并且所述界面元素中的一个界面元素的所述选择能够通过与所述显示屏接触来接收。
用于突出显示活动界面元素的方法\n[0001] 发明背景\n[0002] 人们越来越多地使用便携式计算装置来进行各种操作。由于各种因素,例如这些装置的小尺寸因素以及要呈现的信息量,用户通常难以确定哪个界面元素是活动的并且能够接收输入。用户还难以确保该用户已选择了适当的元素,因为用户手指相对于要呈现元素的大小可能使其难以选择所需元素。使用离轴视角时,例如当将装置平置在桌上或者用户处于装置正前方以外的其他位置中时,这些问题可能更加严重。\n[0003] 附图简述\n[0004] 将参考附图来说明根据本发明的多个实施方案,其中:\n[0005] 图1示出了用户可以根据多个实施方案查看内容并且与计算装置交互的一种示例性情况;\n[0006] 图2示出了可以根据多个实施方案提供的一种示例性界面显示;\n[0007] 图3(a)和3(b)示出了可以根据多个实施方案呈现的多个界面状态;\n[0008] 图4(a)和4(b)示出了可以根据多个实施方案使用的一种确定用户相对位置的示例性方法;\n[0009] 图5(a)和5(b)示出了可以根据多个实施方案使用的一种确定装置运动的示例性方法;\n[0010] 图6示出了可以根据多个实施方案使用的一种支持手势输入的示例性方法;\n[0011] 图7示出了可用于实施多个实施方案的各个方面的一种示例性装置;\n[0012] 图8示出了可与图7所示装置等装置一起使用的示例性部件;以及\n[0013] 图9示出了可以实施多个实施方案的一种示例性环境。\n具体实施方式\n[0014] 根据本发明多个实施方案的系统和方法可以克服传统方法中的一个或多个前述和其他缺点,以便用户与电子装置交互。具体来说,多种方法能够使用与用户当前相对位置一致的视角来呈现界面。此外,多个实施方案在这些界面的透视图中突出显示活动界面元素,例如,通过在三维显示中将活动元素向显示屏的前部“前移”或者进行二维显示元素的拟三维呈现。确定用户相对位置的方法可以是使用计算装置的至少一个相机来撷取图像信息,然后分析该图像信息以确定用户头部或眼部相对于装置的相对位置。也可以使用计算装置的至少一个运动传感器来监视该装置的朝向和/或位置变化,以便相对于使用相机撷取的图像信息能够达到的频率而提高取样频率,或者以其他方式尝试改进相对位置确定。\n用户可以查看界面活动元素并与其交互,并且可以使用本文所述和建议的多种方法来操纵多个界面元素。\n[0015] 下文相对于多个实施方案呈现了许多其他应用、方法和用途。\n[0016] 图1示出了一种示例性情况100,其中用户102与计算装置104交互。尽管图示了便携式计算装置(例如,智能手机、电子书阅读器或者平板计算机),但是应了解,可以根据本文所述的多个实施方案使用能够确定和处理输入的许多其他类型的电子装置。这些装置可以包括,例如,笔记本计算机、个人数据助理、视频游戏控制台或控制器以及便携式媒体播放器等。在本实例中,计算装置104具有相机106,所述相机可操作地执行各种操作,例如图像和/或视频撷取。所述装置还可以包括其他图像撷取元件,例如,可以包括至少一个其他相机、电荷耦合装置(CCD)、运动检测传感器或红外传感器等。在本实例中,用户102位于相对于装置的相对位置中,以使用户视角跟随用户头部或眼部与装置之间的可确定轨迹110。\n如下所述,所述装置可以使用相关信息,例如相机106的分辨率和视野108,以及用户头部或眼部的位置在撷取图像中的位置,以确定用户的当前视角。可以使用所述视角以与用户当前视角一致的视角来在计算装置的显示屏或其他此类元件上呈现界面。可以随着由于用户和/或计算装置移动而引起的既定视角改变而更新透视图。所述透视图可以使用三维测绘信息,例如层深或z层的集合,以确定如何将多个界面元素彼此关联,以及如何从用户当前视角呈现这些元素。\n[0017] 例如,图2示出了计算装置的显示屏202上的示例性界面显示。在本实例中,用户已访问电子邮件应用并且正在填写一个表单字段以生成将发送给另一个用户的电子邮件消息。但应了解,多个实施方案的各个方面可适用于各种类型的界面,其中可以包括可以与用户交互的各种不同界面元素。在本实例中,用户能够通过触摸显示屏202中与某一界面元素关联的区域来选择该界面元素。使用户能够用手指208或其他此类对象与触摸感应显示屏交互的方法是所属领域中公知的,因此本文不再详细描述。也可以使用许多其他选择方法,例如移动光标、手势操作或者说出语音命令等。在本实例中,用户选择“收件人:”字段204,以向该字段中输入文字。在至少一些实施方案中,选择一个界面元素可能使该元素处于“活动”状态,或者以其他方式使用户能够与该字段交互。如上所述,本实例中的用户能够向该活动字段204中输入文字。用户可以使用虚拟键盘212或其他此类机构来向该字段中输入文字。如上所述,在一些实施方案中,用户可以执行一些手势,这些手势能够被解译为输入到活动字段中的文字。如果语音输入处于活动状态,则用户可以说出可以被装置解译并输入到活动字段204中(或者以其他方式作为与其相对的输入接受)的单词、字母或其他输入。在本实例中,可以在活动字段中显示或者显示与活动字段相关的麦克风图标210或其他此类图像元素,以便用户可以确定要接收输入的活动字段以及装置接受语音或音频输入的能力。所属领域中已公知许多可以用于解译语音输入并且提供对应文字输入的声音和语音识别算法,因此,本文不再详述这些算法。\n[0018] 如上所述,装置200还可以在界面元素变为活动状态时改变该元素的呈现。在本实例中,界面被呈现为具有两个不同的“层”或“z-深度”,其中活动元素204被映射到或者以其他方式关联到上层(显示屏外表面附近),而不活动元素206或其他界面部分与界面的下层关联(与显示屏外表面隔开某一距离)。在本实例中,确定用户位于装置的正“前方”,如本文中的其他地方所述,以便从“常规”视角呈现界面。应了解,术语“上”、“前”和“常规”用于说明,并且除非本文中另作说明,否则并不要求特定朝向或关系。在本实例中,已选择“收件人:”字段204作为活动字段,因此,该字段被呈现为看起来位于上层。此类呈现可以采用许多形式,例如略微放大元素、创建或调整该元素的呈现阴影、增加该元素的锐度或聚焦水平、调整该元素的颜色或阴影等。许多其他元素,例如用户可以用于输入文字的虚拟键盘\n212,也可以以看起来位于上层的方式来呈现。\n[0019] 如本实例中所述,界面的“不活动”元素或其他元素可以呈现为看起来位于界面的下层。例如,未选择且处于不活动状态的表单字段206可以呈现为略微小于活动字段、可能有阴影、模糊或者颜色强度较弱,以使这些元素看起来位于更后方等。在多个实施方案中,界面可以至少在一定程度上动态化,以便选择的活动字段可以在外观上缓慢调整,以使该元素看起来在界面中“向前”移动,而之前的活动元素可以在外观上缓慢调整,以使该元素看起来在界面中“向后”移动。根据本文所述教义和教义可以显而易见地了解到,也可以使用许多其他方法。\n[0020] 这些元素的呈现还可以随着用户头部相对于装置的相对位置改变而改变,以使用户拥有相对于装置的不同视角。例如,图3(a)示出了计算装置的一种示例性状态300,其中所述装置相对于用户成一定角度(在本实例中,假定位于页面前方的阅读者的位置处)。在本实例中,界面可以调整与上层元素相关的阴影312的呈现,以使这些层看起来位于界面中的更高处,同时呈现三维外观,因为每个阴影均可以随着视角的改变而移动到相对于相关元素的位置中,例如,以给人以上层元素的实际阴影的印象。此外,所述界面可以呈现侧壁\n310或其他元素,以从用户视角看起来提供虚拟界面的深度,并且这些元素的范围和深度也可以随着视角改变而相应调整。例如,从图2中的正面视角看不到侧壁310,但是显示的侧壁量可以随着视角增大而增多。也可以使用许多其他行为来模拟三维行为。在本实例中,下层元素306、308呈现为无阴影,并且与侧壁310的底边关联,以看起来为界面下层的一部分。如上所述,可以使用阴影、泛灰、略微模糊、较低颜色深度或其他此类方法来使不活动元素看起来位于较低z深度处。在至少一些界面中,可能有超过两层,而阴影量、颜色调整和其他此类方法可以至少部分取决于与元素关联的层。但在至少一些实施方案中,不论元素在界面中的表观层,用户应该都能够阅读这些元素,以便用户可以选择要变为活动元素的目标元素。\n[0021] 如上所述,随着不同元素处于活动状态,界面元素的呈现可以随之改变,呈现变化也至少部分取决于用户的视角。例如,在图3(b)所示的装置状态320中,不同字段306现在处于活动状态并且呈现为使该字段看起来位于界面的上层。用户现在可以确定字段已准备好接收输入。此外,之前的活动字段304改变了呈现方式以看起来与下层关联,以便用户了解该字段不再能够接收输入,除非该字段被再次选择(或者发生另一个此类操作)。可以再次将这些改变动态化,以便用户更清楚地了解活动字段已改变。\n[0022] 如图所示,界面的呈现可以不仅仅取决于活动字段或用户选择,而是也取决于用户的当前视角。随着用户旋转装置或相对于装置移动,所述装置可以更新界面呈现以使界面的三维外观与视角变化一致。为了提供此一致性,所述装置可以包括跟踪或以其他方式确定用户的至少一个特征相对于装置的相对位置的功能。\n[0023] 至少一些实施方案中,计算装置可以使用一个或多个相机或其他此类传感器来确定用户的相对方向。例如,图4(a)示出了一种示例性情况400,其中计算装置402被配置成使用至少一个相机元件406来尝试定位用户的特征,例如,用户的头部或眼部,以确定视角。在本实例中,用户的眼部404位于计算装置402的相机的视野408内。但是如本文其他地方所述,可以使用至少可以指示一般视野的用户眼部、瞳孔、头部或其他此类特征的位置来确定用户的视野。在一些实施方案中,所述装置可能查找用户持有或以其他方式与用户关联的对象,以确定一般呈现视角。此外,在一些实施方案中,装置可以使用以足够间隔位于装置上的至少两个不同相机,以使装置可以使用立体成像(或其他此类方法)来确定在三维中,一个或多个特征相对于装置的对位置。应了解,在多个实施方案的范围内,装置的许多其他位置处也可能设有相同或不同类型的其他成像元件。\n[0024] 在计算装置上执行(或以其他方式与计算装置通信)的软件可以获取相关信息,例如相机的角视野、当前撷取信息的缩放级别以及其他任何此类相关信息,以便所述软件确定用户至少一个眼睛相对于相机的大致方向410。在许多实施方案中,方向信息将足以提供适当的依赖于视野的呈现。但是在至少一些实施方案中,还需要确定与用户之间的距离,以提供更一致和准确的呈现。在一些实施方案中,可以使用诸如超声探测、特征尺寸分析、通过有源照明进行亮度分析或者其他此类距离测量方法等方法来帮助确定位置。在其他实施方案中,可以使用第二相机通过立体成像来确定距离。一旦确定指定特征从至少两个图像撷取元素的方向向量,即可确定这些向量的交点,在公知的视差成像或其他此类方法中,该交点对应于相应特征在三维中的大致相对位置。\n[0025] 为进一步图示此类示例性方法,图4(b)示出了可以使用图4(a)中的相机406撷取的用户头部和眼部的示例性图像420。可以使用一个或多个图像分析算法来分析该图像,以执行图形识别、形状识别或其他此类方法来识别目标特征,例如用户眼部。在图像中识别特征的方法,例如,所述方法可以包括特征检测、面部特征提取、特征识别、立体视觉感测、字符识别、属性估计或者径向基函数(RBF)分析方法,是所属领域中公知的并且本文中将不再详细描述。如本实例中所述,用户双眼均可能位于所撷取的图像信息中。至少一些算法能够确定每只眼睛的大致位置或区域422、424,或者至少用户头部的大致位置428,其中这些位置或区域中的至少一个位置或区域可用于确定视角。但是根据多个因素,例如所需的灵敏度级别以及用户与装置之间的距离,此类信息可以影响视角确定的准确度。根据多个实施方案的方法可以利用这样一个事实,即,人脑从双眼组合和处理信息以提供“单个”视角。因此,所述软件可以尝试确定用户眼部之间的中间点426,以用于用户的视角。也可以使用许多其他方法,例如本文其他地方所述的方法。一旦确定图像信息中的相对位置,所述装置即可使用相关信息,例如相机的视野、相机相对于装置的位置、相机的缩放级别以及其他此类信息来确定用户的相对方向,其中所述相对方向用于确定呈现界面的视角。\n[0026] 但是当使用相机来跟踪位置时,准确度至少部分受限于相机的帧速率。此外,需要一定时间来处理图像,因此确定可能存在延迟。由于可以相对迅速地改变装置朝向,因此在至少一些实施方案中,可能需要提高视角确定的准确度。在一些实施方案中,可以使用计算装置的传感器或其他此类元件来确定计算装置的运动,从而有助于调整视角确定。传感器可以是能够提供有关装置旋转和/或平移的信息的任何适当传感器,其可以包括加速度计、惯性传感器、电子陀螺仪、电子罗盘等。\n[0027] 例如,图5(a)示出了计算装置502的“俯视图”500,所述计算装置可操作地在计算装置的相机510的视角508内撷取对象504(例如,用户头部)的图像。在本实例中,计算装置\n502包括至少一个朝向或旋转确定元件,例如电子罗盘或电子陀螺仪,所述元件能够相对于装置的第一朝向确定二维或三维的参考系506。在至少一些实施方案中,可以使用电子罗盘来确定参考系506的轴,例如可以对应于北方等。在其他实施方案中,可以使用诸如罗盘等部件定期对诸如电子陀螺仪等部件进行校准,但是可能改为确定随时间推移沿三个旋转轴的朝向变化。也可以在多个实施方案的范围内使用许多其他方法来确定沿一个、两个或三个旋转轴的朝向变化。\n[0028] 可以在通过计算装置502的相机510撷取第一图像的当时或临近时间确定第一参考系506或朝向。在一些实施方案中,可以通过接收撷取图像或其他此类操作的输入来触发确定操作,但是在其他实施方案中,可以定期更新参考系和/或朝向信息,例如根据电子陀螺仪的类型和/或构造以每秒几次的频率更新。所述陀螺仪还可以是任何适当的电子陀螺仪部件,例如用于各种消费者设备中的传统MEMS陀螺仪。用于从此类陀螺仪执行和获取朝向变化的方法是所属领域中公知的,因此,本文将不再详细描述。\n[0029] 图5(b)示出了计算装置502的朝向改变之后的第二俯视图510。电子陀螺仪(或者其他此类部件或嵌入式传感器)可以检测朝向变化,在本实例中,对应于角度512相对于附图平面中的参考系的变化。所述陀螺仪可以以任何适当形式呈现有关朝向变化的信息,例如,角度或者改变一度、两度或三度(例如,Δx、Δy、Δz)的弧度,间距、侧倾或偏转的百分比变化等。在本实例中,朝向变化被确定为围绕单个轴的指定角向旋转量512。如图所示,这导致对象504移动到相机510的视野508的右侧边缘。在至少一些实施方案中,陀螺仪可能无法足够准确地提供准确的旋转量,但是可以提供近似或估计的旋转量,以用于缩小搜索空间的范围并有助于在图像中定位对应的对象。此外,使用所述信息可以相对于至少一些实施方案中通过相机可以达到的速度而更快地调整或预测相对位置。对于平移而言,可以使用一种类似的方法,尽管在撷取的图像中,平移效果可能远小于角度改变,因此在至少一些实施方案中,图像信息可能足以说明平移变化。\n[0030] 图6示出了可以根据多个实施方案使用的一种用于提供依赖于视角的界面呈现的示例性方法。应了解,对于本文所述的任何方法而言,除非另作说明,否则在多个实施方案的范围内,可以以类似或交替顺序或者并行顺序来执行更多、更少或替代性步骤。在本实例中,在计算装置上启动602视角确定模式,在本实例中,此模式包括使用至少一个相机执行的图像撷取以及使用计算装置的至少一个运动传感器执行的运动检测。在一些实施方案中,无论何时计算装置处于活动状态,即使是处于休眠模式或其他此类低功耗状态下,均可以自动启动视角确定模式。在其他实施方案中,运动检测模式在运行应用程序或访问界面之后自动启动,或者在用户选择之后手动启动。也可以使用许多其他启动事件。\n[0031] 可以如本文其他地方所述分析所撷取的图像信息,以确定604用户头部(或其他此类特征)相对于计算装置的相对位置。如上所述,可以使用图像信息确定初始相对位置,然后可以结合使用图像信息与运动传感器信息来确定该相对位置的改变。例如,可以使用运动传感器数据来更新视角,直到可以从图像数据中获得其他位置确定信息,借此,可以对确定值进行任何必要的更改或调整。对于用户的当前相对视角,可以呈现606界面,以使三维或多层外观或者其他方面与用户的当前视角一致。\n[0032] 向用户呈现界面时,可以从用户接收608界面元素选择。如上所述,可以调整选择元素的呈现,以在界面中指示选择元素处于活动状态,在本实例中,此过程涉及使得610活动元素在透视图中“前移”,以便该元素看起来更接近显示元件的表面。例如,使得所述元素前移可以涉及调整该元素的大小、形状、阴影、焦点/模糊以及/或者着色。当字段处于活动状态时,用户能够612向该活动字段提供输入或者以其他方式与其交互。当输入完成后,或者当用户以其他方式取消选择该元素或选择其他元素时,该元素可以“向后”移动614或者以其他方式显示为处于取消选择状态,例如通过对在元素显示为处于活动状态时执行的操作进行相反或替代性调整。如果从用户接收616其他元素选择,可以使用类似的调整来使得该元素显示为处于活动状态。如果不是,则用户结束与界面的交互等,可以结束618该界面的呈现进程。\n[0033] 在至少一些方法中,用户还能够提供语音输入,如上所述。可以使用图标或其他指示符来向用户指示语音输入可用。在一些实施方案中,用户可以选择该图标以启动或关闭语音输入,以便用户可以在适当环境中使用语音,例如当独自身处办公室中时,并且在可能发生误判的环境中关闭语音输入,例如当身处他人也在说话的嘈杂区域中时。在一些实施方案中,当用户主动按下装置上的该按钮或其他此类元素或以其他方式与其交互时,所述装置可能仅接受语音输入。可以使用许多音频处理算法来尝试提高音频输入和识别的准确度,例如环境降噪、声音识别等。在一些实施方案中,用户还可以使用语音命令来选择不同的字段以使其处于活动状态,或者以其他方式在界面中导航或与其交互。\n[0034] 此外,在一些实施方案中,使特定元素看起来更接近屏幕的功能也可用于其他目的。例如,较高优先级的项目(例如,将到来的约会或新消息)可以呈现在界面中的较高层。\n也可以使用其他方法,例如相对于已读消息将未读消息呈现在更高层,相对于旧评论将新社交网络评论呈现在更近的位置处等。根据本文所含的教义和教义,所属领域中的普通技术人员可以显而易见地了解到,许多界面方法可以利用上文所述以及本文建议的方面。\n[0035] 图7示出了可以根据多个实施方案使用的一种示例性计算装置700。在本实例中,所述装置具有传统数字相机704,所述数字相机位于装置中与显示屏702相同的一侧上,因此所述装置能够在用户至少部分位于显示屏前方的典型操作期间撷取有关装置用户的图像信息。应了解,在多个实施方案的范围内,装置的相同或其他侧面或位置中也可以设有其他相机、传感器或其他此类元件,例如能够实现从相对于装置的任意所需方向或位置执行手势或图像输入。所述装置还可以包括可用于帮助图像撷取的其他元件,例如光传感器,用于确定在要撷取图像的一般方向中的光量,以及照明元件,例如白色发光二极管(LED)或红外(IR)发射器,例如,用于当光传感器确定的环境光不足时,在特定方向范围中提供照明。\n根据本文所含的教义和建议,可以显而易见地了解到,在多个实施方案的范围内也可以使用许多其他元件和元件组合。所述装置还可以包括至少一个运动传感器706,所述运动传感器可操作地确定装置的旋转和/或平移,以用于确定视角,如本文所述。\n[0036] 为了提供本文所述的多个功能,图8示出了计算装置800的一组示例性基本部件,例如上文相对于图7所述的装置700。在本实例中,所述装置包括至少一个中央处理器802,用于执行可以存储在至少一个存储装置或元件804中的指令。所属领域中的普通技术人员可以显而易见地了解到,所述装置可以包括许多类型的存储器、数据存储器或计算机可读存储介质,例如第一数据存储器,用于存储处理器802执行的程序指令,相同或单独的存储器可用于存储图像或数据,可移动存储器可以用于与其他装置共享信息等。所述装置通常将包括一些类型的显示元件806,例如触摸屏、电子墨水(e-ink)、有机发光二极管(OLED)或液晶显示器(LCD),尽管诸如便携式媒体播放器等装置通过其他装置来传输信息,例如通过扬声器。在至少一些实施方案中,例如,使用电容或电阻触摸技术,显示屏支持基于触摸或滑动的输入。\n[0037] 如上所述,许多实施方案中的装置将包括至少一个图像撷取元件808,例如能够拍摄装置附近的用户、人员或对象的图像的一个或多个相机。图像撷取元件可以包括,或者至少部分基于任何适当的技术,例如CCD或CMOS图像撷取元件,所述撷取元件具有固定分辨率、焦点范围、可查看区域和撷取速率。所述装置还包括至少一个运动确定元件810,例如惯性传感器、加速度计、电子陀螺仪或者电子罗盘,其可操作地提供有关装置朝向的信息,以及有关装置旋转或平移的信息。根据多个实施方案,处理器802可以使用相机和运动传感器提供的信息来确定视角变化。\n[0038] 所述示例性装置可以包括至少一个其他输入装置812,其能够从用户接收传统输入。例如,此传统输入可以包括按钮、触摸板、触摸屏、轮、控制杆、键盘、鼠标、跟踪球、小键盘或其他任何此类装置或元件,借助它们,用户可以向装置输入命令。此外,在一些实施方案中,这些I/O装置甚至可以通过无线红外或蓝牙或其他链路来连接。但是在一些实施方案中,此类装置可能根本不包括任何按钮并且可能仅受到虚拟(例如,手势)和音频(例如,语音)命令的组合的控制,以使用户可以在无需与装置接触的情况下控制装置。\n[0039] 如上所述,根据所需的实施方案,可以在不同环境中实施不同的方法。例如,图9示出了一种用于实施根据多个实施方案的方面的示例性环境900。将认识到,尽管以基于网络的环境为例,但是可以根据需要使用不同环境来实施多个实施方案。所述系统包括电子客户端装置902,所述电子客户端装置可以包括可操作地通过适当网络904发送和接收请求、消息或信息并且将信息传输回装置用户的任何适当装置。此类客户端装置的实例包括个人计算机、蜂窝式电话、手持式消息传输装置、膝上型计算机、机顶盒、个人数据助理、电子束阅读器等。所述网络可以包括任何适当网络,包括内部网、互联网、蜂窝网、局域网或者其他任何此类网络或其组合。用于此类系统的部件可以至少部分取决于所选择的网络类型和/或环境。此类网络的传输协议和部件是公知的并且本文中不再详细描述。可以通过有线或无线连接以及它们的组合来实现通过该网络的通信。在本实例中,所述网络包括互联网,因为该环境包括Web服务器906,用于接收请求并且为此提供响应的内容,尽管所属领域中的技术人员可以显而易见地了解到,对于其他网络而言,可以使用提供类似功能的替代装置。\n[0040] 图示环境包括至少一个应用程序服务器908和数据存储器910。应了解,可以有多个应用程序服务器、层或其他元件、进程或部件,它们可以链接或以其他方式配置,以便可以交互以执行各种任务,例如从适当的数据存储器获取数据。本说明书中所用的术语“数据存储器”是指能够存储、访问和检索数据的任何装置或装置组合,其中可以包括任何标准、分布式或集群环境中的任何组合和数量的数据服务器、数据库、数据存储装置以及数据存储介质。应用程序服务器908可以包括任何适当硬件和软件,用于根据需要与数据存储器\n910集成以为客户端装置执行一个或多个应用程序的各个方面并且处理应用程序的大多数数据访问和业务逻辑。应用程序服务器提供与数据存储协作的访问控制服务并且能够生成诸如文字、图形、音频和/或视频等将传输给用户的内容,在本实例中,所述内容可以以HTML、XML或其他适当结构语言的形式通过Web服务器906提供给用户。所有请求和响应的处理,以及客户端装置902与应用程序服务器908之间的内容传输,可以通过Web服务器906进行处理。应了解,Web服务器和应用程序服务器不需要并且仅为示例性部件,因为本文所述的结构化代码可以在本文其他地方所述的任何适当装置或主机上执行。\n[0041] 数据存储器910可以包括多个单独的数据表、数据库或其他数据存储机构和介质,用于存储与特定方面相关的数据。例如,图示的数据存储器包括用于存储内容(例如,生产数据)912和用户信息916的机构,所述机构可用于为生产侧提供内容。所述数据存储器还图示为包括用于存储日志或回话数据914的机构。应了解,可能存在需要存储在数据存储器中的许多其他方面,例如页面图像信息和访问权限信息,这些方面可以根据需要存储在任何上列机构中或者存储在数据存储器910的其他机构中。数据存储器910可以通过相关逻辑操作,以从应用程序服务器908接收指令并且响应于所述指令而获取、更新或以其他方式处理信息。在一个实例中,用户可以针对特定类型的项目提交搜索请求。在这种情况下,数据存储器可以访问用户信息以验证用户的身份并且可以访问编目详细信息以获取有关该类型项目的信息。随后可以将信息返回给用户,例如在网页上的结果列表中,以便用户能够使用用户装置902上的浏览器查看。可以在专用页面或浏览器窗口中查看特定相关条目的信息。\n[0042] 每个服务器通常将包括操作系统,所述操作系统为该服务器的常规管理和操作提供可执行程序指令,并且通常将包括计算机可读介质,用于存储指令,当所述指令由服务器的处理器执行时,允许服务器执行其目标功能。适当的操作系统实施方案以及服务器的常规功能是公知的或者可以商购并且所属领域中的普通技术人员可以轻易地实施,尤其是在依据本发明的情况下。\n[0043] 在一个实施方案中,所述环境是利用多个计算机系统和部件的分布式计算环境,这些计算机系统和部件使用一个或多个计算机网络或直接连接通过通信链路连接。但是,所属领域中的技术人员将认识到,在部件数目小于图9中所示部件的系统中,此类系统同等有效。因此,图9中所述的系统900应视作说明性的,并不限制本发明的范围。\n[0044] 可以在各种操作环境中进一步实施多个实施方案,在某些情况下,所述操作环境可以包括一个或多个用户计算机或计算装置,所述计算机或计算装置可用于执行若干应用程序中的任意应用程序。用户或客户端装置可以包括若干通用个人计算机中的任意计算机,例如运行标准操作系统的桌面计算机或膝上型计算机,以及运行移动软件并且能够支持多个联网和消息传输协议的蜂窝、无线和手持式装置。此类系统还可以包括多个工作站,用于出于开发和数据库管理等目的运行各种可商购操作系统中的任意操作系统以及其他已知应用程序。这些装置还可以包括其他电子装置,例如虚拟终端、瘦客户端、博彩系统以及能够通过网络通信的其他装置。\n[0045] 多数实施方案使用至少一种所属领域中的技术人员熟悉的网络来支持使用多种可商购协议中的任意协议,例如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk的通信。例如,所述网络可以是局域网、广域网、虚拟专用网、互联网、内部网络、外部网络、公用交换电话网、红外网络、无线网络以及这些网络的任意组合。\n[0046] 在使用Web服务器的实施方案中,Web服务器可以运行各种服务器或中层应用程序中的任意服务器或中层应用程序,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和商业应用服务器。这些服务器还能够响应用户装置的请求而执行程序或脚本,例如执行一个或多个Web应用程序,所述Web应用程序可以作为用诸如 C、C#或C++等任意编程语言或者诸如Perl、Python或TCL任何脚本语言以及它们的组合编写的一个或多个脚本或程序实施。所述服务器还可以包括数据库服务器,包括但不限于可购自和 的数据库服务器。\n[0047] 所述环境可以包括各种数据存储器和其他存储器以及上述存储介质。这些存储介质位于各个位置中,例如一个或多个计算机本地(以及/或者驻于其中)的存储介质或者网络中的任何或所有计算机的远程存储介质中。在特定组的实施方案中,所述信息可以位于所属领域中的技术人员熟悉的存储区域网络(SAN)中。类似地,可以根据需要将执行归属于计算机、服务器或其他网络装置的功能的任何必要文件存储在本地和/或远程位置。如果系统包括计算机化装置,则每个此类装置可以包括可以通过总线电连接的硬件元件,例如,所述元件包括至少一个中央处理单元(CPU)、至少一个输入装置(例如,鼠标、键盘、控制器、触敏显示元件或键盘)以及至少一个输出装置(例如,显示装置、打印机或扬声器)。此类系统还可以包括一个或多个存储装置,例如磁盘驱动器、光存储装置和固态存储装置,例如随机存取存储器(RAM)或只读存储器(ROM),以及可移动介质装置、内存卡、闪光记录卡等。\n[0048] 此类装置还可以包括计算机可读存储介质阅读器、通信装置(例如,调制解调器、网卡(无线或有线)、红外通信装置)和上述工作存储器。计算机可读存储介质阅读器可以连接到,或者被配置成接收,代表远程、本地、固定和/或可移动存储装置的计算机可读存储介质以及用于临时和/或永久包含、存储、传输和检索计算机可读信息的存储介质。所述系统和多个装置通常还包括位于至少一个工作存储装置内的多个软件应用程序、模块、服务或其他元素,包括操作系统以及诸如客户端应用程序或Web浏览器等应用程序。应认识到,替代实施方案可以具有上述内容的多个变型。例如,还可以使用自定义硬件并且/或者特定元素可以在硬件、软件(包括便携式软件,例如小程序)或这两者中执行。此外,可以连接到诸如网络输入/输出装置等其他计算装置。\n[0049] 用于包含代码或代码部分的存储介质和计算机可读介质可以包括所属领域中公知或使用的任何合适介质,包括存储介质和通信介质,例如但不限于在任何方法或技术中实施以存储和/或传输信息,例如计算机可读指令、数据结构、程序模块或其他数据的易失性和非易失性、可移动和不可移动介质,包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字通用光盘(DVD)或其他光学存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储装置或者可用于存储所需信息并且可以通过系统装置访问的其他任何介质。基于本说明书中提供的公开内容和教义,所属领域中的普通技术人员将了解实施多个实施方案的其他方式和/或方法。\n[0050] 因此,说明书和附图视为说明性而非限定性的。但是,显然,可以在不脱离权利要求书中规定的更广精神和范围的情况下做出各种修改和更改。\n[0051] 条款\n[0052] 1.一种呈现界面的计算机实施的方法,其包括:\n[0053] 使用计算装置的相机撷取用户的图像;\n[0054] 使用所述计算装置的至少一个处理器分析所撷取的图像,以确定所述用户相对于所述计算装置的相对位置;\n[0055] 在所述计算装置的显示屏上呈现要显示的多个界面元素;\n[0056] 接收对所述界面元素中的一个界面元素的选择;\n[0057] 调整所选择的界面元素的外观,以使得从所确定的所述用户的所述相对位置处看起来,所选择的界面元素比未选择的界面元素更接近所述显示屏的表面,所述计算装置使得所选择的界面元素能够从所述用户接收输入;以及\n[0058] 响应于新确定的所述用户的相对位置,更新所述多个界面元素的所述呈现。\n[0059] 2.根据条款1所述的计算机实施的方法,其中至少部分基于分析所述相机在连续时间点撷取的其他图像来确定所述新确定的所述用户的相对位置。\n[0060] 3.根据条款1所述的计算机实施的方法,其中至少部分基于至少一个传感器确定的所述计算装置的朝向的变化来确定所述新确定的所述用户的相对位置。\n[0061] 4.根据条款1所述的计算机实施的方法,其中调整所选择的界面元素的外观包括调整所选择的界面元素的大小、形状、颜色、阴影或模糊中的至少一个。\n[0062] 5.根据条款1所述的计算机实施的方法,其还包括:\n[0063] 为所选择的界面元素呈现图标,向所述用户指示所述计算装置被配置成接受与所选择的界面元素关联的音频输入。\n[0064] 6.一种计算机实施的方法,其包括:\n[0065] 在配置有可执行指令的一个或多个计算系统的控制下,\n[0066] 确定将在计算装置的显示元件上显示的图形界面,所述图形界面具有活动层和至少一个其他层,所述活动层被呈现为看起来位于所述图形界面中的所述至少一个其他层的上方;\n[0067] 在作为所述图形界面的一部分的所述显示元件上显示多个界面元素,所述多个界面元素中的每个界面元素与所述呈现层中的一个呈现层关联;以及\n[0068] 响应于选择与所述至少一个其他层关联的界面元素,将所选择的界面元素与所述活动层关联并且调整所选择的界面元素的外观以与所述活动层对应,当与所述活动层关联时,所选择的界面元素能够从所述用户接收输入。\n[0069] 7.根据条款6所述的计算机实施的方法,其还包括:\n[0070] 响应于选择所述界面元素中的一个界面元素,将先前与所述活动层关联的先前活动界面元素与所述至少一个其他层关联并且调整所述先前活动界面元素的外观以与所述至少一个其他层对应。\n[0071] 8.根据条款7所述的计算机实施的方法,其中调整所述先前活动界面元素的所述外观包括调整所述界面元素的大小、形状、颜色、阴影或模糊中的至少一个。\n[0072] 9.根据条款6所述的计算机实施的方法,其中具有第一优先级的界面元素与所述活动层关联并且具有第二优先级的界面元素与所述至少一个其他层关联,所述第二优先级低于所述第一优先级。\n[0073] 10.根据条款6所述的计算机实施的方法,其还包括:\n[0074] 确定所述计算装置的用户的相对位置;以及\n[0075] 以至少部分基于所确定的所述用户的相对位置的外观来呈现所述图形界面的所述活动层和所述至少一个其他层的界面元素。\n[0076] 11.根据条款10所述的计算机实施的方法,其中所述活动层的界面元素被呈现为从所确定的所述用户的相对位置处看起来位于所述至少一个其他层的所述界面元素上方的某一距离处。\n[0077] 12.根据条款10所述的计算机实施的方法,其中确定所述用户的所述相对位置包括使用所述计算装置的至少一个相机撷取图像信息并且分析所撷取的图像信息以确定所述用户的所述相对位置。\n[0078] 13.根据条款12所述的计算机实施的方法,其还包括:\n[0079] 在显示所述图形界面期间撷取其他图像信息;\n[0080] 分析所述其他图像信息以确定所述用户的所述相对位置的变化;以及\n[0081] 调整所述活动层或所述至少一个其他层中的至少一个的所述呈现,以使所述活动层的所述界面元素从所述用户的当前相对位置处看起来维持在所述至少一个其他层的所述界面元素上方的某一距离处。\n[0082] 14.根据条款12所述的计算机实施的方法,其还包括:\n[0083] 使用所述计算装置的至少一个传感器,检测所述计算装置的朝向或位置中的至少一个的变化;\n[0084] 至少部分基于所检测的变化,确定所述用户的当前相对位置;以及\n[0085] 调整所述活动层或所述至少一个其他层中的至少一个的所述呈现,以使所述活动层的所述界面元素从所述用户的所述当前相对位置处看起来维持在所述至少一个其他层的所述界面元素上方的某一距离处。\n[0086] 15.根据条款14所述的计算机实施的方法,其中所述至少一个传感器检测的变化被用来在从所撷取的图像信息获取的更新之间提供所述用户的所述相对位置的更新。\n[0087] 16.根据条款10所述的计算机实施的方法,其中确定用户的所述相对位置包括确定所述用户的至少一个脸部特征的所述相对位置。\n[0088] 17.一种计算装置,其包括:\n[0089] 处理器;\n[0090] 显示屏;以及\n[0091] 存储器,其包括指令,当所述指令由所述处理器执行时,使所述计算装置:\n[0092] 在所述显示屏上呈现要显示的图形界面,所述图形界面包括多个界面元素;\n[0093] 从所述计算装置的用户接收对所述界面元素中的一个界面元素的选择;\n[0094] 确定所述用户相对于所述计算装置的当前相对位置;以及\n[0095] 响应于所述选择,至少部分基于所述用户的所述当前相对位置调整所选择的界面元素的呈现,以使得看起来似乎所选择的界面元素比至少一个其他显示界面元素更接近所述用户某一距离。\n[0096] 18.根据条款17所述的计算装置,其还包括:\n[0097] 相机,所述相机用于撷取所述用户的至少一部分的图像,至少部分通过使用所述计算装置的所述处理器分析所撷取的图像来确定所述当前相对位置。\n[0098] 19.根据条款17所述的计算装置,其还包括:\n[0099] 传感器,所述传感器被配置成检测所述计算装置的朝向或位置中的至少一个的变化,至少部分通过使用所述计算装置的所述处理器分析所检测的变化来确定所述当前相对位置。\n[0100] 20.根据条款17所述的计算装置,其还包括:\n[0101] 麦克风,所述麦克风被配置成从所述用户接收语音输入,所选择的界面元素能够包括图形元素,所述图形元素指示能够为所选择的界面元素提供音频输入。\n[0102] 21.根据条款17所述的计算装置,其中所述显示屏是触敏的,并且所述界面元素中的一个界面元素的所述选择能够通过与所述显示屏接触来接收。\n[0103] 22.一种永久性计算机可读存储介质,其存储指令,当所述指令由计算装置的至少一个处理器执行时,使所述计算装置:\n[0104] 在所述计算机的显示屏上呈现要显示的图形界面,所述图形界面包括多个界面元素;\n[0105] 从所述计算装置的用户接收对所述界面元素中的一个界面元素的选择;\n[0106] 确定所述用户相对于所述计算装置的当前相对位置;以及\n[0107] 响应于接收所述选择,至少部分基于所述用户的所述当前相对位置调整所选择的界面元素的呈现,以使得看起来似乎所选择的界面元素比至少一个未选择的界面元素更接近所述显示屏的表面。\n[0108] 23.根据条款22所述的永久性计算机可读存储介质,其中调整所述呈现包括使所选择的界面元素的大小、形状、颜色或模糊级中的至少一个的改变动态化。\n[0109] 24.根据条款22所述的永久性计算机可读存储介质,其中当所述指令被执行时,还使所述计算装置:\n[0110] 至少部分基于所述用户的所述当前相对位置调整所述图形界面中的所述计算装置的一个或多个虚拟侧壁的外观。\n[0111] 25.根据条款22所述的永久性计算机可读存储介质,其中当所述指令被执行时,还使所述计算装置:\n[0112] 使用所述计算装置的相机撷取所述用户的图像信息;以及\n[0113] 分析所述图像信息以识别所撷取的图像中的所述用户的脸部特征,其中确定所述用户相对于所述计算装置的所述当前相对位置包括确定所识别的脸部特征的所述当前相对位置。
法律信息
- 2017-11-21
- 2015-03-25
实质审查的生效
IPC(主分类): G06F 3/0489
专利申请号: 201380014153.5
申请日: 2013.03.13
- 2015-02-18
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2011-11-09
|
2009-11-20
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |