著录项信息
专利名称 | 基于观看距离的自适应屏幕接口 |
申请号 | CN201480008535.1 | 申请日期 | 2014-02-11 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2015-10-28 | 公开/公告号 | CN105009025A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06F3/00 | IPC分类号 | G;0;6;F;3;/;0;0;;;G;0;6;F;3;/;0;1查看分类表>
|
申请人 | 谷歌公司 | 申请人地址 | 美国加利福尼亚州
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 谷歌有限责任公司 | 当前权利人 | 谷歌有限责任公司 |
发明人 | C·普拉格曼;A·考夫曼 |
代理机构 | 北京市柳沈律师事务所 | 代理人 | 邵亚丽 |
摘要
个体可以通过话音命令和手势识别两种机制与诸如显示器上的内容交互。在一个实现方式中,用户与设备或显示器上内容的交互性可以基于用户与显示器之间的距离进行修改。诸如用户简档之类的属性可以用于使显示器的修改适于个体用户。在某些配置方式中,可用于用户的命令还可以基于所确定的用户与设备或显示器之间的距离进行修改。
1.一种用于自适应屏幕接口的方法,包括:
由包括显示器和相机的装置获得第一图像和第二图像;
由所述装置基于所述第一图像获得用户与显示器之间的距离的第一估计值以及基于所述第二图像获得用户与显示器之间的距离的第二估计值;
由所述装置至少基于用户与显示器之间的距离的所述第一估计值以及用户与显示器之间的距离的所述第二估计值,确定所述用户已越过预定的距离阈值;
响应于确定所述用户已越过预定的距离阈值,选择要提供以显示在所述显示器上的内容;以及
提供所选择的内容以在所述显示器上显示;
其中,接收以触摸输入模式或手势或语音输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述第二估计值、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
2.如权利要求1所述的方法,其中所述相机包括深度相机。
3.如权利要求1所述的方法,包含属性,该属性包括显示器的尺寸、显示源、或用户简档,其中所述内容是基于该属性选择的。
4.如权利要求1所述的方法,其中确定所述用户已越过预定的距离阈值包括:确定用户在最大距离阈值内,以及
其中选择内容包括:选择与关联到网络浏览器的命令全集相关联的表示。
5.如权利要求1所述的方法,其中确定所述用户已越过预定的距离阈值包括:确定用户已不在最大距离阈值内,以及
其中选择内容包括:选择与关联到网络浏览器的少于命令全集的命令相关联的一个或多个表示。
6.如权利要求1所述的方法,其中确定所述用户已越过预定的距离阈值包括:确定用户已不在最大距离阈值内,以及
其中选择内容包括:排除与基于触摸的命令相关联的任何表示。
7.如权利要求1所述的方法,其中确定所述用户已越过预定的距离阈值包括:确定用户在最大距离阈值内,以及
其中选择内容包括:选择与基于触摸的命令相关联的一个或多个表示。
8.一种非临时性计算机可读的存储设备,该存储设备具有存储在其上的指令,当这些指令由计算设备执行时使得该计算设备执行操作,这些操作包括:
由包括显示器和相机的装置获得第一图像和第二图像;
由所述装置基于所述第一图像获得用户与显示器之间的距离的第一估计值以及基于所述第二图像获得用户与显示器之间的距离的第二估计值;
由所述装置至少基于用户与显示器之间的距离的所述第一估计值以及用户与显示器之间的距离的所述第二估计值,确定所述用户已越过预定的距离阈值;
响应于确定所述用户已越过预定的距离阈值,选择要提供以显示在所述显示器上的内容;以及
提供所选择的内容以在所述显示器上显示;
其中,接收以触摸输入模式或手势或语音输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述第二估计值、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
9.如权利要求8所述的存储设备,其中所述相机包括深度相机。
10.如权利要求8所述的存储设备,包含属性,该属性包括显示器的尺寸、显示源、或用户简档,其中所述内容是基于该属性选择的。
11.如权利要求8所述的存储设备,其中确定所述用户已越过预定的距离阈值包括:确定用户在最大距离阈值内,以及
其中选择内容包括:选择与关联到网络浏览器的命令全集相关联的表示。
12.如权利要求8所述的存储设备,其中确定所述用户已越过预定的距离阈值包括:确定用户已不在最大距离阈值内,以及
其中选择内容包括:选择与关联到网络浏览器的少于命令全集的命令相关联的一个或多个表示。
13.如权利要求8所述的存储设备,其中确定所述用户已越过预定的距离阈值包括:确定用户已不在最大距离阈值内,以及
其中选择内容包括:排除与基于触摸的命令相关联的任何表示。
14.如权利要求8所述的存储设备,其中确定所述用户已越过预定的距离阈值包括:确定户在最大距离阈值内,以及
其中选择内容包括:选择与基于触摸的命令相关联的一个或多个表示。
15.一种用于自适应屏幕接口的系统,包括:
一个或多个数据处理设备;以及
计算机可读的存储设备,该存储设备具有存储在其上的指令,当这些指令由所述一个或多个数据处理设备执行时使得该一个或多个数据处理设备执行操作,这些操作包括:
由包括显示器和相机的装置获得第一图像和第二图像;
由所述装置基于所述第一图像获得用户与显示器之间的距离的第一估计值以及基于所述第二图像获得用户与显示器之间的距离的第二估计值;
由所述装置至少基于用户与显示器之间的距离的所述第一估计值以及用户与显示器之间的距离的所述第二估计值,确定所述用户已越过预定的距离阈值;
响应于确定所述用户已越过预定的距离阈值,选择要提供以显示在所述显示器上的内容;以及
提供所选择的内容以在所述显示器上显示;
其中,接收以触摸输入模式或手势或语音输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述第二估计值、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
16.如权利要求15所述的系统,其中所述相机包括深度相机。
17.如权利要求15所述的系统,包含属性,该属性包括显示器的尺寸、显示源、或用户简档,其中所述内容是基于该属性选择的。
18.如权利要求15所述的系统,其中确定所述用户已越过预定的距离阈值包括:确定用户在最大距离阈值内,以及
其中选择内容包括:选择与关联到网络浏览器的命令全集相关联的表示。
19.如权利要求15所述的系统,其中确定所述用户已越过预定的距离阈值包括:确定用户已不在最大距离阈值内,以及
其中选择内容包括:选择与关联到网络浏览器的少于命令全集的命令相关联的一个或多个表示。
20.如权利要求15所述的系统,其中确定所述用户已越过预定的距离阈值包括:确定用户已不在最大距离阈值内,以及
其中选择内容包括:排除与基于触摸的命令相关联的任何表示。
21.如权利要求15所述的系统,其中确定所述用户已越过预定的距离阈值包括:确定户在最大距离阈值内,以及
其中选择内容包括:选择与基于触摸的命令相关联的一个或多个表示。
22.一种用于自适应屏幕接口的方法,包括:
由包括显示器和相机的装置获得第一图像和之后的第二图像;
由所述装置基于所述第一图像获得用户与显示器之间的距离的第一估计值以及基于所述第二图像获得用户与显示器之间的距离的之后的第二估计值;
由所述装置至少基于用户与显示器之间的距离的所述第一估计值以及用户与显示器之间的距离的所述第二估计值,确定所述用户已越过预定的距离阈值;以及响应于确定所述用户已越过预定的距离阈值,由所述装置在下列(i)和(ii)之间进行切换:(i)触摸输入模式,其中通过显示器进行的触摸输入被允许,而语音或手势输入被禁止;和(ii)手势或语音输入模式,其中手势或语音输入被允许,而通过显示器进行的触摸输入被禁止;
其中,接收以触摸输入模式或手势或语音输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述第二估计值、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
23.如权利要求22所述的方法,包括:
从每个命令集都与(I)相应距离、和(II)所述给定输入模式相关联的多个命令集中,选择与(i)所述第二估计值、和(ii)所述输入模式相关联的一特定命令集;以及向用户提供所述特定命令集的可视指示。
24.如权利要求22所述的方法,包括:
确定所述用户和除所述显示器之外的一对象之间的距离的对象估计;
接收以给定输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)所述给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述对象估计、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
25.如权利要求22所述的方法,包括:
从所述显示器的物理接近范围内的多个用户中选择特定用户;以及
其中,获得用户与显示器之间的距离的第一估计值包括获得所述特定用户与显示器之间的距离的第一估计值,并且获得用户与所述显示器之间的距离的之后的第二估计值包括获得所述特定用户与所述显示器之间的距离的第二估计值。
26.一种非临时性计算机可读的存储设备,该存储设备具有存储在其上的指令,当这些指令由计算设备执行时使得该计算设备执行操作,这些操作包括:
由包括显示器和相机的装置获得第一图像和之后的第二图像;
由所述装置基于所述第一图像获得用户与显示器之间的距离的第一估计值以及基于所述第二图像获得用户与显示器之间的距离的之后的第二估计值;
由所述装置至少基于用户与显示器之间的距离的所述第一估计值以及用户与显示器之间的距离的所述第二估计值,确定所述用户已越过预定的距离阈值;以及响应于确定所述用户已越过预定的距离阈值,由所述装置在下列(i)和(ii)之间进行切换:(i)触摸输入模式,其中通过显示器进行的触摸输入被允许,而语音或手势输入被禁止;和(ii)手势或语音输入模式,其中手势或语音输入被允许,而通过显示器进行的触摸输入被禁止;
其中,接收以触摸输入模式或手势或语音输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述第二估计值、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
27.如权利要求26所述的存储设备,其中所述操作还包括:
从每个命令集都与(I)相应距离、和(II)所述给定输入模式相关联的多个命令集中,选择与(i)所述第二估计值、和(ii)所述输入模式相关联的一特定命令集;以及向用户提供所述特定命令集的可视指示。
28.如权利要求26所述的存储设备,其中所述操作还包括:
确定所述用户和除所述显示器之外的一对象之间的距离的对象估计;
接收以给定输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)所述给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述对象估计、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
29.如权利要求26所述的存储设备,其中所述操作还包括:
从所述显示器的物理接近范围内的多个用户中选择特定用户;以及
其中,获得用户与显示器之间的距离的第一估计值包括获得所述特定用户与所述显示器之间的距离的第一估计值,并且获得用户与显示器之间的距离的之后的第二估计值包括获得所述特定用户与所述显示器之间的距离的第二估计值。
30.一种用于自适应屏幕接口的系统,包括:
一个或多个数据处理设备;以及
计算机可读的存储设备,该存储设备具有存储在其上的指令,当这些指令由所述一个或多个数据处理设备执行时使得该一个或多个数据处理设备执行操作,这些操作包括:
由包括显示器和相机的装置获得第一图像和之后的第二图像;
由所述装置基于所述第一图像获得用户与显示器之间的距离的第一估计值以及基于所述第二图像获得用户与显示器之间的距离的之后的第二估计值;
由所述装置至少基于用户与显示器之间的距离的所述第一估计值以及用户与显示器之间的距离的所述第二估计值,确定所述用户已越过预定的距离阈值;以及响应于确定所述用户已越过预定的距离阈值,由所述装置在下列(i)和(ii)之间进行切换:(i)触摸输入模式,其中通过显示器进行的触摸输入被允许,而语音或手势输入被禁止;和(ii)手势或语音输入模式,其中手势或语音输入被允许,而通过显示器进行的触摸输入被禁止;
其中,接收以触摸输入模式或手势或语音输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述第二估计值、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
31.如权利要求30所述的系统,其中所述操作还包括:
从每个命令集都与(I)相应距离、和(II)所述给定输入模式相关联的多个命令集中,选择与(i)所述第二估计值、和(ii)所述输入模式相关联的一特定命令集;以及向用户提供所述特定命令集的可视指示。
32.如权利要求30所述的系统,其中所述操作还包括:
确定所述用户和除所述显示器之外的一对象之间的距离的对象估计;
接收以给定输入模式输入的用户输入;
从每个命令都与(I)所述用户输入、(II)相应距离、和(III)所述给定输入模式相关联的多个命令中,确定与(i)所述用户输入、(ii)所述对象估计、和(iii)所述给定输入模式相关联的一特定命令;以及
将所述特定命令提供给运行在所述装置上的一应用。
基于观看距离的自适应屏幕接口\n背景技术\n[0001] 数字屏幕存在于诸如游戏环境、商城、餐厅、企业和家庭之类的许多环境中。另外,存在许多触摸或输入设备自治系统。在游戏环境中,控制台可以具有与其连接的深度相机,该深度相机向控制台通信关于用户身体位置的信息。控制台可以根据用户的手势在屏幕上动画角色。例如,如果用户手势是在拳击游戏中出拳,则屏幕上的角色可以使用预定动画序列显示为用相同的手出拳。\n发明内容\n[0002] 根据所公开主题的一个实现方式,可以确定用户与设备(诸如显示器)之前的距离。基于确定的距离和属性,可以选择显示器上内容的演示风格。属性可以包括例如:用户高度、内容上下文、用户简档、用户数目、环境和有利位置。基于确定的距离、属性和演示风格中的一个或多个可以确定命令的至少一部分可用于用户。显示器上内容的一部分可以基于内容的演示风格进行修改。\n[0003] 在一个实现方式中,可以接收针对显示器的缩放功能。可以接收针对显示器的内容。可以确定用户与显示器之间的距离。显示器的输出可以基于确定的距离和缩放功能进行修改。\n[0004] 在一个实现方式中,提供了一种包括数据库和处理器的系统。数据库可以存储例如用户偏好、属性、演示风格、关于显示器的信息等。处理器可以被连接到显示器。处理器可以被配置为接收针对显示器的缩放功能。其可以接收针对显示器的内容。在某些配置方式中,处理器可以确定用户与显示器之间的距离或者其可以接收对距离的指示。处理器可以基于确定的距离和缩放功能修改显示器的输出。\n[0005] 所公开主题的附加特征、优势和实现方式可以通过考虑以下具体实施方式、附图说明和权利要求书进行阐述或者变得容易理解。此外,应当理解以上发明内容和以下具体实施方式都是提供实现方式的示例并且旨在提供进一步说明而不限制权利要求书的范围。\n附图说明\n[0006] 为提供对本公开主题的进一步理解而包括的附图并入在本说明书中并且构成本说明书的一部分。附图还图示了本公开主题的各实现方式,并且与具体实施方式一起用于解释本公开主题的各实现方式的原理。并未试图示出比对于本公开主题以及在其中可实践本公开主题的各种方法的基本理解所必需的更为详细的结构细节。\n[0007] 图1示出了根据所公开主题的实现方式的计算机。\n[0008] 图2示出了根据所公开主题的实现方式的网络配置。\n[0009] 图3示出了根据一个实现方式的示例处理流。\n[0010] 图4A示出了其中用户在显示器与第一阈值之间的显示器的示例。\n[0011] 图4B示出了其中用户在第一阈值与第二阈值之间的显示器的示例。\n[0012] 图4C示出了其中用户超过第二阈值的显示器的示例。\n具体实施方式\n[0013] 显示器或设备上的内容可以基于个体与设备之间的距离进行修改。例如,屏幕上示出的信息或内容的量可以随着用户越靠近屏幕而增加。类似地,基于用户与监视器的距离可以适应可用于用户或向用户呈现的命令。\n[0014] 在一个实现方式中,确定用户与显示器之间的距离。基于所确定的距离,可以确定显示器上内容的演示风格。演示风格可以指的是内容如何显示在显示器上。手势输入可以被接收并且基于所接收的手势输入和内容的演示风格可以修改监视器上内容的至少一部分。\n[0015] 在一个实现方式中,确定用户与显示器之间的距离。基于所确定的距离,可以可用的命令。命令可以指的是基于用户与监视器的距离可用于用户的手势命令。在某些配置方式中,手势输入可以被接收并且基于所接收的手势输入和可用命令可以修改监视器上内容的至少一部分。命令可以指的是可用于用户的命令的数目。命令的功能可以基于距离改变。\n例如,如果用户与监视器之间的距离被确定为相对较小,则用户指向屏幕可以与“打印”命令相关联。如果距离较大,则指向屏幕可以与放大显示器中手势针对的位置相关联。\n[0016] 内容和可用命令均可以基于距离修改。可以确定用户与监视器之间的距离。基于所确定的距离,可以选择演示风格和可用命令。可以接收手势输入并且基于所接收的手势输入、内容的演示风格和可用命令可以修改监视器上内容的至少一部分。\n[0017] 本公开主题的实施方式可以实现在各种部件和网络架构中,并且利用各种部件和网络架构来使用。图1是适合于本公开主题的实施方式的示例计算机20。计算机20包括总线\n21,总线21互连计算机20的主要部件,诸如中央处理器24、存储器27(通常为RAM,但是其还可以包括ROM、闪速RAM等)、输入/输出控制器28、诸如经由显示适配器的显示屏幕之类的用户显示器22、其可以包括一个或多个控制器和诸如键盘、鼠标等之类的关联用户输入设备并且可以紧密耦合至I/O控制器28的用户输入接口26、诸如硬盘驱动、闪速存储、光纤通道网络、SAN设备、SCSI设备等之类的固定存储23、以及操作为控制和接收光盘、闪存盘等的可移除介质部件25。\n[0018] 总线21允许在中央处理器24和存储器27之间的数据通信,如先前提到的,存储器\n27可包括只读存储器(ROM)或闪速存储器(两者均未示出)以及随机存取存储器(RAM)(未示出)。RAM通常是操作系统和应用程序被加载到其中的主存储器。除其他代码,ROM或闪速存储器可以包含基本输入输出系统(BIOS),基本输入输出系统(BIOS)控制诸如与外围部件的交互之类的基本硬件操作。驻留计算机20的应用通常存储在诸如硬盘驱动(例如固定存储\n23)、光驱,软盘或其它存储介质25之类的计算机可读介质上,并且经由诸如硬盘驱动(例如固定存储23)、光驱,软盘或其它存储介质25之类的计算机可读介质来访问。\n[0019] 固定存储23可以与计算机20集成,或者可以是分立的并且通过其它接口访问。网络接口29可以提供经由电话链路到远程服务器、经由因特网服务提供商(ISP)到因特网的直接连接,或者经由直接网络链路到远程服务器、经由POP(存在点)或其它技术到因特网的直接连接。网络接口29可以使用包括数字蜂窝电话连接、蜂窝数字分组数据(CDPD)连接、数字卫星数据连接等的无线技术来提供这样的连接。例如,网络接口29可以允许计算机经由一个或多个局域网、广域网或其它网络与其它计算机进行通信,如图2所示。\n[0020] 许多其它设备或部件(未示出)可以以相似的方式连接(例如文档扫描仪、数字相机等)。相反地,图1所示的所有部件不需要都存在以实践本公开。部件可以以与所示方式不同的方式来互连。诸如图1所示计算机之类的计算机的操作本领域很容易知道,并且本申请中未详细讨论。用于实现本公开的代码可以存储在诸如存储器27、固定存储23、可移除介质\n25中的一个或多个之类的计算机可读存储介质中,或者存储在远程存储位置。\n[0021] 图2示出根据公开主题的实施方式的示例网络布置。诸如本地计算机、智能电话、平板计算设备等之类的一个或多个客户端10、11可以经由一个或多个网络7连接到其他设备。网络可以是本地网络、广域网、因特网、或者一个或多个任何其它适合的通信网络,并且可以实现在包括有线和/或无线网络的任何适合平台上。客户端可以与一个或多个服务器\n13和/或数据库15通信。设备可以由客户端10、11直接访问,或者一个或多个其他设备可以提供中介访问,诸如其中服务器13提供对数据库15中存储的资源的访问。客户端10、11还可以访问远程平台17或者由远程平台17提供的服务,诸如云计算布置和服务。远程平台17可以包括一个或多个服务器13和/或数据库15。\n[0022] 更一般地,本公开主题的各种实施方式可以包括计算机实现的处理以及用于实践那些处理的装置,或者以计算机实现的处理以及用于实践那些处理的装置的形式来实现。\n实施方式还可以以具有计算机程序代码的计算机程序产品的形式来实现,计算机程序代码包含实现在诸如软盘、CD-ROM、硬盘驱动、USB(通用串行总线)驱动或者任何其它机器可读存储介质之类的非瞬态和/或有形介质中的指令,其中,当计算机程序代码加载到计算机中并由计算机执行时,计算机变为用于实践公开主题的实施方式的装置。实施方式还可以以例如无论存储在存储介质中、加载到计算机中和/或由计算机执行、还是通过一些传输介质(诸如通过电接线或线缆,通过光纤光学,或经由电磁辐射)传输的计算机程序代码的形式来实现,其中当计算机程序代码加载到计算机中并由计算机执行时,计算机变为用于实践公开主题的实施方式的装置。当实现在通用微处理器上时,计算机程序代码段将微处理器配置为创建具体逻辑电路。在一些配置中,在计算机可读存储介质上存储的计算机可读指令集可以通过通用处理器来实现,其可以将通用处理器或包含通用处理器的设备变换成被配置为实现或执行指令的专用设备。实施方式可以使用硬件来实现,硬件可以包括诸如通用微处理器之类的处理器、和/或以硬件和/或固件实现根据公开主题的实施方式的所有或部分技术的专用集成电路(ASIC)。处理器可耦合到存储器,诸如RAM、ROM、闪速存储器、硬盘、或者有能力存储电子信息的任何其他设备。存储器可以存储适于由处理器执行以执行根据公开主题的实施方式的技术的指令。\n[0023] 在一个实现方式中,在310可以确定用户与设备之间的距离。设备可以是例如显示器、平板、计算设备、监视器、电视、投影屏幕或立体声/扬声器系统。距离可以使用与设备搭配的相机确定。深度相机可以用于从环境捕获一序列图像。收集的图像可以被处理以确定用户或对象是否存在。在某些配置方式中,可以通过面部识别检测用户。由相机捕获的一序列图像可以用于标识特定手势。例如,该序列图像中标识的手势可以与已知手势的数据库进行比较。该数据库可以包含关于手势的特定特征或签名的信息,并且所捕获的图像可以针对这些特征进行分析。针对一序列图像可以生成置信得分,用于指示该序列是否包含给定手势。例如,手势可以是特征集并且一序列图像可以是所述特征的百分比。如果置信得分满足阈值,则图像序列可以被确定包含该手势。模式匹配或图像分析的其他方法可以用于确定用户是否出现在捕获的图像中和/或是否已经接收到手势。\n[0024] 对象(例如,用户)与显示器之间的水平距离可以基于相机的一个或多个捕获图像确定。针对本公开的实现方式,此距离可能不与对象与显示器或相机之间的实际距离相同或相似。用于捕获环境中图像或图像序列的相机可以针对例如来自工厂的距离测量进行校准或者作为由用户执行的装配过程的部件。在某些配置方式中,与设备搭配的单个相机可以用于确定相机与所检测用户之间的距离。在某些配置方式中,相机可以不与显示器搭配但是显示器可以被检测或标识为装配过程的部件。例如,多个相机可以被分布在环境中。每个相机可以向处理单元、数据库、服务器等提供关于环境或相机本身(例如,焦距、透镜大小等)的信息。由相机提供的信息可以用于检测用户、手势或对象(诸如显示器)。具有已知大小的参考对象可以用于辅助显示器与一个或多个相机的视场中其他对象之间的距离确定。\n本领域技术人员容易理解根据本公开的任意实现方式可以使用用于确定显示器与对象之间距离的其他方法。确定的距离310可以指的是实际距离或其相似值或者相对距离,诸如从环境的图像确定的距离。\n[0025] 返回图3,基于确定的距离和属性,可以在320选择显示器上内容的演示风格。演示风格可以指的是所显示内容的细节级别并在下文进一步论述。属性的示例可以包括:用户高度、内容上下文、用户简档、用户数、环境和有利位置。例如,用户可以向用户简档录入包括用户的照片、用户高度的信息。用户简档还可用允许用户配置用户偏好的演示风格来以各种距离从显示器观看。一个用户可能偏好包括在四十厘米处触摸界面的高级别细节,而另一用户可能偏好使得最少内容被显示而不考虑距离。包括用户简档的属性可以被存储在数据库上。属性还可以包括用户数。如果检测到多个用户,则系统可以确定至少一个用户与显示器的中值或平均距离。内容上下文可以指的是例如正在播放的内容,诸如网页、视频游戏、游戏模式、视频、文本、音乐、图像等。类似地,环境可以指的是显示器的位置。位置可以是例如公共显示器、起居室、舞厅、会议中心等。有利位置可以指的是用户相对于显示器的位置。例如,明显偏离显示器中心轴线的用户可以接收与如果用户以相同距离远离但在中心轴线上不同的演示风格。在某些配置方式中,用户可以被认定为具有主要控制。系统可以被配置为出于修改显示器的目的而忽略其他对象/用户。主要用户可以在用户简档中配置或者其可以指的是系统在启动时检测到的第一个体或作为房间内或环境中的第一人。\n[0026] 除了显示基于距离改变的内容,可用于用户的命令可以基于所确定的距离确定。\n命令可用性还可以指的是基于距离向相同命令指派的不同功能。命令可以指的是手势、话音命令或者由键盘、鼠标或输入设备接收的输入。在某些配置方式中,所显示的内容量可以随着用户远离显示器而减少。如果所显示的内容是视频,则在远距离显示器可能仅示出该视频和播放/暂停按钮。可用于用户的命令可以包括停止/暂停和退出。在更近的距离,用户可以被允许访问附加控件。例如,除了播放/暂停和退出,视频还可以具有更多控件,诸如快进/快退。在某些配置方式中,命令的功能可以被改变。例如,当用户被确定靠近屏幕时,快进可以以10倍回放速度进行,而当用户远离屏幕时,快进可以以5倍回放速度进行。\n[0027] 在某些配置方式中,所确定的距离可以被映射到范围。范围可以是例如远离屏幕\n0-1米。范围还可以由阈值限定。例如,预定阈值以下的任何距离可以与特定演示风格相关联。组成范围的距离可以诸如基于早先所述的属性预定义或者由最终用户配置。针对给定系统的范围数目也可以诸如基于早先所述的属性预定义或者由最终用户配置。在某些配置方式中,所确定的用户与显示器之间的距离可以被映射到包括距离范围和对应演示风格的表中。该表可以诸如基于早先所述的属性预定义或者由最终用户配置。在某些配置方式中,期望演示风格与所确定的距离线性相关,而在其他实例中期望所确定的距离与演示风格之间具有非线性关系。\n[0028] 在330,显示器上内容的至少一部分可以基于内容的演示风格进行修改。类似地,可用于用户的命令可以基于距离进行修改。例如,可以确定用户与显示器之间的距离超过阈值距离。显示器上内容的量可以被增加或减少。命令的数目可以响应于所确定的距离增加或减少。可用命令不与演示风格相应地修改。例如,演示风格可以具有与需要增加/减少否则修改可用命令不同的阈值。\n[0029] 图4A至图4C示出了内容可以如何基于用户与显示器的距离改变的示例。在图4A中,显示器420与深度相机410搭配示出。深度相机410从显示器位置捕获图像并且可以针对命令数据(例如,手势)处理图像或者向用于这种分析的处理器传送图像序列。显示器420示出了具有第一窗口430、第二窗口440和第三窗口450的网页,该第一窗口430示出了赛车比赛,该第二窗口440示出了用户评论,以及该第三窗口450示出了与第一窗口430中所示一个赛车相关的视频。基于从相机410获得的数据,用户可以被确定在由第一阈值标记470和显示器420呈现的范围内。基于所确定的距离,可以向用户460显示最大内容量。除了所确定的距离还可以利用属性(诸如显示器大小)、正在显示的内容的源、用户简档等来修改所显示的内容。因为用户460被确定接近显示器420或在显示器420与第一阈值470之间,所以可以向用户460提供对web浏览体验的所有典型命令的访问,如果显示器提供触摸使能界面,则包括触摸使能交互。然而,用户460可能无法与语音命令或手势命令交互。\n[0030] 在图4B中,用户460在由第一阈值470和第二阈值标记480限制的范围内。第一窗口\n431现在以标题栏被省略出现。第二窗口441示出了相关视频;但是其没有指示针对图4A中所示每个视频的标题。第三窗口451显示了关于正在第一窗口431中查看的视频的信息。用户460可以具有对在此范围的口头命令和基于手势的命令的访问,诸如信令语音、抓/拉窗口、放大窗口、挥击或投掷。\n[0031] 在图4C中,用户460超过第二阈值480。在此范围中,显示器420可以仅示出包含视频的单个窗口432。用户可以具有仅对口头命令或手势命令的子集的访问,诸如开/关、播放/暂停、音量和搜索。如果用户460进入由第一阈值470和第二阈值480限定的范围,则显示器420可以改变到图4B中示出的一个窗口。演示风格和可用命令的确定可以是动态过程,响应于用户的距离、属性或房间内用户的数目。用户可以被确定远离监视器指定距离。该指定距离可以被确定落入使得可用于用户的命令的类型被限制或扩展以及使得屏幕上显示的内容的格式简约的范围内。例如,命令可以被限制到滚动和/或选择条目甚至话音命令。简约演示风格可以例如呈现大图标、大文本和较少选项,这是因为用户被确定大距离远离。类似地,该指定距离可以被确定在使得更多明确命令可用于用户以及使得更详细呈现内容的阈值之下。例如,用户可以被允许滚动、访问菜单、拖放文件、选择监视器上单个条目等。提供的内容还可以详细说明,诸如提供菜单、网页的全文本、完整文件目录等。因此,可以基于用户与显示器的距离适配显示器和/或命令界面。\n[0032] 在一个实现方式中,可以接收针对显示器的缩放功能。缩放功能可以指的是用户偏好。例如,用户偏好可以指定在各种距离、范围、所检测到的用户数目或内容源(诸如web浏览、视频、多媒体、音频等)针对显示器的演示风格。例如,可以使用面部识别、话音识别、模式识别等检测用户。在没有检测到用户的情况下,显示器可以采取修改的功能,诸如关闭、暂停或提供延迟的解激活。用户的偏好可以被存储在本地或远程数据库上并且提供给予显示器修改相关联的处理器。缩放功能可以指的是内容在显示器上显示的方式。可以接收针对显示器的内容。可以确定用户与显示器之间的距离。显示器的输出可以基于所确定的距离和缩放功能进行修改。在某些配置方式中,可用于用户的手势集可以基于显示器、所确定的距离和缩放功能中的至少一个进行指派。命令可用性可以基于所确定的距离进行确定。命令的可用性可以基于如早先所述的所确定的距离进行修改。\n[0033] 在某些实例中,内容可以由例如机顶盒提供并且向接收器或A/V处理器发送。负责提供显示器修改的指示的处理器可以是A/V接收器的部件、显示器本身或另一本地或远程处理器。例如,A/V处理器可以向本地处理器传送视频信息,该本地处理器根据演示风格、缩放功能、属性和所确定的距离中的至少一个修改数据流。处理器可以向与显示器相关联的处理器传送修改。\n[0034] 距离可以通过若干方式影响显示器输出,其中一些方式以及在早先进行了描述。\n信息可以基于距离进行缩放。例如,从远处,两个标题在显示器上可见;但是,随着用户更靠近显示器,更多标题可以出现和/或来自一个或多个文章的文本可以在每个标题下出现。\n[0035] 用户界面可以适配于距离。例如,如果用户在显示器的触摸距离,按钮和其他触摸指示符可以建议用户如何导航内容/与内容交互。然而,如果用户远离,则按钮或触摸指示符可能消失或改变以建议用户现在是话音或手势命令响应。\n[0036] 音量也可以基于用户距离适配。例如,如果用户正在厨房进行视频聊天并且远离用于聊天的膝上型计算机所处的桌子,则扬声器音量和麦克风敏感度可以自动调整以补偿用户增加的距离。当用户返回时,扬声器音量和麦克风敏感度可以重新调整,从而向用户和该用户与之聊天的人提供恒定音量的印象。\n[0037] 如早先所述以及图4A至图4C中所示,内容密度可以基于距离修改。例如,如果用户正在播放音乐并且远离屏幕,则显示器可以示出正在播放的歌曲的曲目。如果用户站立在显示器附近,则显示器可以示出播放列表、与该歌曲相关联的专辑、关于该艺术家的相关新闻以及用户可能喜欢的其他音乐的建议。\n[0038] 功能可以基于用户与显示器的距离进行修改。例如,显示器可以在用户的起居室。\n当用户从门口或其他房间扫视显示器时,该显示器可以显示时间。然而,如果用户接近显示器,则该显示器可以起到立体声的功能。从两米的距离(例如,如果用户在面对显示器的沙发上),显示器可以作为媒体中心,重点是电影。如果用户在与显示器完全分离的房间,则该显示器可以起到话音控制个人助理的功能。如果没有用户出现在显示器所处的家庭,则该显示器可以作为安全系统。\n[0039] 在一个实现方式中,提供了一种包括数据库和处理器的系统。数据库可以存储例如用户偏好、属性、演示风格、关于显示器的信息等。处理器可以连接至显示器。处理器可以被配置为接收针对显示器的缩放功能。该处理器可以接收针对显示器的内容。在某些配置方式中,处理器可以确定用户与显示器之间的距离或者其可以接收对距离的指示。处理器可以基于确定的距离和缩放功能修改显示器的输出。\n[0040] 在一个实现方式中,显示器上示出内容的演示风格和/或可用于用户的命令可以基于其他距离测量确定。在一个实现方式中,内容和/或命令可以基于用户与除了显示器的对象之间的距离确定。例如,内容和命令可以基于一个用户与另一用户的距离、用户与门口的距离、用户与房间中指定点或线的距离、用户与远离显示器放置的传感器的距离等进行修改。这些可以例如由上文所述相机测量。\n[0041] 在各种实现方式中,显示器上的内容和命令可以基于不止一个距离确定。例如,内容和命令可以基于第一用户与第二用户之间的距离以及第一用户与显示器之间的距离两者进行确定。在一个实现方式中,内容和命令可以基于用户与远离显示器放置的传感器之间的距离、用户与显示器之间的距离和用户与另一用户之间的距离进行确定。\n[0042] 上文描述出于解释的目的已经针对特定实现方式被描述。然而,上文所示论述不旨在穷尽或限制本公开主题的实现方式到所述的具体形式。鉴于上文的教导,许多修改和变化也是可能的。为了解释本公开主题实现方式的原理及其实践应用,选择并描述了各种实现方式,由此使得本领域的其他人员能够利用那些实现方式以及可以适于特定用户预期的具有各种修改的各种实现方式。
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2011-01-26
|
2010-09-01
| | |
2
| |
2012-07-04
|
2011-11-14
| | |
3
| |
2012-10-17
|
2012-02-15
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |