著录项信息
专利名称 | 一种应用程序的控制方法、装置及电子设备 |
申请号 | CN201410542224.5 | 申请日期 | 2014-10-14 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2015-01-14 | 公开/公告号 | CN104281265A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06F3/01 | IPC分类号 | G;0;6;F;3;/;0;1;;;G;0;6;T;7;/;7;0查看分类表>
|
申请人 | 京东方科技集团股份有限公司 | 申请人地址 | 北京市朝阳区酒仙桥路10号
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 京东方科技集团股份有限公司 | 当前权利人 | 京东方科技集团股份有限公司 |
发明人 | 韩芳 |
代理机构 | 北京银龙知识产权代理有限公司 | 代理人 | 许静;黄灿 |
摘要
本发明实施例的目的在于提供一种应用程序的控制方法、装置及电子设备,提高应用程序的运行速度。本发明实施例的方法包括:获取记录用户运动的深度图像序列;预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列;从预设的标准姿态数据序列中,获取相匹配的第一目标姿态数据,并基于所述第一目标姿态数据进行应用控制处理;在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时,从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理;所述第二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻,且第二姿态数据序列的长度与所述目标姿态需要维持的时间相关。本发明提高了应用程序运行速度。
一种应用程序的控制方法、装置及电子设备\n技术领域\n[0001] 本发明涉及应用的人体控制技术领域,特别是一种应用程序的控制方法、装置及电子设备。\n背景技术\n[0002] 体感游戏突破了以往单纯以手柄按键输入的操作方式,而是通过肢体动作变化来进行(操作)的新型电子游戏。\n[0003] 体感游戏已经在各大游戏平台,如Wii平台、PS平台以及Xbox平台等,得到了充分的应用。\n[0004] 目前,体感游戏获取用户动作的一种方式为通过摄像头来采集用户的图像,并基于该图像进行处理,得到描述用户动作的数据,进而根据该数据来实现游戏的控制,即:用户的运动被游戏系统解释成可以用于影响游戏的控制。换言之,用户可以使用运动来控制游戏。用户的运动基本上可以被解释成任何类型的游戏控制,如控制游戏中的被控对象的动作、又如保存游戏、退出游戏等菜单相关的操作。\n[0005] 然而,目前的体感游戏存在资源消耗巨大的问题,解释如下。\n[0006] 在通过图像方式感应用户运动的体感游戏中,首先需要采集用户的图像,然后要基于采集到的用户图像进行模型的建立,最后要进行模型的匹配(即进行动作的解释)来确定对应的指令。\n[0007] 而众所周知的是,图像处理是目前计算机系统中非常耗费资源的一类处理,如果对采集到的每幅图像都进行上述的处理的话,将会导致程序运行缓慢问题,降低用户体验。\n[0008] 当然,以上是以体感游戏为例进行的说明,但应当理解的是,只要是通过图像方式感应用户运动来控制应用程序都会存在以上问题,在此不一一举例说明。\n发明内容\n[0009] 本发明实施例的目的在于提供一种应用程序的控制方法、装置及电子设备,提高应用程序的运行速度。\n[0010] 为了实现上述目的,本发明实施例提供了一种应用程序的控制方法,包括:\n[0011] 获取记录用户运动的深度图像序列;\n[0012] 预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列;\n[0013] 从所述应用程序预先设置的标准姿态数据序列中,获取与所述用户姿态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据,并基于所述第一目标姿态数据进行应用控制处理;\n[0014] 在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时,从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理;所述第二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻,且第二姿态数据序列的长度与所述目标姿态需要维持的时间相关。\n[0015] 上述的应用程序的控制方法,其中,对应的目标姿态需要维持的时间超过预订时间门限的姿态数据包括:一个目标姿态起始子数据、至少一个目标姿态中间子数据和一个目标姿态结束子数据,所述从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理具体包括:对应于至少一个目标姿态中间子数据和一个目标姿态结束子数据,从所述第二姿态数据序列中挑选部分用户姿态数据,用于后续匹配处理。\n[0016] 上述的应用程序的控制方法,其中,转换得到所述第一用户姿态数据序列的操作在所述应用程序需要使用所述用户姿态数据的阶段之前完成。\n[0017] 上述的应用程序的控制方法,其中,所述数学转换模型与多个应用程序相对应,所述控制方法还包括:\n[0018] 在得到第一用户姿态数据序列后,从所述多个应用程序确定目标应用程序;\n[0019] 确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。\n[0020] 上述的应用程序的控制方法,其中,获取记录用户运动的深度图像序列具体包括:\n[0021] 获取用户的原始图像序列;\n[0022] 对所述原始图像序列中的图像进行降低分辨率、背景移除、去噪和深度值调整中的至少一个,得到所述深度图像序列。\n[0023] 上述的应用程序的控制方法,其中,每一个标准姿态数据对应于一个用于显示到显示屏的屏幕用户形象,所述基于所述目标姿态数据进行应用控制处理具体为:将所述显示屏显示的当前屏幕用户形象改变为所述目标姿态数据对应的第一屏幕用户形象。\n[0024] 上述的应用程序的控制方法,其中,每一个标准姿态对应于一姿态需要维持的时间,所述控制方法还包括:\n[0025] 确定应用运行时间;\n[0026] 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0027] 在所述第二目标姿态数据与第一目标姿态数据不同时,执行一提醒操作。\n[0028] 上述的应用程序的控制方法,其中,每一个标准姿态对应于一姿态需要维持的时间,所述控制方法还包括:\n[0029] 确定应用运行时间;\n[0030] 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0031] 确定第二目标姿态数据对应的第二屏幕用户形象;\n[0032] 当所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差异标准时,执行一提醒操作。\n[0033] 为了更好的实现上述目的,本发明实施例还提供了一种应用程序的控制装置,包括:\n[0034] 获取模块,用于获取记录用户运动的深度图像序列;\n[0035] 转换模块,用于预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列;\n[0036] 处理模块,用于从所述应用程序预先设置的标准姿态数据序列中,获取与所述用户姿态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据,并基于所述第一目标姿态数据进行应用控制处理;\n[0037] 筛选模块,用于在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时,从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理;所述第二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻,且第二姿态数据序列的长度与所述目标姿态需要维持的时间相关。\n[0038] 上述的应用程序的控制装置,其中,对应的目标姿态需要维持的时间超过预订时间门限的姿态数据包括:一个目标姿态起始子数据、至少一个目标姿态中间子数据和一个目标姿态结束子数据,所述筛选模块具体用于:对应于至少一个目标姿态中间子数据和一个目标姿态结束子数据,从所述第二姿态数据序列中挑选部分用户姿态数据,用于后续匹配处理。\n[0039] 上述的应用程序的控制装置,其中,转换得到所述第一用户姿态数据序列的操作在所述应用程序需要使用所述用户姿态数据的阶段之前完成。\n[0040] 上述的应用程序的控制装置,其中,所述数学转换模型与多个应用程序相对应,所述控制装置还包括:\n[0041] 程序确定模块,用于在得到第一用户姿态数据序列后,从所述多个应用程序确定目标应用程序;\n[0042] 标准姿态序列确定模块,确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。\n[0043] 上述的应用程序的控制装置,其中,获取模块具体包括:\n[0044] 原始图像获取单元,用于获取用户的原始图像序列;\n[0045] 优化单元,用于对所述原始图像序列中的图像进行降低分辨率、背景移除、去噪和深度值调整中的至少一个,得到所述深度图像序列。\n[0046] 上述的应用程序的控制装置,其中,每一个标准姿态数据对应于一个用于显示到显示屏的屏幕用户形象,所述处理模块具体用于将所述显示屏显示的当前屏幕用户形象改变为所述目标姿态数据对应的第一屏幕用户形象,实现所述应用控制处理。\n[0047] 上述的应用程序的控制装置,其中,每一个标准姿态对应于一姿态需要维持的时间,所述控制装置还包括:\n[0048] 时间确定模块,用于确定应用运行时间;\n[0049] 目标姿态数据确定模块,用于根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0050] 第一提醒模块,用于在所述第二目标姿态数据与第一目标姿态数据不同时,执行一提醒操作。\n[0051] 上述的应用程序的控制装置,其中,每一个标准姿态对应于一姿态需要维持的时间,所述控制装置还包括:\n[0052] 时间确定模块,用于确定应用运行时间;\n[0053] 目标姿态数据确定模块,用于根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0054] 屏幕用户形象确定模块,用于确定第二目标姿态数据对应的第二屏幕用户形象;\n[0055] 第二提醒模块,用于在所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差异标准时,执行一提醒操作。\n[0056] 为了更好的实现上述目的,本发明实施例还提供了一种电子设备,包括上述的控制装置。\n[0057] 本发明实施例具有如下的有益效果。\n[0058] 本发明实施例的应用程序的控制方法、装置及电子设备中,采集用户的运动图像,然后依据图像分析得到用户姿态数据序列,当与某一用户姿态数据匹配的标准姿态数据所对应的目标姿态需要维持的时间较长时,则从后续的用户姿态数据序列中挑选部分用户姿态数据序列进行后续的匹配处理,因此能够提高应用程序的运行速度。\n附图说明\n[0059] 图1表示本发明实施例的一种应用程序的控制方法的流程示意图;\n[0060] 图2表示本发明实施例的一种应用程序的控制装置的结构示意图;\n[0061] 图3表示本发明实施例的一种应用程序的控制方法的详细实现过程示意图。\n具体实施方式\n[0062] 本发明实施例的应用程序的控制方法、装置及电子设备中,采集用户的运动图像,然后依据图像分析得到用户姿态数据序列,当与某一用户姿态数据匹配的标准姿态数据所对应的目标姿态需要维持的时间较长时,则从后续的用户姿态数据序列中挑选部分用户姿态数据序列进行后续的匹配处理,以提高应用程序的运行速度。\n[0063] 本发明实施例的一种应用程序的控制方法如图1所示,包括:\n[0064] 步骤101,获取记录用户运动的深度图像序列;\n[0065] 步骤102,预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列;\n[0066] 步骤103,从所述应用程序预先设置的标准姿态数据序列中,获取与所述用户姿态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据,并基于所述第一目标姿态数据进行应用控制处理;\n[0067] 步骤104,在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时,从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理;所述第二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻,且第二姿态数据序列的长度与所述目标姿态需要维持的时间相关。\n[0068] 本发明实施例的应用程序的控制方法、装置及电子设备中,采集用户的运动图像,然后依据图像分析得到用户姿态数据序列,当与某一用户姿态数据匹配的标准姿态数据所对应的目标姿态被应用程序预先定义为需要维持较长的时间时,则从后续的用户姿态数据序列中挑选部分用户姿态数据序列进行后续的匹配处理,由于待处理数据量的减小以及数据处理的时间被拉长,因此能够提高应用程序的运行速度。\n[0069] 以下就上述的有益效果进一步详细说明如下。\n[0070] 假定图像采集设备的采集速率为X幅/秒,现有技术中采集持续时间与应用处理(图像的转换及匹配)的时间相同,为Y秒,则采集到的图像数量为X*Y,假定每张图像对应的用户姿态数据进行匹配处理需要消耗的处理器资源(不包括将图像转换为用户姿态数据所消耗的资源)为Z,则现有技术中需要耗费的处理器资源为:X*Y*Z,单位时间内需要消耗的处理器资源为X*Z。\n[0071] 提高应用程序的运行速度一般可以从如下两方面着手:\n[0072] 1、降低整体需要处理的数据量;\n[0073] 2、降低单位时间内处理器资源消耗量。\n[0074] 本发明实施例的方法中,当确定出目标姿态需要维持的时间超过预订时间门限时,则在接下来的处理中,会从数据序列中挑选部分数据来进行后续的匹配处理,因此相对于现有技术减少了需要处理的数据量,因此能够提高应用程序的运行速度。\n[0075] 而从单位时间内的处理器资源消耗量来看,本发明实施例的方法分如下两个阶段:数据转换阶段和数据匹配阶段,而现有技术只有一个阶段,即同时实现数据转换和数据匹配。即使本发明实施例的方法没有减少需要处理的数据量,其处理时间也比现有技术长(增加了游戏运行之前的转换预处理)。因此,本发明实施例的方法中,单位时间内的处理器资源消耗量会小于现有技术的单位时间内的处理器资源消耗量,这也能够提高应用程序的运行速度。\n[0076] 也就是说,本发明实施例的方法在减少需要处理的数据量的同时还延长了对这些数据进行处理的时间,因此本发明实施例的方法能够提高应用程序的运行速度。\n[0077] 同时,应当理解的是,本发明实施例的方法虽然是预先根据深度图像序列得到用户姿态数据序列,但对用户控制应用程序并不会产生不利的后果,对此解释如下。\n[0078] 首先,本发明实施例针对的应用具有如下的特征:\n[0079] 1、应用程序预先设置有标准姿态数据序列,也就是说,用户需要一定的顺序来完成标准姿态数据序列所对应的标准姿态。换而言之,用户在应用程序中需要执行的动作是预先规定好的,也是用户预先能够知道的。\n[0080] 例如,该应用程序为一款体感瑜伽游戏,其规定了用户需要按照一定的顺序来完成一系列的动作以完成挑战。又如该应用程序为一款体感跳舞游戏,其规定了用户需要按照一定的顺序来完成一系列的动作以完成当前关卡。再如,该应用程序为一款体感迷宫游戏,用户需要按照一定的顺序运动,进而以最佳方式走出当前关卡对应的迷宫。\n[0081] 这种类型的应用非常多,在此不一一举例说明。\n[0082] 由于这一类应用对用户控制的实时性要求非常低,因此对于这一类的应用预先采集图像并形成用户姿态数据序列并不会对用户控制游戏造成无法控制的影响。\n[0083] 2、按照应用的设定,用户在完成某些动作时需要维持一定的时间。如瑜伽游戏中,用户需要维持某一个姿态一段时间,又如体感跳舞游戏中,在播放相同音符的时间段中,用户需要维持某一个姿态。\n[0084] 基于以上的描述可以发现,由于这一类应用的特殊性,当存在需要用户维持一段时间(假定为5s)的姿态时,此时,按照10幅图像/秒的速度采集时,5s内采集到的图像为50幅,如果用户按照要求执行动作,则对这50幅图像对应的用户姿态数据进行匹配都会得到同一个标准姿态数据。\n[0085] 本发明实施例中,对上述5s内采集的图像对应的50个用户姿态数据按照一定的间隔取部分姿态数据也可以实现对用户动作完成度以及准确度的考察,对此举例说明如下。\n[0086] 如按照5个用户姿态数据取1个姿态数据,则从上述的50个用户姿态数据中取出10个用户姿态数据,按照这10个用户姿态数据来进行匹配,当10个用户姿态数据匹配到的标准姿态数据都相同时,也可以表明用户完成了规定的动作。\n[0087] 也就是说,由于动作的特殊性,从对应的用户动作数据序列中取部分用户动作数据也可以实现相同的功能(如验证用户动作完成的持续性,又或者基于动作序列确定指令等),达到相同的效果。\n[0088] 综上所述,本发明实施例的方法针对上述的应用程序,在实现完整的体感控制的同时,能够提高应用程序的运行速度。\n[0089] 从以上的描述可以发现,第二姿态数据序列的确定与目标姿态需要维持的时间相关。\n[0090] 以存在需要用户维持一段时间(假定为5s)的姿态,则在确定姿态起始时间点之后,第二姿态数据序列为从姿态起始时间点后的5s内采集到的图像转换得到的用户姿态数据。而当图像采集速度为10幅图像/秒时,则在确定姿态起始时间点之后,第二姿态数据序列为从姿态起始时间点后的10s内采集到的图像转换得到的用户姿态数据。\n[0091] 本发明具体实施例中,深度图像序列可以通过深度相机、摄像机、立体相机、和/或其他合适的捕捉设备获取。\n[0092] 为了提高判断的准确性,在本发明的具体实施例中,将上述的需要维持一定时间的目标姿态对应的数据分为3个部分:\n[0093] 一个目标姿态起始子数据;\n[0094] 至少一个目标姿态中间子数据;和\n[0095] 一个目标姿态结束子数据。\n[0096] 这种情况下,所述从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理具体包括:对应于至少一个目标姿态中间子数据和一个目标姿态结束子数据,从所述第二姿态数据序列中挑选部分用户姿态数据,用于后续匹配处理。\n[0097] 也就是说,设置的目标姿态中间子数据的数量越多,则需要挑选的用户姿态数据越多,但相应的后续的控制处理的结果也更精确。\n[0098] 在本发明的具体实施例中,上述的姿态数据都是一个表达用户身体部位、部位位置以及部位间相对位置关系的数据。\n[0099] 上述的姿态数据可以通过现有技术中能够描述人体的任意模型来描述,如骨骼和关节共同构成的骨架模型,又如通过线框网格模型等,在此不作详细说明。\n[0100] 在本发明的具体实施例中,可以直接对图像采集设备直接采集到的图像进行转换得到用户姿态数据,但综合考虑数据处理量、转换精度等因素,本发明实施例中先对直接采集到的图像进行优化处理,也就是说,所述获取记录用户运动的深度图像序列具体包括:\n[0101] 获取用户的原始图像序列;\n[0102] 对所述原始图像序列中的图像进行降低分辨率、背景移除、去噪和深度值调整中的至少一个,得到所述深度图像序列。\n[0103] 上述的可选的降低分辨率、背景移除的处理,使得后续的转换能够以较小的计算开销完成。\n[0104] 如在图像捕捉过程中,有可能发生各种随机的,或者系统性的误差,图像采集设备本身也会导致采集到的图像中存在一定的缺陷或畸变等,因此通过去噪操作能够更好的去除上述的缺陷,得到更加准确和完整的数据,保证后续转换得到的用户姿态数据的准确度。\n[0105] 当然,应当理解的是,上述的优化仅仅是举例说明,本发明实施例并不具体限定采用的具体优化手段。\n[0106] 应该了解的是,得到一套数学转换模型需要付出巨大的代价,因此为了降低开发成本,本发明实施例中,可以将一套数学转换模型分配给多个应用程序使用。而每个应用程序各自对应的标准姿态数据序列在绝大部分情况下都不相同,在这种情况下,本发明实施例的方法还包括:\n[0107] 在得到第一用户姿态数据序列后,从所述多个应用程序确定目标应用程序;\n[0108] 确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。\n[0109] 当用户预先完成自己想要处理的应用程序所规定的动作之后,即可确定目标应用程序,进而选择目标应用程序对应的标准姿态数据序列来对上述得到的用户姿态数据序列进行处理。\n[0110] 通过上述的方式,使得一个数学转换模型可以为多应用程序所使用,大大降低了开发成本。如以上举例的瑜伽体感游戏、跳舞体感游戏和迷宫体感游戏由于针对的对象基本相同,因此可以使用一个数学转换模型来对应,以降低开发成本。\n[0111] 本发明实施例的应用程序的控制方法,转换得到所述第一用户姿态数据序列的操作在所述应用程序需要使用所述用户姿态数据的阶段之前完成,因此,将数据转换和数据匹配分为两个阶段,延长了数据处理的时间,降低了单位时间对处理资源的需求,能够提高应用程序的运行速度。\n[0112] 在此对应用程序需要使用所述用户姿态数据的时机举例说明如下。\n[0113] 以体感跳舞游戏为例,当用户启动应用程序时并不需要用户姿态数据,只有当用户选择游戏难度、游戏场景等并选择“开始游戏”后,才进入了应用程序需要使用所述用户姿态数据的阶段。\n[0114] 本发明实施例的方法可以用于多种场景,一种比较典型的场景为身体动作跟踪场景,即每一个标准姿态数据对应于一个用于显示到显示屏的屏幕用户形象,所述基于所述目标姿态数据进行应用控制处理具体为:将所述显示屏显示的当前屏幕用户形象改变为所述目标姿态数据对应的第一屏幕用户形象。\n[0115] 举例说明如下,当用户从站立姿态变成坐下姿态时,则采集到的用户坐下的图像能够转换得到一用户姿态数据,而该用户姿态数据与标准姿态数据中的坐下姿态数据匹配,此时,通过一定的显示处理手段,就能够将屏幕上显示的站立的人改变为坐下的人。\n[0116] 应当了解的是,上述的过程描述仅仅是为了方便理解而作的一个简化描述,实际处理过程可能还需要包括更多的使用户得到更好体验的处理手段,在此不作进一步详细说明。\n[0117] 在本发明具体实施例中,还可以针对用户的动作是否符合要求进行提醒,而这种提醒操作可以通过多种方式进行,下面就两种可能的实现方式详细说明如下。\n[0118] 由于应用程序已经预先规定用户所要执行的动作的顺序以及每个动作的持续时间,因此,在一些时间节点上用户应该处于某一种特定的姿态上,举例如下。\n[0119] 假定应用程序预先规定的标准姿态序列如下:A1姿态B1秒、A2姿态B2秒、A3姿态B3秒、A4姿态B4秒。此时当时间段处于(B1,B1+B2]的区间时,则用户应该处于A2姿态。\n[0120] 由于每一个姿态对应于一个标准姿态数据,结合以上的分析可以发现,当应用运行的时间确定时,即可确定用户当前应该作的动作,也就是可以确定用户当前应该所处的标准姿态所对应的标准姿态数据。\n[0121] 而用户当前实际所处的姿态可以确定,当二者不同时,即可发现用户没有按照要求进行动作,即可进行提示。\n[0122] 因此,上述方式下,本发明实施例的应用程序的控制方法中,每一个标准姿态对应于一姿态需要维持的时间,所述控制方法还包括:\n[0123] 确定应用运行时间;\n[0124] 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0125] 在所述第二目标姿态数据与第一目标姿态数据不同时,执行一提醒操作。\n[0126] 当然,以上是以姿态数据作为参照对象来确定用户动作是否符合要求,由于姿态数据都对应于屏幕用户形象,因此,也可以使用屏幕用户形象的差异是否超过预定的差异标准进行判断。\n[0127] 这种方式下,所述控制方法还包括:\n[0128] 确定应用运行时间;\n[0129] 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0130] 确定第二目标姿态数据对应的第二屏幕用户形象;\n[0131] 当所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差异标准时,执行一提醒操作。\n[0132] 本发明实施例还提供了一种应用程序的控制装置,如图2所示,包括:\n[0133] 获取模块,用于获取记录用户运动的深度图像序列;\n[0134] 转换模块,用于预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列;\n[0135] 处理模块,用于从所述应用程序预先设置的标准姿态数据序列中,获取与所述用户姿态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据,并基于所述第一目标姿态数据进行应用控制处理;\n[0136] 筛选模块,用于在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时,从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理;所述第二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻,且第二姿态数据序列的长度与所述目标姿态需要维持的时间相关。\n[0137] 其中,为方便比较,本发明具体实施例中,对应的目标姿态需要维持的时间超过预订时间门限的姿态数据包括:一个目标姿态起始子数据、至少一个目标姿态中间子数据和一个目标姿态结束子数据,所述筛选模块具体用于:对应于至少一个目标姿态中间子数据和一个目标姿态结束子数据,从所述第二姿态数据序列中挑选部分用户姿态数据,用于后续匹配处理。\n[0138] 上述的控制装置中,转换得到所述第一用户姿态数据序列的操作在所述应用程序需要使用所述用户姿态数据的阶段之前完成,将数据处理分为多段,延长数据的处理时间,因此能够降低单位时间的处理资源需求,能够提高应用程序的运行速度。\n[0139] 为降低开发成本,本发明实施例的所述控制装置中,所述数学转换模型与多个应用程序相对应,所述控制装置还包括:\n[0140] 程序确定模块,用于在得到第一用户姿态数据序列后,从所述多个应用程序确定目标应用程序;\n[0141] 标准姿态序列确定模块,确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。\n[0142] 为了进一步提高运行效率,或者提高用户数据序列计算的准确性,本发明具体实施例的控制装置中,获取模块具体包括:\n[0143] 原始图像获取单元,用于获取用户的原始图像序列;\n[0144] 优化单元,用于对所述原始图像序列中的图像进行降低分辨率、背景移除、去噪和深度值调整中的至少一个,得到所述深度图像序列。\n[0145] 本发明实施例的应用程序的控制装置可以用于用户动作的跟踪,每一个标准姿态数据对应于一个用于显示到显示屏的屏幕用户形象,所述处理模块具体用于将所述显示屏显示的当前屏幕用户形象改变为所述目标姿态数据对应的第一屏幕用户形象,实现所述应用控制处理。\n[0146] 为了实现对用户不标准动作的提醒,本发明实施例中,每一个标准姿态对应于一姿态需要维持的时间,所述控制装置还包括:\n[0147] 时间确定模块,用于确定应用运行时间;\n[0148] 目标姿态数据确定模块,用于根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0149] 第一提醒模块,用于在所述第二目标姿态数据与第一目标姿态数据不同时,执行一提醒操作。\n[0150] 为了实现对用户不标准动作的提醒,本发明实施例中,每一个标准姿态对应于一姿态需要维持的时间,所述控制装置还包括:\n[0151] 时间确定模块,用于确定应用运行时间;\n[0152] 目标姿态数据确定模块,用于根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时间,确定第二目标姿态数据;\n[0153] 屏幕用户形象确定模块,用于确定第二目标姿态数据对应的第二屏幕用户形象;\n[0154] 第二提醒模块,用于在所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差异标准时,执行一提醒操作。\n[0155] 本发明实施例还提供了一种电子设备,其特征在于,包括上述的控制装置。\n[0156] 其中,上述的电子设备可以是个人计算机、游戏平台、电视等。\n[0157] 下面就本发明实施例的方法一种具体工作过程详细描述如下。\n[0158] 如图3所示,在应用程序需要使用用户姿态数据之前,执行步骤301,先获取图像采集设备(如深度相机)采集到的图像,得到一个图像序列;\n[0159] 在得到该图像序列之后,可选的可以对该图像序列中的图像进行一系列的优化处理,如去噪、去除背景图案、降低分辨率等。\n[0160] 在步骤302,利用骨骼模型和身体部位模型将捕获的真实人物的深度图像转换为用户姿态数据,即完成了用户动作的建模,得到了一个用户姿态数据序列,并将其存储到存储单元中。\n[0161] 这些用户姿态数据序列定义了用户的身体部位的相关信息(如位置、姿态以及部位之间的相对关系等),能够进行后续的匹配。\n[0162] 当一个模型可以用于多个应用程序时,则在步骤303中需要确定一个目标应用程序,并获取该目标应用程序预先设定的标准姿态数据序列,以进行后续的匹配操作。\n[0163] 在步骤304中,则可以依据用户姿态数据和标准姿态数据序列进行匹配处理,确定与当前待处理的用户姿态数据匹配的标准姿态数据。\n[0164] 在步骤305中,判断应用程序预先设定该匹配的标准姿态数据对应的姿态需要维持的时间是否超过预定的门限,当判断结果为是时,表示用户会在该姿态上持续较长的时间。\n[0165] 当判断出用户会在该姿态上持续较长的时间时,则表明可以利用较少的数据来完成后续一段时间的准确匹配,因此在步骤306中,选择部分用户姿态数据来进行后续的匹配处理。否则的话按照正常流程处理。\n[0166] 选择部分用户姿态数据来进行后续的匹配处理的过程中,在标准姿态数据序列中预先将该持续一段时间的姿态分为3个部分进行描述,即包括起始节点对应的姿态数据、一个或多个中间节点对应的姿态数据和一个结束节点对应的姿态数据。根据上述划分进而进行用户姿态数据的选择和匹配。\n[0167] 当然,在匹配的过程中,还可以根据姿态数据之间的对比或者显示屏上实际显示的用户图像和预期的用户图像之间的对比来判断用户是否按照要求完成动作,实现提醒功能。\n[0168] 以上所述为本发明较佳实施例,需要指出的是,对于本领域普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明保护范围。
法律信息
- 2017-06-16
- 2015-02-11
实质审查的生效
IPC(主分类): G06F 3/01
专利申请号: 201410542224.5
申请日: 2014.10.14
- 2015-01-14
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2014-03-19
|
2013-11-20
| | |
2
| |
2011-09-28
|
2010-03-25
| | |
3
| |
2012-04-25
|
2011-11-03
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |