著录项信息
专利名称 | 一种终端开机的控制方法和系统 |
申请号 | CN201610093570.9 | 申请日期 | 2016-02-22 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2016-07-13 | 公开/公告号 | CN105763917A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N21/422 | IPC分类号 | H;0;4;N;2;1;/;4;2;2;;;H;0;4;N;2;1;/;4;2;2;3查看分类表>
|
申请人 | 青岛海信电器股份有限公司 | 申请人地址 | 山东省青岛市崂山区株洲路151号
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 青岛海信电器股份有限公司 | 当前权利人 | 青岛海信电器股份有限公司 |
发明人 | 刘兴瑞;仲维 |
代理机构 | 青岛联智专利商标事务所有限公司 | 代理人 | 邵新华 |
摘要
本发明实施例提供了一种终端开机的控制方法和系统,涉及电子技术领域,用以弥补目前红外检测用户自动开机技术的精度低,容易受环境影响等技术缺陷,包括将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;提取与第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;比较所述N个三维立体图像中每个三维立体图像确定的至少一个像素点对应的距离信息之间的差值是否在预设阈值范围;若是,则生成开机指令,并根据所述开机指令控制终端开启。
1.一种终端开机的控制方法,其特征在于,包括:
将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;
提取与第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;
在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;
分别获取其他三维立体图像中确定的至少一个像素点对应的距离信息;
比较获取到的N个距离信息之间的差值是否在预设阈值范围;
若是,则生成开机指令,并根据所述开机指令控制终端开启。
2.根据权利要求1所述的方法,其特征在于,对于第二图像和第三图像,将第一摄像头和第二摄像头在同一时刻分别拍摄的包含人体的第二图像和第三图像合成三维立体图像,包括:
获取所述第二图像的每个像素点;
以所述第二图像的每个像素点为中心像素点建立预设窗口;其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
获取所述预设窗口的像素值;
根据所述预设窗口的像素值,从所述第三图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定每个所述目标区域的中心像素点;
将每个所述第二图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第二图像对应的三维立体图像。
3.根据权利要求2所述的方法,其特征在于,对于第一像素点,所述第一像素点为所述第二图像中所有像素点中的任意一个像素点,所述获取所述预设窗口的像素值,并根据所述预设窗口的像素值,从所述第三图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,包括:
确定所述第一像素点在所述第二图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
在保持所述第一像素点纵坐标不变的情况下,从所述第三图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第三图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
4.根据权利要求1所述的方法,其特征在于,所述提取第一图像对应的三维立体图像中的人体轮廓,包括:
对与第一图像对应的三维立体图像建立距离信息的横向直方图及纵向直方图;
基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理;
在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线,以及在纵向直方图中提取具有相同横坐标的纵向直线;
根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。
5.根据权利要求1 4任一所述的方法,其特征在于,在所述生成开机指令之前还包括:
~
对N个拍摄时刻第一摄像头拍摄的包含人体的图像进行人眼识别,获取用户的眼部轮廓;
逐帧识别所述N个拍摄时刻中相邻时刻对应的眼部轮廓变化信息,并与人眼特征库进行匹配,所述人眼特征库预存有用户的人眼动作;
从所述人眼特征库中选取与所述相邻的人眼轮廓变化信息差异最小的人眼动作作为目标人眼动作;
若所述目标人眼动作符合预设的开机指令要求,则生成开机指令。
6.一种终端开机的控制系统,其特征在于,包括:平行设置在所述终端上的第一摄像头和第二摄像头,运行在所述终端处理器上的图像处理系统、图像识别系统和执行系统;
其中,所述第一摄像头和第二摄像头处于同一水平线上;
所述第一摄像头和第二摄像头,用于在预设时间拍摄至少一张包含人体的图像;
所述图像处理系统,用于将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;
所述图像识别系统,用于提取第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;
在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;
分别获取其他三维立体图像中确定的至少一个像素点对应的距离信息;
比较获取到的N个距离信息之间的差值是否在预设阈值范围;
所述执行系统,用于在判断结果为是时,生成开机指令,并根据所述开机指令控制终端开启。
7.根据权利要求6所述系统,其特征在于,所述图像处理系统执行将第一摄像头和第二摄像头在同一时刻分别拍摄的包含人体的第二图像和第三图像合成三维立体图像时,所述图像处理系统包括:
第一获取单元,用于获取所述第二图像的每个像素点;
建立单元,用于以所述第二图像的每个像素点为中心像素点建立预设窗口;其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
第二获取单元,用于获取所述预设窗口的像素值
提取单元,用于根据所述预设窗口的像素值,从所述第三图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定单元,用于确定每个所述目标区域的中心像素点;
生成单元,用于将每个所述第二图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第二图像对应的三维立体图像。
8.根据权利要求7所述系统,其特征在于,所述提取单元包括:
确定模块,用于确定第一像素点在所述第二图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;所述第一像素点为所述第二图像中所有像素点中的任意一个像素点;
选取模块,用于在保持所述第一像素点纵坐标不变的情况下,从所述第三图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第三图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算模块,用于计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
判定模块,用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
9.根据权利要求6所述系统,其特征在于,所述图像识别系统包括轮廓提取单元和像素点提取单元,所述轮廓提取单元具体用于:
对与第一图像对应的三维立体图像建立距离信息的横向直方图及纵向直方图;
基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理;
在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线,以及在纵向直方图中提取具有相同横坐标的纵向直线;
根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。
10.根据权利要求6 9任一所述系统,其特征在于,所述图像识别系统还包括识别单元,~
所述识别单元包括:
人眼分析模块,用于对N个拍摄时刻第一摄像头拍摄的包含人体的图像进行人眼识别,获取用户的眼部轮廓;
人眼匹配模块,用于逐帧识别所述N个拍摄时刻中相邻时刻对应的眼部轮廓变化信息,并与人眼特征库进行匹配,所述人眼特征库预存有用户的人眼动作;
目标选取模块,从所述人眼特征库中选取与所述相邻的人眼轮廓变化信息差异最小的人眼动作作为目标人眼动作;
指令控制模块,用于当所述目标人眼动作符合预设的开机指令要求时,控制所述执行系统生成开机指令。
一种终端开机的控制方法和系统\n技术领域\n[0001] 本发明涉及电子技术领域,尤其涉及一种终端开机的控制方法和系统。\n背景技术\n[0002] 随着电视机的普及和电视节目的内容及质量的提高,看电视已越来越成为人们休闲娱乐的主要方式,同时用户对电视的要求也越来越高。虽然随着电视智能化的集成,已经能为用户提供高质量的视听体验,但依然无法满足用户的需求。提高用户体验,也成为了各电视厂商的目标。自动开机系统,作为一个重要的用户体验点,也越来越多地得到用户的期待。自动开机系统,可以免去用户需要先寻找电视遥控器,并手持遥控器对电视发出开机指令的烦恼,大幅度的提高了用户体验。尤其当用户双手都持有物品,无法再腾出手来操控遥控器进行开机的情况下,自动开机系统更是极大的提高了用户体验。已有的技术中,深圳TCL新技术有限公司采用红外检测的方式对电视机前是否有用户进行检测,并依此控制电视开关电路的通断。(专利文件:CN101287086 )。该技术当电视机处于待机状态,并且检测单元检测到电视观众人体发出的信号时,则控制电视机自动开机。\n[0003] 虽然,该发明对是否有观众进行了检测,然而由于采用红外检测的方式进行用户的感知,在现实情况下会出现检测范围小,受环境影响大以及无法对用户进行准确识别等难以避免的瓶颈及缺陷。一方面,红外检测模块非常容易受到各种热源,光源的干扰。同时,由于红外穿透力差,人体的红外辐射容易被遮挡,不易被传感器接收。当环境温度和人体温度接近时,探测的灵敏度明显下降,会造成短时失灵。另外,红外检测器的误报率与安装位置及方式有极大关系,需要远离空调,冰箱等空气温度变化敏感的地方,并且不得间隔家具,盆景等隔离物。上述应用局限极大限制了智能电视在家居环境中的摆放及使用,给用户造成了极大的局限,严重影响了用户体验。\n发明内容\n[0004] 本发明的实施例提供一种终端开机的控制方法和系统,尤其适用于电视等智能终端,用以弥补目前通过红外检测控制电视开机造成的精度低,检测范围小,容易受到环境影响造成开机指令识别不准确等技术缺陷。\n[0005] 为达到上述目的,本发明的实施例采用如下技术方案:\n[0006] 第一方面,本发明实施例提供了一种终端开机的控制方法,包括:\n[0007] 将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;\n[0008] 提取与第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;\n[0009] 在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;\n[0010] 比较所述N个三维立体图像中每个三维立体图像确定的至少一个的像素点对应的距离信息之间的差值是否在预设阈值范围;\n[0011] 若是,则生成开机指令,并根据所述开机指令控制终端开启。\n[0012] 第二方面,本发明实施例提供了一种终端开机的控制系统,包括:平行设置在所述终端上的第一摄像头和第二摄像头,运行在所述终端处理器上的图像处理系统、图像识别系统和执行系统;\n[0013] 其中,所述第一摄像头和第二摄像头处于同一水平线上;\n[0014] 所述第一摄像头和第二摄像头,用于在预设时间拍摄至少一张包含人体的图像;\n[0015] 所述图像处理系统,用于将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;\n[0016] 所述图像识别系统,用于提取第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;\n[0017] 在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;\n[0018] 比较所述N个三维立体图像中每个三维立体图像确定的至少一个像素点对应的距离信息之间的差值是否在预设阈值范围;\n[0019] 所述执行系统,用于在判断结果为是时,生成开机指令,并根据所述开机指令控制终端开启。\n[0020] 本发明实施例提供一种终端开机控制方法和系统,通过将第一摄像头和第二摄像头同一时刻分别拍摄的至少一张包含人体的图像合成三维立体图像,并基于所述第一摄像头拍摄的二维图像对应的三维立体图像上获取人体轮廓中至少一个像素点对应的距离信息,之后比较所述N个三维立体图像的像素点确定的距离信息之间的差值是否在预设阈值范围,通过该比较的结果可确定用户是否处于终端前,并且若N个距离信息的差值在一定的阈值范围内,则说明用户的位置以及相对与终端的距离不会有跳变,例如可判断出用户是否在注视电视并保持一段时间,相对的提高了识别用户位置生成开机指令的准确度,即在该多个距离信息的差值满足预设阈值范围时,可确定用户有观看终端如电视的意图,并进一步的生成开机指令,控制终端开启,与现有技术相比,排除了红外检测技术感知是否有用户存在的方式容易受周围环境影响,识别精度和灵敏度较差等问题,本终端开机的控制方法和系统通过双摄像头三维信息测距并结合人体识别算法,可确定用户的开机意图,自动控制终端开启,同时确保了高实时性,高精度,大幅度提高用户的操控体验。\n附图说明\n[0021] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。\n[0022] 图1为本发明实施例一种终端开机的控制方法的流程示意图一;\n[0023] 图2为本发明实施例一种终端开机的控制方法的流程示意图二;\n[0024] 图3a为第二图像中任意一个像素点为中心像素点建立预设窗口的示意图;\n[0025] 图3b为第二图像中任意一个像素点为中心像素点建立预设窗口与第三图像进行匹配的示意图;\n[0026] 图3c为第二图像中任意一个像素点为中心像素点建立预设窗口与第三图像匹配结果示意图;\n[0027] 图4为本发明实施例一种终端开机的控制方法的流程示意图三;\n[0028] 图5为本发明实施例的一种终端开机的控制系统的结构示意图一;\n[0029] 图6为本发明实施例的一种终端开机的控制系统的结构示意图二。\n具体实施方式\n[0030] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。\n[0031] 本发明实施例提供一种终端开机的控制方法,如图1所示,包括:\n[0032] S101、将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含手势操作的图像合成N个三维立体图像;\n[0033] S102、提取与第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;\n[0034] S103、在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;\n[0035] S104、比较所述N个三维立体图像中每个三维立体图像确定的至少一个像素点对应的距离信息之间的差值是否在预设阈值范围;\n[0036] S105、若是,则生成开机指令,并根据所述开机指令控制终端开启。\n[0037] 本发明实施例提供一种终端开机控制方法和系统,通过将第一摄像头和第二摄像头同一时刻分别拍摄的至少一张包含人体的图像合成三维立体图像,并基于所述第一摄像头拍摄的二维图像对应的三维立体图像上获取人体轮廓中至少一个像素点对应的距离信息,之后比较所述N个三维立体图像的像素点确定的距离信息之间的差值是否在预设阈值范围,通过该比较的结果可确定用户是否处于终端前,并且若N个距离信息的差值在一定的阈值范围内,则说明用户的位置以及相对与终端的距离不会有跳变,例如可判断出用户是否在注视电视并保持一段时间,相对的提高了识别用户位置生成开机指令的准确度,即在该多个距离信息的差值满足预设阈值范围时,可确定用户有观看终端如电视的意图,并进一步的生成开机指令,控制终端开启,与现有技术相比,排除了红外检测技术感知是否有用户存在的方式容易受周围环境影响,识别精度和灵敏度较差等问题,本终端开机的控制方法和系统通过双摄像头三维信息测距并结合人体识别算法,可确定用户的开机意图,自动控制终端开启,同时确保了高实时性,高精度,大幅度提高用户的操控体验。\n[0038] 本发明实施例的一种终端开机的控制方法的执行主体为终端的处理器,该终端可以为电视、电脑等,本发明实施例对此不作限定,该第一摄像头和第二摄像头用于获取人体的图像,该第一摄像头和第二摄像头可以是在终端上设置的摄像头。\n[0039] 本发明实施例中,该第一摄像头和第二摄像头感应用户是否在终端前,第一摄像头和第二摄像头可以周期性的拍摄若干张照片进行人体识别,若发现用户出现在摄像头前,获取包含用户人体的至少一张图像,用户可以为静止,也可以为移动,另外,也可通过用户手动输入用户移动控制终端的开始信息,如用户按下在终端遥控器中设置启动用户移动识别技术的启动按键,再获取到所述启动按键触发的启动指令后,处理器控制所述第一摄像头和第二摄像头获取用户进行移动的至少一张图像。\n[0040] 其中,预设时间是指需要监控用户并进行N次拍摄所需要的时间,预设时间也可以提前设定,如可将所述预设时间设置为2s-5s;具体可通过设置在所述处理器中的定时器以实现。在2s-5s的时间段内,将获取到的含人体的图像按获取的先后顺序缓存在终端的存储器中,在需要识别的时候,通过处理器从存储器中获取,由于第一摄像头和第二摄像头在1s内可以拍摄10 60个图像帧,优选的,是25 30个图像帧,由于第一摄像头和第二摄像头拍摄~ ~\n的人体可能是一个动态过程,故每一帧图像帧是有差异的,故在选择合成三维立体图像时,通过选取第一摄像头和第二摄像头在同一时刻拍摄的一帧图像,这样可以避免形成的三维立体图像与实际用户手势之间的差异,提高了识别精确性。如果用户选择静止站立,那么第一第二摄像头可以在预设时间内只拍摄一张或者拍摄多张选择一张作为后续识别过程的输入基础。\n[0041] 其中,可选的,根据摄像头的拍摄性能,在预设时间内总共包含M个拍摄时刻,每个拍摄时刻第一摄像头和第二摄像头都拍摄有照片,可以选取M个拍摄时刻所述第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成M张三维立体图像,也可以选取N个拍摄时刻拍摄的合成N张三维立体图像,其中M≥N;\n[0042] 图像即为摄像头拍摄的一张图片,图像帧则为固定时间内连续拍摄的一系列图片,图像帧序列由一系列图像组成。\n[0043] 当然,在选择合成三维立体图像时,可以选择第一摄像头连续拍摄的几张图像以及第二摄像头连续拍摄的几张图像中每一张图像均合成三维立体图像(其中,第二摄像头拍摄的每张图像的时间均与第一摄像头中在同一时刻拍摄的照片对应)。\n[0044] 其中,对于将第一摄像头和第二摄像头在同一时刻分别拍摄的至少一张包含人体的图像合成三维立体图像的方式,不属于本发明的主要发明点,在现有技术中存在多种实现方式,本发明实施例对此不进行限定,由于对于第一摄像头和第二摄像头在预设时间内拍摄的每张图像合成三维立体图像的方式和原理均相同,本发明实施例仅以第二图像和第三图像为例进行说明,其中,第二图像和第三图像分别为在预设时间内由第一摄像头和第二摄像头在同一时刻分别拍摄的图像中的至少一张,并不具有任何指示性含义。\n[0045] 示例性的,如图2所示,步骤S101可以通过以下方式实现,\n[0046] S1011、获取所述第二图像的每个像素点;\n[0047] 其中,对于获取第二图像的每个像素点的具体方式,本发明实施例在此不再赘述,可以通过现有技术来实现,例如,粒子滤波。\n[0048] 获取到第二图像的每个像素点以后,可以以所述第二图像和第三图像设置坐标系,则第二图像和第三图像上的每个像素点均可以用坐标的形式表示,如图3a所示和图3b所示,当然还可以存在其他方式用以唯一标记第二图像和第三图像上相应的像素点,本发明实施例在此不再赘述。\n[0049] 需要说明的是,在获取三维立体图像的时候,还可以先提取所述第二图像的人体轮廓,在提取到人体轮廓以后,获取所述第二图像的人体轮廓中的每个像素点,基于每个所述人体轮廓中的每个像素点执行步骤S1012,这样可以进一步提高识别精度,避免在三维立体图像中引入背景或者干扰。\n[0050] S1012、以所述第二图像的每个像素点为中心像素点建立预设窗口;其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;\n[0051] 图3a为第二图像中任意一个像素点为中心像素点建立预设窗口的示意图,其预设窗口可以通过以所述中心像素点为中心,在所述中心像素点四周(上、下、左、由)各延长L个长度单位所包含的区域,即所述预设距离为2L则上述M各像素点即为以所述中心像素点四周各延长L个长度单位所包含的区域内的所有像素点;本发明实施例对所述L的具体大小不进行限定,可以根据实际需要达到的精度进行设定。\n[0052] S1013、获取所述预设窗口的像素值;\n[0053] 由于预设窗口内包含M个像素点,故所述预设窗口的像素值为M个像素点灰度值的总和,对于计算每个像素的灰度值的具体方式本发明实施例在此不再赘述,例如,若所述预设窗口为以任意一个像素点为中心像素点向左向右各一个像素点,则该预设窗口内包含5个像素点,该预设窗口的像素值为5个像素点灰度值的总和。\n[0054] S1014、根据所述预设窗口的像素值,从所述第三图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,如图3b所示;\n[0055] 由于对于第二图像种每个像素点建立预设窗口,并根据预设窗口的像素值从所述第三图像中查到的目标区域的方式和原理均相同,故本发明实施例仅以第一像素点为例进行说明,该第一像素点为第二图像中的任意一个像素点,并不具有指示性含义。\n[0056] 示例性的,如图4所示,步骤S1014可以通过以下方式实现:\n[0057] S10141、确定所述第一像素点在所述第二图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;如图3a所示;\n[0058] S10142、在保持所述第一像素点纵坐标不变的情况下,从所述第三图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第三图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;\n[0059] 其中,所述候选区域的窗口大小或者窗口距离是指候选区域内任意一个中心像素点,按照预设距离2L,以所述中心像素点为中心,在所述中心像素点四周(上、下、左、由)各延长L个长度单位所包含的区域;\n[0060] S10143、计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;\n[0061] S10144、将所述候选区域的像素值与所述预设窗口的像素值的差异值最小的候选区域确定为目标区域。\n[0062] 其中,当获取到第一像素点的坐标时,可以将所述第一像素点从第三图像指向第二图像的方向,保持纵坐标不变的情况下,将第一像素点遍历所述第三图像中的任何一个像素点,并可以通过SAD(Sum of Absolute Difference)或SSD(Sum of Squared Difference)算法matching方式从第三图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,如图3c所示的d点。\n[0063] 当然,为了减少计算量,在获取到第一像素点的坐标以后,可以从所述第三图像中与所述第一像素点纵坐标相同,大于等于横坐标的候选区域中选取目标区域。\n[0064] 当然,本发明实施例也可以基于第三图像,在第二图像中选取与第三图像中任意一个像素点构建的预设窗口的像素值差异最小的区域为目标区域,此时,应按照第二图像指向第三图像的方向,保持纵坐标不变的情况下,将第三图像中的每个像素点构成的预设窗口遍历所述第二图像的候选区域,以获取目标区域。\n[0065] S1015、确定每个所述目标区域的中心像素点;\n[0066] S1016、将每个所述第二图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第二图像对应的三维立体图像。\n[0067] 优选的,为了提高识别精度,需要提取出所述第一图像中的人体轮廓,在此人体轮廓的基础上,获取每一个像素点的像素信息,并从三维立体图像中获取与之对应的像素点距离信息,由于用户的人体应处于同一平面,因而拥有相近的像素点距离信息,故在识别之前,可以对三维立体图像中人体对应的像素点距离进行均值操作,以便人体轮廓内的人体与背景等干扰信息进行分离,从而高精度的提取出用户的人体。\n[0068] 进一步的,所述提取第一图像对应的三维立体图像中的人体轮廓,包括:\n[0069] S1021、对与第一图像对应的三维立体图像建立距离信息的横向直方图及纵向直方图;\n[0070] S1022、基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理;\n[0071] S1023、在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线,以及在纵向直方图中提取具有相同横坐标的纵向直线。\n[0072] S1024、根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。\n[0073] 对于人体轮廓提取的方式有多种,本发明实施例在此不再赘述,示例性的,该方法可以通过采用八邻域搜索法来实现。\n[0074] 对于步骤S104,在获取到N个三维立体图像中每个三维立体图像确定的至少一个像素点对应的距离信息后,需要比较N个距离信息之间的差值是否在预设阈值范围,例如,在预设时间5秒内,第一摄像头和第二摄像头分别拍摄了10张二维图像,对每对儿二维图像进行合成得到三维立体图像,从三维立体图像中可最终获取到10个人体轮廓对应的距离信息,若这10个人体轮廓的距离的数值相互之间的差值在预设的一个阈值范围内,如10cm,则表明用户在终端前在一个较小的活动范围内移动或者静止,即进一步表明用户在终端前例如电视机前至少停留了预设时间5秒,在这种情况下,表明用户有观看电视的意图。则继续执行S105步骤。\n[0075] 进一步的,在步骤S105生成开机指令之前还包括:\n[0076] S1041:对N个拍摄时刻第一摄像头拍摄的包含人体的图像进行人眼识别,获取用户的眼部轮廓;\n[0077] 在二维图像中进行人眼识别,在已有的技术中有多种实现方式,例如需要对第一图像进行肤色分割;对进行肤色分割后的所述第一图像进行边缘检测;进一步获取到用户的眼部轮廓。\n[0078] S1042:逐帧识别所述N个拍摄时刻中相邻时刻对应的眼部轮廓变化信息,并与人眼特征库进行匹配,所述人眼特征库预存有用户的人眼动作;\n[0079] S1043:从所述人眼特征库中选取与所述相邻的人眼轮廓变化信息差异最小的人眼动作作为目标人眼动作;\n[0080] S1044:若所述目标人眼动作符合预设的开机指令要求,则生成开机指令。\n[0081] 假设用户在电视机前睡觉,则用户的眼部轮廓始终为闭合,此时可进一步判断用户并不想看电视,则不必生成开机启动指令。若用户在电视机前正常睁开双眼,则在N个拍摄时刻,至少拍摄到一张用户睁开眼时的眼部轮廓。\n[0082] 具体在识别用户的眼睛动作时,可根据获取到的多个相邻的二维图像之间的人眼轮廓变化信息通过跟踪算法,例如,联合概率数据关联滤波器(JPDAF)、多假设跟踪 (MHT) 算法、动态多位分配算法等与人眼特征库预存的用户人眼动作进行匹配,以识别当前的用户眼部轮廓对应的目标人眼动作,如睁眼,或快速眨眼等,并执行与所述目标人眼动作相应的操作指令。生成相应的开机指令。例如,系统识别出用户的人眼动作为快速眨眼,其对应的目标人眼动作符合预设的开机指令要求(开机指令要求对应的人眼动作可以包括快速眨眼,始终睁眼,或者正常睁眼表明用户在注视电视,并有开机意愿),则系统识别后,会生成相应的开机指令。\n[0083] 本领域技术人员应该知晓,与自动开机功能相似,对应于电视自动关机,仍然可以适用于该识别方法,如电视机在播放过程中,通过摄像头检测到用户快速眨眼,也可以表明用户希望关闭电视或者使电视待机,则此时可以发送信号到电视的电源管理模块,执行关机指令。\n[0084] 本发明实施例还提供了一种终端开机的控制系统,如图5所示,该一种终端开机的控制系统中的各个功能与本发明上述实施例中一种终端开机的控制方法相对应,具体可以参考本发明上述实施例的描述,本发明实施例在此不再赘述。如图5所示,该一种终端开机的控制系统,应用于终端60,包括:平行设置在终端上的第一摄像头601和第二摄像头602,运行在所述终端处理器上的图像处理系统603、图像识别系统604和执行系统605;\n[0085] 其中,所述第一摄像头601和第二摄像602头处于同一水平线上;\n[0086] 所述第一摄像头601和第二摄像602,用于在预设时间拍摄至少一张包含人体的图像;\n[0087] 所述图像处理系统603,用于将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;\n[0088] 所述图像识别系统604,用于提取第一图像对应的三维立体图像中的人体轮廓,其中,所述第一图像为N个拍摄时刻所述第一摄像头拍摄的任意一张图像;\n[0089] 在与所述第一图像对应的三维立体图像上,获取与所述人体轮廓中至少一个像素点对应的距离信息;\n[0090] 比较所述N个三维立体图像中每个三维立体图像确定的至少一个像素点对应的距离信息之间的差值是否在预设阈值范围;\n[0091] 所述执行系统605,用于在判断结果为是时,生成开机指令,并根据所述开机指令控制终端开启。\n[0092] 本发明实施例提供一种终端开机控制系统,通过将第一摄像头和第二摄像头同一时刻分别拍摄的至少一张包含人体的图像合成三维立体图像,并基于所述第一摄像头拍摄的二维图像对应的三维立体图像上获取人体轮廓中至少一个像素点对应的距离信息,之后比较所述N个三维立体图像的像素点确定的距离信息之间的差值是否在预设阈值范围,通过该比较的结果可确定用户是否处于终端前,并且若N个距离信息的差值在一定的阈值范围内,则说明用户的位置以及相对与终端的距离不会有跳变,例如可判断出用户是否在注视电视并保持一段时间,相对的提高了识别用户位置生成开机指令的准确度,即在该多个距离信息的差值满足预设阈值范围时,可确定用户有观看终端如电视的意图,并进一步的生成开机指令,控制终端开启,与现有技术相比,排除了红外检测技术感知是否有用户存在的方式容易受周围环境影响,识别精度和灵敏度较差等问题,本终端开机的控制方法和系统通过双摄像头三维信息测距并结合人体识别算法,可确定用户的开机意图,自动控制终端开启,同时确保了高实时性,高精度,大幅度提高用户的操控体验。\n[0093] 可选的,如图6所示,所述图像处理系统603包括:\n[0094] 第一获取单元6031,用于获取所述第二图像的每个像素点;\n[0095] 建立单元6032,用于以所述第二图像的每个像素点为中心像素点建立预设窗口;\n其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;\n[0096] 第二获取单元6033,用于获取所述预设窗口的像素值\n[0097] 提取单元6034,用于根据所述预设窗口的像素值,从所述第三图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;\n[0098] 确定单元6035,用于确定每个所述目标区域的中心像素点;\n[0099] 生成单元6036,用于将每个所述第二图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第二图像对应的三维立体图像。\n[0100] 可选的,所述提取单元6034包括:\n[0101] 确定模块,用于确定所述第一像素点在所述第二图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;\n[0102] 选取模块,用于在保持所述第一像素点纵坐标不变的情况下,从所述第三图像中选取出与所述第一预设窗口大小相同所有候选区域,所述候选区域为以所述第三图像中任意一个像素点为中心像素点建立的,且所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;\n[0103] 计算模块,用于计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;\n[0104] 判定模块,用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。\n[0105] 可选的,所述图像识别系统604包括轮廓提取单元和像素点提取单元,所述轮廓提取单元具体用于:\n[0106] 对与第一图像对应的三维立体图像建立距离信息的横向直方图及纵向直方图;\n[0107] 基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理;\n[0108] 在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线,以及在纵向直方图中提取具有相同横坐标的纵向直线;\n[0109] 根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。\n[0110] 可选的,所述图像识别系统604还包括识别单元,所述识别单元包括:\n[0111] 人眼分析模块,用于对N个拍摄时刻第一摄像头拍摄的包含人体的图像进行人眼识别,获取用户的眼部轮廓;\n[0112] 人眼匹配模块,用于逐帧识别所述N个拍摄时刻中相邻时刻对应的眼部轮廓变化信息,并与人眼特征库进行匹配,所述人眼特征库预存有用户的人眼动作;\n[0113] 目标选取模块,从所述人眼特征库中选取与所述相邻的人眼轮廓变化信息差异最小的人眼动作作为目标人眼动作;\n[0114] 指令控制模块,用于当所述目标人眼动作符合预设的开机指令要求时,控制所述执行系统生成开机指令。\n[0115] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。\n[0116] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。\n[0117] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。\n[0118] 上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。\n[0119] 最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;\n而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
法律信息
- 2022-10-28
专利权的转移
登记生效日: 2022.10.17
专利权人由海信视像科技股份有限公司变更为VIDAA(荷兰)国际控股有限公司
地址由266100 山东省青岛市崂山区株洲路151号变更为荷兰戴文市英派克特大街83号
- 2020-09-04
专利权人的姓名或者名称、地址的变更
专利权人由青岛海信电器股份有限公司变更为海信视像科技股份有限公司
地址由266100 山东省青岛市崂山区株洲路151号变更为266100 山东省青岛市崂山区株洲路151号
- 2019-09-20
- 2016-08-10
实质审查的生效
IPC(主分类): H04N 21/422
专利申请号: 201610093570.9
申请日: 2016.02.22
- 2016-07-13
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2015-02-18
|
2014-11-12
| | |
2
| |
2014-12-24
|
2013-06-18
| | |
3
| |
2008-10-15
|
2007-04-10
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |