一种肢体遥控电视的方法及电视遥控装置

暂无

一种肢体遥控电视的方法及电视遥控装置\n技术领域\n[0001] 本发明属于人机交互技术领域，尤其涉及一种肢体遥控电视的方法及电视遥控装置。\n背景技术\n[0002] 随着电视技术的发展，电视机的数字处理能力越来越强，并出现了诸如网络电视等能够直接链接互联网的电视机，以及电视游戏一体机等各种具有超强计算处理能力的电视终端产品。这些电视机不再局限于传统的电视节目的收看，而是可以直接在电视上浏览互联网信息，分享音视频内容，进行交互娱乐游戏等。传统的按键式遥控已经无法满足电视机越来越多的内容选择和操作方式的需求，用户迫切希望能通过手势遥控这种自然而直观的人机交互模式来取代传统遥控器简单的基于按键的输入和控制方式。\n[0003] 现有的手势遥控主要通过电视机的内置摄像头来捕获用户特定的手势形态，将捕获的手势形态与电视机内预设的手势形态进行比较，在比较结果相同时将捕获的手势形态转化为相应的电视控制指令对电视机进行控制。然而，由于现有的手势遥控获取的是二维图像信息，对用户手势位置坐标和形态的识别的精确度不高，导致现有的手势遥控只能识别几个固定且简单的手势，实用性不强。\n发明内容\n[0004] 本发明实施例的目的在于提供一种肢体遥控电视的方法，旨在解决现有的手势遥控手势识别精确度不高、实用性不强的问题。\n[0005] 本发明实施例是这样实现的，一种肢体遥控电视的方法，所述方法包括以下步骤：\n[0006] A、监测电视机前用户的肢体形态，在监测到特定的肢体形态后，对所述用户进行识别确定用户身份；\n[0007] B、根据所述用户身份判断是否存在所述用户预先设置的控制界面；\n[0008] C、在判断存在用户预先设置的控制界面时，显示该控制界面；\n[0009] D、获取当前的场景图像，计算场景深度图；\n[0010] E、根据所述场景深度图，对当前场景图像中的用户图像进行抠像；\n[0011] F、将抠像后的用户图像叠加到所述控制界面中，生成虚拟控制界面；\n[0012] G1、根据深度图检测用户的肢体动作，所述肢体动作包括肢体形态及其空间位置坐标；\n[0013] G2、判断所述空间位置坐标是否与所述虚拟控制界面的菜单位置区域相对应；\n[0014] G3、在所述空间位置坐标与所述虚拟控制界面的菜单位置区域相对应时，根据预设规则将所述肢体形态转化成相对应的控制指令向电视机发送。\n[0015] 本发明实施例的另一目的在于提供一种电视遥控装置，所述装置包括：\n[0016] 身份确定单元，用于监测电视机前用户的肢体形态，在监测到特定的肢体形态后，对所述用户进行识别确定用户身份；\n[0017] 判断单元，用于根据所述用户身份判断是否存在所述用户预先设置的控制界面；\n[0018] 控制界面显示单元，用于在所述判断单元判断结果为是时，显示所述用户预先设置的控制界面；\n[0019] 深度图计算单元，用于获取当前的场景图像，计算场景深度图；\n[0020] 图像抠像单元，用于根据所述场景深度图，对当前场景图像中的用户图像进行抠像；\n[0021] 图像叠加单元，用于将抠像后的用户图像叠加到到所述控制界面中，生成虚拟控制界面；\n[0022] 指令发送单元，所述指令发送单元包括：\n[0023] 检测模块，用于根据深度图检测用户的肢体动作，所述肢体动作包括肢体形态及其空间位置坐标；\n[0024] 判断模块，用于判断所述空间位置坐标是否与所述虚拟控制界面的菜单位置区域相对应；\n[0025] 控制模块，用于在所述空间位置坐标与所述虚拟控制界面的菜单位置区域相对应时，根据预设规则将所述肢体形态转化成相对应的控制指令向电视机发送。\n[0026] 从上述技术方案可以看出，本发明使得用户双手及其身体的各部分都不需要加载任何设备就可以完成对电视机的无线遥控。而且，由于使用了深度图以及基于三维空间的虚拟控制界面，能精确的获取用户肢体所在的空间位置坐标及具体的肢体形态，提高了肢体遥控的精准率和实用性，增强了用户与电视机的交互性。\n附图说明\n[0027] 图1是本发明实施例一提供的肢体遥控电视方法的实现流程图；\n[0028] 图2是本发明实施例一提供的对极几何的约束关系图；\n[0029] 图3是本发明实施例一提供的深度图的示例图；\n[0030] 图4a、4b是本发明实施例一提供的当前场景示例图以及用户抠像示例图；\n[0031] 图5是本发明实施例一提供的虚拟控制界面的示例图；\n[0032] 图6是本发明实施例二提供的肢体遥控电视方法的实现流程图；\n[0033] 图7是本发明实施例二提供的相机成像原理图；\n[0034] 图8是本发明实施例二提供的虚拟控制界面的虚拟背景的示例图；\n[0035] 图9是本发明实施例三提供的电视遥控装置的组成结构图；\n[0036] 图10是本发明实施例四提供的电视遥控装置的组成结构图。\n具体实施方式\n[0037] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。\n[0038] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。\n[0039] 实施例一：\n[0040] 图1示出了本发明实施例一提供的肢体遥控电视方法的实现流程，该方法过程详述如下：\n[0041] 在步骤S101中，监测电视机前用户的肢体动作，在检测到特定的肢体动作后，对所述用户进行识别确定所述用户身份。\n[0042] 在本实施例中，电视遥控装置包括一个双目3D摄像头(或者一个红外深度相机，包括红外发射和接收装置)。电视遥控装置通过所述摄像头或红外深度相机监测电视机前用户的肢体动作，在监测到用户的特定肢体动作(例如：用户将手掌、脚部向前推送和收回动作或者用户向前点头或向后点头等动作)后，对电视机前的用户进行人脸或指纹识别，确定用户的身份。在本实施例中，用户的肢体可以优选为人手，以下实施例以人手为识别目标。\n[0043] 在这个过程中，因为电视遥控装置的启动肢体比较简单，为了提高效率以及节省电视机的存储空间，只需要获取用户的肢体形态，不需要获取用户肢体的空间坐标，在判断用户的肢体形态与预设的电视遥控装置的启动肢体相同时，启动电视遥控装置。\n[0044] 在本实施例中，在启动电视遥控装置后，可以对离所述肢体动作最近的面部进行人脸识别或要求用户进行指纹识别等，通过识别确定当前用户身份。其中，人脸识别和指纹识别可采用现有技术实现，在此不再赘述。\n[0045] 在步骤S102中，根据所述用户身份判断是否存在所述用户预先设置的控制界面，在判断结果为“是”时，执行步骤S104，在判断结果为“否”时，执行步骤S103。\n[0046] 在本实施例中，所述用户身份对应的控制界面包括多个电视功能控制菜单，例如：\n电视频道的选择菜单、电视音量的调节菜单等。如果用户第一次使用肢体遥控，则可以设置个性化的控制界面并保存，在下次该用户使用时，则判定该用户存在预设的控制界面。\n[0047] 在步骤S103中，在不存在所述用户预先设置的控制界面时，显示默认的控制界面。\n[0048] 在本实施例中，用户可以在默认界面设置属于自己的个性化控制界面，并保存设置好的界面。\n[0049] 在步骤S104中，在存在所述用户预先设置的控制界面时，显示该控制界面。\n[0050] 在本实施例中，在存在所述用户预先设置的控制界面时，电视遥控装置调用存储在电视机内该控制界面的数据，并将其通过电视机显示在电视机屏幕上。\n[0051] 在步骤S105中，获取当前的场景图像，计算场景深度图。\n[0052] 在本实施例中，可以在显示控制界面之后，通过双目3D相机或者红外相机获取电视机前的场景图像，计算场景深度图。\n[0053] 具体的，本实施例通过双目3D相机获取当前的场景图像，计算场景深度图的过程如下：\n[0054] 如图2所示，C1和C2为双目3D两相机的光心，两光心的连线C1C2称为基线。I1和I2为各自视点对应的图像平面，基线与两图像平面的交点e1、e2分别为两相机的对极点。M为空间的一点，m1和m2分别为M点在两个图像平面上的像点，I2平面上的像点m2对应I1平面上的像点m1，则m1一定在直线L1上，L1称为像点m2的对极线。设两相机的投影矩阵分别为P1和P2，则两相机的投影方程可写为：\n[0055] λ1m1＝K1[R1,t1]M＝P1M\n[0056] λ2m2＝K2[R2,t2]M＝P2M\n[0057] 将上式消去M，可得：\n[0058] \n[0059] 定义由三维向量t＝(tx,ty,tz)T组成的反对称矩阵[t]x：\n[0060] \n[0061] 令p为式(1-1)的右边部分，[p]x左乘式(1-1)得到：\n[0062] \n[0063] 将上式两边除以λ2，并令λ＝λ1/λ2，则\n[0064] \n[0065] 用 左乘上式可得：\n[0066] \n[0067] 令 则上式可写为：\n[0068] \n[0069] 式中F矩阵为基础矩阵，由两个相机的位置和相机的参数决定，由于3D相机中的两个相机位置参数固定，所以F为已知。从而由上式可以推出，点m在另一幅图像上的对极线为：L2＝FM。\n[0070] 也就是说，一个视点图像上的点在另一个视点图像上的对应点被限定在一条可求得的对极线上。\n[0071] 然后，对3D相机拍摄到的两个图像进行特征点匹配，获取两个视点图像的对应点，再通过简单的三角函数计算相机拍摄到的物体与相机的距离，从而得到场景深度图。其中，特征点匹配可以采用SIFT等算法实现。\n[0072] 另外，本实施例也可采用红外相机获取当前的场景图像，计算场景深度图，通过红外发射器发射特定图案格式的红外线，接收端接收到物体反射回来的红外图像后，通过两图像视差计算得到场景深度图(得到的场景深度图可以如图3所示)。\n[0073] 在步骤S106中，根据所述场景深度图，对当前场景图像中的用户图像进行抠像。\n[0074] 在本实施例中，在得到场景深度图后，对拍摄到的当前场景图像(效果如图4a所示)进行简单的三维重建，即根据所述场景深度图将当前场景图像中已锁定位置的用户图像和其他物体分离出来(称为抠像)，并确定该用户所在区域的三维坐标。\n[0075] 具体的，本实施例可通过抠像将当前场景图像中已锁定位置的用户图像和其他物体分离出来，由于本实施例获取了当前场景的深度图，可以很容易检测到用户轮廓，并将该用户轮廓在当前场景图像上抠出(效果如图4b所示)。\n[0076] 在步骤S107中，将抠像后的用户图像叠加到所述控制界面中，生成虚拟控制界面。\n[0077] 在本实施例中，可通过虚拟现实技术将抠像后的用户图像叠加到所述控制界面中，并显示在电视屏幕上，这样用户在在电视屏幕上看到的画面将是自己的实时视频图像与控制界面中菜单相结合的画面(如图5所示)。其中，虚拟控制界面上菜单的样式包括但不局限于以下至少一种：二维图像、三维模型以及不同电视频道的当前节目视频等。\n[0078] 在步骤S108中，根据检测的深度图检测用户的肢体动作，根据用户的肢体动作和所述虚拟控制界面对电视机发送控制指令。\n[0079] 在本实施例中，由于通过双目3D相机或者红外相机获得的场景深度图是一种三维图像，所以对肢体识别的精确度较高，本实施例根据该场景深度图，可以更准确的检测出用户的肢体动作。将检测到的用户肢体动作在所述虚拟控制界面上确定位置的操作，转换成该操作对应的控制指令向电视机发送。例如：手势动作为大拇指向上、该手势动作在虚拟控制界面的电视音量增大的位置，则转换成相对应的电视音量调大指令向电视机发送。\n[0080] 本发明根据深度图检测用户的肢体动作，并根据用户的肢体动作和三维的虚拟控制界面对电视机进行控制，使得用户双手及其身体的各部分都不需要加载任何设备就可以完成对被电视机的无线遥控。而且，由于使用了深度图以及基于三维空间的虚拟控制界面，能精确的获取用户肢体所在的空间位置坐标及具体的肢体形态，提高了肢体遥控的精准率和实用性，增强了用户与电视机的交互性。\n[0081] 实施例二：\n[0082] 图6示出了本发明实施例二提供的肢体遥控电视方法的实现流程，该方法过程详述如下：\n[0083] 在步骤S201中，监测电视机前用户的肢体动作，在监测到特定的肢体动作后，对所述用户进行识别确定用户身份；\n[0084] 在步骤S202中，根据所述用户身份判断是否存在所述用户预先设置的控制界面；\n在判断结果为“是”时，执行步骤S204，在判断结果为“否”时，执行步骤S203；\n[0085] 在步骤S203中，在不存在所述用户预先设置的控制界面时，显示默认的控制界面；\n[0086] 在步骤S204中，在存在所述用户预先设置的控制界面时，显示该控制界面；\n[0087] 在步骤S205中，获取当前的场景图像，计算场景深度图；\n[0088] 在步骤S206中，根据所述场景深度图，对当前场景图像中的用户图像进行抠像；\n[0089] 在步骤S207中，将抠像后的用户图像叠加到所述控制界面中，生成虚拟控制界面。\n[0090] 本实施例中的步骤S201～S207与实施例一中的步骤S101～S107相同，其具体实施方式参见实施例一中步骤S101～S107的相关描述，在此不再赘述。\n[0091] 在步骤S208中，根据深度图检测用户的肢体动作，所述肢体动作包括肢体形态及其空间位置坐标。\n[0092] 在本实施例中，通过3D摄像头或红外深度相机采集得到用户肢体动作的二维图像，再根据所述深度图获取该肢体动作的三维图像，以得到该肢体动作准确的肢体形态(例如手指的形态或脚部的形态等)，并以3D摄像头或红外相机的光心为原点，获取该肢体动作的空间位置坐标。电视遥控装置将该肢体动作的肢体形态与预先设定并保存的肢体形态进行比较。\n[0093] 在本实施例中，因为获取肢体运动图像的肢体形态及其空间位置坐标时，使用了深度图，所以能精确的知道用户肢体所在的空间位置坐标及其肢体形态，有效的提高了肢体遥控的精准率和实用性。\n[0094] 在步骤S209中，判断所述空间位置坐标是否与所述虚拟控制界面的菜单位置区域相对应，在判断结果为“是”时，执行步骤S210，在判断结果为“否”时，不响应该操作，返回继续执行步骤S208。\n[0095] 在本实施例中，空间上任意一点M在相机图像平面上的成像模型如图7所示，图中O点为3D摄像头或红外相机的光心，XYZ为相机所在坐标系，uv为成像平面的坐标系，m为M点在成像平面所成的像点，m与M满足下式：\n[0096] λm＝K[R,t]M＝PM\n[0097] 其中，λ是常量，M的空间坐标是确定的，而相机是固定的，所有相机矩阵P也是确定的，因此根据上述公式目标的成像点m就可以求出来，即可以确定目标在虚拟控制界面的位置，从而判断用户肢体所在的空间位置坐标是否与虚拟控制界面的菜单位置区域相对应，在相对应时，执行步骤S210，否则，不响应该操作，返回继续执行步骤S208。\n[0098] 在步骤S210中，在所述空间位置坐标与所述虚拟控制界面的菜单位置区域相对应时，根据预设规则将所述肢体形态转化成相对应的控制指令向电视机发送。\n[0099] 在本实施例中，电视遥控装置预先设定了用户的肢体形态与控制指令的对应关系(例如：手紧握拳对应的控制指令为隐藏、食指垂直按下的角度大于或者等于45度对应的控制指令为选中等)，并在用户肢体的空间位置坐标与虚拟控制界面的菜单位置区域相对应时，将获取的肢体形态转化成相对应的控制指令对电视进行控制。\n[0100] 例如：在用户肢体的空间位置坐标与虚拟控制界面的某个菜单位置区域相对应时，检测该用户的肢体形态，若为紧握拳时，则转化成预先设定的隐藏指令，对该菜单进行隐藏。\n[0101] 在本实施例中，所述控制指令包括但不局限于所述虚拟控制界面虚拟背景的设置、所述虚拟控制界面上各菜单的显示或者隐藏以及显示菜单大小和位置的设置。其中，对于虚拟控制界面的虚拟背景，用户可以选择使用虚拟背景也可以选择不使用虚拟背景，在使用虚拟背景时还可以选择预先存储的图片或者当前的场景图片作为背景。在本实施例中，当用户选择当前场景图片作为虚拟控制界面的虚拟背景时(如图8所示)，可有效增强肢体遥控的临场感以及用户与电视机交互的兴趣，提高用户的满意度。\n[0102] 作为本发明的一个实施例，在用户退出虚拟控制界面(用户离开或用户执行预设的肢体动作)时，电视遥控装置会提示用户是否需要对修改后的虚拟控制界面进行保存。\n[0103] 在本实施例中，用户双手及其身体的各部分都不需要加载任何设备，就可以完成对电视机的无线遥控。而且，由于使用了深度图以及基于三维空间的虚拟控制界面，能精确的获取用户肢体所在的空间位置坐标及具体的肢体形态，提高了肢体遥控的精准率和实用性，增强了用户与电视电视机的交互性。\n[0104] 实施例三：\n[0105] 图9示出了本发明实施例三提供的电视遥控装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。\n[0106] 该电视遥控装置可以是运行于电视机内的硬件单元或者软硬件相结合的单元。\n[0107] 该电视遥控装置9包括身份确定单元91、判断单元92、控制界面显示单元93、深度图计算单元94、图像抠像单元95、图像叠加单元96、指令发送单元97。其中，各单元的具体功能如下：\n[0108] 身份确定单元91，用于监测电视机前用户的肢体动作，在监测到特定的肢体动作后，对所述用户进行识别确定用户身份；\n[0109] 判断单元92，用于根据所述用户身份判断是否存在所述用户预先设置的控制界面；\n[0110] 控制界面显示单元93，用于在所述判断单元92判断结果为是时，显示所述用户预先设置的控制界面；\n[0111] 深度图计算单元94，用于获取当前的场景图像，计算场景深度图；\n[0112] 图像抠像单元95，用于根据所述场景深度图，对当前场景图像中的用户图像进行抠像；\n[0113] 图像叠加单元96，用于将抠像后的用户图像叠加到到所述控制界面中，生成虚拟控制界面；\n[0114] 指令发送单元97，用于根据深度图检测用户的肢体动作，根据用户的肢体动作和所述虚拟控制界面对电视机发送控制指令。\n[0115] 进一步的，所述控制界面显示单元93用于在所述判断单元92判断结果为否时，显示默认的控制界面。\n[0116] 在本实施例中，所述特定的肢体动作包括手掌向前推送和收回动作，所述控制指令包括但不局限于所述虚拟控制界面虚拟背景的设置以及所述虚拟控制界面上各菜单的显示或者隐藏。\n[0117] 本实施例提供的电视遥控装置9可以使用在前述对应的肢体遥控电视方法，详情参见上述肢体遥控电视方法实施例一的相关描述，在此不再赘述。\n[0118] 实施例四：\n[0119] 图10示出了本发明实施例四提供的电视遥控装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。\n[0120] 该电视遥控装置可以是运行于电视机内的硬件单元或者软硬件相结合的单元。\n[0121] 该电视遥控装置10包括身份确定单元101、判断单元102、控制界面显示单元103、深度图计算单元104、图像抠像单元105、图像叠加单元106、指令发送单元107。其中，各单元的具体功能如下：\n[0122] 身份确定单元101，用于监测电视机前用户的肢体动作，在监测到特定的肢体动作后，对所述用户进行识别确定用户身份；\n[0123] 判断单元102，用于根据所述用户身份判断是否存在所述用户预先设置的控制界面；\n[0124] 控制界面显示单元103，用于在所述判断单元102判断结果为是时，显示所述用户预先设置的控制界面；\n[0125] 深度图计算单元104，用于获取当前的场景图像，计算场景深度图；\n[0126] 图像抠像单元105，用于根据所述场景深度图，对当前场景图像中的用户图像进行抠像；\n[0127] 图像叠加单元106，用于将抠像后的用户图像叠加到所述控制界面中，生成虚拟控制界面；\n[0128] 指令发送单元107，用于根据深度图检测用户的肢体动作，根据用户的肢体动作和所述虚拟控制界面对电视机发送控制指令。\n[0129] 进一步的，所述控制界面显示单元103还用于在所述判断单元102判断结果为否时，显示默认的控制界面。\n[0130] 进一步的，所述指令发送单元107还包括检测模块1071、判断模块1072以及控制模块1073：\n[0131] 所述检测模块1071用于根据深度图检测用户的肢体动作，所述肢体动作包括肢体形态及其空间位置坐标；\n[0132] 所述判断模块1072用于判断所述空间位置坐标是否与所述虚拟控制界面的菜单位置区域相对应；\n[0133] 所述控制模块1073用于在所述空间位置坐标与所述虚拟控制界面的菜单位置区域相对应时，根据预设规则将所述肢体形态转化成相对应的控制指令向电视机发送。\n[0134] 在本实施例中，所述特定的肢体动作包括手掌向前推送和收回动作，所述控制指令包括但不局限于所述虚拟控制界面虚拟背景的设置以及所述虚拟控制界面上各菜单的显示或者隐藏。\n[0135] 本实施例提供的电视遥控装置10可以使用在前述对应的肢体遥控电视方法，详情参见上述肢体遥控电视方法实施例二的相关描述，在此不再赘述。\n[0136] 在本发明实施例中，电视遥控装置10通过监测用户的肢体动作，获取该肢体动作的肢体形态及其空间位置坐标，通过判断所述空间位置坐标是否与预设的虚拟控制界面的菜单位置区域相对应，在相对应时，根据所述肢体形态转化成相对应的控制指令对电视进行控制。本发明使得用户双手及其身体的各部分都不需要加载任何设备，就可以完成对被电视机的无线遥控。而且，由于使用了深度图以及基于三维空间的虚拟控制界面，能精确的获取用户肢体所在的空间位置坐标及具体的肢体形态，提高了肢体遥控的精准率和实用性。通过基于虚拟现实的显示技术，将用户的实时视频图像与控制界面进行叠加，方便了用户的肢体遥控操作，增强了用户与电视机的交互性。另外，还可以将当前场景图片作为虚拟控制界面的虚拟背景，增强肢体遥控的临场感以及用户与电视机交互的兴趣，提高用户对电视遥控装置的满意度。\n[0137] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。