一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法

暂无

一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法\n技术领域\n[0001] 本发明涉及机器人领域，特别涉及一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法。\n背景技术\n[0002] 目前的猜拳手势识别技术是使用普通摄像头在理想光照下的进行手势识别，对光线依赖性比较强，精确度比较低。特别是在光线变化比较剧烈，左右手方向以及手掌倾斜度较大的情况下，猜拳机器人无法对不规则的猜拳动作及变换手势的猜拳动作进行有效的识别，识别速度慢，识别率低，无法进行正常的娱乐活动。\n发明内容\n[0003] 为了解决现有技术中猜拳机器人对环境光照条件依赖较大，识别速度慢，识别率低的问题，本发明提供了一种基于LeapMotion图像采集和处理设备，使猜拳手势识别更加准确流畅的基于LeapMotion设备的猜拳机器人及猜拳手势识别方法。\n[0004] 为了解决上述问题，本发明所采取的技术方案是：\n[0005] 一种基于LeapMotion设备的猜拳机器人，包括座体，其特征在于：还包括采集出拳手势的LeapMotion设备、设置于座体的出拳区、设置于座体的用于检测是否有出拳人的超声波传感器、系统控制主机和猜拳机器人本体，所述的猜拳机器人本体设置在座体上，猜拳机器人本体的出拳臂伸入到出拳区，所述超声波传感器和LeapMotion设备均与系统控制主机连接。\n[0006] 前述的一种基于LeapMotion设备的猜拳机器人，还包括音响和触摸显示屏，所述音响和触摸显示屏分别与系统控制主机相连接。\n[0007] 前述的一种基于LeapMotion设备的猜拳机器人，所述出拳臂包括手指、手指拉杆、手臂杆、舵盘、舵机和电机，所述电机通过手臂杆与舵机相连接，所述舵机控制舵盘旋转带动手指拉杆运动，所述手指拉杆末端连接有手指。\n[0008] 前述的一种基于LeapMotion设备的猜拳机器人，还包括电机座、舵机安装板和底板，所述电机安装电机座上，所述电机座固定在底板上，所述的舵机设置在舵机安装板上。\n[0009] 前述的一种基于LeapMotion设备的猜拳机器人，所述手臂杆包括手臂摇杆、手臂连杆和主动摇杆，手臂摇杆安装于电机座上，手臂摇杆通过手臂连杆与主动摇杆一段铰接，所述电机与主动摇杆另一端连接。\n[0010] 一种基于LeapMotion设备的猜拳手势识别方法，其特征在于：包括以下步骤：\n[0011] (1)、LeapMotion设备获取出拳人的随机猜拳动作，并将出拳人猜拳动作图像转化为三维坐标；\n[0012] (2)、LeapMotion设备将手势的三维坐标传送给系统控制主机中的信息处理器，信息处理器通过对坐标数据进行计算，对出拳人的猜拳动作进行识别。\n[0013] 前述的一种基于LeapMotion设备的猜拳手势识别方法，还包括以下步骤：在步骤(1)和步骤(2)之间设有步骤：\n[0014] 猜拳机器人随机产生猜拳动作；\n[0015] 在步骤(2)之后依次设有步骤：\n[0016] 信息处理器通过识别出的出拳人猜拳动作与机器人的猜拳动作，得出猜拳结果；\n[0017] 系统控制主机通过信息处理器的猜拳结果，控制音响进行机器人发声，与出拳人间进行猜拳互动。\n[0018] 前述的一种基于LeapMotion设备的猜拳手势识别方法，所述步骤(1)对出拳人的猜拳动作获取包括以下两个步骤：\n[0019] (1)、LeapMotion设备获取出拳人出拳手势的整体图像；\n[0020] (2)、LeapMotion设备获取每个指关节骨骼空间三维位置坐标信息。\n[0021] 前述的一种基于LeapMotion设备的猜拳手势识别方法，所述步骤(2)对出拳人的猜拳动作进行识别包括以下两个步骤：\n[0022] (1)、信息处理器通过对指尖坐标与手掌心坐标的分析，计算出手指长度信息；\n[0023] (2)、信息处理器通过手指长度信息以及指尖坐标位置关系，判断出当前手掌的手势。\n[0024] 本发明的有益效果是：\n[0025] 本发明基于现有的猜拳游戏基础上进行了猜拳手势识别方法的优化，能够不依赖于周围环境的光线条件，有效快速的识别猜拳手势。同时本发明将优化后的猜拳手势识别方法有效的与机器人相结合，机器人可以通过机械臂出拳，使猜拳过程更加生动有趣。\n附图说明\n[0026] 图1是本发明进行猜拳互动过程流程图。\n[0027] 图2是本发明基于LeapMotion设备的猜拳机器人结构示意图。\n[0028] 图3是本发明出拳臂结构示意图。\n[0029] 图4是本发明LeapMotion设备获取手势三维示意图。\n具体实施方式\n[0030] 下面结合附图对本发明作进一步的描述。\n[0031] 如图1-图2所示，一种基于LeapMotion设备的猜拳机器人，包括系统控制主机12、超声波传感器13、LeapMotion设备16、音响17、触摸显示屏18、猜拳机器人本体19和座体20，在座体20上设置有猜拳机器人本体19，在座体上20设置有出拳区14，猜拳机器人本体19的出拳臂伸入到出拳区14，在出拳区1侧面设置有获取出拳人出拳手势的LeapMotion设备16，在座体20上设置有检测是否有出拳人的超声波传感器13，所述超声波传感器13和LeapMotion设备16与系统控制主机12连接。所述音响17和触摸显示屏18分别与系统控制主机12相连接。其中图1中的发生装置为音响，机械手控制器控制出拳臂的动作，微操作机械手为出拳臂，微动平台是指与手指连接，控制手指动作的转动圆盘(具体见图3中的4、5、6、7及9、10、11部件)。\n[0032] 基于LeapMotion图像采集和处理设备的猜拳机器人工作时，超声波传感器13检测是否有观众出现，如有观众出现，控制程序通过音响17使用语音自动邀请观众参与科普互动，使用触摸显示屏18可以让观众进行有关猜拳的科学知识讲解。系统通过LeapMotion设备16采集出现在出拳区14中的各种手势。整个操作过程由系统控制主机12可靠地控制。\n[0033] 如图3所示，出拳臂包括电机座1、手臂摇杆2、手指3、手指拉杆4、舵盘5、舵机6、舵机安装板7、底板8、手臂连杆9、主动摇杆10和电机11。电机11安装电机座上1，电机座1通过螺栓连接固定在底板8上，底板8对整个机械手臂起支撑作用。在电机座1上安装有手臂摇杆\n2，手臂摇杆2通过手臂连杆9与主动摇杆10一段铰接，所述电机11与主动摇杆10另一端连接。在手臂摇杆2上安装有舵机安装板7，在舵机安装板7上设置有舵机6，舵机6与舵盘5连接控制舵盘5带动手指拉杆4运动，所述手指拉杆4末端连接有手指3。具体表现为：在进行猜拳游戏时，电机11转动，带动手臂摇杆产生上下移动，整体手臂表现为上下晃动动作。当需要出拳时，舵机6及其他两个舵机同时转动舵盘，舵盘带动3个手指拉杆，使得手指产生伸开和收缩的状态，当需要出拳时，3个舵机同时向手指收缩方向转动，则手指拉杆带动手指产生“拳”的手势。当需要出“布”时，三个舵机同时向手指伸张方向转动，手指拉杆带动手指，产生“布”的手势。当需要出“剪刀”手势时，中间手指舵机向手指拉伸方向转动，两边手指舵机向手指收缩方向转动，从而产生“剪刀”手势。\n[0034] 本发明出拳人猜拳手势识别方法，包括以下步骤：\n[0035] 步骤S1，LeapMotion设备捕获用户的随机猜拳动作。\n[0036] 步骤S2，猜拳机器人随机产生猜拳动作。\n[0037] 步骤S3，LeapMotion设备将所获取手势的三维坐标传送给系统控制主机中的信息处理器，信息处理器通过对手指坐标的计算分析，识别用户的猜拳动作。该步骤中添加了优化的猜拳动作猜解算法，能够有效的识别一定程度的不规则猜拳动作和变换手势的猜拳动作。\n[0038] 基于LeapMotion设备的猜拳手势识别方法分为两步：\n[0039] 第一步、利用LeapMotion设备获取手势三维图像及坐标：\n[0040] LeapMotion设备获取检测范围内的手势图形，计算并返回手掌中心点的三维坐标(x0,y0,z0)和五个手指的最远处的三维坐标{(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4),(x5,y5,z5)}，并将这些三维坐标数据提交到信息处理器，如图4所示。\n[0041] 第二步、信息处理器对三维手势坐标数据进行分析计算，得出手势识别结果：\n[0042] 首先计算每个手指的最远端到掌心的距离，计算方法为使用空间两点之间的距离公式：\n[0043]\n[0044] 依次得到五根手指最远端距离掌心的距离分别为L1，L2，L3，L4，L5。\n[0045] 其次将这些距离与每根手指设置的距离阈值一一对应进行相减操作得到差值，阈值的设置以上百次实际测试结果统计出来的平均数据为依据，从大拇指到小拇指阈值依次设置为60，90，90，80，80。两者相减，得到差值D1＝L1-60，D2＝L2-90，D3＝L3-90，D4＝L4-\n80，D5＝L5-80。差值大于0，则判定手指处于伸开状态；差值小于等于0，则判定手指处于弯曲状态。\n[0046] 最后，根据处于伸直状态以及弯曲状态的手指根数，以及五根手指排列的序号，对不规则的手势进行判断并过滤，判定逻辑如下：\n[0047] 若D2,D3大于零，D1,D4,D5小于零，则判定手势为剪刀；\n[0048] 若D1,D2,D3,D4,D5均大于零，则判定手势为布；\n[0049] 若D1,D2,D3,D4,D5均小于零，则判定手势为石头；\n[0050] 其他数值，均判定为无效的不规则手势。\n[0051] 步骤S4，信息处理器通过识别出的用户猜拳动作与机器人的猜拳动作，得出猜拳比赛的结果。\n[0052] 步骤S5，系统控制主机通过信息处理器的猜拳结果，控制发声装置进行机器人发声，与用户间进行猜拳互动，增加娱乐性和趣味性。\n[0053] 以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。