一种基于红外摄像头三维成像的触摸识别方法

暂无

一种基于红外摄像头三维成像的触摸识别方法\n技术领域\n[0001] 本发明属于计算机人工智能技术领域，更具体地，涉及一种基于红外摄像头三维成像的触摸识别方法。\n背景技术\n[0002] 技术的进步使人与计算机之间的交互越来越接近自然方式的交互，也就是人们大力倡导的“自然交互”。触摸技术这种轻松的人机交互方式已经被推向了众多的领域，除了应用在个人便携式数码产品之外，它还被广泛地应用在信息家电、公共信息、电子游戏、办公室自动化设备以及工业设备等领域。利用触摸技术，用户只需要用手指轻轻触碰屏幕上的文字或图标就能够实现与计算机的交互，使得人与机器之间的交互更加直观便捷。\n[0003] 目前，由于种种原因，这种具有良好用户体验的交互技术还没能大规模地普及在大型显示屏或PC显示器上，其中一个很大的原因就是目前绝大多数的大型显示屏或PC显示器等都无法支持触摸，而更换带有触摸功能的显示器将花费不小的资金。与之相对应的是，现有的触摸技术有的很难将尺寸做大，有的无法应用在现有的显示器上，有的因成本过高而无法大规模应用。\n发明内容\n[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于红外摄像头三维成像的触摸识别方法，其目的在于，能够对任意具有屏幕特性的屏幕例如电脑液晶屏、普通液晶屏、投影仪屏幕、大型显示器等成为具有触摸特性的触摸屏，大大减小了触摸屏的成本，提高了实用性。\n[0005] 为实现上述目的，按照本发明的一个方面，提供了一种基于红外摄像头三维成像的触摸识别方法，包括以下步骤：\n[0006] (1)将多个红外摄像头放置在屏幕边框的左右任意位置；\n[0007] (2)对放置有红外摄像头的屏幕进行参数标定，以分别获得左、右摄像头的投影矩阵Ml和Mr；\n[0008] (3)左右红外摄像头分别采集用户手指指尖或触摸笔尖触摸屏幕的图像，对采集的图像进行预处理，包括图像相减、图像去噪、边缘提取、指尖或笔尖图像识别，以获取用户的手指指尖或触摸笔尖在左摄像头上的成像坐标(u1F，v1F)以及在右摄像头上的成像坐标(u2F，v2F)；\n[0009] (4)根据用户的手指指尖或触摸笔尖在左摄像头上的成像坐标(u1F，v1F)以及在右摄像头上的成像坐标(u2F，v2F)、以及左摄像头的投影矩阵Ml和右摄像头的投影矩阵Mr通过以下等式获得用户的手指指尖或触摸笔尖在屏幕上的三维空间坐标(xf，yf，zf)：\n[0010] \n[0011] (5)判断步骤(4)获得的zf是否小于阀值γ，其中γ的取值范围和屏幕的长度成正比，若zf小于γ，可以判断用户手指指尖或触摸笔尖触摸到屏幕上，通过USB接口将指尖的三维空间坐标(xf，yf，zf)输出，否则表示用户未触摸屏幕。\n[0012] 优选地，步骤(2)包括以下子步骤：\n[0013] (2-1)以屏幕的右上角作为参考坐标原点，横向为坐标x轴，纵向为y轴，在屏幕上参考坐标为(x1，y1，0)，(x2，y2，0)，…，(x8，y8，0)的位置分别放置长宽高为L*L*H的标定物，并利用两个红外摄像头分别对8个标定物进行拍照，其中(xm，ym，0)分别为将屏幕划分为2*4等分后每个等分的三维参考坐标，(xm，ym，H)分别为将屏幕划分为2*4等分后每个等分的三维空间坐标，1≤m≤8；\n[0014] (2-2)利用边缘提取和梯度算法获取每个标定物的左右边缘在左红外摄像头上的像素坐标u1mL、u1mR，以及上下边缘在该左红外摄像头上的像素坐标v1mL、v1mR，并获取每个标定物在该红外摄像头上的像素坐标(u1m，v1m)，其中u1m=u1mL+u1mR/2，v1m=v1mL+v1mR/2，利用边缘提取和梯度算法获取每个标定物的左右边缘在右红外摄像头上的像素坐标u2mL、u2mR，以及上下边缘在该右红外摄像头上的像素坐标v2mL、v2mR，并获取每个标定物在该右红外摄像头上的像素坐标(u2m，v2m)，其中u2m=u2mL+u2mR/2，v2m=v2mL+v2mR/2；\n[0015] (2-3)分别根据上述获得的(xm，ym，H)以及每个标定物在左右红外摄像头上的像素坐标(u1m，v1m)、(u2m，v2m)并利用以下等式分别获得左摄像头的投影矩阵Ml和右摄像头的投影矩阵Mr：\n[0016] \n[0017] \n[0018] 最终获得的投影矩阵分别为\n[0019] \n[0020] 优选地，步骤(3)包括以下子步骤：\n[0021] (3-1)图像相减，将左摄像头采集到的图像与初始化帧的图像对应点上像素点相减组成新的图像，右摄像头的处理与上述相同；\n[0022] (3-2)图像去噪，对于一个3*3的掩模 假设采集的图像上\n某一点的像素为aj,k，j和k表示图像上点的位置；aj,k=aj-1,k-1w1+aj-1,kw2+…+aj，kw5+…+aj+1,kw8+aj+1,k+1w9，将得到新的像素aj,k，取 右摄像头的处理与上述相同；\n[0023] (3-3)边缘检测，将左摄像头上的像素点做梯度变换，设SOBEL算子\n为横向梯度算子， 为纵向梯度算子，对采集的图像分别\n使用Sh和Sv来进行卷积运算，以能够获得图像在两个方向上的梯度图，右摄像头的处理与上述相同；\n[0024] (3-4)图像识别，将左摄像头上的像素点进行K曲率判别。\n[0025] 优选地，步骤(3-4)具体为，根据(3-3)中得到的边缘检测图可以提取出手指的边缘图像，每一个边缘坐标点向量为 以该点为起始点按边缘的顺时针方向数到的第K点设为 按逆时针方向数到的第K点设为 则 的K向量计算公式为\n当上述计算α大于0并且大于设定阀值β，则当前向量 对应的像素坐标即为手指指尖在左摄像头上的成像坐标(u1F，v1F)；右摄像头的处理与上述相同，得到指尖的像素坐标为(u2F,v2F)。\n[0026] 按照本发明的另一方面，提供了一种基于红外摄像头三维成像的触摸识别方法，包括以下步骤：\n[0027] (1)将多个红外摄像头放置在屏幕边框的左右任意位置；\n[0028] (2)对放置有红外摄像头的屏幕进行参数标定，以分别获得左、右摄像头的投影矩阵M1和Mr；\n[0029] (3)左右红外摄像头分别采集用户手指指尖或触摸笔尖触摸屏幕的图像，对采集的图像进行预处理，包括图像相减、图像去噪、边缘提取、指尖或笔尖图像识别，以获取用户的手指指尖或触摸笔尖在左摄像头上的成像坐标(u1F，v1F)以及在右摄像头上的成像坐标(u2F，v2F)；\n[0030] (4)根据用户的手指指尖或触摸笔尖在左摄像头上的成像坐标(u1F，v1F)以及在右摄像头上的成像坐标(u2F，v2F)、以及左摄像头的投影矩阵Ml和右摄像头的投影矩阵Mr通过以下等式获得用户的手指指尖或触摸笔尖在屏幕上的三维空间坐标(xf，yf，zf)：\n[0031] \n[0032] (5)获得连续D帧指尖的三维空间坐标(xf1，yf1,zf1)，\n[0033] (xf2，yf2，zf2)…(xfD，yfD，zfD)，其中D为正整数；\n[0034] (6)判断zfd是否小于阀值γ，其中1≤d≤D，当zfd小于γ，可以判断手指触摸到屏幕上，此时计算上述相邻帧X轴和Y轴坐标的差，即Δxd=xf(d+1)-xfd，Δyd=yf(d+1)-yfd，然后根据计算得到的D-1组(Δxd，Δyd)，得到手指指尖在屏幕上的滑动轨迹，将轨迹通过USB接口输出，从而实现手指滑动触摸的识别，当zfd大于等于γ，表示用户没有触摸屏幕。\n[0035] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：\n[0036] (1)本发明实现了任意屏幕上(包括液晶屏、投影仪屏幕、电子墨水屏或其他屏幕等)实现触摸屏的功能；\n[0037] (2)本发明使用简单，定位准确，便于安装和携带。\n附图说明\n[0038] 图1是本发明基于红外摄像头三维成像的触摸识别方法的流程图。\n[0039] 图2是本发明基于红外摄像头三维成像的触摸识别方法所使用的装置的外形图。\n[0040] 图3是本发明基于红外摄像头三维成像的触摸识别方法中屏幕的正视图。\n[0041] 图4是本发明基于红外摄像头三维成像的触摸识别方法中屏幕的侧视图。\n[0042] 图5是本发明标定物示意图。\n[0043] 图6是本发明标定物中心点示意图。\n[0044] 图7是本发明标定点示意图。\n[0045] 图8是本发明手指触摸点击示意图。\n[0046] 图9是本发明手指滑动示意图。\n具体实施方式\n[0047] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。\n[0048] 如图1所示，本发明基于红外摄像头三维成像的触摸识别方法，包括以下步骤：\n[0049] (1)将多个红外摄像头放置在屏幕边框的左右任意位置；在本实施方式中，红外摄像头的帧率是60帧／秒、分辨率VGA以上，镜头角度在110°，屏幕为任意尺寸或形式的屏幕，包括液晶屏、投影仪屏幕、电子墨水屏或其他屏幕)摄像头被安放在屏幕边框的左右任意位置，如图2至4所示，作为示例，选取屏幕上边框的中心位置附着红外摄像头，在本实施方式中，使用两个红外摄像头，应该理解的是，本发明的摄像头数量绝不局限于此。\n[0050] (2)根据双目视觉的原理对放置有红外摄像头的屏幕进行参数标定，以分别获得左、右摄像头的投影矩阵Ml和Mr；其具体实现包括以下子步骤。\n[0051] (2-1)以屏幕的右上角作为参考坐标原点，横向为坐标x轴，纵向为y轴，在屏幕上参考坐标为(x1，y1，0)，(x2，y2，0)，…，(x8，y8，0)的位置分别放置长宽高为L*L*H的标定物，并利用两个红外摄像头分别对8个标定物进行拍照，其中L和H均为正数，且为屏幕的长度的1％至10％，(xm，ym，0)分别为将屏幕划分为2*4等分后每个等分的三维参考坐标，(xm，ym，H)分别为将屏幕划分为2*4等分后每个等分的三维空间坐标，其中1≤m≤8；如图5所示，标定物的L*L的面为黑色，其他面为白色，如图6所示，圆心为L*L面的中心，如图7所示，屏幕为XOY坐标面，垂直屏幕的轴为Z轴；\n[0052] (2-2)利用边缘提取和梯度算法获取每个标定物的左右边缘在左红外摄像头上的像素坐标u1mL、u1mR，以及上下边缘在该左红外摄像头上的像素坐标v1mL、v1mR，并获取每个标定物在该红外摄像头上的像素坐标(u1m，v1m)，其中u1m=u1mL+u1mR/2，v1m=v1mL+v1mR/2，利用边缘提取和梯度算法获取每个标定物的左右边缘在右红外摄像头上的像素坐标u2mL、u2mR，以及上下边缘在该右红外摄像头上的像素坐标v2mL、v2mR，并获取每个标定物在该右红外摄像头上的像素坐标(u2m，v2m)，其中u2m=u2mL+u2mR/2，v2m=v2mL+v2mR/2；\n[0053] (2-3)分别根据上述获得的(xm，ym，H)以及每个标定物在左右红外摄像头上的像素坐标(u1m，v1m)、(u2m，v2m)并利用以下等式分别获得左摄像头的投影矩阵Ml和右摄像头的投影矩阵Mr：\n[0054] \n[0055] \n[0056] 最终获得的投影矩阵分别为\n[0057] \n[0058] (3)红外摄像头分别采集用户手指指尖或触摸笔尖触摸屏幕的图像，对采集的图像进行预处理，包括图像相减、图像去噪、边缘提取、基于K曲率判别的指尖或笔尖图像识别，以获取用户的手指指尖或触摸笔尖在左摄像头上的成像坐标(u1F,v1F)以及在右摄像头上的成像坐标(u2F，v2F)；如图8所示，其具体实现包括以下子步骤：\n[0059] (3-1)图像相减，将左摄像头采集到的图像与初始化帧的图像对应点上像素点相减组成新的图像；右摄像头的处理与上述相同；\n[0060] (3-2)图像去噪，对于一个3*3的掩模 假设采集的图像上\n某一点的像素为aj,k，j和k表示图像上点的位置；aj,k=aj-1,k-1w1+aj-1,kw2+…+aj,kw5+…+aj+1,kw8+aj+1,k+1w9，将得到新的像素aj,k，取 右摄像头的处理与上述相同；\n[0061] (3-3)边缘检测，将左摄像头上的像素点做梯度变换，设SOBEL算子\n为横向梯度算子， 为纵向梯度算子，对采集的图像分别\n使用Sh和Sv来进行卷积运算，就能够获得图像在两个方向上的梯度图；右摄像头的处理与上述相同；\n[0062] (3-4)图像识别，将左摄像头上的像素点进行K曲率判别，具体实现过程是根据(3-3)中得到的边缘检测图可以提取出手指的边缘图像，每一个边缘坐标点向量为 以该点为起始点按边缘的顺时针方向数到的第K点设为 按逆时针方向数到的第K点设为则 的K向量计算公式为 当上述计算α大于0并且大于设定阀\n值β(其取值范围为0.5至1之间)，则当前向量 对应的像素坐标即为手指指尖在左摄像头上的成像坐标(u1F，v1F)；右摄像头的处理与上述相同，得到指尖的像素坐标为(u2F，v2F)；\n[0063] (4)根据用户的手指指尖或触摸笔尖在左摄像头上的成像坐标(u1F，v1F)以及在右摄像头上的成像坐标(u2F，v2F)、以及左摄像头的投影矩阵Ml和右摄像头的投影矩阵Mr通过以下等式获得用户的手指指尖或触摸笔尖在屏幕上的三维空间坐标(xf，yf，zf)：\n[0064] \n[0065] 通过上述两个矩阵方程求解可以得到指尖的三维空间坐标(xf，yf，zf)，即完成用户的手指指尖或触摸笔尖的三维成像及定位。\n[0066] (5)判断步骤(4)获得的zf是否小于阀值γ，其中γ的取值范围和屏幕的长度成正比，若zf小于γ，可以判断用户手指指尖或触摸笔尖触摸到屏幕上，通过USB接口将指尖的三维空间坐标(xf，yf，zf)输出，否则表示用户未触摸屏幕。\n[0067] 如图9所示，当用户以滑动的方式触摸屏幕时，本发明基于红外摄像头三维成像的触摸识别方法所包括的步骤基本与上述触碰方式基本相同，唯一不同在于：\n[0068] (5)获得连续D帧指尖的三维空间坐标(xf1，yf1,zf1)，\n[0069] (xf2，yf2，zf2)…(xfD，yfD，zfD)，其中D为正整数；\n[0070] (6)判断zfd是否小于阀值γ，其中1≤d≤D，当zfd小于γ，可以判断手指触摸到屏幕上，此时计算上述相邻帧X轴和Y轴坐标的差，即\n[0071] Δxd=xf(d+1)-xfd，Δyd=yf(d+1)-yfd\n[0072] 然后根据计算得到的D-1组(Δxd，Δyd)，可以得到手指指尖在屏幕上的滑动轨迹，将轨迹通过USB接口输出，从而实现手指滑动触摸的识别，当zfd大于等于γ，表示用户没有触摸屏幕。\n[0073] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。