一种基于深度数据的模拟触摸操作系统及操作方法

1.一种基于深度数据的模拟触摸操作系统，其特征在于，包括：
数据采集模块，用于采集触摸场景的深度图，获取触摸场景的深度差；
数据处理模块，与数据采集模块连接，用于对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标；
显示模块，与数据处理模块连接，用于根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作；
屏幕校准模块，与数据处理模块连接，用于根据计算得到的屏幕平面方程对触摸场景的深度图进行校准，得到屏幕平面与触摸场景的深度图之间的映射关系；
所述数据采集模块具体包括：利用深度传感器获取触摸场景的深度图，触摸场景的深度图包括无触摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触摸场景的深度图进行时域去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度数据，所述深度数据为深度图上的像素点与深度传感器之间的距离，对深度数据进行差法运算得到触摸场景的深度差depthdiff；
所述数据处理模块具体用于：对触摸场景的深度差depthdiff进行分离得到待选触摸点，对待选触摸点进行统计筛选得到触摸点，获取触摸点深度坐标，将触摸点深度坐标转换成触摸点空间坐标，将触摸点空间坐标进行处理得到触摸点屏幕坐标；
将触摸点空间坐标进行处理得到触摸点屏幕坐标具体包括：利用触摸点空间坐标和屏幕校准模块得到的屏幕平面方程，得到触摸点在屏幕平面上的垂直映射点，通过计算得到垂直映射点在屏幕平面的相对位置，得到触摸点屏幕坐标；
对触摸场景的深度差depthdiff进行分离得到待选触摸点具体包括：
对触摸场景的深度差depthdiff选取两个阈值minThr1和maxThr1，初步分离出背景、噪点和非触摸点，得到第一待选触摸点；
小于minThr1的像素点位置定义为背景以及噪点，大于maxThr1的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第一待选触摸点；
以第一待选触摸点为中心取M×M窗口的深度差depthdiff均值mean，对mean选取两个阈值minThr2和maxThr2，进一步分离出噪点和非触摸点，得到第二待选触摸点。
2.根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，所述数据采集模块为双目立体视觉摄像头、基于结构光法的红外摄像头、基于飞行时间法的激光摄像头。
3.根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，所述对触摸场景的深度图进行时域去噪包括：噪声估计、检测运动并计算权值、时域加权去噪。
4.根据权利要求3所述的基于深度数据的模拟触摸操作系统，其特征在于，所述噪声估
2
计过程具体包括：假设图像被均值是0，方差为σ的高斯噪声污染，估计噪声标准差σ；输入有噪图像当前帧为gt，前一帧为gt-1，记x＝gt-gt-1，则x符合高斯分布：
记y＝|gt-gt-1|，即y＝|x|，则y的概率密度函数p(y)为：
y的期望为：
即，
5.根据权利要求3所述的基于深度数据的模拟触摸操作系统，其特征在于，所述检测运动并计算权值具体包括：计算当前帧中每一点与其前一帧中对应点及其周围邻域形成的局部窗的平均绝对差异MAE，其公式如下：
其中，H、W为局部窗的高和宽，权重初始值w1＝1，局部差异m(i,j)其去噪权重 成反比，噪声标准差σ为函数输入，th1,th2可根据σ进行设置，输入有噪图像当前帧为gt，前一帧为gt-1。
6.根据权利要求3所述的基于深度数据的模拟触摸操作系统，其特征在于，所述时域加权去噪具体包括：
对当前帧的每一像素进行去噪，其公式如下：
再下一帧去噪前再对权值wt进行更新，其公式如下：
t
设置最大值wmax来限制w的取值范围，其公式如下：
其中， 为去噪权重。
7.根据权利要求1-6中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，所述数据处理模块为PC主机、Android/ipad平板、Android/iPhone手机。
8.根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，小于minThr2的像素点位置定义为噪点，大于maxThr2的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第二待选触摸点。
9.根据权利要求8所述的基于深度数据的模拟触摸操作系统，其特征在于，对待选触摸点进行统计筛选得到触摸点具体包括：统计第二待选触摸点周围M×M邻域内同样的第二待选触摸点的个数，筛选出触摸点集合。
10.根据权利要求9所述的基于深度数据的模拟触摸操作系统，其特征在于，个数小于P则表示该待选触摸点为噪点，个数大于等于P则表示该待选触摸点为触摸点。
11.根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，获取触摸点深度坐标具体包括：对于单点触控，直接对触摸点集合内的触摸点坐标取均值，得到单点触控的触摸点深度坐标；对于多点触控，利用聚类算法对触摸点集合内的触摸点进行聚类，对每一类中取均值作为触摸点，得到多点触控的触摸点深度坐标。
12.根据权利要求11所述的基于深度数据的模拟触摸操作系统，其特征在于，在得到触摸点深度坐标之后对触摸点深度坐标进行位置修正。
13.根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，将触摸点深度坐标转换成触摸点空间坐标具体包括：利用坐标转换将触摸点深度坐标转换成触摸点空间坐标。
14.根据权利要求13所述的基于深度数据的模拟触摸操作系统，其特征在于，坐标转换的公式如下： 其中，X、Y分别为真实世界
坐标系中的横坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距。
15.根据权利要求1-6中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，所述显示模块具体用于：根据触摸点屏幕坐标、触摸点状态和触摸API发送的触摸操作消息在屏幕上对触摸操作进行显示。
16.根据权利要求1-6中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，所述显示模块为投影仪。
17.根据权利要求15所述的基于深度数据的模拟触摸操作系统，其特征在于，触摸点状态包括：inrange(在范围内)、update(更新)、incontact(接触)、down(按下)和up(弹起)。
18.根据权利要求1-6中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，所述屏幕校准模块为PC主机、Android/ipad平板、Android/iPhone手机。
19.根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，所述屏幕校准模块具体用于：获取四个平面方程，在多个平面中选取最优平面，根据最优平面方程确定屏幕平面方程，屏幕校准修正。
20.根据权利要求19所述的基于深度数据的模拟触摸操作系统，其特征在于，获取四个平面方程具体包括：根据数据处理模块得到屏幕上四个顶点的深度坐标，利用坐标转换将深度坐标进行转换得到四个顶点的空间坐标，再根据三点确定一个平面原则确定四个平面方程。
21.根据权利要求20所述的基于深度数据的模拟触摸操作系统，其特征在于，坐标转换的公式如下： 其中，X、Y分别为真实世界
坐标系中的横坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距。
22.根据权利要求20所述的基于深度数据的模拟触摸操作系统，其特征在于，根据三点确定一个平面原则确定四个平面方程具体包括：已知三点坐标p1，p2，p3，三点确定的平面方程为Ax+By+Cz+D＝0，其中：
A＝(p2.y-p1.y)×(p3.z-p1.z)-(p2.z-p1.z)×(p3.y-p1.y)；
B＝(p2.z-p1.z)×(p3.x-p1.x)-(p2.x-p1.x)×(p3.z-p1.z)；
C＝(p2.x-p1.x)×(p3.y-p1.y)-(p2.y-p1.y)×(p3.x-p1.x)；
D＝-(A×p1.x+B×p1.y+C×p1.z)。
23.根据权利要求19所述的基于深度数据的模拟触摸操作系统，其特征在于，在多个平面中选取最优平面具体包括：获取每个平面与其他三个平面的平面夹角和，选取夹角和最小的平面为最优平面。
24.根据权利要求23所述的基于深度数据的模拟触摸操作系统，其特征在于，获取每个平面与其他三个平面的平面夹角和具体包括：已知平面a的平面方程为ax+by+cz+d＝0，平面b的方程为Ax+By+Cz+D＝0，则平面a与平面b的夹角和为α，
25.根据权利要求19所述的基于深度数据的模拟触摸操作系统，其特征在于，根据最优平面方程确定屏幕平面方程具体包括：判断最优平面与其他三个平面的夹角是否都小于预定角度，当判断结果为是时表明最优平面方程为屏幕平面方程，判断结果为否时表明屏幕校准失败，重新进行校准。
26.根据权利要求19所述的基于深度数据的模拟触摸操作系统，其特征在于，屏幕校准修正具体包括：修正四个顶点中不在屏幕平面上的顶点，校准完成。
27.根据权利要求26所述的基于深度数据的模拟触摸操作系统，其特征在于，修正四个顶点中不在屏幕平面上的顶点具体包括：已知修正前四个顶点的坐标分别为point[0],point[1],point[2],point[3]，其中，对于需要修正的顶点i，point[i]表示修正前的坐标，POINT[i]表示修正后的坐标，根据对称性可得到修改后顶点i的坐标POINT[i]如下：
POINT[i].x＝point[0].x+point[1].x+point[2].x+point[3].x-point[i].x-2×point[3-i].x；
POINT[i].y＝point[0].y+point[1].y+point[2].y+point[3].y-point[i].y-2×point[3-i].y；
POINT[i].z＝point[0].z+point[1].z+point[2].z+point[3].z-point[i].z-2×point[3-i].z。
28.一种基于深度数据的模拟触摸操作方法，其特征在于，包括：
S1、屏幕校准，获取四个平面方程，在多个平面中选取最优平面，根据最优平面方程确定屏幕平面方程，屏幕校准修正；
S2、采集触摸场景的深度图，根据深度图获取触摸场景的深度差；
S3、对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标；
S4、根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作；
在S3中，对触摸场景的深度差depthdiff进行分离得到待选触摸点，对待选触摸点进行统计筛选得到触摸点，获取触摸点深度坐标，将触摸点深度坐标转换成触摸点空间坐标，将触摸点空间坐标进行处理得到触摸点屏幕坐标；
对触摸场景的深度差depthdiff进行分离得到待选触摸点具体包括：
对触摸场景的深度差depthdiff选取两个阈值minThr1和maxThr1，初步分离出背景、噪点和非触摸点，得到第一待选触摸点；
小于minThr1的像素点位置定义为背景以及噪点，大于maxThr1的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第一待选触摸点；
以第一待选触摸点为中心取M×M窗口的深度差depthdiff均值mean，对mean选取两个阈值minThr2和maxThr2，进一步分离出噪点和非触摸点，得到第二待选触摸点。
29.根据权利要求28所述的基于深度数据的模拟触摸操作方法，其特征在于，在S2中，利用深度传感器获取触摸场景的深度图，触摸场景的深度图包括无触摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触摸场景的深度图进行时域去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度数据，所述深度数据为深度图上的像素点与深度传感器之间的距离，对深度数据进行差法运算得到触摸场景的深度差depthdiff。
30.根据权利要求29所述的基于深度数据的模拟触摸操作方法，其特征在于，所述对触摸场景的深度图进行时域去噪包括：噪声估计、检测运动并计算权值、时域加权去噪。
31.根据权利要求30所述的基于深度数据的模拟触摸操作方法，其特征在于，所述噪声估计过程具体包括：假设图像被均值是0，方差为σ2的高斯噪声污染，估计噪声标准差σ；输入有噪图像当前帧为gt，前一帧为gt-1，记x＝gt-gt-1，则x符合高斯分布：
记y＝|gt-gt-1|，即y＝|x|，则y的概率密度函数p(y)为：
y的期望为：
即，
32.根据权利要求30所述的基于深度数据的模拟触摸操作方法，其特征在于，所述检测运动并计算权值具体包括：计算当前帧中每一点与其前一帧中对应点及其周围邻域形成的局部窗的平均绝对差异MAE，其公式如下：
其中，H、W为局部窗的高和宽，权重初始值w1＝1，局部差异m(i,j)其去噪权重 成反比，噪声标准差σ为函数输入，th1,th2可根据σ进行设置，输入有噪图像当前帧为gt，前一帧为gt-1。
33.根据权利要求30所述的基于深度数据的模拟触摸操作方法，其特征在于，所述时域加权去噪具体包括：
对当前帧的每一像素进行去噪，其公式如下：
再下一帧去噪前再对权值wt进行更新，其公式如下：
设置最大值wmax来限制wt的取值范围，其公式如下：
其中， 为去噪权重。
34.根据权利要求28所述的基于深度数据的模拟触摸操作方法，其特征在于，小于minThr2的像素点位置定义为噪点，大于maxThr2的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第二待选触摸点。
35.根据权利要求34所述的基于深度数据的模拟触摸操作方法，其特征在于，对待选触摸点进行统计筛选得到触摸点具体包括：统计第二待选触摸点周围M×M邻域内同样的第二待选触摸点的个数，筛选出触摸点集合。
36.根据权利要求35所述的基于深度数据的模拟触摸操作方法，其特征在于，个数小于P则表示该待选触摸点为噪点，个数大于等于P则表示该待选触摸点为触摸点。
37.根据权利要求28所述的基于深度数据的模拟触摸操作方法，其特征在于，获取触摸点深度坐标具体包括：对于单点触控，直接对触摸点集合内的触摸点坐标取均值，得到单点触控的触摸点深度坐标；对于多点触控，利用聚类算法对触摸点集合内的触摸点进行聚类，对每一类中取均值作为触摸点，得到多点触控的触摸点深度坐标。
38.根据权利要求37所述的基于深度数据的模拟触摸操作方法，其特征在于，在得到触摸点深度坐标之后对触摸点深度坐标进行位置修正。
39.根据权利要求28所述的基于深度数据的模拟触摸操作方法，其特征在于，将触摸点深度坐标转换成触摸点空间坐标具体包括：利用坐标转换将触摸点深度坐标转换成触摸点空间坐标。
40.根据权利要求39所述的基于深度数据的模拟触摸操作方法，其特征在于，坐标转换的公式如下： 其中，X、Y分别为真实世界
坐标系中的横坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距。
41.根据权利要求28所述的基于深度数据的模拟触摸操作方法，其特征在于，将触摸点空间坐标进行处理得到触摸点屏幕坐标具体包括：利用触摸点空间坐标和屏幕校准模块得到的屏幕平面方程，得到触摸点在屏幕平面上的垂直映射点，通过计算得到垂直映射点在屏幕平面的相对位置，得到触摸点屏幕坐标。
42.根据权利要求28-33中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，在S4中，根据触摸点屏幕坐标、触摸点状态和触摸API发送的触摸操作消息在屏幕上对触摸操作进行显示。
43.根据权利要求42所述的基于深度数据的模拟触摸操作系统，其特征在于，触摸点状态包括：inrange(在范围内)、 update (更新)、incontact(接触)、down(按下)和up(弹起)。
44.根据权利要求28-33中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，获取四个平面方程具体包括：获取屏幕上四个顶点的深度坐标，利用坐标转换将深度坐标进行转换得到四个顶点的空间坐标，再根据三点确定一个平面原则确定四个平面方程。
45.根据权利要求44所述的基于深度数据的模拟触摸操作系统，其特征在于，坐标转换的公式如下： 其中，X、Y分别为真实世界
坐标系中的横坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距。
46.根据权利要求44所述的基于深度数据的模拟触摸操作系统，其特征在于，根据三点确定一个平面原则确定四个平面方程具体包括：已知三点坐标p1，p2，p3，三点确定的平面方程为Ax+By+Cz+D＝0，其中：
A＝(p2.y-p1.y)×(p3.z-p1.z)-(p2.z-p1.z)×(p3.y-p1.y)；
B＝(p2.z-p1.z)×(p3.x-p1.x)-(p2.x-p1.x)×(p3.z-p1.z)；
C＝(p2.x-p1.x)×(p3.y-p1.y)-(p2.y-p1.y)×(p3.x-p1.x)；
D＝-(A×p1.x+B×p1.y+C×p1.z)。
47.根据权利要求28-33中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，在多个平面中选取最优平面具体包括：获取每个平面与其他三个平面的平面夹角和，选取夹角和最小的平面为最优平面。
48.根据权利要求47所述的基于深度数据的模拟触摸操作系统，其特征在于，获取每个平面与其他三个平面的平面夹角和具体包括：已知平面a的平面方程为ax+by+cz+d＝0，平面b的方程为Ax+By+Cz+D＝0，则平面a与平面b的夹角和为α，
49.根据权利要求28-33中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，根据最优平面方程确定屏幕平面方程具体包括：判断最优平面与其他三个平面的夹角是否都小于预定角度，当判断结果为是时表明最优平面方程为屏幕平面方程，判断结果为否时表明屏幕校准失败，重新进行校准。
50.根据权利要求28-33中任一项所述的基于深度数据的模拟触摸操作系统，其特征在于，屏幕校准修正具体包括：修正四个顶点中不在屏幕平面上的顶点，校准完成。
51.根据权利要求50所述的基于深度数据的模拟触摸操作系统，其特征在于，修正四个顶点中不在屏幕平面上的顶点具体包括：已知修正前四个顶点的坐标分别为point[0],point[1],point[2],point[3]，其中，对于需要修正的顶点i，point[i]表示修正前的坐标，POINT[i]表示修正后的坐标，根据对称性可得到修改后顶点i的坐标POINT[i]如下：
POINT[i].x＝point[0].x+point[1].x+point[2].x+point[3].x-point[i].x-2×point[3-i].x；
POINT[i].y＝point[0].y+point[1].y+point[2].y+point[3].y-point[i].y-2×point[3-i].y；
POINT[i].z＝point[0].z+point[1].z+point[2].z+point[3].z-point[i].z-2×point[3-i].z。

一种基于深度数据的模拟触摸操作系统及操作方法\n技术领域\n[0001] 本发明涉及模拟触摸屏技术领域，尤其涉及一种基于深度数据的模拟触摸操作系统及操作方法。\n背景技术\n[0002] 随着多媒体信息查询应用的快速发展，人们越来越多地使用触摸屏进行信息查询，这是因为触摸屏不仅能够满足人们快速查询有用信息的需求，而且还具有坚固耐用、反应速度快、节省空间、易于交流等许多优点。\n[0003] 触摸屏作为一种最新的电脑输入设备，它是目前最简单、方便、自然的一种人机交互方式，它赋予了多媒体以崭新的面貌，是极富吸引力的全新多媒体交互设备。利用触摸屏技术，用户只要用手指轻轻地触碰计算机屏幕上的图符或文字就能实现对主机进行操作，从而使人机交互更为直截了当，方便了广大用户操作，同时提升了用户的使用感受。\n[0004] 触摸屏在我国的应用范围非常广阔，主要应用在公共信息查询方面，例如电信局、税务局、银行、电力等部门的业务查询，还有城市街头信息查询，此外还应用于办公、工业控制、军事指挥、电子游戏、点歌点菜、多媒体教学、房地产预售等；将来，触摸屏还将更多地走入家庭。\n[0005] 但是，随着触摸屏所需的尺寸变的越来越大，导致触摸屏的成本越来越高；另外，由于用户经常直接在触摸屏上直接操作，非常容易造成触摸屏设备的损害，从而导致产生较高的维修费用。而模拟触屏系统则是将普通的墙壁、地面或会议桌模拟成一个触摸屏，大大降低了初期投入成本及后期维护成本，具有研究价值和现实意义。\n发明内容\n[0006] 基于背景技术存在的技术问题，本发明提出了一种基于深度数据的模拟触摸操作系统及操作方法。\n[0007] 本发明提出的一种基于深度数据的模拟触摸操作系统，包括：\n[0008] 数据采集模块，用于采集触摸场景的深度图，获取触摸场景的深度差；\n[0009] 数据处理模块，与数据采集模块连接，用于对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标；\n[0010] 显示模块，与数据处理模块连接，用于根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作。\n[0011] 优选地，所述数据采集模块具体包括：利用深度传感器获取触摸场景的深度图，触摸场景的深度图包括无触摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触摸场景的深度图进行时域去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度数据，所述深度数据为深度图上的像素点与深度传感器之间的距离，对深度数据进行差法运算得到触摸场景的深度差depthdiff；\n[0012] 优选地，所述数据采集模块为双目立体视觉摄像头、基于结构光法的红外摄像头(kinect1)、基于飞行时间法的激光摄像头(kinect2)；\n[0013] 优选地，所述对触摸场景的深度图进行时域去噪包括：噪声估计、检测运动并计算权值、时域加权去噪；\n[0014] 优选地，所述噪声估计过程具体包括：假设图像被均值是0，方差为σ2的高斯噪声污染，估计噪声标准差σ；输入有噪图像当前帧为gt，前一帧为gt-1，记x＝gt-gt-1，则x符合高斯分布：\n[0015] 记y＝|gt-gt-1|，即y＝|x|，则y的概率密度函数p(y)为：\n[0016]\n[0017] y的期望为：\n[0018]\n[0019] 即，\n[0020] 优选地，所述检测运动并计算权值具体包括：计算当前帧中每一点与其前一帧中对应点及其周围邻域(局部窗)的平均绝对差异MAE，其公式如下：\n[0021]\n[0022] 其中，H、W为局部窗的高和宽，权重初始值w1＝1，局部差异m(i,j)其去噪权重成反比，噪声标准差σ为函数输入，th1,th2可根据σ进行设置；\n[0023] 优选地，所述时域加权去噪具体包括：\n[0024] 对当前帧的每一像素进行去噪，其公式如下：\n[0025]\n[0026] 再下一帧去噪前再对权值wt进行更新，其公式如下：\n[0027]\n[0028] 设置最大值wmax来限制wt的取值范围，其公式如下：\n[0029]\n[0030] 优选地，所述数据处理模块具体用于：对触摸场景的深度差depthdiff进行分离得到待选触摸点，对待选触摸点进行统计筛选得到触摸点，获取触摸点深度坐标，将触摸点深度坐标转换成触摸点空间坐标，将触摸点空间坐标进行处理得到触摸点屏幕坐标；\n[0031] 优选地，所述数据处理模块为PC主机、Android/ipad平板、Android/iPhone手机；\n[0032] 优选地，对触摸场景的深度差depthdiff进行分离得到待选触摸点具体包括：\n[0033] 对触摸场景的深度差depthdiff选取两个阈值minThr1和maxThr1，初步分离出背景、噪点和非触摸点，得到第一待选触摸点；优选地，小于minThr1的像素点位置定义为背景以及噪点，大于maxThr1的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第一待选触摸点；\n[0034] 以第一待选触摸点为中心取M×M窗口的深度差depthdiff均值mean，对mean选取两个阈值minThr2和maxThr2，进一步分离出噪点和非触摸点，得到第二待选触摸点；优选地，小于minThr2的像素点位置定义为噪点，大于maxThr2的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第二待选触摸点；\n[0035] 优选地，对待选触摸点进行统计筛选得到触摸点具体包括：统计第二待选触摸点周围M×M邻域内同样的第二待选触摸点的个数，筛选出触摸点集合；优选地，个数小于P则表示该待选触摸点为噪点，个数大于等于P则表示该待选触摸点为触摸点；\n[0036] 优选地，获取触摸点深度坐标具体包括：对于单点触控，直接对触摸点集合内的触摸点坐标取均值，得到单点触控的触摸点深度坐标；对于多点触控，利用聚类算法对触摸点集合内的触摸点进行聚类，对每一类中取均值作为触摸点，得到多点触控的触摸点深度坐标；优选地，在得到触摸点深度坐标之后对触摸点深度坐标进行位置修正；\n[0037] 优选地，将触摸点深度坐标转换成触摸点空间坐标具体包括：利用坐标转换将触摸点深度坐标转换成触摸点空间坐标；优选地，坐标转换的公式如下：\n其中，X、Y分别为真实世界坐标系中的横\n坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距；\n[0038] 优选地，将触摸点空间坐标进行处理得到触摸点屏幕坐标具体包括：利用触摸点空间坐标和屏幕校准模块得到的屏幕平面方程，得到触摸点在屏幕平面上的垂直映射点，通过计算得到垂直映射点在屏幕平面的相对位置，得到触摸点屏幕坐标。\n[0039] 优选地，所述显示模块具体用于：根据触摸点屏幕坐标、触摸点状态和触摸API发送的触摸操作消息在屏幕上对触摸操作进行显示；\n[0040] 优选地，所述显示模块为投影仪；\n[0041] 优选地，触摸点状态包括：inrange(在范围内)、undate(更新)、incontact(接触)、down(按下)和up(弹起)。\n[0042] 优选地，所述模拟触摸操作系统还包括：屏幕校准模块，与数据处理模块连接，用于根据计算得到的屏幕平面方程对触摸场景的深度图进行校准，得到屏幕平面与触摸场景的深度图之间的映射关系；\n[0043] 优选地，所述屏幕校准模块为PC主机、Android/ipad平板、Android/iPhone手机；\n[0044] 优选地，所述屏幕校准模块具体用于：获取四个平面方程，在多个平面中选取最优平面，根据最优平面方程确定屏幕平面方程，屏幕校准修正；\n[0045] 优选地，获取四个平面方程具体包括：根据数据处理模块得到屏幕上四个顶点的深度坐标，利用坐标转换将深度坐标进行转换得到四个顶点的空间坐标，再根据三点确定一个平面原则确定四个平面方程；优选地，坐标转换的公式如下：\n其中，X、Y分别为真实世界坐标系中的横\n坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距；优选地，根据三点确定一个平面原则确定四个平面方程具体包括：已知三点坐标p1，p2，p3，三点确定的平面方程为Ax+By+Cz+D＝0，其中：\n[0046] A＝(p2.y-p1.y)×(p3.z-p1.z)-(p2.z-p1.z)×(p3.y-p1.y)；\n[0047] B＝(p2.z-p1.z)×(p3.x-p1.x)-(p2.x-p1.x)×(p3.z-p1.z)；\n[0048] C＝(p2.x-p1.x)×(p3.y-p1.y)-(p2.y-p1.y)×(p3.x-p1.x)；\n[0049] D＝-(A×p1.x+B×p1.y+C×p1.z)；\n[0050] 优选地，在多个平面中选取最优平面具体包括：获取每个平面与其他三个平面的平面夹角和，选取夹角和最小的平面为最优平面；优选地，获取每个平面与其他三个平面的平面夹角和具体包括：已知平面a的平面方程为ax+by+cz+d＝0，平面b的方程为Ax+By+Cz+D＝0，则平面a与平面b的夹角和为α，\n[0051]\n[0052] 优选地，根据最优平面方程确定屏幕平面方程具体包括：判断最优平面与其他三个平面的夹角是否都小于预定角度，当判断结果为是时表明最优平面方程为屏幕平面方程，判断结果为否时表明屏幕校准失败，重新进行校准；\n[0053] 优选地，屏幕校准修正具体包括：修正四个顶点中不在屏幕平面上的顶点，校准完成；优选地，修正四个顶点中不在屏幕平面上的顶点具体包括：已知修正前四个顶点的坐标分别为point[0],point[1],point[2],point[3]，其中，对于需要修正的顶点i，point[i]表示修正前的坐标，POINT[i]表示修正后的坐标，根据对称性可得到修改后顶点i的坐标POINT[i]如下：\n[0054] POINT[i].x＝point[0].x+point[1].x+point[2].x+point[3].x-point[i].x-2×point[3-i].x；\n[0055] POINT[i].y＝point[0].y+point[1].y+point[2].y+point[3].y-point[i].y-2×point[3-i].y；\n[0056] POINT[i].z＝point[0].z+point[1].z+point[2].z+point[3].z-point[i].z-2×point[3-i].z。\n[0057] 本发明提出了一种基于深度数据的模拟触摸屏操作方法，包括：\n[0058] S1、屏幕校准；\n[0059] S2、采集触摸场景的深度图，根据深度图获取触摸场景的深度差；\n[0060] S3、对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标；\n[0061] S4、根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作。\n[0062] 优选地，在S2中，利用深度传感器获取触摸场景的深度图，触摸场景的深度图包括无触摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触摸场景的深度图进行时域去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度数据，所述深度数据为深度图上的像素点与深度传感器之间的距离，对深度数据进行差法运算得到触摸场景的深度差depthdiff；\n[0063] 优选地，所述对触摸场景的深度图进行时域去噪包括：噪声估计、检测运动并计算权值、时域加权去噪；\n[0064] 优选地，所述噪声估计过程具体包括：假设图像被均值是0，方差为σ2的高斯噪声污染，估计噪声标准差σ；输入有噪图像当前帧为gt，前一帧为gt-1，记x＝gt-gt-1，则x符合高斯分布：\n[0065] 记y＝|gt-gt-1|，即y＝|x|，则y的概率密度函数p(y)为：\n[0066]\n[0067] y的期望为：\n[0068]\n[0069] 即，\n[0070] 优选地，所述检测运动并计算权值具体包括：计算当前帧中每一点与其前一帧中对应点及其周围邻域(局部窗)的平均绝对差异MAE，其公式如下：\n[0071]\n[0072] 其中，H、W为局部窗的高和宽，权重初始值w1＝1，局部差异m(i,j)其去噪权重成反比，噪声标准差σ为函数输入，th1,th2可根据σ进行设置；\n[0073] 优选地，所述时域加权去噪具体包括：\n[0074] 对当前帧的每一像素进行去噪，其公式如下：\n[0075]\n[0076] 再下一帧去噪前再对权值wt进行更新，其公式如下：\n[0077]\n[0078] 设置最大值wmax来限制wt的取值范围，其公式如下：\n[0079]\n[0080] 优选地，在S3中，对触摸场景的深度差depthdiff进行分离得到待选触摸点，对待选触摸点进行统计筛选得到触摸点，获取触摸点深度坐标，将触摸点深度坐标转换成触摸点空间坐标，将触摸点空间坐标进行处理得到触摸点屏幕坐标；\n[0081] 优选地，对触摸场景的深度差depthdiff进行分离得到待选触摸点具体包括：\n[0082] 对触摸场景的深度差depthdiff选取两个阈值minThr1和maxThr1，初步分离出背景、噪点和非触摸点，得到第一待选触摸点；优选地，小于minThr1的像素点位置定义为背景以及噪点，大于maxThr1的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第一待选触摸点；\n[0083] 以第一待选触摸点为中心取M×M窗口的深度差depthdiff均值mean，对mean选取两个阈值minThr2和maxThr2，进一步分离出噪点和非触摸点，得到第二待选触摸点；优选地，小于minThr2的像素点位置定义为噪点，大于maxThr2的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第二待选触摸点；\n[0084] 优选地，对待选触摸点进行统计筛选得到触摸点具体包括：统计第二待选触摸点周围M×M邻域内同样的第二待选触摸点的个数，筛选出触摸点集合；优选地，个数小于P则表示该待选触摸点为噪点，个数大于等于P则表示该待选触摸点为触摸点；\n[0085] 优选地，获取触摸点深度坐标具体包括：对于单点触控，直接对触摸点集合内的触摸点坐标取均值，得到单点触控的触摸点深度坐标；对于多点触控，利用聚类算法对触摸点集合内的触摸点进行聚类，对每一类中取均值作为触摸点，得到多点触控的触摸点深度坐标；优选地，在得到触摸点深度坐标之后对触摸点深度坐标进行位置修正；\n[0086] 优选地，将触摸点深度坐标转换成触摸点空间坐标具体包括：利用坐标转换将触摸点深度坐标转换成触摸点空间坐标；优选地，坐标转换的公式如下：\n其中，X、Y分别为真实世界坐标系中的横\n坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距；\n[0087] 优选地，将触摸点空间坐标进行处理得到触摸点屏幕坐标具体包括：利用触摸点空间坐标和屏幕校准模块得到的屏幕平面方程，得到触摸点在屏幕平面上的垂直映射点，通过计算得到垂直映射点在屏幕平面的相对位置，得到触摸点屏幕坐标。\n[0088] 优选地，在S4中，根据触摸点屏幕坐标、触摸点状态和触摸API发送的触摸操作消息在屏幕上对触摸操作进行显示；\n[0089] 优选地，触摸点状态包括：inrange(在范围内)、undate(更新)、incontact(接触)、down(按下)和up(弹起)。\n[0090] 优选地，在S1中，获取四个平面方程，在多个平面中选取最优平面，根据最优平面方程确定屏幕平面方程，屏幕校准修正；\n[0091] 优选地，获取四个平面方程具体包括：获取屏幕上四个顶点的深度坐标，利用坐标转换将深度坐标进行转换得到四个顶点的空间坐标，再根据三点确定一个平面原则确定四个平面方程；优选地，坐标转换的公式如下：\n其中，X、Y分别为真实世界坐标系中的横坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距；优选地，根据三点确定一个平面原则确定四个平面方程具体包括：已知三点坐标p1，p2，p3，三点确定的平面方程为Ax+By+Cz+D＝0，其中：\n[0092] A＝(p2.y-p1.y)×(p3.z-p1.z)-(p2.z-p1.z)×(p3.y-p1.y)；\n[0093] B＝(p2.z-p1.z)×(p3.x-p1.x)-(p2.x-p1.x)×(p3.z-p1.z)；\n[0094] C＝(p2.x-p1.x)×(p3.y-p1.y)-(p2.y-p1.y)×(p3.x-p1.x)；\n[0095] D＝-(A×p1.x+B×p1.y+C×p1.z)；\n[0096] 优选地，在多个平面中选取最优平面具体包括：获取每个平面与其他三个平面的平面夹角和，选取夹角和最小的平面为最优平面；优选地，获取每个平面与其他三个平面的平面夹角和具体包括：已知平面a的平面方程为ax+by+cz+d＝0，平面b的方程为Ax+By+Cz+D＝0，则平面a与平面b的夹角和为α，\n[0097] 优选地，根据最优平面方程确定屏幕平面方程具体包括：判断最优平面与其他三个平面的夹角是否都小于预定角度，当判断结果为是时表明最优平面方程为屏幕平面方程，判断结果为否时表明屏幕校准失败，重新进行校准；\n[0098] 优选地，屏幕校准修正具体包括：修正四个顶点中不在屏幕平面上的顶点，校准完成；优选地，修正四个顶点中不在屏幕平面上的顶点具体包括：已知修正前四个顶点的坐标分别为point[0],point[1],point[2],point[3]，其中，对于需要修正的顶点i，point[i]表示修正前的坐标，POINT[i]表示修正后的坐标，根据对称性可得到修改后顶点i的坐标POINT[i]如下：\n[0099] POINT[i].x＝point[0].x+point[1].x+point[2].x+point[3].x-point[i].x-2×point[3-i].x；\n[0100] POINT[i].y＝point[0].y+point[1].y+point[2].y+point[3].y-point[i].y-2×point[3-i].y；\n[0101] POINT[i].z＝point[0].z+point[1].z+point[2].z+point[3].z-point[i].z-2×point[3-i].z。\n[0102] 在本发明中，通过采集触摸场景的深度图，获取触摸场景的深度差，对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标，根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作，实现了模拟触屏。通过本发明，不仅保证了触屏的展示效果，保证了用户操作体验感受，同时，还能有效降低触摸屏在前期的投入成本以及后期的维护成本，另外，其应用不受场景限制，可以将模拟触屏投影到等多种环境中。\n附图说明\n[0103] 图1为本发明提出的一种基于深度数据的模拟触摸操作方法的流程示意图。\n[0104] 图2为本发明提出的一种基于深度数据的模拟触摸操作系统的结构原理图。\n[0105] 图3为本发明实施例提出的一种基于深度数据的模拟触摸操作系统的硬件结构图。\n[0106] 图4为进行时域去噪的去噪权重曲线图(A)及映射曲线图(B)。\n具体实施方式\n[0107] 如图1和图2所示，图1为本发明提出的一种基于深度数据的模拟触摸操作方法的流程示意图，图2为本发明提出的一种基于深度数据的模拟触摸操作系统的结构原理图。\n[0108] 参照图1，本发明实施例的一种基于深度数据的模拟触摸操作方法，包括：\n[0109] S1、屏幕校准；\n[0110] S2、采集触摸场景的深度图，根据深度图获取触摸场景的深度差；\n[0111] S3、对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标；\n[0112] S4、根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作。\n[0113] 参照图2，本发明实施例的一种基于深度数据的模拟触摸操作系统，包括：\n[0114] 数据采集模块，用于采集触摸场景的深度图并获取触摸场景的深度差；\n[0115] 数据处理模块，与数据采集模块连接，用于对触摸场景的深度差进行处理得到触摸点深度坐标，并对触摸点深度坐标进行处理得到触摸点屏幕坐标；\n[0116] 显示模块，与数据处理模块连接，用于根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作；\n[0117] 屏幕校准模块，与数据处理模块连接，用于根据计算得到的屏幕平面方程对触摸场景的深度图进行校准，得到屏幕平面与触摸场景的深度图之间的映射关系。\n[0118] 根据上述实施例，在图3中，附图标记1为深度传感器，附图标记2为投影仪，附图标记3为个人计算机PC，附图标记4为投影屏幕。\n[0119] 在本发明实施例中，在进行数据采集过程中，具体包括：利用深度传感器获取触摸场景的深度图，触摸场景的深度图包括无触摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触摸场景的深度图进行时域去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度数据，所述深度数据为深度图上的像素点与深度传感器之间的距离，对深度数据进行差法运算得到触摸场景的深度差depthdiff；\n[0120] 其中，所述数据采集模块为双目立体视觉摄像头、基于结构光法的红外摄像头(kinect1)、基于飞行时间法的激光摄像头(kinect2)；\n[0121] 在具体实施例中，在对触摸场景的深度图进行时域去噪时具体包括：噪声估计、检测运动并计算权值、时域加权去噪；\n[0122] 其中，在噪声估计过程中，按照如下方式进行：\n[0123] 假设图像被均值是0，方差为σ2的高斯噪声污染，估计噪声标准差σ；输入有噪图像当前帧为gt，前一帧为gt-1，记x＝gt-gt-1，则x符合高斯分布：\n[0124] 记y＝|gt-gt-1|，即y＝|x|，则y的概率密度函数p(y)为：\n[0125]\n[0126] y的期望为：\n[0127]\n[0128] 即，\n[0129] 其中，在检测运动并计算权值过程中，按照以下方式进行：\n[0130] 计算当前帧中每一点与其前一帧中对应点及其周围邻域(局部窗)的MAE(Mean Absolute Error，平均绝对差异)，采用MAE来表征两点之间的差异，MAE表征一个像素点的运动程度，当MAE越大时表面该点的运动性越强，反之运动性越弱，并且，与运动性越强的点对应的前一帧中的点在去噪过程中被赋予的权重越小。\n[0131] 在计算MAE的过程中其计算公式如下：\n[0132]\n[0133] 其中，H、W为局部窗的高和宽，权重初始值w1＝1，其去噪权重曲线如图4(A)所示，局部差异m(i,j)其去噪权重 成反比，即局部差异m(i,j)越大，去噪权重 越\n小，其映射曲线图如图4(B)所示，噪声标准差σ为函数输入，th1,th2可根据σ进行设置；\n[0134] 其中，在时域加权去噪时，按照以下方式进行：\n[0135] 对当前帧的每一像素进行去噪，其公式如下：\n[0136]\n[0137] 再下一帧去噪前再对权值wt进行更新，其公式如下：\n[0138]\n[0139] 设置最大值wmax来限制wt的取值范围，其公式如下：\n[0140]\n[0141] 在本发明实施例中，在数据处理过程中，具体包括：对触摸场景的深度差depthdiff进行分离得到待选触摸点，对待选触摸点进行统计筛选得到触摸点，获取触摸点深度坐标，将触摸点深度坐标转换成触摸点空间坐标，将触摸点空间坐标进行处理得到触摸点屏幕坐标；其中，所述数据处理模块为PC主机、Android/ipad平板、Android/iPhone手机；\n[0142] 其中，对触摸场景的深度差depthdiff进行分离得到待选触摸点具体包括：\n[0143] 对触摸场景的深度差depthdiff选取两个阈值minThr1和maxThr1，初步分离出背景、噪点和非触摸点，得到第一待选触摸点；小于minThr1的像素点位置定义为背景以及噪点，大于maxThr1的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第一待选触摸点；\n[0144] 以第一待选触摸点为中心取M×M(M＝3)窗口的深度差depthdiff均值mean，对mean选取两个阈值minThr2和maxThr2，进一步分离出噪点和非触摸点，得到第二待选触摸点；小于minThr2的像素点位置定义为噪点，大于maxThr2的像素点位置定义为非触摸点，处在两个阈值之间的像素点位置定义为第二待选触摸点；\n[0145] 其中，对待选触摸点进行统计筛选得到触摸点具体包括：统计第二待选触摸点周围M×M(M＝3)邻域内同样的第二待选触摸点的个数，筛选出触摸点集合；优选地，个数小于P(P＝7)则表示该待选触摸点为噪点，个数大于等于P则表示该待选触摸点为触摸点；\n[0146] 其中，获取触摸点深度坐标具体包括：对于单点触控，直接对触摸点集合内的触摸点坐标取均值，得到单点触控的触摸点深度坐标；对于多点触控，利用聚类算法对触摸点集合内的触摸点进行聚类，对每一类中取均值作为触摸点，得到多点触控的触摸点深度坐标；\n[0147] 其中，在得到触摸点深度坐标之后对触摸点深度坐标进行位置修正；\n[0148] 其中，将触摸点深度坐标转换成触摸点空间坐标具体包括：利用坐标转换将触摸点深度坐标转换成触摸点空间坐标；坐标转换的公式如下：\n其中，X、Y分别为真实世界坐标系中的横\n坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距；\n[0149] 其中，将触摸点空间坐标进行处理得到触摸点屏幕坐标具体包括：利用触摸点空间坐标和屏幕校准模块得到的屏幕平面方程，得到触摸点在屏幕平面上的垂直映射点，通过计算得到垂直映射点在屏幕平面的相对位置，得到触摸点屏幕坐标。\n[0150] 在本发明实施例中，在显示过程中，具体包括：根据触摸点屏幕坐标、触摸点状态和触摸API发送的触摸操作消息在屏幕上对触摸操作进行显示；其中，所述显示模块为投影仪；触摸点状态包括：inrange(在范围内)、undate(更新)、incontact(接触)、down(按下)和up(弹起)。\n[0151] 在本发明实施例中，在屏幕校准过程中，具体包括：根据屏幕平面对触摸场景的深度图进行校准，使得触摸场景的深度图与屏幕平面一一映射；其中，屏幕校准模块为PC主机、Android/ipad平板、Android/iPhone手机；\n[0152] 具体地，在屏幕校准过程中包括如下操作过程：获取四个平面方程，在多个平面中选取最优平面，根据最优平面方程确定屏幕平面方程，屏幕校准修正；\n[0153] 其中，在获取四个平面方程的过程中具体包括：根据数据处理模块得到屏幕上四个顶点的深度坐标，利用坐标转换将深度坐标进行转换得到四个顶点的空间坐标，再根据三点确定一个平面原则确定四个平面方程；\n[0154] 其中，坐标转换的公式如下： 其\n中，X、Y分别为真实世界坐标系中的横坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真实世界坐标系中的Z轴坐标，f为图像的焦距；\n[0155] 其中，根据三点确定一个平面原则确定四个平面方程具体包括：已知三点坐标p1，p2，p3，三点确定的平面方程为Ax+By+Cz+D＝0，其中：\n[0156] A＝(p2.y-p1.y)×(p3.z-p1.z)-(p2.z-p1.z)×(p3.y-p1.y)；\n[0157] B＝(p2.z-p1.z)×(p3.x-p1.x)-(p2.x-p1.x)×(p3.z-p1.z)；\n[0158] C＝(p2.x-p1.x)×(p3.y-p1.y)-(p2.y-p1.y)×(p3.x-p1.x)；\n[0159] D＝-(A×p1.x+B×p1.y+C×p1.z)；\n[0160] 其中，在多个平面中选取最优平面具体包括：获取每个平面与其他三个平面的平面夹角和，选取夹角和最小的平面为最优平面；优选地，获取每个平面与其他三个平面的平面夹角和具体包括：已知平面a的平面方程为ax+by+cz+d＝0，平面b的方程为Ax+By+Cz+D＝\n0，则平面a与平面b的夹角和为α，\n[0161] 其中，根据最优平面方程确定屏幕平面方程具体包括：判断最优平面与其他三个平面的夹角是否都小于预定角度，当判断结果为是时表明最优平面方程为屏幕平面方程，判断结果为否时表明屏幕校准失败，重新进行校准；\n[0162] 其中，屏幕校准修正具体包括：修正四个顶点中不在屏幕平面上的顶点，校准完成；优选地，修正四个顶点中不在屏幕平面上的顶点具体包括：已知修正前四个顶点的坐标分别为point[0],point[1],point[2],point[3]，其中，四个顶点的位置关系如下：point[0],point[1]为屏幕平面上处于其上方两个顶点的坐标，point[2],point[3]为屏幕平面上处于其下方两个顶点的坐标；\n[0163] 对于需要修正的顶点i，point[i]表示修正前的坐标(即公式等号右侧的坐标)，POINT[i]表示修正后的坐标(即公式等号左侧的坐标)，根据对称性可得到修改后顶点i的坐标POINT[i]如下：\n[0164] POINT[i].x＝point[0].x+point[1].x+point[2].x+point[3].x-point[i].x-2×point[3-i].x；\n[0165] POINT[i].y＝point[0].y+point[1].y+point[2].y+point[3].y-point[i].y-2×point[3-i].y；\n[0166] POINT[i].z＝point[0].z+point[1].z+point[2].z+point[3].z-point[i].z-2×point[3-i].z。\n[0167] 例如，对point[0]进行修正时，经过修正后得到的坐标为POINT[0]，其中：POINT[0]＝point[0]+point[1]+point[2]+point[3]-point[0]-2×point[3-0]\n[0168] ＝point[1]+point[2]-point[3]。\n[0169] 例如，对point[2]进行修正时，经过修正后得到的坐标为POINT[2]，其中：POINT[2]＝point[0]+point[1]+point[2]+point[3]-point[2]-2×point[3-2]\n[0170] ＝point[0]-point[1]+point[3]。\n[0171] 在本发明中，通过采集触摸场景的深度图，获取触摸场景的深度差，对触摸场景的深度差进行处理得到触摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标，根据触摸点屏幕坐标、触摸点状态和触摸API在屏幕平面上显示触摸操作，实现了模拟触屏。通过本发明，不仅保证了触屏的展示效果，保证了用户操作体验感受，同时，还能有效降低触摸屏在前期的投入成本以及后期的维护成本，另外，其应用不受场景限制，可以将模拟触屏投影到等多种环境中。\n[0172] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。