一种无线触摸遥控方法和系统

1.一种无线触摸遥控方法，其特征在于，包括：
a、主机端的UI控件事件引擎监视并提取主机上UI交互控件的绘制信息，得到绘制信息的轮廓及字符信息；
b、主机端对轮廓及字符信息进行坐标投影映射，并通过无线传输系统发送至触摸控制设备的主控器，所述无线传输系统指的是成熟的无线数据交互系统，包括WIFI、蓝牙、
2.4GHz射频系统；
c、主控器依据坐标投影映射在触摸控制设备的显示屏上重绘轮廓及字符信息；
d、根据显示屏上的提示，触摸面板接收到触摸操作指令，该触摸操作指令通过无线传输系统发送至主机端；
e、主机端通过无线传输系统接收到触摸操作指令后，交给触摸驱动程序对触摸操作指令进行坐标投影映射和轨迹插值计算；
f、触摸驱动程序向操作系统报告计算处理后的触摸操作指令，操作系统和应用程序根据所述触摸操作指令的坐标投影映射在主机大屏上进行响应，实现了在触摸控制设备上直接远程触摸主机大屏的效果；
所述步骤a包括：
当常规工作模式时：通过系统绘制接口监视并提取UI交互控件的绘制信息，截取绘制信息的位置、大小、标题名称，忽略绘制信息的背景渲染、纹理、位图，得到绘制信息的轮廓及字符信息；
当硬提取工作模式时：UI控件事件引擎定期截取主机上的画面，通过图像滤镜算法对原始画面进行目标检测、边缘提取、单色化，得到单色轮廓画面作为绘制信息的轮廓及字符信息。
2.根据权利要求1所述的方法，其特征在于，两种工作模式由触摸控制设备上的硬件按钮进行切换。
3.根据权利要求1所述的方法，其特征在于，所述触摸控制设备由显示屏、触摸面板、主控器组成，触摸面板覆盖在显示屏的上层，主控器的芯片采用低计算性能的系统级芯片或单片机系统。
4.一种无线触摸遥控系统，包括主机端和触摸控制设备，主机端包括无线传输系统硬件1、触摸驱动程序、UI控件事件引擎、操作系统、应用程序、主机大屏，触摸控制设备包括触摸面板、显示屏、主控器、无线传输系统硬件2，其特征在于，工作方法为：主机端的UI控件事件引擎监视并提取主机上UI交互控件的绘制信息，得到绘制信息的轮廓及字符信息；主机端对轮廓及字符信息进行坐标投影映射，并通过无线传输系统发送至触摸控制设备的主控器；主控器依据坐标投影映射在触摸控制设备的显示屏上重绘轮廓及字符信息；根据显示屏上的提示，触摸面板接收到触摸操作指令，该触摸操作指令通过无线传输系统发送至主机端；主机端通过无线传输系统接收到触摸操作指令后，交给触摸驱动程序对触摸操作指令进行坐标投影映射和轨迹插值计算；触摸驱动程序向操作系统报告计算处理后的触摸操作指令，操作系统和应用程序根据所述触摸操作指令的坐标投影映射在主机大屏上进行响应，实现了在触摸控制设备上直接远程触摸主机大屏的效果；
所述UI控件事件引擎包括两种工作方式：
当常规工作模式时：通过标准的系统绘制接口监视并提取UI交互控件的绘制信息，截取绘制信息的位置、大小、标题名称，忽略绘制信息的背景渲染、纹理、位图，得到绘制信息的轮廓及字符信息；
当硬提取工作模式时：UI控件事件引擎定期截取主机上的画面，通过成熟的图像滤镜算法对原始画面进行目标检测、边缘提取、单色化，得到单色轮廓画面作为绘制信息的轮廓及字符信息。
5.根据权利要求4所述的系统，其特征在于，两种工作模式由触摸控制设备上的硬件按钮进行切换。
6.根据权利要求4所述的系统，其特征在于，所述触摸面板覆盖在显示屏的上层，所述主控器的芯片采用低计算性能的系统级芯片或单片机系统。
7.根据权利要求4所述的系统，其特征在于，所述无线传输系统指的是无线数据交互系统，包括WIFI、蓝牙、2.4GHz射频系统。

一种无线触摸遥控方法和系统\n技术领域\n[0001] 本发明涉及触摸遥控领域，尤其涉及一种无线触摸遥控方法和系统。\n背景技术\n[0002] 目前基于触摸的无线遥控系统主要分为三种，一种是基于触摸板的方式,将触摸信号以2.4GHz无线或者蓝牙发送到主机，其工作方式为模拟鼠标指针；第二种则是双屏触摸模式，无线控制设备带一块小型触摸屏，主机屏幕和小触摸屏同步显示相同内容，用户在小型触摸屏上的点击和手势操作直接投影到主机上；第三种模式是在小触摸屏上显示针对特定应用的控件，比如幻灯片/媒体中心/播放器应用等等，根据应用的不同，在小触摸屏上载入不同的控件按钮组来实现控制，相当于一种布局可动态变化的遥控器。\n[0003] 触摸板式的无线遥控系统本质上还是一个虚拟的鼠标，反映在主机上还是基于光标的移动和点击等传统操作，并非真正的触摸，无法快速直接点击主机上的图形控件/按钮，无法支持丰富的手势，从设备类型角度讲，这只能算指针设备而非触摸设备。\n[0004] 双屏触摸模式的关键点在于主机屏幕和触控设备小触摸屏同步显示，要么主机设备作为源设备，将画面信息同步到触控设备小屏幕上，小屏幕上的触摸操作经过坐标转换投射到大主机屏幕上；要么是触控设备作为源设备，将触控设备的画面同步到主机大屏幕上，实际触摸操作在小屏设备上进行，这种方式实际上是一种无线画面同步技术而非无线远程触控技术，其典型应用场景为智能手机/平板将画面发送到兼容的智能电视上，实现双屏同步，苹果Apple TV和iphone/ipad通过Airplay同步显示即属于这种模式。\n[0005] 双屏同步显示的模式要求主机端和无线触控设备端均为具备较高运算能力的智能设备，因为在无线条件下做到高清晰度低延迟的画面同步需要极大的传输带宽，要依赖高速的无线网络或者无线传输技术，主机端和触控端都必须支持这种无线网络或传输技术，同时可能还需要对显示画面进行实时压缩和解码，可能还需要应用到其他复杂的算法，必须依赖高运算性能的智能设备才能实现。对于游戏、视频等需要高速刷新的显示内容和常规的用户界面操作需要区分处理，采用不同的同步方法，才能够实现较为顺畅的触控体验。另外这种模式不具备通用性，必须主机端和触控设备端采用完全相同的标准、协议等体系才可以实现，在实际应用层面具有较大的局限性。这种模式本质上仅仅是一个可配置的遥控器，只能针对特定的应用，严格意义来讲也不是一种触摸输入设备。\n发明内容\n[0006] 本发明的目的在于提出一种在小型的无线触摸控制设备上直接远程触摸主机系统大屏的无线触摸遥控方法和系统。\n[0007] 为达此目的，本发明采用以下技术方案：\n[0008] 一种无线触摸遥控方法，包括：\n[0009] a、主机端的UI控件事件引擎监视并提取主机上UI交互控件的绘制信息，得到绘制信息的轮廓及字符信息；\n[0010] b、主机端对轮廓及字符信息进行坐标投影映射，并通过无线传输系统发送至触摸控制设备的主控器；\n[0011] c、主控器依据坐标投影映射在触摸控制设备的显示屏上重绘轮廓及字符信息；\n[0012] d、根据显示屏上的提示，触摸面板接收到触摸操作指令，该触摸操作指令通过无线传输系统发送至主机端；\n[0013] e、主机端通过无线传输系统接收到触摸操作指令后，交给触摸驱动程序对触摸操作指令进行坐标投影映射和轨迹插值计算；\n[0014] f、触摸驱动程序向操作系统报告计算处理后的触摸操作指令，操作系统和应用程序根据所述触摸操作指令的坐标投影映射在主机大屏上进行响应，实现了在触摸控制设备上直接远程触摸主机大屏的效果。\n[0015] 其中，步骤a包括：\n[0016] 当常规工作模式时：通过系统绘制接口监视并提取UI交互控件的绘制信息，截取绘制信息的位置、大小、标题名称，忽略绘制信息的背景渲染、纹理、位图，得到绘制信息的轮廓及字符信息；\n[0017] 当硬提取工作模式时：UI控件事件引擎定期截取主机上的画面，通过图像滤镜算法对原始画面进行目标检测、边缘提取、单色化，得到单色轮廓画面作为绘制信息的轮廓及字符信息。\n[0018] 其中，两种工作模式由触摸控制设备上的硬件按钮进行切换。\n[0019] 其中，触摸控制设备由显示屏、触摸面板、主控器组成，触摸面板覆盖在显示屏的上层，主控器的芯片采用低计算性能的系统级芯片或单片机系统。\n[0020] 其中，无线传输系统指的是成熟的无线数据交互系统，包括WIFI、蓝牙、2.4GHz射频系统。\n[0021] 一种无线触摸遥控系统，包括主机端和触摸控制设备，主机端包括无线传输系统硬件1、触摸驱动程序、UI控件事件引擎、操作系统、应用程序、主机大屏，触摸控制设备包括触摸面板、显示屏、主控器、无线传输系统硬件2，其特征在于，工作方法为：主机端的UI控件事件引擎监视并提取主机上UI交互控件的绘制信息，得到绘制信息的轮廓及字符信息；主机端对轮廓及字符信息进行坐标投影映射，并通过无线传输系统发送至触摸控制设备的主控器；主控器依据坐标投影映射在触摸控制设备的显示屏上重绘轮廓及字符信息；根据显示屏上的提示，触摸面板接收到触摸操作指令，该触摸操作指令通过无线传输系统发送至主机端；主机端通过无线传输系统接收到触摸操作指令后，交给触摸驱动程序对触摸操作指令进行坐标投影映射和轨迹插值计算；触摸驱动程序向操作系统报告计算处理后的触摸操作指令，操作系统和应用程序根据所述触摸操作指令的坐标投影映射在主机大屏上进行响应，实现了在触摸控制设备上直接远程触摸主机大屏的效果。\n[0022] 其中，UI控件事件引擎包括两种工作方式：\n[0023] 当常规工作模式时：通过标准的系统绘制接口监视并提取UI交互控件的绘制信息，截取绘制信息的位置、大小、标题名称，忽略绘制信息的背景渲染、纹理、位图，得到绘制信息的轮廓及字符信息；\n[0024] 当硬提取工作模式时：UI控件事件引擎定期截取主机上的画面，通过成熟的图像滤镜算法对原始画面进行目标检测、边缘提取、单色化，得到单色轮廓画面作为绘制信息的轮廓及字符信息。\n[0025] 其中，两种工作模式由触摸控制设备上的硬件按钮进行切换。\n[0026] 其中，触摸面板覆盖在显示屏的上层，所述主控器的芯片采用低计算性能的系统级芯片或单片机系统。\n[0027] 其中，无线传输系统指的是无线数据交互系统，包括WIFI、蓝牙、2.4GHz射频系统。\n[0028] 本发明的有益效果为：一种无线触摸遥控方法和系统，通过对主机上UI交互控件的轮廓提取和简化，以极低的数据率发送至触摸控制设备的显示屏上进行重绘，重绘后的UI信息引导用户在显示屏上进行正确的触摸操作，消除了双屏同步的处理性能和传输性能的瓶颈，实现了在小型的无线触摸控制设备上直接远程触摸主机大屏的效果，本发明对触摸控制设备的硬件要求低，触摸设备和主机接收端的数据量很小，可使用成熟的2.4GHz射频系统或者蓝牙传输技术，无需依赖高速的无线网络或者传输技术，同时该方法以标准的触摸设备形态进行接口封装，适应性强。\n附图说明\n[0029] 图1是无线触摸遥控方法流程图\n[0030] 图2是主机端UI交互画面示意图\n[0031] 图3是无线触摸遥控统结构示意图\n具体实施方式\n[0032] 下面将结合图1-图3并通过具体实施方式来进一步说明本发明的技术方案。\n[0033] 一种无线触摸遥控方法，包括：\n[0034] a、主机端的UI控件事件引擎监视并提取主机上UI交互控件的绘制信息，得到绘制信息的轮廓及字符信息；\n[0035] b、主机端对轮廓及字符信息进行坐标投影映射，并通过无线传输系统发送至触摸控制设备的主控器，在本实施例中，主机大屏和触摸控制设备的显示屏在坐标换算时采用相对坐标，不受实际物理分辨率的影响；\n[0036] c、主控器依据坐标投影映射在触摸控制设备的显示屏上重绘轮廓及字符信息；\n[0037] d、根据显示屏上的提示，触摸面板接收到触摸操作指令，该触摸操作指令通过无线传输系统发送至主机端；\n[0038] e、主机端通过无线传输系统接收到触摸操作指令后，交给触摸驱动程序对触摸操作指令进行坐标投影映射和轨迹插值计算；\n[0039] f、触摸驱动程序向操作系统报告计算处理后的触摸操作指令，操作系统和应用程序根据所述触摸操作指令的坐标投影映射在主机大屏上进行响应，实现了在触摸控制设备上直接远程触摸主机大屏的效果。\n[0040] 在本实施例中，步骤a包括：\n[0041] 当常规工作模式时：通过系统绘制接口监视并提取UI交互控件的绘制信息，截取绘制信息的位置、大小、标题名称，忽略绘制信息的背景渲染、纹理、位图，得到绘制信息的轮廓及字符信息，在本实施例中，开源系统（Open Source）可以通过修改底层源码实现，非开源系统可以通过钩子（Hook）等类似技术实现；\n[0042] 当硬提取工作模式时：UI控件事件引擎定期截取主机上的画面，通过图像滤镜算法对原始画面进行目标检测、边缘提取、单色化，得到单色轮廓画面作为绘制信息的轮廓及字符信息，本工作模式适用于采用了特殊图形绘制技术生产的用户界面，典型的如3D游戏等，没有通过标准的系统绘制接口进行UI控件绘制，无法捕捉到控件绘制信息，这种情况下可采用硬提取工作模式，此方法提取的UI控件轮廓虽然不够精确，但这些轮廓信息足以引导用户在触摸面板上进行触摸操作。\n[0043] 在本实施例中，两种工作模式由触摸控制设备上的硬件按钮进行切换。\n[0044] 在本实施例中，由于仅传输UI控件的轮廓和字符信息，传输的信息量大大降低，可使用成熟的2.4GHz射频系统或者蓝牙传输技术，无需依赖高速的无线网络或者传输技术，同时也降低了对触摸设备的硬件要求，可采用单色显示屏或低成本彩色显示屏。\n[0045] 在本实施例中，触摸控制设备由显示屏、触摸面板、主控器组成，触摸面板覆盖在显示屏的上层，触摸面板和显示屏尺寸相同，主控器的芯片采用低计算性能的系统级芯片或单片机系统。\n[0046] 在本实施例中，无线传输系统指的是成熟的无线数据交互系统，包括WIFI、蓝牙、\n2.4GHz射频系统。\n[0047] 一种无线触摸遥控系统，包括主机端和触摸控制设备，主机端包括无线传输系统硬件1、触摸驱动程序、UI控件事件引擎、操作系统、应用程序、主机大屏，触摸控制设备包括触摸面板、显示屏、主控器、无线传输系统硬件2，其特征在于，工作方法为：主机端的UI控件事件引擎监视并提取主机上UI交互控件的绘制信息，得到绘制信息的轮廓及字符信息；主机端对轮廓及字符信息进行坐标投影映射，并通过无线传输系统发送至触摸控制设备的主控器；主控器依据坐标投影映射在触摸控制设备的显示屏上重绘轮廓及字符信息；根据显示屏上的提示，触摸面板接收到触摸操作指令，该触摸操作指令通过无线传输系统发送至主机端；主机端通过无线传输系统接收到触摸操作指令后，交给触摸驱动程序对触摸操作指令进行坐标投影映射和轨迹插值计算；触摸驱动程序向操作系统报告计算处理后的触摸操作指令，操作系统和应用程序根据所述触摸操作指令的坐标投影映射在主机大屏上进行响应，实现了在触摸控制设备上直接远程触摸主机大屏的效果。\n[0048] 在本实施例中，UI控件事件引擎包括两种工作方式：\n[0049] 当常规工作模式时：通过系统绘制接口监视并提取UI交互控件的绘制信息，截取绘制信息的位置、大小、标题名称，忽略绘制信息的背景渲染、纹理、位图，得到绘制信息的轮廓及字符信息，在本实施例中，开源系统（Open Source）可以通过修改底层源码实现，非开源系统可以通过钩子（Hook）等类似技术实现；\n[0050] 当硬提取工作模式时：UI控件事件引擎定期截取主机上的画面，通过图像滤镜算法对原始画面进行目标检测、边缘提取、单色化，得到单色轮廓画面作为绘制信息的轮廓及字符信息，本工作模式适用于采用了特殊图形绘制技术生产的用户界面，典型的如3D游戏等，没有通过标准的系统绘制接口进行UI控件绘制，无法捕捉到控件绘制信息，这种情况下可采用硬提取工作模式，此方法提取的UI控件轮廓虽然不够精确，但这些轮廓信息足以引导用户在触摸面板上进行触摸操作。\n[0051] 在本实施例中，两种工作模式由触摸控制设备上的硬件按钮进行切换。\n[0052] 在本实施例中，由于仅传输UI控件的轮廓和字符信息，传输的信息量大大降低，可使用成熟的2.4GHz射频系统或者蓝牙传输技术，无需依赖高速的无线网络或者传输技术，同时也降低了对触摸设备的硬件要求，可采用单色显示屏或低成本彩色显示屏。\n[0053] 在本实施例中，触摸控制设备由显示屏、触摸面板、主控器组成，触摸面板覆盖在显示屏的上层，触摸面板和显示屏尺寸相同，主控器的芯片采用低计算性能的系统级芯片或单片机系统。\n[0054] 在本实施例中，无线传输系统指的是无线数据交互系统，包括WIFI、蓝牙、2.4GHz射频系统。\n[0055] 以上所述仅为本发明的具体实施方式，这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。