一种基于鼠标的语音识别人机交互方法

暂无

一种基于鼠标的语音识别人机交互方法\n技术领域\n[0001] 本发明涉及计算机输入输出设备，尤其涉及一种基于鼠标的语音识别人机交互方法。\n背景技术\n[0002] 鼠标发明到现在已经有几十年历史，其作为一种计算机的人机交互设备被广泛应用，现在市场上的鼠标基本功能是用来控制光标移动，和实现一些简单按键功能，例如左键、右键、滚轮等，这些严重限制了鼠标的人机交互能力，所以人们开始设计一些具备更多功能的鼠标。具备语音识别能力的鼠标一直是人们梦想的，在很多发明专利里面也提出相关设计方案。主要概况起来有三大类：一是利用语音识别技术来实现鼠标的功能，解决一些残疾人无法用手操作鼠标的问题，该方案不是提升鼠标功能，是替代鼠标操作方式。二是在鼠标上集成语音识别处理模块，依赖鼠标上的语音识别处理模块实现语音识别，从而达到语音控制计算机和鼠标的目的，由于语音识别模块本身计算能力限制，不能实现复杂的语音识别算法，在识别准确率率和识别范围方面都受到严重限制，在识别结果的二次处理方面也未提及，这也严重限制了用户的语音交互效果。三是利用语音识别技术跟其它交互技术融合解决人机交互问题，例如：基于视觉跟踪和语音识别结合的方案（专利号：ZL \n200710039996.7），在该专利里重点提到了如何利用视觉跟踪和语音识别结合实现鼠标控制的功能，语音识别也仅限制于“左键单机”、“右键单机”、“左键双击”等基本的功能，语音识别率也不是很高，只有86%，其在语音识别方面的研究不够深入，具体如何应用语音识别方面更没有详细介绍。\n发明内容\n[0003] 本发明要解决的技术问题是现有的鼠标集成语音技术功能单一、识别准确率低、识别范围窄、人机交互的复杂度较高，交互效率较低，为此提供一种基于鼠标的语音识别人机交互方法。\n[0004] 本发明的技术方案是：一种基于鼠标的语音识别人机交互装置，它包括语音采集功能的鼠标和集成语音识别处理能力的鼠标驱动程序，所述鼠标内集成有鼠标芯片、语音识别按键、麦克风、语音编解码模块和LED指示灯，所述鼠标芯片和语音编解码模块通过USB HUB芯片/RF芯片与计算机内的鼠标驱动程序通信，所述鼠标驱动程序包括离线命令词语音识别模块、离线随意语音转写模块、在线随意语音转写模块、语音识别引擎自动选择模块、语义理解模块和计算机操作控制模块。\n[0005] 一种基于鼠标的语音识别人机交互的方法，它包括以下步骤：（1）、在鼠标内集成的麦克风实时采集语音信息，采集到的语音通过语音编解码模块处理后上传至计算机，计算机内安装的鼠标驱动程序实时接收语音信息；（2）、鼠标驱动程序同时检测鼠标上的语音识别按键，当按键按下时，鼠标驱动程序启动录音功能，LED指示灯亮，松开语音识别按键时，录音结束；（3）、在启动录音功能同时启动语音识别引擎自动选择模块，根据特定的逻辑完成离线命令词模块、离线随意语音转写识别模块、在线随意语音转写模块之间的自动选择，具体选择逻辑如下：首先判断是否有文本输入的光标聚焦，如无，则直接启动离线命令词识别模块，如有，判断是否计算机在线，离线时，启动离线随意语音转写模块，在线时，启动在线随意语音转写模块；如果有文本输入光标聚焦时，启动离线命令词语音识别模块，同时启动在线或者离线随意语音转写模块，获得两个识别结果返回值，再判断离线命令词语音识别模块返回的置信度，根据置信度判断，当置信度高于设定的预值时，则将离线命令词语音识别模块返回值作为我们的结果，并完成计算机控制操作；当置信度低于设定的预值时，则将在线或者离线随意语音转写作为我们的结果，并完成文本输入；（4）、在完成录音和语音识别引擎自动选择模块选择后，将录音信息提交给离线命令词语音识别模块，返回识别结果，LED灯熄灭；（5）、对识别结果进行置信度判断，判断置信度是否达到我们设置的门限，如果高于门限值，启动语义理解模块对识别结果进行分析处理，根据分析结果启动计算机控制模块完成计算机控制操作；（6）、如果低于设置的门限值，启动文本输入功能，完成信息输入，如果没有文本输入光标聚焦，放弃识别结果，不做任何操作。\n[0006] 上述方案中鼠标和计算机之间是有线或无线连接。\n[0007] 本发明的有益效果是提供了既具备传统鼠标功能又实现高性能语音识别功能的鼠标产品。集成了多种语音识别功能，通过语音命令词控制计算机，识别准确率达到95%以上，通过在线语音识别实现随意文本输入，识别范围大幅扩大，识别准确率平均超过85%。通过该发明可以大大降低语音识别应用的使用门槛，并成为计算机输入输出方式的重要补充。通过本发明可以充分发挥语音识别交互技术的优势特点，降低人机交互的复杂度，提高人机交互效率。\n附图说明\n[0008] 图1是本发明整体示意图；\n[0009] 图2是本发明硬件框图；\n[0010] 图3是本发明鼠标驱动程序框图；\n[0011] 图4是本发明鼠标驱动程序流程图。\n具体实施方式\n[0012] 下面结合附图对本发明做进一步说明。\n[0013] 如图1所示，本发明包括鼠标和鼠标驱动程序两大部分，首先鼠标和鼠标驱动程序保留传统鼠标要求的构成和功能，鼠标和计算机之间可以是有线或无线连接。在此基础上，本发明对其进行了创新设计。鼠标上，本发明增加了语音控制按键、声音采集麦克风、音频编解码模块以及LED指示灯。在鼠标驱动程序上，本发明增加了离线命令词语音识别模块、离线随意语音转写模块、在线随意语音转写模块、语音识别引擎自动选择模块、语义理解模块和计算机操作控制模块等。\n[0014] 如图2所示，本发明硬件包括语音按键、鼠标芯片、LED指示灯、鼠标其它功能键、采集语音麦克风、语音编解码芯片、USB HUB芯片/RF芯片等部分组成。\n[0015] 语音按键：用来启动语音识别的专用按键，按下该按键，开始采集语音，松开按键结束语音采集。\n[0016] 鼠标芯片：主要用来实现鼠标传统功能，检测鼠标移动，检查各按键，控制指示灯，并跟驱动程序之间进行数据交互。\n[0017] LED指示灯：主要功能是指示识别状态，开始语音采集，指示灯亮，返回识别结果，指示灯灭。\n[0018] 鼠标其它功能键：主要指左键、右键、滚轮等。\n[0019] 采集语音麦克风：本方案中可以采用驻极体麦克风或者硅麦作为采集语音麦克风。\n[0020] 音频编解码模块：主要用来实现音频模数转换和压缩编码功能。\n[0021] USB HUB芯片/RF芯片：根据鼠标是USB有线鼠标还是RF无线鼠标进行适当选择，实现鼠标跟计算机之间的通讯问题。\n[0022] 如果3所示，本发明的鼠标驱动程序处理语音数据框图，鼠标收到音频数据后，首先启动识别引擎自动选择模块，判断启动哪个语音识别模块最合适用户的需求，再启动语义理解模块分析用户意图，最后启动计算机控制模块完成计算机控制或文本输入。\n[0023] 离线命令词识别模块：指针对预置的特点词语的语音识别。离线命令词识别的优点是：占用资源低，识别速度快，识别准确率高，不依赖网络。缺点是：识别范围小，要求用户严格按照命令词说语音。\n[0024] 离线随意语音转写模块：指针对特定范围的随意语音识别转写，不依赖网络工作。\n优点是，不依赖网络，用户可以随意说口语，不限制用户的语法结构；缺点是，识别占用资源较高，识别范围受限，一般是预置的某些范围，例如：常用口语等。\n[0025] 在线随意语音转写模块：该识别方式主要依赖在线云端语音识别服务实现的。优点是，识别范围大，识别率较高，支持各类口音以及方言识别等。缺点是，识别率没有命令词识别率高，依赖网络工作，稳定性受网络环境影响。\n[0026] 语音识别引擎自动选择模块：三个识别引擎需要根据用户的需要进行自由切换，充分发挥各自引擎的优势特点。所以本发明设计了语音识别引擎自动选择模块，具体逻辑见流程图。\n[0027] 语义理解模块：如果说语音识别解决的是语音转化成文字的问题，那么语义理解解决模块解决的是判断文字的内涵，理解用户的真实意图。例如：“听音乐”背后的意图是：\n打开音乐播放器，并播放音乐。\n[0028] 计算机操作控制模块：该模块是根据操作系统设计的控制软件，语义理解模块可以直接调用该模块实现计算机的控制操作。\n[0029] 如图4所示，本发明的驱动程序基本数据流程图，从流程图上可以看出以下几个方面的创新。\n[0030] 本发明充分融合了多种语音识别技术，多种识别技术自由切换，充分发挥了语音识别的最佳效果。利用离线命令词识别模块实现计算机的快速、准确控制；利用离线和在线的随意语音转写模块实现复杂文本的输入。这充分发挥命令词识别算法的准确率高和速度快的特点，同时又发挥在线转写识别模块处理复杂语音识别的优势。充分融合了多种语音识别技术的优势特点，扬长避短，这是现阶段语音技术在人机交互方面充分展示其优势的关键设计。\n[0031] 本发明在人机交互方面大大降低对操作用户的要求，设计了语义理解模块，根据识别的文本内容主动分析用户意图，大大提高设计的智能化程度，让用户获得更加自然的交互体验。这主要体现在以下几个方面：\n[0032] 不同的语音口令，指向相同的计算机控制动作；例如：“关闭计算机”、“关计算机”“关机”等语音口令，经过语义理解模块处理后，都指向关机操作；\n[0033] 简单的口令可以快速实现原本复杂的计算机操作；例如：计算机要实现卸载程序，需要这样操作：开始菜单-控制面板-卸载更改程序，现在可以语音口令“卸载程序”，一步到位。\n[0034] 以理解用户问题的方式引导用户操作计算机；例如：突然网络掉线了，用户可以说口令：“网络掉线了”，计算机根据这个口令，打开网络设置界面，并引导用户检查网络。\n[0035] 本发明保留传统鼠标的全部功能，例如光标控制、左右键、滚轮、有/无线等。这种设计尽量兼容用户原来操作鼠标的习惯，不会给用户带来使用上的不便。\n[0036] 本发明在鼠标上增加语音采集电路、语音识别开关控制电路、语音识别指示灯电路。该设计有三个方面的优势：a.电路设计方案成熟，成本低；b.语音按键启动语音识别非常方便；c.建立专用的语音采集通道，不在对计算机其它外设有依赖和干扰。有的设计方案需要用户戴耳机或者对着话筒说话，这给用户使用语音识别带来极大的不方便。本发明只需要用户使用语音识别鼠标，随时启动语音控制和语音输入。\n[0037] 用户在操作计算机时，突然想打开“控制面板”进行设置，可以这样操作：按住鼠标上的语音按键，说：“控制面板”，鼠标驱动程序直接打开“控制面板”。在用语音控制时，用户无需做任何退出现在正在执行的操作界面。\n[0038] 在工作时，突然想听音乐，可以这样操作：按住鼠标上的语音按键，说：“播放音乐”，鼠标驱动程序直接打开音乐播放器，调出常听的音乐。\n[0039] 在浏览互联网时，想在百度上搜索框里输入：“如何更高效地操作计算机”，用户除了用键盘输入方式，还可用这样操作，按住鼠标上的语音按键，说：“如何更高效地操作计算机”，鼠标驱动程序自动完成语音识别，并将文本信息输入到百度对话框里。