一种基于视线跟踪和P300脑电电位的字符输入装置

1.一种基于视线跟踪和P300脑电电位的字符输入装置，其特征在于：包括摄像机阵列、视线跟踪模块、键盘模块、脑电信号分析模块和系统控制模块；其中摄像机阵列由多个摄像机组成，用于获取用户的面部图像；视线跟踪模块用于分析摄像机阵列获取的用户的面部图像得到视线信息；键盘模块用于显示字符，并求得用户视线与键盘界面的交点，该交点称为视线点；以视线点为中心，确定一个小区域，该区域内的字符键组成了一个候选字符的集合，其中包含用户所期望的字符键，根据视线点定位结果和精度，计算出候选字符集合中每个可能字符为用户所期望字符的概率，确定字符的空间域候选集，通过空间域候选集中的字符闪烁，诱发用户脑电信号中的P300电位；脑电信号分析模块用于采集用户脑电信号并进行P300电位成分检测；系统控制模块用于实现其它模块间的时间同步，对照从键盘模块获取的字符键闪烁时间表找出可能作为此次P300响应的靶刺激的所有字符键闪烁事件，计算出各次闪烁为靶刺激的概率，得到时间域候选集；对于同时包含于两个候选集中的字符，将其在两个集合中的概率按同等权值联合，计算出可能性最高的字符作为对用户意图的判定，然后转化为字符输入。
2.如权利要求1所述的字符输入装置，其特征在于：所述摄像机阵列由2-8个摄像机组成，摄像机分布在键盘框上并朝向用户，获取面部图像。
3.如权利要求1所述的字符输入装置，其特征在于：所述视线跟踪模块从每个摄像机获取的用户眼部图像中分割出虹膜部分，将其形状拟合成椭圆，由该椭圆参数计算得到瞳孔相对于眼角的偏移程度；再将多个摄像机获取的图像信息进行融合，计算出一定精度下的用户视线方向，即用户视线信息，并告知键盘模块。
4.如权利要求1所述的字符输入装置，其特征在于：所述键盘模块包括键盘界面和键盘控制器，键盘界面显示于计算机显示器上，键盘控制器控制键盘界面上任意一个区域内所有字符键产生随机顺序的闪烁。

一种基于视线跟踪和P300脑电电位的字符输入装置\n技术领域\n[0001] 本发明涉及一种用于字符输入的计算机外部设备，具体是指一种将视线跟踪技术和脑电分析技术相结合的字符输入装置。\n背景技术\n[0002] 人与计算机交互(Human-Computer Interaction，HCI)是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人-机交流，提高交互的自然性和高效性。传统的字符输入都是通过人手操作键盘、鼠标或手势等方式进行，为了解放双手，实现不依赖于人手的字符输入，人们发明了语音技术、视线跟踪技术和脑电电位检测技术等字符输入方法。语音技术的最大局限性是易受背景噪音的影响。本发明是一种将视线跟踪技术和脑电电位检测技术相结合的字符输入技术，不仅解放了双手，也不受背景噪声的影响。这种技术也特别适用于上肢残障人员方便使用计算机等电子设备。\n[0003] 1990年Robert J.K.Jacob(Human-Computer Interaction Lab，Naval Research Laboratory，Washington，D.C)实现了一组基于视线输入的交互技术，包括目标选择、目标移动、滚动文本及菜单选择等。1993年美国卡内基-梅隆大学的Shumeet Baluja和DeanPomerleau提出了一种由人眼的图像来推测用户眼睛在计算机屏幕上所注视的位置，根据注视时间长短作为是否“点击”的条件，实现基于视线的指令输入系统。\n[0004] 2002年，剑桥大学的David J.C.McKay等开发出一种能够用来取代计算机标准键盘布局的软件---Dasher，它只是单纯面向文字输入任务，通过对字典单词进行编码和压缩，“选择出”而不是“拼写出”用户期望的单词，所以Dasher更多的被看作是一种单词输入法，相对于通过“拼写”完成字符输入的拼写器(speller)来说，其输入结果的自由度较低。在基于视线跟踪的字符输入HCI系统中，操作者对视线的控制是一直都是存在的，即视线时时刻刻都在对系统构成输入，这一点和鼠标很不一样。因此，在用户操作的时候对其有意识和无意识的目标选择活动无法有效区分，这也在一定程度上限制了这类系统的推广和应用。\n[0005] 美国专利“Device and method for estimating a mentaldecision”(Patent Number：5,649,061)通过用户眼球注视(eyefixation)和单一事件诱发的脑皮层电位来估计用户在选择与任务相关兴趣(taskrelated interest)的可视化提示时的心理决定(mentaldecision)。在该发明中，眼球跟踪模块(eye tracker)利用眼球注视过程的开始特征来触发对注视过程诱发的脑皮层电位的计算。注视过程结束后，将注视过程的各种属性(包括脑皮层电位的参数化表示)输入到人工神经网络中，得到用户心理决定的估计。\n[0006] P300事件相关电位(P300-REP，以下简称P300)是从人的头皮上记录的脑电图(EEG)中观察到的一种对外界刺激产生的响应。P300响应已经被证实是一种能用于控制脑机接口(brain-computerinterface，BCI)的可靠信号。产生P300的两个前提是[0007] (1)对象期望的事件必须是一个小概率事件；\n[0008] (2)此事件具体发生的时间应该是随机的。\n[0009] Emanuel Donchin等人(the Department of Psychology andBeckman Institute，University of Illinois at Urbana-Champaign)于2000年提出了一种基于P300的拼写器。他们使用可视虚拟键盘(含6行6列共36个字符)上随机产生的光信号诱发用户针对其所期望输入的字符所产生的P300，通过检测P300产生的时间拼写器即可判定用户期望输入的字符。2000年后，很多研究者都以这种虚拟拼写器范本，改良P300拼写器的性能。在美国专利“Communicationmethods based on brain computer interfaces”(Publication number：US 2005/0017870 A1)使用了含8行8列共64个字符的键盘。中国发明专利“一种基于P 300脑电电位的中文输入BCI系统”(申请号200710164418.6)，使用的输入方法是以五种基本笔画作为基本选项，进行汉字的选择。基于视觉刺激诱发的P300的拼写器输入比特率不高，原因之一在于其诱发P300的机制。在键盘上进行字符的闪烁，要在保证用户期望字符小概率的(激发足够显著的P300波形)闪烁的同时，减少每个字符判定的时间，这本身就是一个矛盾。支持更多的可能字符必然会延长用户期望字符从被用户注意到拼写器完成判定这一过程的平均时间，造成单位时间内实际判定的字符数减少。再加之P300属于事件相关电位，在脑波的背景噪声中的检验与识别本身就是较困难的问题，所以在这类拼写器的研究中，比特率始终是研究人员主要关注的性能指标。\n[0010] Jonathan R.Wolpaw(Wadsworth Center，New York StateDepartment of Health，USA)等人在2000年提出了衡量这类拼写器的输入速度比特率计算方法。他们将每一次判定可达到的比特数表示为\n[0011] \n[0012] 其中N是所有可能字符的数量(每个字符被选中的可能性相等)，P是准确率。比特率R的单位是比特/每分钟(bits/minute)，由R＝BM确定，其中B是每个字符判定需要的比特数，M是平均每分钟能做出的字符判定的个数。\n发明内容\n[0013] 本发明是一种基于视线跟踪和P300脑电电位的字符输入装置，能够让用户通过视线移动和心理活动实现字符输入操作。本发明的基本思想是在诱发用户视觉相关P300进行离散任务集中的目标选择时融合用户的视线信息，将视线跟踪的高空间分辨率和P300检测的高时间分辨率相结合，提高拼写器的输入比特率。\n[0014] 与P300拼写器相比，本发明融合了用户视线定位信息，能在空间上缩小用户期望字符所在的位置范围，即通过视线在键盘上的移动确定期望字符所在的小区域，形成空间上的候选字符集合(空间域候选集)，然后在空间域候选集中再进行如P300拼写器的字符判定方法，得到时间上的候选字符集合(时间域候选集)，根据这两个候选集合判定用户期望字符。这样可以同时达到增加可选字符数量、缩短字符判定时间、提高判定准确度的目的。\n[0015] 本发明的目的是提供一种不需要人手参与、不受使用环境噪声影响的新型人机交互技术。这种技术也特别适用于上肢残障人员方便使用计算机等设备。\n[0016] 本发明包括摄像机阵列1、视线跟踪模块4、键盘模块5、脑电信号分析模块6和系统控制模块7；其中摄像机阵列1由多个摄像机组成，用于获取用户的视线信息；视线跟踪模块4用于分析摄像机阵列1获取的用户视线信息得到用户的视线方向；键盘模块5用于显示字符并求得用户视线与键盘界面的交点，该交点称为视线点。以视线点为中心，确定一个小区域，该区域内的字符键组成了一个候选字符的集合，其中包含用户所期望的字符键，根据视线点定位结果和精度，计算出候选字符集合中每个可能字符为用户所期望字符的概率，确定字符的空间域候选集，通过空间域候选集中的字符闪烁，诱发用户脑电信号中的P300电位；脑电信号分析模块6用于采集用户脑电信号并进行P300成分检测；系统控制模块7用于实现其它模块间的时间同步，对照从键盘模块获取的字符键闪烁时间表找出可能作为此次P300响应的靶刺激的所有字符键闪烁事件，计算出各次闪烁为靶刺激的概率，得到时间域候选集；对于同时包含于两个候选集中的字符，将其在两个集合中的概率按同等权值联合，计算出可能性最高的字符作为对用户意图的判定，然后转化为字符输入。\n[0017] (1)本发明中，摄像机阵列1由2-8个摄像机组成，摄像机分布在键盘框上并朝向用户，获取包含视线信息的面部图像。\n[0018] (2)视线跟踪模块4融合多摄像机获取的面部图像，计算用户视线方向。\n[0019] (3)键盘模块5通过软件实现，包含显示在显示器上的键盘界面2和后台的键盘控制器8。键盘界面2上排列有字符键，每个字符键上显示一个供用户选择的字符，每个字符键在键盘控制器8的控制下进行闪烁；键盘控制器8控制键盘界面2上的字符键闪烁并完成数据信息的计算和数据交换。根据用户视线方向求得用户视线与键盘界面2的交点，该交点称为视线点。以视线点为中心，确定一个小区域，该区域内的字符键组成了一个候选字符的集合，其中包含用户所期望的字符键。根据视线点定位结果和精度，计算出候选字符集合中每个可能字符为用户所期望字符的概率，得到空间域候选集，传输至系统控制模块7。\n同时，空间域候选集内的所有字符键进行等概率随机顺序闪烁，以诱发用户脑电中的P 300电位。记录每次闪烁的字符键及其闪烁时间，得到字符键闪烁时间表，传输至系统控制模块\n7。\n[0020] (4)脑电信号分析模块6监视用户脑电信号中P300的产生情况。一旦检测出P300成分，即将其产生的时间传输至系统控制模块7。\n[0021] (5)系统控制模块7从脑电信号分析模块6得到用户脑电信号中P300的产生时间，对照从键盘模块5获取的字符键闪烁时间表找出可能作为此次P300响应的靶刺激的所有字符键闪烁事件，计算出各次闪烁为靶刺激的概率，得到时间域候选集。根据将空间域候选集和时间域候选集中的概率信息，计算出可能性最高的字符作为对用户意图的判定，输入到计算机。\n附图说明\n[0022] 图1为本发明示意图；\n[0023] 图2为本发明各模块间的数据流图；\n[0024] 图3为完成一次字符输入的流程图；\n[0025] 图4为本发明的键盘界面；\n[0026] 图5为本装置在使用时的一种键盘界面与摄像机阵列的部署方案。\n[0027] 图6为键盘模块内部数据流图\n[0028] 附图中：1-摄像机阵列；2-键盘界面；3-显示器；4-视线跟踪模块；5-键盘模块；\n6-脑电信号分析模块；7-系统控制模块；8-键盘控制器；9-电极帽。\n具体实施方式\n[0029] 本发明是一种基于视线跟踪和P300脑电电位的字符输入装置，包括：摄像机阵列\n1、视线跟踪模块4、键盘模块5、脑电信号分析模块6、系统控制模块7。图2是装置各模块间的数据流图。\n[0030] 本发明中，摄像机阵列1由2-8个摄像机组成，摄像机分布在键盘框上并朝向用户同步获取其面部图像。\n[0031] 视线跟踪模块4从每个摄像机获取的用户眼部图像中分割出虹膜部分，将其形状拟合成椭圆，由该椭圆参数计算得到瞳孔相对于眼角的偏移程度。再将多个摄像机获取的图像信息进行融合，计算出一定精度下的用户视线方向，并告知键盘模块5。\n[0032] 键盘控制器8根据视线定位在水平方向与垂直方向上的精度，以视线点为中心得到一个键盘界面2上的椭圆形区域，确保用户期望的字符键与该区域有交集。键盘界面2上所有与该区域有交集的字符键组成候选字符集合，计算出用户实际注视位置在各候选字符键区域内的概率，将候选字符键的内容与其对应的概率组成空间域候选集，传输至系统控制模块7。空间域候选集中的字符键按照等概率的随机顺序闪烁，闪烁间隔为200ms，以诱发用户脑电中的P300。记录字符键闪烁的时间得到字符键闪烁时间表传输至系统控制模块7。\n[0033] 脑电信号分析模块6使用异步检测技术实时监视用户脑电信号中P300的产生情况。一旦检测出P300成分，即将其产生时间传输至系统控制模块7。\n[0034] 系统控制模块7得到脑电信号分析模块6告知的P300响应发生的时间后，查看字符键闪烁时间表，找到响应时间之前所有可能诱发此次P300响应的所有闪烁事件(通常是该时间前200ms-500ms发生的闪烁事件)，计算各次闪烁事件为靶刺激的概率，将每次闪烁的字符键内容与对应的概率组成时间域候选集。根据时间域候选集与从键盘模块5得到的空间域候选集，计算出可能性最高的字符作为对用户意图的判定，输入到计算机。最简单的方法是对于同时包含于两个候选集中的字符，将其在两个集合中的概率按同等权值联合，选取概率最高的候选字符作为对用户意图的判断。\n[0035] 图3是一次字符输入的流程。当用户注视期望输入的字符键时，视线跟踪过程确定视线点，基于P300的字符选择过程在视线点附近区域内的字符之中进行对用户期望的估计工作。这个工作的基本步骤是各个候选字符键以随机顺序轮流闪烁以使每个候选字符键的闪烁事件都满足诱发P300的两个条件；候选的所有字符键都闪烁过且只闪烁过一次算做一轮闪烁；进行若干轮闪烁直到检测到用户脑电信息中的P300成分，算做一次输入；\n闪烁过程中要保证各候选键闪烁的概率相等。脑电信号分析模块6实时在线分析脑电信号，监测P300成分的产生情况。当检测到用户的P300响应时，计算此时刻之前的闪烁事件为该响应靶刺激的概率。再结合用户视线定位信息提供的判定条件，确定用户期望选择的字符，并输入到外部设备。\n[0036] 图5是键盘界面2的一种部署方案。其中，键盘界面2显示在显示器的下半部分，两个摄像机嵌入在显示器周边。这样用户可以在头部不转动的情况下监督装置输出结果，并及时对结果做出反应。\n[0037] 以字母“T”为例，实际输入过程如下：\n[0038] 1)用户在键盘界面2上找到T；\n[0039] 2)用户等待T闪烁，并准备在看到T闪烁后立即默念某一数字；\n[0040] 3)视线跟踪模块4为用户视线定位，得知视线与键盘界面2的交点位于“T”字符键中心，根据视线跟踪精度得到“T”键和与“T”键相邻的6个字符键为空间域候选集，并计算得到候选字符各自的概率(假设字符内容和对应的概率集合为{T：40％，5：10％，Y：\n10％，H：10％，G：10％，F：10％，R：10％})。同时，在此7个字符键的候选集合中每次以1/7的概率闪烁一个字符键，每次闪烁间隔200毫秒，直到用户视线移动；\n[0041] 4)T闪烁，用户立即默念了某一数字，此时用户脑电中会有P300产生；\n[0042] 5)脑电信号分析模块6检测出P300产生的时间，由键盘提供的闪烁事件时间表，找到该时间前500ms内的闪烁事件，计算出可能与此次P300响应相关的字符键闪烁事件及其为靶刺激的概率，得到时间域候选集(假设字符内容和对应的概率集合为{5：5％，Y：\n15％，F：30％，T：40％，R：10％})。结合3)中通过视线定位的信息得到的空间域候选集，计算得到“T”在两个候选集中的平均概率最大(为40％)，则认为“T”为用户所期望的输入，将“T”输入计算机。