一种基于多信息融合的三模态串行脑-机接口方法

1.一种基于多信息融合的三模态串行脑-机接口方法，其特征在于，所述方法包括以下步骤：
(1)采用两种视觉刺激范式对被试者进行刺激；
(2)提取被试者的脑电数据；
(3)设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果；
(4)将最终模式识别结果转换为控制指令，通过执行控制指令完成特定的任务；
所述设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果的步骤具体为：
1)首先调用参数；
2)读取实时的脑电数据，从第二秒开始正式进入到数据处理阶段；
3)处理数据时，依照顺序首先进入光标移动状态的判断，截取当前时刻前2s的脑电数据，进行典型相关分析，得到最大的典型相关系数，并与前1s数据得到的最大典型相关系数做累加，累加3次后，将累加结果与设定好的阈值相比较，若大于阈值则统计3次的结果并做出模式识别后将模式识别结果发出；
4)如果没有大于阈值，进行咬合操作的判断，处理分析所截取2s数据的后1s数据进行咬合操作的时域分析，提取时域特征并进行判断，若判断为长时程咬合操作，则代表进入鼠标单击状态，并发送模式识别结果；若为短时程咬合操作，则进入字符拼写状态的预开启模式；若判断为无咬合操作，则代表处于空闲状态；
所述长时程咬合操作为咬合持续时间大于600ms；所述短时程咬合操作为咬合持续时间小于600ms；
5)一轮结果输出后，继续下一轮状态的判断和结果输出；
其中，
所述光标移动状态为检测并判断用户正注视SSVEP闪灯范式，进而将最终模式识别结果转化为光标移动的控制指令；
所述字符拼写状态为检测并判断用户开启P300模式，并注视Oddball范式中的目标字符，进而将最终模式识别结果转化为键盘输入的控制指令；
所述鼠标单击状态为检测并判断用户执行了长时程的咬合动作，进而将最终模式识别结果转化为单击鼠标左键的控制指令；
所述空闲状态是从用户的数据中没有检测出任何信息特征时，判定用户处于空闲状态，空闲状态时，不输出任何结果且不执行任何操作。
2.根据权利要求1所述的一种基于多信息融合的三模态串行脑-机接口方法，其特征在于，所述提取被试者的脑电数据的步骤具体为：
利用Scan4.5软件提供的TCP/IP协议，将BCI2000与采集软件相连，通过FieldTrip工具包实现脑电数据的实时采集和读取。

一种基于多信息融合的三模态串行脑-机接口方法\n技术领域\n[0001] 本发明涉及人机接口领域，特别涉及一种基于多信息融合的三模态串行脑-机接口方法。\n背景技术\n[0002] 人机接口是指人机交互界面中建立联系、交换信息的输入/输出设备的接口。人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机接口是计算机同人机交互设备之间实现信息传输的控制电路。它与人机交互设备一起完成信息形式的转换和信息传输控制的功能。人机交互界面的设计要包含用户对系统的理解（即心智模型），是为了提高系统的可用性或者用户友好性。\n[0003] 作为新型的人机接口，脑-机接口（BCI）是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。现有的脑-机接口常用的两种诱发方式有内源性ERP（事件相关电位）以及视觉诱发电位。这两种方式均能够较好地搭建用户与设备之间的交流和控制渠道。\n[0004] 现实生活中的一些操作和活动复杂，完成一项具体的任务需要较多的步骤和不同的操作流程。因此，单一范式的BCI系统不足以支持用户完成日常生活中某一特定的任务和动作。例如辅助抓握水杯喝水，在不考虑移动速度和抓握程度的情况下需要完成移动和抓握两种基本功能，这是单一范式BCI不能够同时输出实现的。现有的脑-机接口设备利用单一类型的脑电信号操纵人机接口，导致其应用范围较窄，操作灵活性较差以及操作指令集较少，不能体现出系统的用户友好性和可用性。例如，传统的刺激编码模式下的P300-Speller不利于实现大指令集的信息传输，存在信息传输效率低、可选字符数目有限等问题，难以满足实际应用的要求。\n发明内容\n[0005] 本发明提供了一种基于多信息融合的三模态串行脑-机接口方法，本发明增加了BCI系统的操作指令集数目，操作灵活性较好，更适用于现实的生活场景，详见下文描述：\n[0006] 一种基于多信息融合的三模态串行脑-机接口方法，所述方法包括以下步骤：\n[0007] （1）采用两种视觉刺激范式对被试者进行刺激；\n[0008] （2）提取被试者的脑电数据；\n[0009] （3）设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果；\n[0010] （4）将最终模式识别结果转换为控制指令，通过执行控制指令完成特定的任务。\n[0011] 所述提取被试者的脑电数据的步骤具体为：\n[0012] 利用Scan4.5软件提供的TCP/IP协议，将BCI2000与采集软件相连，通过FieldTrip工具包实现脑电数据的实时采集和读取。\n[0013] 所述设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果的步骤具体为：\n[0014] 1）首先调用参数；\n[0015] 2）读取实时的脑电数据，从第二秒开始正式进入到数据处理阶段；\n[0016] 3）处理数据时，依照顺序首先进入光标移动状态的判断，截取当前时刻前2s的脑电数据，进行典型相关分析，得到最大的典型相关系数，并与前1s数据得到的最大典型相关系数做累加，累加3次后，将累加结果与设定好的阈值相比较，若大于阈值则统计3次的结果并做出模式识别后将模式识别结果发出；\n[0017] 4）如果没有大于阈值，进行咬合操作的判断，处理分析所截取2s数据的后1s数据进行咬合操作的时域分析，提取时域特征并进行判断，若判断为长时程咬合操作，则代表进入鼠标单击状态，并发送模式识别结果；若为短时程咬合操作，则进入字符拼写状态的预开启模式；若判断为无咬合操作，则代表处于空闲状态；\n[0018] 5）一轮结果输出后，继续下一轮状态的判断和结果输出。\n[0019] 所述光标移动状态为检测并判断用户正注视SSVEP闪灯范式，进而将最终模式识别结果转化为光标移动的控制指令；\n[0020] 所述字符拼写状态为检测并判断用户开启P300模式，并注视Oddball范式中的目标字符，进而将最终模式识别结果转化为键盘输入的控制指令；\n[0021] 所述鼠标单击状态为检测并判断用户执行了长时程的咬合动作，进而将最终模式识别结果转化为单击鼠标左键的控制指令；\n[0022] 所述空闲状态是从用户的数据中没有检测出任何信息特征时，判定用户处于空闲状态，空闲状态时，不输出任何结果且不执行任何操作。\n[0023] 所述长时程咬合操作为咬合持续时间大于600ms；所述短时程咬合操作为咬合持续时间小于600ms。\n[0024] 本发明提供的技术方案的有益效果是：本方法设计的混合范式脑-机接口引入了除脑电信号之外的电生理控制信号，在某种程度上拓展了脑-机接口的适用环境和对象。其具有稳定性较高、多选择项以及适用范围广等优点，为脑-机接口尽快步入大范围时间应用阶段奠定基础。该项发明可以用于电子娱乐、工业控制等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。\n附图说明\n[0025] 图1为基于多信息融合的三模态串行脑-机接口方法的示意图；\n[0026] 图2（a）为Oddball行列范式的示意图；\n[0027] 图2（b）为稳态视觉诱发电位闪灯范式的示意图；\n[0028] 图3为提取被试者的脑电数据的示意图；\n[0029] 图4为获取最终模式识别结果的流程图；\n[0030] 图5为采用CCA算法对脑电信号进行分析的示意图。\n具体实施方式\n[0031] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。\n[0032] 混合式脑-机接口(hybrid brain computer interface，hBCI)是一种帮助人类发送信息的联合了其它至少一个系统或设备的脑-机接口。这里其他的通讯系统可以是：另外一个脑-机接口设备（纯粹hBCI）；基于其他生理信号的设备（生理hBCI），如肌电、眼电和心率等等；其他通讯设备（混杂hBCI），可以是应用于残疾人群的辅助设备或常见的输入设备（键盘和鼠标等）。混合范式脑-机接口按照其混合控制的方式可以分为两种基本的类型，串行模式和并行模式。串行模式中不同的信号按照先后顺序进行控制，此类系统可以有效的降低系统的假阳性率；而并行模式则是两种感觉模式同时协同进行控制，相当于增加了系统的可识别的任务数。\n[0033] 日常的活动和任务一般可以分解为固定的步骤来完成。因此，串行混合范式脑-机接口解决了单一范式BCI的应用瓶颈，在一定程度上能够实现日常的操作活动，从某种程度上能够满足日常生活的需要。\n[0034] 为了增加BCI系统的操作指令集数目，改善操作的灵活性，本发明实施例提供了一种基于多信息融合的三模态串行脑-机接口，参见图1，详见下文描述：\n[0035] 101：采用两种视觉刺激范式对被试者进行刺激；\n[0036] 该设计视觉刺激包括传统的Oddball行列范式（诱发事件相关电位）[1]和稳态视觉诱发电位（SSVEP）[2]的闪灯范式。范式示意图分别如图2-a和b所示。其中传统的Oddball行列范式由Eprime软件平台设计实现，闪灯范式由FPGA平台设计实现。两种视觉刺激范式均实时地呈现给用户。\n[0037] P300是指在刺激出现后300～400ms时出现的内源性ERP成分，通常通过Oddball范式诱发。所谓Oddball范式，是指在标准刺激(大概率刺激)的序列中，偏差刺激或靶刺激(小概率刺激，一般靶刺激概率为10-30%)诱发的ERP。偏差刺激或靶刺激出现的概率越小，诱发的P300的振幅越大。P300-Speller是利用脑电信号实现文字选择输入的一种重要人机接口范式，它能够实现病人与外界直接对话的目的，能够有效的改善瘫痪病人的生活质量，临床应用方便，而且P300信号具有特征稳定、无需训练等优点，因此可以看出P300-Speller具有良好的应用前景。\n[0038] 在脑-机接口的研究中，稳态视觉诱发电位是最常用也是最为有效的模式之一。它无需对被试进行训练，实验简单方便易行。有很高的信噪比，在头皮上就可以记录到较强的SSVEP信号，且需要的电极极少，一到两个电极就可以采集到足够的信息，具有很强的可操作性。基于上述优点我们可以看出，对于SSVEP的深入研究有助于我们更加清楚地了解我们的大脑，实现真正的人机交互，具有很强的理论与应用价值。\n[0039] 102：提取被试者的脑电数据；\n[0040] 混合式脑-机接口的完成首先需要对脑电数据进行实时采集。脑电数据采集采用Neuroscan公司的40导联NuAmp脑电放大器，共采集6导脑电信号：Fz，Cz，Pz，Oz，P7和P8，按照国际的10-20系统排列。所有导联的脑电信号以右乳突为参考，以左乳突为地，阻抗值均在5K以下。受试者安静地坐于距屏幕约60cm的靠椅上，注视相应的视觉刺激范式及执行自主咬合动作从而完成网页浏览操作。本方法利用Scan4.5软件提供的TCP/IP协议，将BCI2000与采集软件相连，通过FieldTrip工具包实现脑电数据的实时采集和读取，为后续在线的数据加工处理奠定了基础，具体的数据采集示意图如图3所示。\n[0041] 103：设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果；\n[0042] 图4给出了在线脑电数据的提取和处理流程。整个处理流程共包括4种用户状态，分别为：光标移动状态、字符拼写状态、鼠标单击状态和空闲状态。其中光标移动状态为检测并判断用户正注视SSVEP闪灯范式，进而将最终模式识别结果转化为光标移动的控制指令；字符拼写状态为检测并判断用户开启P300模式，并注视Oddball范式中的目标字符（指用户期望输出的字符，过程中用户需要注视期望输出的字符），进而将最终模式识别结果转化为键盘输入的控制指令；鼠标单击状态为检测并判断用户执行了长时程的咬合动作（长时程咬合动作指持续时间较长，一般大于600ms的咬合动作），进而将最终模式识别结果转化为单击鼠标左键的控制指令；空闲状态是从用户的数据中没有检测出任何信息特征时，判定用户处于空闲状态，空闲状态时，不输出任何结果且不执行任何操作。该设计数据处理过程中分析用户状态时是顺序判断的，数据处理流程如下：\n[0043] 1）首先调用参数（如脑电数据的缓存文件所在的位置、闪灯频率、训练好的分类器数据等）。\n[0044] 2）读取实时的脑电数据，从第二秒开始正式进入到数据处理阶段。新来的数据包达到1s长度时，进行一次数据处理分析，即每秒都会进行一次数据处理分析。\n[0045] 3）处理数据时，依照顺序首先进入光标移动状态的判断，截取当前时刻前2s的脑电数据，进行典型相关分析，得到最大的典型相关系数（清华大学Gao等人提出了一种利用多通道信号的基于CCA的频率识别方法，用于SSVEP的频率特征提取和识别[3]，即通过特征提取得到图4中的Cvalue值），并与前1s数据得到的最大典型相关系数做累加，累加3次后，将累加结果与设定好的阈值（由离线分析的结果而定）相比较，若大于阈值则统计3次的结果（每次典型相关分析都会得到最大典型相关系数和所对应的目标频率，目标频率指用户所注视的闪灯的频率）并做出模式识别（3次结果中目标频率出现较多的即为模式识别结果）后将模式识别结果发出。\n[0046] CCA分析两组变量：一组为从某个源区域记录的多通道的脑电信号，记作x(t)，另一组变量为刺激信号。SSVEP的每个闪灯刺激都是按照一定的频率闪烁的，闪烁也是由一定的频率的电信号（固定周期的方波）触发的。又知道周期信号能够分解为一组傅里叶序列，也就是说一个方波形式呈现的刺激信号，记作y(t)，其周期固定（频率为f），因此可以分解为f及其谐波的傅里叶序列（sin(2πft)，cos(2πft)，sin(4πft)，cos(4πft)……），如式[0047]\n[0048] 其中，f是基频，T是数据采样点的数目，S是信号的采样率。图5阐释了如何利用CCA算法对脑电信号进行分析。由于大脑在动力学上表现为一个低通滤波器，导致方波信号中一些高频的成分会被滤除，因此一般利用低频的基波和谐波（上式中用到基波以及一次、二次谐波6个成分）。CCA可以作为特征提取的方法用于SSVEP的检测和识别是在假设之上成立的，即假设输出为大脑电活动响应的SSVEP、输出为刺激信号的系统是线性系统，也就是说SSVEP响应所含频率成分与刺激信号一致。算法中，通过计算脑电信号和系统中所有的频率刺激的典型相关系数，最大系数对应的频率即为SSVEP的频率，也是闪灯刺激的频率。\n[0049] 基于SSVEP的脑-机接口系统的核心问题是检测被试脑电信号中SSVEP成分的频率。假设有K个刺激频率f1,f2,…,fK和N导L秒的脑电数据。如果刺激频率记作fS，满足[0050] fS＝maxfρ(f)，f＝f1，f2，…，fK   (2)\n[0051] 其中，ρ(f)是x（脑电信号）和y（刺激信号）（如式2所示）的典型相关系数。\n[0052] 4）如果没有大于阈值，进行咬合操作的判断。处理分析所截取2s数据的后1s数据进行咬合操作的时域分析，提取时域特征并进行判断，若判断为长时程咬合操作，则代表进入鼠标单击状态，并发送模式识别结果；若为短时程咬合操作，则进入字符拼写状态的预开启模式；若判断为无咬合操作，则代表处于空闲状态。\n[0053] 咬合诱发头皮肌电（occlusion evoked scalp-myoelectricity，OES-ME）是完成咬合动作的过程中，咀嚼肌带动头皮运动，在头皮位置采集到的肌电伪迹。咬合诱发头皮肌电作为常见的脑电信号的噪声之一具有幅值大、易于区分等特点，由于咬合诱发头皮肌电与脑电信号之间的差异较大，并且比脑电信号更易于识别，可以将咬合诱发头皮肌电以及其他肌电信号作为以脑电为主要输入方式的人机接口的补充输入方式，用于触发某些频繁执行的指令集，以增加系统的响应速度与准确度，提高系统的用户友好性。但是与此同时咬合诱发头皮肌电的加入有可能带来一些问题，咬合诱发头皮肌电作为肌电信号的一种，在脑电的采集过程中有可能对脑电信号的采集带来干扰，影响系统的稳定性。咬合动作有很强的时域特征。通过时域分析的方法提取信号的持续时间特征，定义持续时间大于30ms判断为咬合操作，否则判断为无咬合动作。且定义持续时间大于600ms的咬合操作为长时程咬合操作，小于600ms的咬合操作为短时程咬合操作。\n[0054] 由于用户被要求字符拼写前要进行短时程咬合动作，即只有检测到短时程咬合动作时才能进入字符拼写状态，然而短时程咬合动作容易发生误操作。因此为了防止误操作导致状态误判而设置了字符拼写预开启模式，即检测到短时程咬合动作后，查看后5秒的数据中的所有标签里是否包含起始标签。若没有检测到则跳过这一状态直接判为空闲状态；\n若检测到则继续等待检测到结束标签。待都检测到时，截取起始标签和结束标签间的脑电数据进行P300的处理（包括预处理、特征提取和模式识别（Fisher线性判别分析[4]）），判断出的结果会以语音提示反馈给用户，如果与用户期望相同，则需要在3s内执行咬合操作才会输出结果，即判断3s内是否存在咬合操作，有即输出模式识别结果；否则认为判断错误，不输出模式识别结果。\n[0055] 采集到的脑电数据包括脑电信号和标签（又叫事件代码）以及标签的位置（与脑电信号相对应）。其中标签是在Oddball行列范式显示的同时，由Eprime软件程序通过并口向脑电放大器发送的代表行列信息和刺激起始信息的数据。例如每一轮刺激起始会在屏幕提示进行短时程咬合操作，持续3s后发送起始标签，代表新一轮字符拼写任务的开始，即用户如果期望拼写字符，就应注视oddball范式中相应的字符。刺激期间，每一个行列刺激后都会发送代表行列信息的标签，如第五行亮时，发送标签为5；第2列亮时，发送标签为8。在一轮刺激结束时也会发送结束标签，代表这一轮的结束。由于Eprime软件程序通过并口向脑电放大器发送标签数据，放大器会将标签数据与脑电数据实时地同步整合，因此标签位置和信号实时对应，通过起始标签和结束标签就可以进截取对应的一轮的刺激下的脑电信号，从而进行分析处理。\n[0056] Fisher线性判别分析一般适用于两类样本的模式识别。而对于二分类的情况，最佳的分类效果应使投影后的两类一维样本特征满足类间距离最大、类内距离最小，从而满足两类样本最大程度上的线性可分。\n[0057] Fisher准则函数为类间离散度与类内离散度的比值，定义为：\n[0058]\n[0059] 其中，假设有两类样本W1和W2，对应的样本个数分别为N1和N2。定义μ1和μ2为两类原始样本的均值，样本投影后的一维特征数据的均值定义为 和 投影后两类样本的离散度定义为 和 两类样本的类内离散度为SW和类间离散度为Sb。满足类间离散度最大、类内离散度最小，即使得Fisher函数取最大值时，分类效果最佳，即此时的变量参数ω的取值ω*为最佳投影向量，ωT是ω的转置。对公式求微分取0并经推导得到二分类的最佳投影向量ω*：\n[0060]\n[0061]\n[0062] 针对本设计中的P300模式识别，将所有数据样本分为两类，即目标和非目标刺激下的脑电信号。目标刺激即用户期望输出的字符所在的行和列点亮时的刺激状态，其余行和列点亮时的刺激状态则为非目标刺激。\n[0063] 5）一轮结果输出后，继续下一轮状态的判断和结果输出。\n[0064] 104：将最终模式识别结果转换为控制指令，通过执行控制指令完成特定的任务（网页浏览）。\n[0065] 该步骤的整个操作在MFC的平台框架下完成，主要实现两种功能：串口通讯和指令控制转换。其中，通过串口传输接收最终模式识别结果，并将最终模式识别结果转换为相应的控制指令。控制指令包括P300控制指令、SSVEP控制指令以及OES-ME控制指令。控制指令的执行将直接显示在电脑屏幕上或为语音提示。如光标在屏幕上的移动（通过改变当前光标位置来实现）；调用键盘操作程序来模拟键盘操作，实现字符的输入；调用鼠标动作事件来模拟鼠标操作（单击鼠标左键），实现确认点击的功能。\n[0066] 参考文献\n[0067] [1]Farwell L.A.,Donchin E.,Talking off the top of your head:A mental prosthesis utilizing event-related brain potentials,\nElectroencephalogr.Clin.Neurophysiol.,1988 70:510–523.\n[0068] [2]Vialatte F.B.,Maurice M.,Dauwels J.,et al. Steady-state visually evoked potentials:focus on essential paradigms and future \nperspectives.Progress In Neurobiology,2010,90(4):418～438.\n[0069] [3]Lin Z.,Zhang C.,Wu W.et al.,Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs.IEEE Trans.Biomed.Eng.,\n2007,54(6):1172～1176.\n[0070] [4]孙长城．基于三维编码刺激序列的视觉P300-Speller诱发ERP研究：[硕士学位论文]，天津；天津大学，2011.\n[0071] 本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。\n[0072] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。