一种基于表情识别的人机情感交互系统及方法

暂无

一种基于表情识别的人机情感交互系统及方法\n技术领域\n[0001] 本发明涉及人工智能、计算机、人机交互等领域及初步的心理分析，具体涉及一种基于表情识别的人机情感心理交互系统及方法。\n背景技术\n[0002] 随着计算机图像识别技术，人工智能技术等新兴技术的迅速发展，计算机在人类生产生活中扮演着不可或缺的角色，但是计算机、游戏机、智能机器人等机器与人却缺少基于人类表情的情感交流。现有技术虽然在计算机自动识别人脸表情方面做出了一定的改善与进展，却缺少量化精准的机器或虚拟人物与自然人的情感交互构想与设计。\n[0003] 如今人们的工作、日常生活越来越依赖于计算机、手机、平板电脑等设备，面对这些设备的时间甚至超过了与自然人交流的时间。如果这些设别不够人性化，使用者将很容易感到孤独、疲乏、厌倦，以致幸福指数降低、工作效率降低，严重者还可能引发精神或心理问题。因此，通过技术手段使这些设备能够像“自然人”一样“理解”使用者表情，并人性化地给出回应，是可行且有必要的。\n[0004] 另外，现代社会人们的心理健康问题日益凸显。不论是由于生活节奏的加快和工作压力的增加，使得人们不堪重负，还是由于重大意外事故等所带来的心灵创伤，都极有可能导致心理亚健康状态或心理疾病的出现。患者心灵上的敏感脆弱和精神状态的不稳定都对医护工作人员或是患者家属对患者的照顾提出了更高更专业的要求。而在现实生活中不论是在医院还是家中，人们总是无法或很难时时刻刻的陪护在他们左右，难以实现实时监护。依靠特定的人机交互系统，可以初步对病人的病情进行实时统计，并由医生进行分析，进而进行初步的心理治疗。目前由于机器人与人的情感交互的技术仍然不够成熟和精准，针对为心理亚健康或心理疾病患者所设计的人机交互系统(如机器人)的研究仍然非常少。\n[0005] 针对手机、笔记本电脑、平板电脑等设备，使机器“理解”使用者表情，通过摄像头采集使用者表情图像信息，对使用者进行动态表情分析，获得使用者当前的心理状态，从而对使用者以动画、语音、文字等形式作出回应，让机器更具人性化，给使用者提供良好的人机操作环境，提高机器对人的服务水平。对心理亚健康或心理疾病患者而言，可以通过使用本专利所提出的具有人机情感交互系统的设备，达到改善其心理状态的效果。\n发明内容\n[0006] 本发明目的是提供一种基于表情识别的人机情感交互系统及方法，利用计算机图像处理技术及表情识别方法，使计算机、笔记本电脑、平板电脑等设备自动识别出人脸表情，根据心理情感分析得出使用者当前心理状态，对心理状态进行统计，并根据所涉及的人机交互方式，用语音、动画或其他功能给出回应。\n[0007] 本发明提供的基于表情识别的人机情感交互系统，包括图像采集模块、图像处理模块、表情识别模块、人机交互模块以及统计与存储模块。图像采集模块用于采集人脸图像并传送给图像处理模块。图像处理模块用于对人脸图像进行处理，包括灰度化、水平调节及尺寸调节。表情识别模块，用于根据处理后的人脸图像，利用表情识别方法自动识别出人脸表情，并判断出表情种类。人机交互模块用于根据表情识别模块识别的表情种类与所设计的人机交互方式，提供对应的回应给使用者。统计与存储模块用于根据人脸表情分析得到对应的心理状态，存储使用者不同时间段的表情种类与心理状态，并提供给用户查询。\n[0008] 基于所述的人机情感交互系统，本发明提供的基于表情识别的人机情感交互方法，包括如下步骤：\n[0009] 步骤一：通过图像采集模块采集人脸图像；\n[0010] 步骤二：图像处理模块对所采集的人脸图像进行处理，包括：灰度化、尺寸调节及图像配准；\n[0011] 步骤三：利用表情识别方法，从步骤二处理后的图像中，识别出人脸表情，并判断出表情种类，将代表表情种类的返回值输送给人机交互模块；\n[0012] 步骤四：人机交互模块根据接受到的返回值，利用所设计的人机交互方式(语音、动画、特定功能或综合效果)，提供回应给使用者。\n[0013] 步骤五：根据本次人脸表情分析得出人物此时的心理状态并进行记录，同时提供统计查询功能给使用者。\n[0014] 本发明的基于表情识别的人机情感交互系统及方法，其有益效果是：\n[0015] (1)将本发明的人机情感交互系统及方法用于计算机、手机、平板电脑等设备，采集并分析使用者表情种类，并给出特定的人性化的回应，提高机器的智能性；\n[0016] (2)将本发明的人机情感交互系统及方法应用在心理护理型机器人，心理护理型机器人通过实时地捕捉患者的表情，一方面在分析之后判断其表情类型，进一步得到其大致的心理状态，为医生提供治疗的有效数据依据，从而提高医生诊断和治疗的准确度，另一方面，机器人据此还可以灵活的做出反应，与患者进行人机互动，在情感方面与患者进行简单而有效地交流；通过两方面的综合，可以实现对心理疾病患者的安全型实时监护。\n附图说明\n[0017] 图1是本发明的基于表情识别的人机情感交互系统的整体结构示意图；\n[0018] 图2是本发明的基于表情识别的人机情感交互的方法的整体流程图；\n[0019] 图3是本发明第一种表情识别方法中选取的表情特征点的示意图；\n[0020] 图4是本发明第一种表情识别方法中提取的表情特征量的示意图。\n具体实施方式\n[0021] 下面将结合附图和实施例对本发明作进一步的详细说明。\n[0022] 如图1所示，本发明提供的基于表情识别的人机情感交互系统，包括图像采集模块\n100、图像处理模块200、表情识别模块300、人机交互模块400、以及统计与存储模块500。\n[0023] 图像采集模块100用来采集使用者人脸图像。计算机读取采集的人脸图像，输送到图像处理模块200，图像处理模块200对人脸图像进行处理，调整面部大小及方位、并去噪，处理包括对图像进行灰度化、水平调节及尺寸调节。表情识别模块300根据表情识别方法，对图像处理模块200处理后的图像进行人脸表情识别，识别出人脸表情并判断表情种类，将代表表情种类的返回值输送给人机交互模块400。表情识别模块300中集成多个表情识别方法，用户可根据需要添加新的表情识别方法，在使用时，可选择某个表情识别方法，或者通过利用多个表情识别方法分别计算，从中选取最好的结果。人机交互模块400根据接受到的返回值及所设计的人机交互方式，返回对应的回应给使用者，人机交互方式为预先设定的语音、动画、特定功能或综合效果。统计与存储模块500对此次人脸表情进行分析，得出人物此时的心理状态并进行记录，同时提供统计查询功能给使用者。\n[0024] 如图2所示，为本发明提供的基于表情识别的人机情感交互的方法，具体包括如下步骤：\n[0025] 步骤一：通过图像采集模块100采集人脸图像；\n[0026] 步骤二：图像处理模块200对所采集的人脸图像进行处理，包括：灰度化、水平调节及尺寸调节。本发明实施例中在确定人眼位置的基础上实现图片中人脸表情的水平调节，尺寸调节将原来大小为1280*1024的图片统一为100*100的图片，从而实现图片的归一化处理，为之后表情识别方法的进行做好准备；\n[0027] 步骤三：根据表情识别模块300中的表情识别方法，从步骤二处理后的图像中，识别出人脸表情，并判断出表情种类，将代表表情种类的返回值输送给人机交互模块400；\n[0028] 步骤四：人机交互模块400根据接受到的返回值，利用所设计的人机交互方式，提供回应给使用者；\n[0029] 步骤五：根据本次人脸表情分析得出人物此时的心理状态并记录在统计与存储模块500中，统计与存储模块500存储使用者不同时间的表情种类与心理状态，并可供使用者查询。\n[0030] 在步骤三中，利用表情识别模块3进行人脸表情的识别，表情识别模块3中集成多种表情识别方法，本发明提供了两种方法以供选择使用。\n[0031] 第一种表情识别方法：表情特征点偏移系数可以更好的代表不同表情的特征，故利用表情特征点偏移系数进行表情识别。本发明实施例以USTC-NVIE数据库为基础，通过对数据库中的50个实验者的7种基本表情图像进行分析，得到生气、厌恶、恐惧、高兴、悲伤和惊讶六种基本表情的表情特征点偏移系数各分量取值的平均数，作为表情识别的依据。进而对计算机捕捉到的任一交互对象的人脸图像，通过计算所定义的表情特征点判别系数，实现表情识别。具体第一种表情识别方法包括如下步骤3.1～3.。\n[0032] 步骤3.1：选取表情特征点。如图3所示，分别选取人脸图像中左侧眉毛的眉头、眉峰和眉尾三点，左眼眼眶的上下左右四个顶点，右眼的左顶点，以及嘴唇轮廓的上下左右四个顶点，一共12个点作为最能代表表情特征的表情特征点。图3中标号3处指眉头，标号1处指眉尾。\n[0033] 步骤3.2：提取表情特征量。如图4所示，提取9个表情特征量t，a，b，c，d，e，f，g，h；\n其中，t代表两内眼角距，其余8个表情特征量分别代表八个具有物理意义的几何向量。a代表左眼外眼角到右眼内眼角的水平距离，b代表两嘴角的距离，c代表左眼外眼角到左侧眉尾的垂直距离，d代表左眼眼眶的上顶点到左侧眉毛眉峰的垂直距离，e代表左眼眼眶的下顶点到左侧眉毛眉峰的垂直距离，f代表左眼眼眶的上顶点到下顶点的垂直距离，g代表左眼内眼角到嘴唇左顶点的垂直距离，h代表上下嘴唇的高度差。b和h两个表情特征量结合起来可以体现嘴巴的张开程度等。\n[0034] 步骤3.3：用表情特征向量 来表示当前人脸的表情。\n[0035] 本发明设定正常、开心、生气、惊讶、悲伤、厌恶和恐惧的表情特征向量分别用 表示，i为整数，且0≤i≤6。\n[0036] 其中，正常的表情特征向量\n[0037] 其余表情特征向量\n[0038] 步骤3.4：用表情特征点偏移系数 来表征人脸表情：\n[0039]\n[0040] 检测人脸时，由于拍摄角度问题，每张图像中人脸比例可能不同，所以同一个人的不同表情无法用表情变量之差直接描述。如果选择两内眼角距为基准，将各表情变量与基准值的比值作为新的变量，与标准值比较，就可以有更好的效果。\n[0041] 故定义第i种表情特征点偏移系数 为：\n[0042]\n[0043]\n[0044]\n[0045] 其中，i＝0，1，...，6，分别表示表情正常、开心、生气、惊讶、悲伤、厌恶和恐惧。每种表情的表情特征点偏移系数包含9个分量wi，0～wi，8，由式中可看出，分量wi，0始终为0，剩余分量根据相应的表情特征量确定。\n[0046] 表情特征点偏移系数代表了某一表情相对自然表情(即正常表情)的变化情况。表征正常的表情特征点偏移系数为(0，0，...，0)。\n[0047] 步骤3.5：首先依据某人脸表情数据库，统计每种表情的表情特征点偏移系数的平均值，然后计算当前人脸表情相对于每种表情特征点的判别系数，将其中最小判别系数对应的表情作为当前人脸表情，并返回对应的i值。\n[0048] 本发明实施例以USTC-NVIE数据库为基础，通过实验数据统计的方法，可以获得并记录不同表情对映的表情特征点偏移系数在的每个元素取值的平均值、中位数、极差等参数。经过分析，发现平均值最能代表不同表情的特征，故统计了不同表情特征点偏移系数的平均值。第i(1≤i≤6，i∈N+)种表情的表情特征点偏移系数的平均值表示为：\n[0049]\n[0050] 在试验中获得的六种基本表情特征点偏移系数各分量的平均值如表1所示：\n[0051] 表1表情特征点偏移系数各分量平均值\n[0052]\n[0053] 表1为根据USTC-NVIE数据库计算的各种表情的平均值，根据所计算的平均值进一步获取当前人脸表情相对于第i种表情特征点的判别系数Di。\n[0054] i为正整数，且0≤i≤6。\n[0055] 根据表情特征点判别系数Di越小，代表交互者呈现的表情的特征点偏移系数与第i种表情特征点偏移系数越接近，即其呈现的表情与第i种表情越相似，故将min{Di}所代表的表情判别为交互者的面部表情种类。\n[0056] 第二种表情识别方法：首先获取表情分类标准，然后根据标准，把读入的任一副表情图像归为七种基本表情的一类，实现表情识别。\n[0057] 设编号i＝0，1，...，6，分别表示表情正常、开心、生气、惊讶、悲伤、厌恶和恐惧。\n[0058] 首先得到表情分类标准，即获取用于表情分类的表情的判别矩阵，包括步骤3A～\n3D。\n[0059] 步骤3A：读入第i种表情的M个训练样本图像\n[0060] 步骤3B：对每一个样本图像进行Gabor小波变换。\n[0061] 采用的二维Gabor小波的核函数 定义为：\n[0062]\n[0063] 其中，u，v分别表示Gabor核的方向和尺度；\n[0064] 比如，取u∈{0，1，...，5}，代表6个方向，0，\n[0065] 取v∈{0，1，...，4}，代表5个频率；\n[0066] 代表灰度图像(矩阵)A′中每一点的坐标；\n[0067] σ为小波滤波器的带宽，一般取σ=2π；\n[0068] 波矢量 其中，kv=kmax／fv，kmax为最大频率，fv为频率中的\n内核间隔因子，一般取kmax=π／2， 表示小波的不同方向；\n[0069] j是复数算子；\n[0070] ||·||为向量范数，编程时采用2-范数。\n[0071] 通过二维Gabor小波的核函数，对读入的样本图像A′中的每一点进行计算，得到针对特定u，v取值的矩阵A，其中，A的元素均为复数；\n[0072] 然后，由该图像和Gabor滤波器的卷积得到：\n[0073] Ou，v=||A*A′||F\n[0074] || ||F是求所得矩阵F-范数。\n[0075] 这样，就可以得到第i种表情的第l个样本图像经Gabor小波变换的6*5的矩阵[0076] 步骤3C：将第i种表情的M个样本图像经Gabor小波变换得到的 求\n均值，得到\n[0077] 然后求第i种表情的训练样本总体散布矩阵Si：\n[0078]\n[0079] 计算Si的特征值ζ0，ζ1，…，ζk，并得到特征向量Xi=(ζ0，ζ1，…，ζk-1)，k为u的取值个数。\n[0080] 本发明实施例中可得到Si的特征向量Xi=(ζ0，ζ1，…，ζ5)。\n[0081] 步骤3D：对Si的特征向量Xi进行离散余弦变换。\n[0082] 根据矩阵Xi的元素来确定矩阵Ci，Ci为k×k的矩阵，其中第p行第q列的元素cp，q为：\n[0083]\n[0084] 其中，函数 f(x，y)为矩阵Xi的元素，代表点(x，y)处的灰度。f\n(x，y)是矩阵Xi中第x行第y列的元素。\n[0085] 本发明实施例中，Xi∈R6×6，求矩阵\n[0086] 其中，\n[0087] f(x，y)为矩阵Xi的元素，代表点(x，y)处的灰度，p=0，1，…，6-1；q=0，1，…，6-1。\n[0088]\n[0089] 将Ci写为列向量形式：Ci=(x0，x1，…，x5)，通过实验，得到7种基本表情的判别矩阵i\nC(i＝0，1，…，6)，将得到的判别矩阵作为表情识别的依据。\n[0090] 把读入的任一副表情图像归为七种基本表情的一类，实现表情识别，包括如下步骤3a～3e。\n[0091] 步骤3a：读入灰度图像I。\n[0092] 步骤3b：对图像I进行Gabor小波变换，得到矩阵o。\n[0093] 步骤3c：利用已得的7种基本表情 分别针对7种表情计算当前图像的散布矩阵si：\n[0094]\n[0095] 进一步得到各散布矩阵si的特征向量xi。\n[0096] 步骤3d：对xi进行离散余弦变换，得到矩阵\n[0097] 步骤3e：计算步骤3d得到矩阵ci与各种表情判别矩阵Ci差值的F-范数。\n[0098] 对于i＝0，1，…，6，分别计算μi=||ci-Ci||F，然后取使得μi最小的i值，将其代表的表情种类作为当前图像人脸表情的判定结果。\n[0099] 本发明实施例中，人脸表情通过matlab图像处理软件的处理后，经过表情识别方法的运算得到表情种类，将反馈值设定为从0到6的各个自然数，分别代表正常(neutral)、开心(happiness)、生气(anger)、惊讶(surprise)、悲伤(sadness)、厌恶(disgust)、恐惧(fear)表情。反馈值将被写到一个txt文本文件中。接下来通过人机交互模块400的Flash程序读取这个文件的内容进行人机交互方式的匹配，并通过相应的动画表情来回应。本发明实施例是关于计算机动画对实验者的人脸表情回应的程序是基于adobe flash软件及Action Script的脚本语言来编的。程序设计过程中，应用到了数个关于ActionScript的io流控制。如表2所示，为本发明实施例中设定的人机交互方式。\n[0100] 表2本发明实施例中设定的人机交互回应\n[0101]\n患者表情 机器人表情回应(动画)\n[0102]\n1.平静 微笑(以示友好)\n2.生气 担忧，关切(皱眉)\n3.厌恶 微笑\n4.害怕 鼓励“别害怕，勇敢点！”\n5.高兴 大笑\n6.悲伤 悲伤，关切\n7.惊奇 好奇\n[0103] 在实际使用中，将本发明提供的针对心理健康分析的人机情感交互的方法及系统应用在心理护理型机器人上，具体可按照如下步骤实施。\n[0104] 第一步：根据病人的实际情况，设置合适的时间间隔。\n[0105] 第二步：每隔设定的时间间隔拍摄人脸图像，进行表情捕捉，判别人脸表情，机器人据此与病人进行基于表情识别的情感互动。\n[0106] 同时把此次分析得到的数据设计成类似下面的数据结构，作为文件中的一行写入文件：\n[0107] Name(姓名)：time(时间)，expression(情感)\n[0108] 把一段时间内的数据写为一个文件。通过记录的文件可做少量统计功能，比如说最近一定时间段内各种心情统计次数占总次数的百分比。\n[0109] 第三：医生的客户端。将此统计文件传输给医生，医生据此得出初步诊断结果。\n[0110] 第四：患者的客户端。设置查询按钮，患者可选择性地查询最近各种心情次数占总次的百分比，了解自己的病情，同时获悉系统据此给出的一些生活习惯小建议等。