基于计算机视觉的电梯轿厢内暴力行为智能检测装置

1.一种基于计算机视觉的电梯轿厢内暴力行为智能检测装置，包括安装在电梯轿厢顶部的视频传感器、用于传输视频数据的嵌入式系统、用于监控电梯轿厢内的监控中心计算机，所述的视频传感器与所述的嵌入式系统连接，所述的嵌入式系统通过无线通信方式与监控中心计算机连接，所述的监控中心计算机包括用于实时显示电梯轿厢内视频数据的轿厢内视频图像读取模块，所述轿厢内视频图像读取模块连接显示装置，其特征在于：
所述的监控中心计算机包括用于电梯轿厢内安全防范的微处理器，所述的微处理器包括：
轿厢内视频图像读取模块，用于将电梯轿厢内的视频信息采集下来并传送给监控中心计算机，监控中心计算机实时读取传送过来的视频数据；
背景建模和人体前景对象提取模块，用于对所读取的视频数据中提取出人体前景对象；
人群行为特征序列提取模块，用于对所读取的视频数据中所提取出的人体前景对象，计算出该人体前景对象的连通区域的面积变化、前景区域重心的变化以及外接矩形的长宽变化的相关数据，建立三维特征向量序列；
隐马尔可夫模型的建模模块，用于将每一个三维特征向量序列转换为一个具体的符号，即观察值：通过获取大量电梯内的正常行为的特征向量数据，然后通过K-Means算法对整个特征向量数据集进行聚类获取码本集合；最后，通过码本集合将所有特征向量转为能在HMM模型中使用的观察值；所述观察值组成观察序列，通过Baum-Welch算法获得最佳的HMM模型的参数，建立起正常行为的HMM模型；
暴力行为的识别模块，用于区分正常行为和异常行为，通过Forward-backward算法计算出观察值序列的概率，对于一个观察值序列，如果它的输出概率很高，大于预先设定的阈值则认为它是一个正常行为序列；反之，如果一个观察序列的输出概率低于设定阈值，则认为是一个异常行为序列；
报警模块，用于当识别为异常行为序列时，向告警器发出告警指令，并通知管理人员及时进行干预和处理。
2.如权利要求1所述的基于计算机视觉的电梯轿厢内暴力行为智能检测装置，其特征在于：在所述的人群行为特征序列提取模块中，当检测到轿厢内两人或者两人以上情况时，在所述的背景建模和人体前景对象提取模块中提取了人体前景对象的时序二值图，该时序二值图经过处理后得到了三维特征向量序列，用于建立隐马尔可夫模型的建模或者通过隐马尔可夫模型的行为检测；所述三维特征向量序列包括由人群前景面积的变化、人群前景外接矩形的长宽变化、人群前景的重心变化组成为三维特征向量数据，具体有：
1)人群前景面积的变化AC：
人群前景面积的变化AC的计算方法由公式(1)给出，该值的大小表示前景像素数量的变化量的大小，能反映人体运动激烈的程度；
式中：Ap为前一帧图像所获取的人体前景对象的面积，An为当前帧图像所获取的人体前景对象的面积；
2)人群前景外接矩形的长宽变化WHC：
人群前景外接矩形的长宽变化WHC由公式(2)给出，该值的大小表示人群前景外接矩形的长宽变化量的大小，能反映暴力行为发生时人体姿态变化的程度；
式中：Hp、Wp分别为前一图像帧人体前景对象的外接矩形的长与宽，Hn、Wn为当前图像帧的人体前景对象的外接矩形的长与宽；
3)人群前景的重心变化CC：
人群前景的重心变化CC由公式(3)给出，该值的大小表示人群前景的重心变化量的大小，能反映暴力行为发生时人体移动变化的程度；
CC＝‖Cp-Cn‖ (3)
式中：Cp为前一图像帧人体前景对象的的重心位置，Cn为当前图像帧的人体前景对象的重心位置。
3.如权利要求1所述的基于计算机视觉的电梯轿厢内暴力行为智能检测装置，其特征在于：所述的隐马尔可夫模型的建模模块中，用参数表示的、用于描述随机过程统计特性的概率模型：
HMM记为λ＝(N，M，π，A，B)，
HMM模型具体由下列参数描述：
1)N：模型中的状态数目，记N个状态S1，...，SN；
2)M：每个状态对应的可能的观察值数目，记M个观察值为O1，...，OM；
3)π：初始状态概率矢量，π＝(π1，...，πN)其中，πi＝P(q1＝Si)，1≤i≤N，并且满足πi≥0， 它用于描述初始时观察序列在t＝1时属于不同的状态的概率；
4)A为状态转移概率矩阵A＝(aij)N×N，其中，aij＝p(qt+1＝Sj|qt＝Si)，1≤i，j≤N，并且， 它用于描述从在时间t的状态i变换为时间t+1的状态j的概率分布；
5)B为 观 察 值 概 率 矩 阵，B ＝(bji)N×M其 中，bj(i) ＝p(ot ＝Oi|qt＝ Sj) ＝p(Oi|Sj)1≤j≤N，1≤i≤M，并且 它用于描述在时间t状态Sj的情况下产生观察值为Oi的概率；
通过HMM实现电梯内的异常行为检测需要确定以下三个基本的问题；
(a)计算问题：对于给定的观察值序列o＝O1O2...ON以及一个特定的HMM模型参数λ＝(N，M，π，A，B)，计算出这个特定的HMM模型产生特征序列的概率，通过Forward-backward算法解决；
(b)识别问题：对于给定观察值序列o＝O1O2...ON，如何选择最佳的状态序列以便最好的解释这个序列，通过Viberti-Decoding算法解决；
(c)训练问题：对于调整模型参数λ来使P(o|λ)概率最大问题，通Baum-Welch算法解决。
4.如权利要求1所述的基于计算机视觉的电梯轿厢内暴力行为智能检测装置，其特征在于：所述的视频传感器连接视频处理器，所述视频处理器包括：
图像记录模块，用于将电梯轿厢内的视频信息记录下来；
图像处理模块，用于将记录下来的视频数据进行压缩编码、复用以及调制成压缩视频数据；
第一无线收发模块，用于依照通信标准，发送压缩的视频数据；
所述的监控中心计算机包括：
第二无线收发模块，用于依照通信标准，接收压缩的视频数据；
图像解压处理模块，用于将接收的数据进行解压缩、解复用以及解调，恢复成视频数据；
所述的图像解压处理模块的输出连接轿厢内视频图像读取模块。
5.如权利要求4所述的基于计算机视觉的电梯轿厢内暴力行为智能检测装置，其特征在于：所述的第一无线收发模块为符合通信标准的无线网卡，所述的监控中心计算机包括与所述无线网卡配合的TCP/IP协议和无线网络接口，所述的微处理器为嵌入式Linux微处理器。

基于计算机视觉的电梯轿厢内暴力行为智能检测装置\n技术领域\n[0001] 本发明涉及一种基于计算机视觉技术、图像识别等技术的用于在电梯轿厢内暴力行为智能检测装置。\n背景技术\n[0002] 随着城市里楼房越盖越高，电梯的使用越来越普遍，电梯安全问题日益受到人们重视。电梯在给人类的生活带来便捷迅速之后，也向人类的安全发出挑战。由于电梯的相对封闭性，它给人类的安全也带来了威胁。在电梯狭小的空间里，人对自身的约束也会降低到最低点。新闻媒体经常会报道一些电梯暴力事件，受害者遭遇过电梯内暴力事件后除了财物损失以外在心身方面也受到了很大的创伤，电梯暴力事件的种类可分为电梯内的劫财、劫色和其他暴力事件。\n[0003] 目前，提供电梯内安全保障的传统视频监控系统，对这些海量视频数据没有采取任何智能化的处理，因而无法对各种暴力事件进行自动的检测；需要在监控室内的保安通过观看视频图像来实现电梯安全监控，显然，这种监控方式太费人工，几乎难以实现真正意义上的监控，这是因为靠人工来看视频图像在20分钟以后注意力明显下降。在安全应用领域，智能视频监控系统的目标是能够在各种环境下实时地识别人员以及他们的行为。因此开发基于计算机视觉的电梯内防暴力智能检测方法具有十分重要的意义。\n[0004] 一种基于计算机视觉的电梯轿厢内暴力行为智能检测装置必须有效监控在电梯运行过程中各种具有不良影响的行为、犯罪行为等，并能作出针对性地反应，犹如无时不在的一名电梯安全卫士。当在检测出恐吓、暴力行为发生时，系统会首先进行语音警示，如果行为仍然持续，控制电梯停在最近的楼层，同时发出报警信号通知电梯管理人员。\n发明内容\n[0005] 为了克服已有的电梯视频监控装置需要人为视频监视、自动化程度不高、几乎没有任何智能化处理手段、可靠性差的不足，本发明提供一种智能化、实时在线、可靠性强的基于计算机视觉的电梯轿厢内暴力行为智能检测装置。\n[0006] 本发明解决其技术问题所采用的技术方案是：\n[0007] 一种基于计算机视觉的电梯轿厢内暴力行为智能检测装置，包括安装在电梯轿厢顶部的视频传感器、用于传输视频数据的嵌入式系统、用于监控电梯轿厢内的监控中心计算机，所述的视频传感器与所述的嵌入式系统连接，所述的嵌入式系统通过无线通信方式与监控中心计算机连接，所述的监控中心计算机包括用于实时显示电梯轿厢内视频数据的轿厢内视频图像读取模块，所述轿厢内视频图像读取模块连接显示装置，所述的监控中心计算机为电梯所在大楼的无线局域网的中心，所述的视频传感器与监控中心计算机进行无线视频数据通信，所述的监控计算机包括用于电梯轿厢内安全防范的微处理器，所述的微处理器还包括：背景建模和人体前景对象提取模块、人群行为特征序列提取模块、隐马尔可夫模型的建模模块、暴力行为的识别模块和报警及语音警示模块；\n[0008] 所述的轿厢内视频图像读取模块，用于将电梯轿厢内的视频信息采集下来并传送给监控中心计算机，监控中心计算机实时读取传送过来的视频数据；\n[0009] 所述的背景建模和人体前景对象提取模块，用于对所读取的视频数据中提取出人体前景对象；\n[0010] 所述的人群行为特征序列提取模块，用于对在视频图像序列中所提取出的人体前景对象，并计算出该前景对象的连通区域的面积变化、前景区域质量中心的变化以及外接矩形的长宽变化的相关数据，建立三维特征向量序列；\n[0011] 所述的隐马尔可夫模型的建模模块，用于将每一个三维特征向量序列转换为一个具体的符号，即观察值，通过获取大量电梯内的正常行为的特征向量数据，然后通过K-Means算法对整个特征向量数据集进行聚类，获取了码本集合。最后，通过码本集合将所有特征向量转为可以在HMM模型中使用的观察值。这些观察值组成观察序列，通过Baum-Welch算法获得最佳的HMM模型的参数，建立起正常行为的HMM模型；\n[0012] 所述的暴力行为的识别模块，用于区分正常行为还是异常行为，通过\nForward-backward算法计算出观察值序列的概率，一个观察值序列如果它的输出概率很高，大于预先设定的阈值则认为它是一个正常行为序列。反之，如果一个观察序列的输出概率低于设定阈值，则认为是一个异常行为序列。\n[0013] 本发明的技术构思为：首先说明电梯内暴力智能视频检测原理。在正常情况下，乘坐在电梯内的人体一般都是处于相对静止的状态，虽然有时会有短暂的动作产生，但是其动作幅度不会很大，且不会影响到电梯内的其他人体。而在出现暴力行为时，暴力行为的施加方会主动攻击其他人体，人体之间会有紧密接触过程，一旦出现暴力行为，从视频角度来看，暴力行为的施加方和暴力行为的受害方人体之间很难分离开来。本发明通过提取人体对象在电梯内的前景连通区域的相关特征，建立人体正常行为的隐马尔可夫模型来检测暴力行为。\n[0014] 检测具体过程如下：(1)电梯内视频数据的获取。监控摄像头安装在电梯轿厢内的正上方，俯视向下，以保证所拍摄的电梯轿厢内所有人体都在摄像头的视野中，且不会出现遮挡的情况；(2)建立电梯背景模型，提取电梯内人体的前景连通区域的面积的变化、前景区域质量中心的变化以及外接矩形的长宽变化建立三维特征向量；(3)通过把提取的特征序列，使用向量量化的方法转为能为隐马尔可夫建模使用的观察值序列，建立起正常行为的隐马尔可夫模型；(4)对于检测出的暴力行为，进行相关的处理。具体的训练检测流程如附图1所示。\n[0015] 根据附图1所示的检测流程，本发明将从背景建模和人体前景对象提取、分割，提取人群行为特征序列，隐马尔可夫模型的建模，暴力行为的识别等方面进行说明；\n[0016] 本发明中采用Codebook算法来提取前景人体对象，该算法是通过长时间地观察视频序列，利用量化和聚类技术来构建背景模型。它对每个像素建立一个包含一个或多个的码本，先根据每个像素点的亮度和颜色在连续采样过程中的变化程度来生成码字，所有代表像素的码字统称为码本。最后，通过记录的码字来判断像素是否属于前景还是背景，该算法的实现可参考文献[1]。\n[0017] 码本的构建过程是：首先假设χ是对一个特定像素的训练序列，它由N个RGB向量组成，χ＝{x1，x2，...，xN}。除此之外，令C＝{c1，c2，..，cL}代表相对这个像素的码本，包括L个码字。每个像素的码本中，码字的数量是不同的，取决于样本的波动。每一个码字ci，i＝1...L，都包含了一个RGB向量vi＝(Ri，Gi，Bi)以及一个6元组\n为了解决光照变化的问题，比如阴影和强光，还使用了一个特殊的颜色模型把颜色信息和亮度信息分开。附图3表示的颜色模型能够把颜色变化和亮度变化分开评估；\n[0018] 通过上述处理后得到的二值视频图像会存在着噪声点，仍需要进一步进行形态学去噪处理，最常见的解决方法是使用一种基于距离标准的方法，即膨胀-腐蚀算子，把相互接近的前景块或者目标连为一体；本发明中，通过腐蚀操作来滤掉孤立点，而空洞则由膨胀操作去除，该算法的实现可参考文献[2]以及参考文献[3]。\n[0019] 在本发明中是针对人群行为检测，当检测到轿厢内不足两人时，系统自动转到所述的轿厢内视频图像读取模块，不进行后续的计算；\n[0020] 关于轿厢内人数检测，需要根据实际情况进行标定实验得到判定阈值，本发明中对视频图像中单人出现的图像帧作了实验统计和分析，在本实验环境下单人前景区域所占的像素数量平均值为5991，因此将该值作为判定标准，即Np＝5991；Ni，i＝1...n为所有单人图像帧前景像素数量，实验结果表明，当0.8Np≤Ni≤1.6Np时，判定为单人的情况；\n当Ni＞1.6Np时，判定为单人以上。\n[0021] 所述的人群行为特征序列提取模块，用于对在视频图像序列中所提取出的人体前景对象，并计算出该前景对象的连通区域的面积变化、前景区域质量中心的变化以及外接矩形的长宽变化的相关数据，建立三维特征向量序列；\n[0022] 当检测到轿厢内两人或者两人以上情况时，在所述的背景建模和人体前景对象提取模块计算中提取了人体前景的时序二值图，这些数据经过处理后得到了特征向量序列，能够用于建立隐马尔可夫模型的建模或者通过隐马尔可夫模型的行为检测。这里的特征向量包括由人群前景面积的变化、人群前景外接矩形的长宽变化、人群前景的重心变化组成为三维特征向量数据；\n[0023] 1)人群前景面积的变化AC\n[0024] 人群前景面积的变化AC的计算方法由公式(1)给出，该值的大小表示前景像素数量的变化量的大小，能反映人体运动激烈的程度；\n[0025] \n[0026] 式中：Ap为前一帧图像所获取的前景人体对象的面积，An为当前帧图像所获取的前景人体对象的面积。\n[0027] 2)人群前景外接矩形的长宽变化WHC\n[0028] 人群前景外接矩形的长宽变化WHC由公式(2)给出，该值的大小表示人群前景外接矩形的长宽变化量的大小，能反映暴力行为发生时人体姿态变化的程度；\n[0029] \n[0030] 式中：Hp、Wp分别为前一图像帧前景人体对象的外接矩形的长与宽，Hn、Wn为当前图像帧的前景人体对象的外接矩形的长与宽。\n[0031] 3)人群前景的重心变化CC\n[0032] 人群前景的重心变化CC由公式(3)给出，该值的大小表示人群前景的重心变化量的大小，能反映暴力行为发生时人体移动变化的程度；\n[0033] CC＝||Cp-Cn||(3)\n[0034] 式中：Cp为前一图像帧前景人体对象的的重心位置，Cn为当前图像帧的前景人体对象的重心位置。\n[0035] 所述的隐马尔可夫模型的建模模块，用于将每一个三维特征向量序列转换为一个具体的符号，即观察值，通过获取大量电梯内的正常行为的特征向量数据，然后通过K-Means算法对整个特征向量数据集进行聚类，获取了码本集合。最后，通过码本集合将所有特征向量转为可以在HMM模型中使用的观察值。这些观察值组成观察序列，通过Baum-Welch算法获得最佳的HMM模型的参数，建立起正常行为的HMM模型；\n[0036] 由于后续处理的隐马尔可夫模型需要一个具体的符号特征来表示特征向量，因此需要将每一个特征向量转换为一个具体的符号也即是观察值。这时可以通过使用向量量化或者聚类的方法来实现；实际上做法是通过一些方法将特征向量训练数据分割成K个类别，使这K个类别的相似度最低，将这K个类别的中心点组成码本集合。一旦训练完成，获得了码本集合，就可以将任意的特征向量转为与它距离最近的在码本集合中的码本的索引值，这个索引值作为是观察值。目前常用的算法有LBG向量量化算法[4]以及K-Means聚类算法[5]，本发明中采用的是K-Means聚类算法；\n[0037] K-Means聚类算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足，同一聚类中的对象相似度较高，而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”，即引力中心来进行计算的；\n[0038] 该算法的大致流程如下：\n[0039] (1)从n个数据对象任意选择k个对象作为初始聚类中心；\n[0040] (2)循环(3)到(4)直到每个聚类不再发生变化为止；\n[0041] (3)根据每个聚类对象的均值(中心对象)，计算每个对象与这些中心对象的距离，并根据最小距离重新对相应对象进行划分；\n[0042] (4)重新计算每个(有变化)聚类的均值(中心对象)。\n[0043] 隐马尔可夫模型，以下用HMM表示，它是一种用参数表示的、用于描述随机过程统计特性的概率模型。一个典型的隐马尔可夫模型如附图4所示；\n[0044] HMM可以记为λ＝(N，M，π，A，B)，\n[0045] HMM模型具体可以由下列参数描述：\n[0046] (1)N：模型中的状态数目。记N个状态S1，...，SN。\n[0047] (2)M：每个状态对应的可能的观察值数目。记M个观察值为O1，...，OM。\n[0048] (3)π：初始状态概率矢量，π＝(π1，...，πN)其中，πi＝P(q1＝Si)，1≤i≤N，并且满足πi≥0， 它用于描述初始时观察序列在t＝1时属于不同的状态的概\n率。\n[0049] (4)A为状态转移概率矩阵，A＝(aij)N×N。其中A为状态转移概率矩阵，A＝(aij)N×N。其中，aij＝p(qt+1＝Sj|qt＝Si)，1≤i，j≤N，并且， 它用于描述从在时间t的状态i变换为时间t+1的状态j的概率分布。\n[0050] (5)B为观察值概率矩阵，B＝(bji)N×M其中，bj(i)＝p(ot＝Oi|qt＝Sj)＝p(Qi|Sj)1≤j≤N，1≤i≤M，并且 它用于描述在时间t状态Sj的情况下产生\n观察值为Oi的概率。\n[0051] 通过HMM实现电梯内的暴力行为检测必须要解决三个基本的问题。\n[0052] (a)计算问题。对于给定的观察值序列o＝O1O2...ON以及一个特定的HMM模型参数λ＝(N，M，π，A，B)，如何计算这个特定的HMM模型产生特征序列o的概率。这个问题很重要，可以通过Forward-backward[6]算法解决。\n[0053] (b)识别问题。对于给定观察值序列o＝O1O2...ON，如何选择最佳的状态序列S以便最好的解释这个序列。这可以通过Viberti-Decoding[6]算法解决。\n[0054] (c)训练问题，如何调整模型参数λ来使P(o|λ)概率最大。这可以通\nBaum-Welch算法[6]解决。\n[0055] 关于Forward-backward算法、Viberti-Decoding算法以及Baum-Welch算法的实现可参考文献[6]；在解决了上述三个问题之后就能够通过HMM建模来对暴力行为进行检测；\n[0056] 出于对正常行为数据获取相对简单、容易，而暴力等异常行为具有无穷列举性的考虑，本发明通过对电梯内的正常行为进行HMM建模来对暴力行为进行检测，选用的是从左到右两状态转移HMM，如附图4所示；\n[0057] HMM模型的使用，需要经过训练与检测两个阶段。在训练阶段即建立HMM模型阶段。首先，获取大量电梯内的正常行为的特征向量数据，然后通过K-Means算法对整个特征向量数据集进行聚类，获取了码本集合。最后，通过码本集合将所有特征向量转为可以在HMM模型中使用的观察值。这些观察值组成观察序列，通过Baum-Welch算法获得最佳的HMM模型的参数，从而建立起正常行为的HMM模型。具体的建模过程如附图5所示；\n[0058] 所述的暴力行为的识别模块，用于区分正常行为还是异常行为，通过\nForward-backward算法计算出观察值序列的概率，一个观察值序列如果它的输出概率很高，大于预先设定的阈值则认为它是一个正常行为序列。反之，如果一个观察序列的输出概率低于设定阈值，则认为是一个异常行为序列；\n[0059] 在识别阶段，对输入的特征向量序列，通过在训练阶段得到的码本集转换为观察值序列。通过Forward-backward算法计算出观察值序列的概率，一个观察值序列如果它的输出概率很高，大于预先设定的阈值则认为它是一个正常行为序列。反之，如果一个观察序列的输出概率低于设定阈值，则认为是一个异常行为序列。具体检测识别过程如附图6所示；\n[0060] 如附图6所示，观测序列的概率由此模型计算得到，识别行为的过程就是通过判断输出概率值是否小于一个最小阈值，如果是小于一个最小阈值就把此行为序列归类为异常行为；\n[0061] 所述的最小阈值一般可以通过正常序列的训练学习得到，通常通过观察在训练阶段所输出的概率值，最小阈值的设定方法是将定在多组正常序列所输出的概率值中的最小值再减去一个多组正常序列所输出的概率值范围δ的5％；\n[0062] 所述的报警及语音警示模块，用于对异常行为序列进行语音警示，系统根据异常行为序列的输出概率与所设定阈值的偏离程度发出不同程度的警示语，当达到所设定的报警阈值时，系统能自动通知管理人员及时进行干预和处理并自动将电梯停止在最近的楼层；\n[0063] 进一步，这里首先需要计算异常行为的异常度，本发明中将所输出的概率值偏离最小阈值越大认为异常度越高，将各种电梯内的异常行为过程分别判定为“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”等5中不同的结果，判定方法以及相应措施如表1所示；\n[0064] \n判定范围 判定结果 措施\n最小阈值-δ·(＞20)％ 确认严重暴力行为 语音发出严重警告，并通\n 知相关管理人员，控制电\n 梯在最近楼层停靠\n最小阈值-δ·(＞15～20) 严重异常 语音提醒警告，并通知相\n％ 关管理人员，控制电梯在\n 最近楼层停靠\n最小阈值-δ·(＞10～15) 异常 语音提醒警示，并通知相\n％ 关管理人员\n最小阈值-δ·(＞5～10)％ 有暴力倾向 语音提醒警示\n最小阈值-δ·(0～5)％ 需要注意 语音提醒注意\n[0065] 表1异常度判定表\n[0066] 注：表1中的δ表示多组正常序列所输出的概率值范围。\n附图说明\n[0067] 图1为基于计算机视觉的电梯轿厢内暴力行为智能检测装置中行为检测流程图；\n[0068] 图2为轿厢内视频图像采用嵌入式软硬件以及无线收发模块进行全数字无线视音频通信系统拓扑图；\n[0069] 图3为能够把颜色变化和亮度变化分开评估的颜色模型图；\n[0070] 图4为一种典型的隐马尔可夫模型图；\n[0071] 图5为隐马尔可夫模型建立过程流程图；\n[0072] 图6为采用隐马尔可夫模型来识别行为的流程图；\n[0073] 图7为基于计算机视觉的电梯轿厢内暴力行为智能检测装置的组成模块及处理流程图；\n[0074] 图8为基于隐马尔可夫模型判定正常行为和异常行为的结果图。\n具体实施方式\n[0075] 下面结合附图对本发明作进一步描述。\n[0076] 实施例1\n[0077] 参照图1～图8，一种基于计算机视觉的电梯轿厢内暴力行为智能检测装置，包括安装在电梯轿厢顶部的视频传感器、用于传输视频数据的嵌入式系统、用于监控电梯轿厢内的监控中心计算机，所述的视频传感器通过USB接口与所述的嵌入式系统进行连接，所述的嵌入式系统通过无线通信方式与监控中心计算机连接，所述的监控中心计算机包括用于实时显示电梯轿厢内视频数据的轿厢内视频图像读取模块，所述轿厢内视频图像读取模块连接显示装置，所述的监控中心计算机为电梯所在大楼的无线局域网的中心，所述的视频传感器与监控中心计算机进行无线视频数据通信，所述的监控计算机包括用于电梯轿厢内安全防范的微处理器，所述的微处理器还包括：背景建模和人体前景对象提取模块、人群行为特征序列提取模块、隐马尔可夫模型的建模模块、暴力行为的识别模块和报警及语音警示模块，如附图7所示；\n[0078] 所述的嵌入式系统，用于采集轿厢内用于采集、传输视频信息的嵌入式系统与无线收发模块的配合，选择嵌入式Linux系统，主要达到集传感、通信、移动为一体的目的，具体选择三星S3C2410X为嵌入式微处理器，结合无线局域网技术。嵌入式系统中包括了软件与硬件技术，其中嵌入式Linux软件是核心技术，它能实现视音频服务器的功能。\n[0079] 所述的嵌入式微处理器S3C2410X是一款基于ARM920T内核的16/32位RISC嵌入式微处理器，该处理器是为手持设备以及高性价比、低功耗微控制器而设计的。它采用了一种叫做AMBA(Advanced Microcontroller Bus Architecture)的新总线架构。S3C2410X内部的主要资源有内存管理单元MMU、系统管理器、各为16KB的指令和数据缓存、LCD控制器(STN&TFT)、NAND FLASH Boot Loader、3通道UART、4通道DMA、4个PWM时钟、1个内部时钟、8通道10为ADC、触摸屏接口、多媒体卡接口、I2C和I2S总线接口、2个USB主机接口、1个USB设备接口、SD主接口、2SPI接口、PLL时钟发生器以及通用I/O端口等，如附图2所示；\n[0080] 所述的嵌入式微处理器S3C2410X内部包含一个叫MMU的内存管理单元，可以实现虚拟存储空间到物理存储空间的映射。通常嵌入式系统的程序存放在ROM/FLASH中，系统断电后程序能够得到保存，但ROM/FLASH与SDRAM相比，速度要慢的多，而且嵌入式系统中通常把异常中断向量表存放在RAM中，利用内存映射机构可以解决这种需要。\n[0081] 所述的ROM/FLASH采用三星公司64MB的K9S1208VOM。它可进行10万次的编程/擦除，数据保存长达10年，被用来装载操作系统镜像和大容量的数据。\n[0082] 所述的SDRAM是采用三星公司的K4S561632C，用来运行操作系统和存储程序运行过程中所需要的数据，它是4M*16bit*4bank的同步DRAM，容量为32MB。用两片K4S561632C实现位扩展，使数据总线宽度为32bit。\n[0083] 所述的嵌入式软件系统主要包括操作系统、TCP/IP协议的移植、驱动程序的安装以及用户应用程序的编写等。\n[0084] 本发明中采用了Linux作为嵌入式操作系统，Linux是从UNIX发展而来，继承了UNIX大多数的优点，Linux公开的内核源代码使得它成为目前最流行的操作系统，并且Linux可以从应用出发裁剪其硬件软件，这对面向基于图像识别技术的电梯内防暴力装置这种特殊需要来说十分必要，这里我们将其称为定制操作系统，定制步骤如下：(1)编写板基支持包BSP；(2)裁剪和配置操作系统的各个部件，并修改相应的配置文件；(3)编译Kernel、组件和BSP，生成操作系统镜像文件；(4)将镜像文件下载到目标板上，进行调试。\n[0085] 进一步，电梯内视音频监控信息是要通过TCP/IP协议经无线局域网以数据打包、发送的方式来进行传输的，因此要在操作系统支持下实现TCP/IP协议，就需要进行任务划分，可以将TCP/IP的实现划分为4个任务来实现：①IP任务，主要用来解决IP分片的重组；②TCP输入任务，主要用来处理接收到的TCP报文段；③TCP输出任务，主要用来将要输出的数据打包、发送；④TCP定时器任务，主要用来为各种时延事件(如重发事件)提供时钟。\n[0086] 更进一步，基于图像、语音识别技术的电梯内防暴力装置中需要有两个USB接口，其中一个USB接口是将监控摄像头与S3C2410X进行连接，另一个USB接口是将无线网卡与S3C2410X进行连接，由于S3C2410X自带USB主从接口，不需要专门的USB芯片支持，只要对其安装驱动程序即可进行USB传输数据。在S3C2410X上配置有语音接口，将麦克风直接与语音接口连接就能完成语音信息的采集功能。\n[0087] 所述的USB驱动程序包含如下几个部分：(1)创建设备，创建设备函数带两个参数调用，一个参数是指向驱动程序对象的指针，另一个参数是指向物理设备对象的指针；(2)关闭设备；(3)读取设备数据，当客户应用程序有读取设备数据的要求时，系统将此要求以IRP_MJ_READ的IRP形式传递给功能驱动程序，由设备的D12Meter_Read程序执行，然后再由D12Meter_Read指定USB总线驱动程序直接与设备实现信息交互；(4)对设备写入数据，当客户应用程序有写设备数据的要求时，系统将此要求以IRP_MJ_WRITE的IRP形式传递给功能驱动程序，并由D12Meter_Write执行，然后再由D12Meter_Write指定USB总线驱动程序直接与设备实现信息交互。USB驱动程序通过安装文件(.inf文件)中PID(产品识别号)和VID(厂商识别号)识别USB设备。\n[0088] 当嵌入式操作系统装载完成后，就可以安装无线网卡的驱动程序和其他相应的应用程序。将无线网卡的驱动程序作为一个模块打包到操作系统中，可避免系统掉电后每次都要重装无线网卡驱动程序。\n[0089] 所述的轿厢内视频图像读取模块，用于将电梯轿厢内的视频信息采集下来并传送给监控中心计算机，监控中心计算机实时读取传送过来的视频数据；\n[0090] 所述的背景建模和人体前景对象提取模块，用于对所读取的视频数据中提取出人体前景对象；\n[0091] 本发明中采用Codebook算法来提取前景人体对象，该算法是通过长时间地观察视频序列，利用量化和聚类技术来构建背景模型。它对每个像素建立一个包含一个或多个的码本，先根据每个像素点的亮度和颜色在连续采样过程中的变化程度来生成码字，所有代表像素的码字统称为码本。最后，通过记录的码字来判断像素是否属于前景还是背景，该算法的实现可参考文献[1]；\n[0092] 码本的构建过程是：首先假设χ是对一个特定像素的训练序列，它由N个RGB向量组成，χ＝{x1，x2，..，xN}。除此之外，令C＝{c1，c2，...，cL}代表相对这个像素的码本，包括L个码字。每个像素的码本中，码字的数量是不同的，取决于样本的波动。每一个码字ci，i＝1...L，都包含了一个RGB向量vi＝(Ri，Gi，Bi)以及一个6元组\n为了解决光照变化的问题，比如阴影和强光，还使用了一个特殊的颜色模型把颜色信息和亮度信息分开。附图3表示的颜色模型能够把颜色变化和亮度变化分开评估；\n[0093] 通过上述处理后得到的二值视频图像会存在着噪声点，仍需要进一步进行形态学去噪处理，最常见的解决方法是使用一种基于距离标准的方法，即膨胀-腐蚀算子，把相互接近的前景块或者目标连为一体；本发明中，通过腐蚀操作来滤掉孤立点，而空洞则由膨胀操作去除，该算法的实现可参考文献[2]、[3]；\n[0094] 在本发明中是针对人群行为检测，当检测到轿厢内不足两人时，系统自动转到所述的轿厢内视频图像读取模块，不进行后续的计算；\n[0095] 所述的人群行为特征序列提取模块，用于对在视频图像序列中所提取出的人体前景对象，并计算出该前景对象的连通区域的面积变化、前景区域质量中心的变化以及外接矩形的长宽变化的相关数据，建立三维特征向量序列；\n[0096] 当检测到轿厢内两人或者两人以上情况时，在所述的背景建模和人体前景对象提取模块计算中提取了人体前景的时序二值图，这些数据经过处理后得到了特征向量序列，能够用于建立隐马尔可夫模型的建模或者通过隐马尔可夫模型的行为检测。这里的特征向量包括由人群前景面积的变化、人群前景外接矩形的长宽变化、人群前景的重心变化组成为三维特征向量数据；\n[0097] 1)人群前景面积的变化AC\n[0098] 人群前景面积的变化AC的计算方法由公式(1)给出，该值的大小表示前景像素数量的变化量的大小，能反映人体运动激烈的程度；\n[0099] \n[0100] 式中：Ap为前一帧图像所获取的前景人体对象的面积，An为当前帧图像所获取的前景人体对象的面积。\n[0101] 2)人群前景外接矩形的长宽变化WHC\n[0102] 人群前景外接矩形的长宽变化WHC由公式(2)给出，该值的大小表示人群前景外接矩形的长宽变化量的大小，能反映暴力行为发生时人体姿态变化的程度；\n[0103] \n[0104] 式中：Hp、Wp分别为前一图像帧前景人体对象的外接矩形的长与宽，Hn、Wn为当前图像帧的前景人体对象的外接矩形的长与宽。\n[0105] 3)人群前景的重心变化CC\n[0106] 人群前景的重心变化CC由公式(3)给出，该值的大小表示人群前景的重心变化量的大小，能反映暴力行为发生时人体移动变化的程度；\n[0107] CC＝||Cp-Cn||(3)\n[0108] 式中：Cp为前一图像帧前景人体对象的的重心位置，Cn为当前图像帧的前景人体对象的重心位置。\n[0109] 所述的隐马尔可夫模型的建模模块，用于将每一个三维特征向量序列转换为一个具体的符号，即观察值，通过获取大量电梯内的正常行为的特征向量数据，然后通过K-Means算法对整个特征向量数据集进行聚类，获取了码本集合。最后，通过码本集合将所有特征向量转为可以在HMM模型中使用的观察值。这些观察值组成观察序列，通过Baum-Welch算法获得最佳的HMM模型的参数，建立起正常行为的HMM模型；\n[0110] 由于后续处理的隐马尔可夫模型需要一个具体的符号特征来表示特征向量，因此需要将每一个特征向量转换为一个具体的符号也即是观察值。这时可以通过使用向量量化或者聚类的方法来实现；实际上做法是通过一些方法将特征向量训练数据分割成K个类别，使这K个类别的相似度最低，将这K个类别的中心点组成码本集合。一旦训练完成，获得了码本集合，就可以将任意的特征向量转为与它距离最近的在码本集合中的码本的索引值，这个索引值作为是观察值。目前常用的算法有LBG向量量化算法，参照参考文献[4]和参照参考文献[5]；本发明中采用的是K-Means聚类算法；\n[0111] K-Means聚类算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足，同一聚类中的对象相似度较高，而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”，即引力中心来进行计算的；\n[0112] 该算法的大致流程如下：\n[0113] (1)从n个数据对象任意选择k个对象作为初始聚类中心；\n[0114] (2)循环(3)到(4)直到每个聚类不再发生变化为止；\n[0115] (3)根据每个聚类对象的均值(中心对象)，计算每个对象与这些中心对象的距离，并根据最小距离重新对相应对象进行划分；\n[0116] (4)重新计算每个(有变化)聚类的均值(中心对象)。\n[0117] 隐马尔可夫模型，以下用HMM表示，它是一种用参数表示的、用于描述随机过程统计特性的概率模型。一个典型的隐马尔可夫模型如附图4所示；\n[0118] HMM可以记为λ＝(N，M，π，A，B)，\n[0119] HMM模型具体可以由下列参数描述：\n[0120] (1)N：模型中的状态数目。记N个状态S1，...，SN。\n[0121] (2)M：每个状态对应的可能的观察值数目。记M个观察值为O1，...，OM。\n[0122] (3)π：初始状态概率矢量，π＝(π1，...，πN)其中，πi＝P(q1＝Si)，1≤i≤N，并且满足πi≥0， 它用于描述初始时观察序列在t＝1时属于不同的状态的概率。\n[0123] (4)A为状态转移概率矩阵，A＝(aij)N×N。其中A为状态转移概率矩阵，A＝(aij)N×N。其中，aij＝p(qt+1＝Sj|qt＝Si)，1≤i，j≤N，并且， 它用于描述从在时间t的状态i变换为时间t+1的状态j的概率分布。\n[0124] (5)B为观察值概率矩阵，B＝(bji)N×M其中，bj(i)＝p(ot＝Oi|qt＝Sj)＝p(Oi|Sj)1≤j≤N，1≤i≤M，并且 它用于描述在时间t状态Sj的情况下产生\n观察值为Oi的概率。\n[0125] 通过HMM实现电梯内的暴力行为检测必须要解决三个基本的问题。\n[0126] (a)计算问题。对于给定的观察值序列o＝O1O2...ON以及一个特定的HMM模型参数λ＝(N，M，π，A，B)，如何计算这个特定的HMM模型产生特征序列o的概率。这个问题很重要，可以通过Forward-backward[6]算法解决，参考文献[6]：。\n[0127] (b)识别问题。对于给定观察值序列o＝O1O2...ON，如何选择最佳的状态序列S以便最好的解释这个序列。这可以通过Viberti-Decoding[6]算法解决。\n[0128] (c)训练问题，如何调整模型参数λ来使P(o|λ)概率最大。这可以通\nBaum-Welch算法[6]解决。\n[0129] 关于Forward-backward算法、Viberti-Decoding算法以及Baum-Welch算法的实现可参考文献[6]；在解决了上述三个问题之后就能够通过HMM建模来对暴力行为进行检测；\n[0130] 进一步，出于对正常行为数据获取相对简单、容易，而暴力等异常行为具有无穷列举性的考虑，本发明通过对电梯内的正常行为进行HMM建模来对暴力行为进行检测，选用的是从左到右两状态转移HMM，如附图4所示；\n[0131] HMM模型的使用，需要经过训练与检测两个阶段。在训练阶段即建立HMM模型阶段。首先，获取大量电梯内的正常行为的特征向量数据，然后通过K-Means算法对整个特征向量数据集进行聚类，获取了码本集合。最后，通过码本集合将所有特征向量转为可以在HMM模型中使用的观察值。这些观察值组成观察序列，通过Baum-Welch算法获得最佳的HMM模型的参数，从而建立起正常行为的HMM模型。具体的建模过程如附图5所示；\n[0132] 所述的暴力行为的识别模块，用于区分正常行为还是异常行为，通过\nForward-backward算法计算出观察值序列的概率，一个观察值序列如果它的输出概率很高，大于预先设定的阈值则认为它是一个正常行为序列。反之，如果一个观察序列的输出概率低于设定阈值，则认为是一个异常行为序列；具体检测识别过程如附图6所示；\n[0133] 如附图6所示，观测序列的概率由此模型计算得到，识别行为的过程就是通过判断输出概率值是否小于一个最小阈值，如果是小于一个最小阈值就把此行为序列归类为异常行为；\n[0134] 所述的最小阈值一般可以通过正常序列的训练学习得到，通常通过观察在训练阶段所输出的概率值，最小阈值的设定方法是将定在多组正常序列所输出的概率值中的最小值再减去一个多组正常序列所输出的概率值范围δ的5％；\n[0135] 附图8显示了训练和检测结果，从图中可以看出采用本发明中所提出的识别方法是很容易的通过设置阈值来区分正常和异常行为。图中加注*点表示异常行为，而加注·点表示正常行为，从图中可以看出在-49～-50范围内是可以选择作为阈值选择区域的。\n[0136] 所述的报警及语音警示模块，用于对异常行为序列进行语音警示，系统根据异常行为序列的输出概率与所设定阈值的偏离程度计算出异常度，然后根据异常度发出不同程度的警示语，当达到所设定的报警阈值时，系统能自动通知管理人员及时进行干预和处理并自动将电梯停止在最近的楼层；\n[0137] 进一步，这里首先需要计算异常行为的异常度，本发明中将所输出的概率值偏离最小阈值越大认为异常度越高，将各种电梯内的异常行为过程分别判定为“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”等5中不同的结果；判定方法以及相应措施如表1所示；\n[0138] \n判定范围 判定结果 措施\n最小阈值-δ·(＞20)％ 确认严重暴力行为 语音发出严重警告，并通\n 知相关管理人员，控制电\n 梯在最近楼层停靠\n最小阈值-δ·(＞15～20) 严重异常 语音提醒警告，并通知相\n％ 关管理人员，控制电梯在\n 最近楼层停靠\n最小阈值-δ·(＞10～15) 异常 语音提醒警示，并通知相\n％ 关管理人员\n最小阈值-δ·(＞5～10)％ 有暴力倾向 语音提醒警示\n最小阈值-δ·(0～5)％ 需要注意 语音提醒注意\n[0139] 表1异常度判定表\n[0140] 表1中的δ表示多组正常序列所输出的概率值范围。\n[0141] 本发明采用的IEEE802.11b无线通信作为基于计算机视觉的电梯轿厢内暴力行为智能检测装置的嵌入式系统与监控中心计算机之间通信技术。所述的嵌入式系统是嵌入式Linux系统，所述的监控中心计算机所使用的是PC机或者是服务器，本发明中的用户程序模块是由C和Java语言实现的。\n[0142] 实施例2\n[0143] 参照图1-图8，其余与实施方案1相同，不同的是无线视频传输方面，该实施方案中采用了视频信息的视频采集芯片、用于进行小波视频压缩的视频压缩芯片、用于实时计算每一场图像的量化参数以及完成一些重要算法的DSP芯片，用于对视频采集芯片和DSP芯片进行逻辑控制的高复杂度可编程逻辑器件(CPLD)、用于无线通信的通信串口，采集的数字视频经视频压缩芯片压缩后，由DSP对进行打包，然后由无线收发模块发送压缩的视频数据，无线收发模块符合IEEE802.11b的通信标准。\n[0144] 上述的实施例1和2所产生的发明效果是充分利用了日益成熟的无线视频通信计算、嵌入式系统、计算机视觉与行为识别等技术，通过对轿厢内的各种行为计算，能将各种异常行为分别判定为“确认暴力”、“严重异常”、“异常”、“有暴力倾向”、“需要注意”等5种不同的结果。实现了电梯的远程智能化防暴力监控，在发生窃财、窃色等电梯暴力事件发生时能在第一时间通知有关人员采取救援措施；降低了电梯内的犯罪率，提高电梯利用者的安全感，对预防电梯内的犯罪有积极的作用；对一些行为不轨者、企图抢劫者有震慑作用以外，对一些弱者也有较大的心理安慰作用，特别能起到有一个安全保护心理作用。\n[0145] 本说明书中参考文献为：\n[0146] [1]：Kyungnam Kim，Thanarat H.Chalidabhongse，David Harwood，LarryDavis，Real-time foreground-background segmentation using codebook model[J]，Real-time Imaging，2005，11(3)：167-256.Kyungnam Kim，Thanarat H.Chalidabhongse，David harwood，Larry Davis；即，基于码本模型的实时前景与背景分割[J]，实时成像，2005，\n11(3)：167-256；\n[0147] [2]：A.Senior.Tracking people with probabilistic appearance \nmodels[C].//Proceedings of International Workshop on Performance Evaluation of Tracking andSurveillance.2002.A.Senior.；即，基于概率外观模型的人体跟踪[C].关于跟踪和监控性能评价的国际研讨会论文集.2002.；\n[0148] [3]：C.Stauffer and E.Grimson.Learning patterns of activity using real-timetracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2000，22(8)：747-757.C.Stauffer，E.Grimson；即，基于实时跟踪的活动类型学习[J].IEEE模式分析与机器智能学报.2000，22(8)：747-757；\n[0149] [4]：Y.Linde，A.Buzo，R.M.Gray，An Algorithm for Vector Quantizer Design[J].IEEE Transactions on Communications.1980，28：702-710.Y.Linde，A.Buzo，R.M.Gray；即，向量量化器设计算法[J].IEEE通信学报.1980，28：84-95；以及K-Means聚类算法；\n[0150] [5]：Nair，V.，Clark，J.J.Automated Visual Surveillance Using Hidden MarkovModels[C]Proceeding of the 15th Vision Interface Conference.Calgary，Canada，2002：88-92.Nair，V.，Clark，J.J；即，基于隐马尔科夫模型的自动视觉监控[C].第15届视觉界面会议。卡尔加里，加拿大，2002：88-92.\n[0151] [6] ：L.R.Rabiner，“A Tutorial on Hidden Markov Models and \nSelectedApplications in Speech Recognition”，Proceedings of the IEEE，Vol.77，No.2，pp.257-286，1989.[6]L.R.Rabiner；即，“隐马尔科夫模型指南及在语音识别上的应用”IEEE会议，Vol.77，No.2，pp.257-286，1989。