基于轨迹分析的监控视频异常事件检测方法

1.一种基于轨迹分析的监控视频异常事件检测方法，其特征是，包括以下步骤：
1)基于轨迹分析的异常事件分类：
根据个体数目引起的轨迹数目的区别将常见监控视频中异常事件分为单人、双人和多人三类，划分出各类异常事件常见轨迹特征及事件类型：包括有位置、运动方向、速度、加速度的个体运动特征，包括有多摄像头中的相对位置、相对运动方向、相对速度、相对加速度的双人运动特征，包括有多摄像头中的群体位置、群体运动方向、群体速度、群体加速度的多人运动特征；事件类型有：包括人跑、逆流行走的个体类型，包括拥抱、追逐的双人类型，包括聚集、分开的群体类型；
2)基于动态贝叶斯网的异常事件建模：
通过利用上述各类异常事件的轨迹特征对特定异常事件进行表征，在此基础上利用动态贝叶斯网对异常事件进行建模，从而表征不同摄像头下运动形式的复杂性以及群体运动内在规则的多样性，基于动态贝叶斯网的异常事件建模由以下三步完成：
①动态贝叶斯网的构建：
所建立动态贝叶斯网由特征层、基元层、事件层三级自底向上结构组成，通过特征和基元的融合，充分利用多摄像头提供的多源信息，从而充分挖掘语义事件的多样特征，具体为：特征节点代表t时刻从视频序列中观察到的运动轨迹特征；在特征节点的上面是基元层节点，表示由轨迹特征通过特定变换构成的个体行为特征；建立在基元层节点之上则是事件层节点，表示由个体行为特征通过某种变换构成的群体行为特征，事件层本身包含多层，来反映多类事件之间的层次关系；处于事件层和基元层之间的节点为标志性节点，它表明基元层分析已结束，需要转入事件层分析；t时刻中事件层或基元层节点对下一时刻的事件层和基元层节点的转移和关联通过概率密度值表示，将通过动态贝叶斯网模型的学习获得；
②动态贝叶斯网模型的学习：
动态贝叶斯网的参数有两部分构成，一是它的拓扑结构，二是各个状态变量的概率分布，需要进行事件层和基元层各个节点概率分布的学习，根据模型学习过程中基元的特性将模型学习方法分成以下三种情况，以适应不同类型训练数据的需要：
第一种情况：基元标注和数目均已知，训练数据中不仅有事件的标注，而且有基元的标注，事件和基元上的概率分布直接从训练数据中通过计算不同事件和基元组合出现的频率来统计各类状态变量的概率；
第二种情况：基元数目已知，但标注未知，与上一种情况相比，此时训练数据中只有事件的标注，没有基元的标注，但是可以通过先验知识获取基元数目，所以此时这种情况与基元数目已知的非监督聚类相同，在基元聚类的基础上通过概率计算统计状态变量的概率分布，采用期望最大化算法进行基元聚类和模型参数学习；
第三种情况：基元数目和标注均未知，在该种情况下，需要模型能从训练数据中自动估计基元的数目和分类情况，通过引入随机搜索策略来解决这个问题，采用马尔可夫链蒙特卡洛算法进行处理；
③特征选择：
将决策树应用到动态贝叶斯网模型中：首先需要建立特征池，包含所有可能的特征；
然后根据训练数据，模型自动建立基元识别的决策树分类器，从而有效实现特征的选择，采用决策树进行特征选择的方法选择高效的有区分性的特征，自动地根据训练数据进行特征选择，决策树根据各个特征对于分类的贡献度确定特征的使用次序以及排除贡献度不大的特征。

基于轨迹分析的监控视频异常事件检测方法\n技术领域\n[0001] 本发明涉及视频处理、模式识别等，具体讲涉及基于轨迹分析的监控视频异常事件检测方法。\n背景技术\n[0002] 当前基于网络的视频监控系统所能够提供的信息量在急速增加，而面对汇集来的海量视频数据，单单依靠人力来进行监控的有效分析和管理已基本无法完成，智能化视频处理技术的引入势在必行；同时，交互式技术的出现使得视频监控用户已不再是信息的被动接收者，他们可以根据自己的需求有选择性接收相应的视频资源和个性化搜索所关注资源，这就要求监控视频的智能化处理不能停留在如自动位移侦测、昼夜自适应切换存储、预警设置等一些低级形式的“智能化”模式上，而是向着高端的视频内容语义理解和特定事件识别方向发展。现有监控视频异常事件检测多是通过特定规则的制定对单目摄像头下简单的异常事件(如：入侵检测、丢包事件等)进行检测和报警。但是，当面临多摄像头监控网络时，个体数目的增加、不同视角下运动规律和参数的不同、不同视角下特定事件描述的多样性等外界因素使得语义事件的检测变得十分复杂。针对该问题，本发明提出基于轨迹分析的监控视频异常事件检测方法，采用多层多信息融合的动态贝叶斯网模型来动态表征多视角视频中同一事件的多参量变化规律。该模型由特征层(运动目标低层特征)、基元层(个体行为特征)、事件层(群体行为特征)三级自底向上结构组成。将通过特征和基元的融合，充分利用多摄像头提供的多源信息，从而充分挖掘语义事件的多样特征。一旦模型中的参数经过对训练数据的学习获得，就可以对观测到的特征序列，应用贝叶斯推理确定最大概率条件下的各个事件节点的值。这样，通过该模型可以实现语义事件显性规则的表征。\n发明内容\n[0003] 为克服现有技术的不足，提供一种表征跨摄像头多视角中同一事件的多运动参量变化规律，准确率高的视频异常事件检测方法，为达上述目的，本发明采取的技术方案是，基于轨迹分析的监控视频异常事件检测方法，包括以下步骤：\n[0004] 1.基于轨迹分析的异常事件分类：\n[0005] 根据个体数目引起的轨迹数目的区别将常见监控视频中异常事件分为单人、双人和多人三类，划分出各类异常事件常见轨迹特征及事件类型：包括有位置、运动方向、速度、加速度的个体运动特征，包括有多摄像头中的相对位置、相对运动方向、相对速度、相对加速度的双人运动特征，包括有多摄像头中的群体位置、群体运动方向、群体速度、群体加速度的多人运动特征；事件类型有：包括人跑、逆流行走的个体类型，包括拥抱、追逐的双人类型，包括聚集、分开的群体类型；\n[0006] 2.基于动态贝叶斯网的异常事件建模：\n[0007] 通过利用上述各类异常事件的轨迹特征对特定异常事件进行表征，在此基础上利用动态贝叶斯网对异常事件进行建模，从而表征不同摄像头下运动形式的复杂性以及群体运动内在规则的多样性，基于动态贝叶斯网的异常事件建模由以下三步完成：\n[0008] ①动态贝叶斯网的构建：\n[0009] 所建立动态贝叶斯网由特征层、基元层、事件层三级自底向上结构组成，通过特征和基元的融合，充分利用多摄像头提供的多源信息，从而充分挖掘语义事件的多样特征，具体为：特征节点代表t时刻从视频序列中观察到的运动轨迹特征；在特征节点的上面是基元层节点，表示由轨迹特征通过特定变换构成的个体行为特征；建立在基元结点之上则是事件层节点，表示由个体行为特征通过某种变换构成的群体行为特征，事件层本身可以包含多层，来反映多类事件之间的层次关系，处于各层之间的节点为标志性节点，它表明低一层分析已结束，需要转入高层分析，t时刻中每层节点对建立在下一时刻的特征向量上面的相应同层及相应上下层的转移和关联通过概率密度值表示，将通过动态贝叶斯网模型的学习获得；\n[0010] ②动态贝叶斯网的学习\n[0011] 动态贝叶斯网的参数有两部分构成，一是它的拓扑结构，二是各个状态变量的概率分布，需要进行各个节点概率分布的学习，根据模型学习过程中基元的特性将模型学习方法分成以下三种情况，以适应不同类型训练数据的需要：\n[0012] 第一种情况：基元标注和数目均已知，训练数据中不仅有事件的标注，而且有基元的标注，事件和基元上的概率分布可以直接从训练数据中通过计算不同事件和基元组合出现的频率来统计各类状态变量的概率；\n[0013] 第二种情况：基元数目已知，但标注未知，与上一种情况相比，此时训练数据中只有事件的标注，没有基元的标注，但是可以通过先验知识获取基元数目，所以此时这种情况类似于基元数目已知的非监督聚类，在基元聚类的基础上可以通过概率计算统计状态标量的概率分布，采用期望最大化算法进行基元聚类和模型参数学习；\n[0014] 第三种情况：基元数目和标注均未知，在该种情况下，需要模型能从训练数据中自动估计基元的数目和分类情况，通过引入随机搜索策略来解决这个问题，采用马尔可夫链蒙特卡洛算法进行处理；\n[0015] ③特征选择：\n[0016] 将决策树应用到动态贝叶斯模型中：首先需要建立特征池，包含所有可能的特征；\n然后根据训练数据，模型自动建立基元识别的决策树分类器，从而有效实现特征的选择，采用应用决策树进行特征选择的方法选择高效有区分性特征，自动地根据训练数据进行特征选择，决策树根据各个特征对于分类的贡献度确定特征的使用次序以及排除贡献度不大的特征。首先，需要建立特征池，即提取各类基于轨迹的运动特征，然后根据训练数据，借助决策树算法通过交叉验证有效实现特征的选择。\n[0017] 本发明具有以下技术效果：\n[0018] 基于轨迹分析的监控视频异常事件检测方法适用于多摄像头下可以通过目标运动轨迹分析来进行判决的语义事件检测。特别的，本发明采用动态贝叶斯网模型来动态表征跨摄像头多视角中同一事件的多运动参量变化规律。在现有包含图1所示多类异常事件连续10小时监控视频中各类事件检测平均准确率达90％。\n附图说明\n[0019] 图1基于轨迹分析的异常事件分类。\n[0020] 图2多层动态贝叶斯网示意图。\n具体实施方式\n[0021] 基于轨迹分析的监控视频异常事件检测方法的动机在于图1列举的异常事件可以通过目标运动轨迹和先验知识进行判决，适用于可以显性定义判决规则的异常事件检测。由于不同事件所涉及运动目标数目及轨迹的不同，所以将异常事件分为单人、双人和多人行为构成的异常事件，如图1所示。\n[0022] 个体运动通常包括位置、运动方向、速度、加速度等轨迹特征，基于个体的运动特征，可以计算双人间的相对运动特征及多人的群体运动特征。不同于单目摄像头下视频事件检测问题，对于多摄像头智能监控，需要在时间同步的基础上计算相同时刻不同摄像头中观测目标的运动特征并挖掘不同敏感事件的运动轨迹规则，以辅助相应敏感事件的检测。个体运动状态往往可以通过其运动轨迹所隐含的运动特征直接借助阈值或先验知识进行判决，但是对于双人和多人行为，尽管可以显性定义规则，但是因为不同摄像头下运动形式的复杂性以及群体运动内在规则的多样性，造成不能通过简单的阈值和先验知识进行判决。针对该问题，在本课题研究中，采用动态贝叶斯网来动态表征群体行为的内在动态规则。\n[0023] 动态贝叶斯网是一类概率图模型(Probabilistic Graph Model)，表示为随时间增长的有向无环图，能够通过考虑各个时刻间的状态转移概率更好的处理时间序列信号。\n动态贝叶斯网的优点在于：在每个时刻上允许有多个随机变量而不仅仅是一个隐藏状态变量，因而更适合与多摄像头研究背景下多视角中同一事件的多参量变化规律的学习。在本项目中，将利用该模型提出一种基于动态贝叶斯网的语义事件建模方法，从而有效的表征各类语义事件的内在模式。下面，将从动态贝叶斯网的表示、学习以及特征选择三个方面对该方法进行介绍：\n[0024] 1.动态贝叶斯网的表示\n[0025] 如图1所示基于轨迹分析的异常事件分类，复杂的群体事件往往由个体运动状态(如：位置、运动方向、速度、加速度等)组成。由于群体事件具有比较高层的语义，如人群聚集、人群分散等，直接从底层特征来得到事件的高层语义无疑是低效和困难的。将图2所示高层群体事件看成是由低层基元事件组成的过程，这些基元再由底层特征来区分，从而形成层次化的敏感事件检测模型。\n[0026] 基于以上假定，首先提出一个多层动态贝叶斯网模型，所建立动态贝叶斯网由特征层、基元层、事件层三级自底向上结构组成，将通过特征和基元的融合，充分利用多摄像头提供的多源信息，从而充分挖掘语义事件的多样特征，如图2所示。图2中的节点代表随机变量，连线代表条件概率密度。这里只给出了对应两个时刻的模型示意图。实际上该模型可以重复延伸下去来表示任意长度的时间信号。图2中阴影表示特征节点，代表t时刻从视频序列中观察到的运动轨迹特征；在特征节点的上面是基元层节点，表示由轨迹特征通过特定变换构成的个体行为特征；建立在基元结点之上则是事件层节点，表示由个体行为特征通过某种变换构成的群体行为特征。事件层本身可以包含多层，来反映多类事件之间的层次关系。需要注意的是，处于各层之间的节点为标志性节点，它表明低层分析已结束，需要转入高层分析，如基元层的个体事件分析已结束，需要转入事件层的群体事件分析。t时刻中每层节点对建立在下一时刻的特征向量上面的相应同层及相应上下层的转移和关联通过概率密度值表示，将通过动态贝叶斯网模型的学习获得。\n[0027] 2.动态贝叶斯网的学习\n[0028] 为了对事件进行建模，还需要从训练数据中获得模型的相关参数。动态贝叶斯网的参数有两部分构成，一是它的拓扑结构，二是各个状态变量的概率分布。根据结构是否已知和状态是否可以观察，有不同的学习方法。根据监控视频中异常事件特点，所以所提出的贝叶斯网模型结构是确定的，如图2所示，因此只需要进行各个节点概率分布的学习。这可以分成以下三种情况讨论：\n[0029] 第一种情况：基元标注和数目均已知。训练数据中不仅有事件的标注，而且有基元的标注，事件和基元上的概率分布可以直接从训练数据中通过计算不同事件和基元组合出现的频率来统计各类状态变量的概率；\n[0030] 第二种情况：基元数目已知，但标注未知。与上一种情况相比，此时训练数据中只有事件的标注，没有基元的标注，但是可以通过先验知识获取基元数目，所以此时这种情况类似于基元数目已知的非监督聚类，在基元聚类的基础上可以通过概率计算统计状态标量的概率分布。本发明中，不失一般性的，我们采用期望最大化算法(Expectation Maximization)[1]进行基元聚类和模型参数学习。\n[0031] [1]A.P.Dempster，N.M.Laird，D.B.Rubin，“Maximum Likelihood from IncompleteData via the EM Algorithm.”ournal of the Royal Statistical Society.Series B(Methodological)，Vol.39，No.1.(1977)，pp.1-38.\n[0032] 第三种情况：基元数目和标注均未知。在该种情况下，需要模型能从训练数据中自动估计基元的数目和分类情况。这意味着模型能够完全自动的根据训练数据对事件的基元组成进行学习。本发明提出通过引入随机搜索策略来解决这个问题，并不失一般性的采用马尔可夫链蒙特卡洛算法(Markov Chain Monte Carlo)来解决该问题[2]。\n[0033] [2]L.Xie，S.F.Chang，A.Divakaran and H.Sun，“Unsupervised Mining of StatisticalTemporal Structures in Video，”Video Mining，Azreil Rosenfeld，David Doremann，Daniel Dementhon，eds.，Kluwer Academic Publishers，2003.[0034] ③特征选择：\n[0035] 将决策树应用到动态贝叶斯模型中：首先需要建立特征池，包含所有可能的特征；\n然后根据训练数据，模型自动建立基元识别的决策树分类器，从而有效实现特征的选择。\n[0036] 对于模型的学习，除了需要提取显著性特征，如何选择高效有区分性特征也是事件建模中的一个重要问题。现有方法中多是需要根据不同领域的情况人为选择特征。本发明中提出一种应用决策树进行特征选择的方法，能够自动地根据训练数据进行特征选择。\n决策树能够根据各个特征对于分类的贡献度确定特征的使用次序以及排除贡献度不大的特征[3]。首先，需要建立特征池，即提取各类基于轨迹的运动特征，然后根据训练数据，借助决策树算法通过交叉验证有效实现特征的选择。\n[0037] [3]J.T.Foote，“Decision-Tree Probability Modeling for HMM Speech Recognition，”PhD Dissertation，Brown University，1994.