复杂场景下的人体头部识别方法

1.一种复杂场景下的人体头部识别方法，其特征在于包括以下步骤：
将视频设备输入的视频流分解成单帧视频序列后分配给由外轮廓识别模块、特征弧识别模块和颜色识别模块三个模块进行处理；
外轮廓识别模块对单帧视频序列进行前背景分离后，进行外轮廓提取，并计算出头顶顶点权概率分布；
特征弧识别模块在对单帧视频序列进行平滑及灰度化处理后的图像上做边缘检测，再经过特征弧匹配后得到特征弧匹配概率分布；
颜色识别模块将前景图像与颜色原始模板进行匹配得到色彩权概率分布；
将上述顶点权概率分布、特征弧匹配概率分布以及色彩权概率分布通过简单boosting加权叠加，得到最终的头顶概率分布；
所述计算出头顶顶点权概率分布包括以下步骤：
确定计算起始点P0，将外轮廓提取结果得到的轮廓链链首作为起始点；
选取辅助计算点，沿轮廓链在起始点两侧分别确定近端辅助点和远端辅助点；
通过近端辅助点和远端辅助点计算起始点平均曲率的大小及法线方向；
依据平均曲率大小及法线方向计算起始点顶点权；
如果没到轮廓链链尾，则沿轮廓链计算下一点顶点权直到该轮廓所有点计算完为止；
对顶点权进行加权距离变换，将权重按值大小向空间散布；
归一化处理得到顶点权概率分布；
所述特征弧匹配概率分布通过以下步骤得到：
将视频设备输入的视频流分解成单帧视频序列进行平滑处理后的灰度图与得到的前景图进行掩码后作为边缘特征计算的输入数据；
在上述作为边缘特征计算的输入数据中抽取边缘特征及边缘特征点；
判断得到的边缘特征点的边缘强度是否大于阈值，如大于阈值，则取边缘特征点所在位置相应匹配模板大小图像；
将该图像与预先建立好的原始模板进行匹配并记录得分；
在与原始模板匹配后，动态调节原始模板大小；
判断匹配得分是否高于前一次动态调节后的原始模板，如果匹配得分不高于前一次动态调节后的模板，则置特征弧匹配权为前一次动态调节后的模板匹配得分；
判断所有边缘特征点是否处理完毕，如处理完毕，则进行归一化处理，得到特征弧匹配概率分布并输出；如果没处理完，则返回至抽取边缘特征 点步骤进行下一个点处理；
如果模板匹配得分高于前一次动态调节后的原始模板，则继续沿原调节方向对模板进行放大或缩小处理直到得分不再增加为止，并将此时分数作为最终模板匹配得分；
所述色彩权概率分布通过以下步骤得到：
以一帧原始视频图像与前景图进行掩码的结果作为输入数据，在此输入数据中选取有效颜色特征点；
判断有效颜色特征点对应的特征弧点匹配权是否小于阈值；
如果特征弧点匹配权不小于阈值，则取该有效颜色特征点所在图像窗口分别与正面模板和负面模板进行匹配，记录上述匹配的最大匹配得分；
判断所有有效颜色特征点是否处理完毕；
如处理完毕，则进行归一化处理得到色彩权概率分布并输出；
所述简单boosting为通过对顶点权概率分布、特征弧匹配概率分布以及色彩权概率分布三种弱分类器的线性加权叠加得到强分类器结果输出。
2.按权利要求1所述的复杂场景下的人体头部识别方法，其特征在于：所述外轮廓识别模块、特征弧识别模块和颜色识别模块均在前背景分离后的前景图像中进行分析处理。
3.按权利要求1所述的复杂场景下的人体头部识别方法，其特征在于加权距离变换在原有距离变换基础上增加权重机制，通过种子权重控制其影响范围，具体为：将顶点权权重按值大小向空间散布，加权距离变换考虑种子点权大小，即权重大的种子散布的范围大于权重小的种子。
4.按权利要求1所述的复杂场景下的人体头部识别方法，其特征在于所述原始模板只涉及人头耳部以上区域。
5.按权利要求1所述的复杂场景下的人体头部识别方法，其特征在于采用跳跃移动窗口方式计算特征弧匹配权；边缘特征点的查找和匹配通过水平移动原始模板窗口实现，而配合阈值的判断使其跳跃过边缘强度小的噪音点。
6.按权利要求1所述的复杂场景下的人体头部识别方法，其特征在于采用正面及反面颜色模板进行色彩匹配；正面及反面模板设计均为矩形，长宽比例为1∶1.33；正面模板由上下相连的两个矩形构成，颜色分别为纯黑及纯白色，其中黑、白色部分宽度比例1∶3，反面模板为纯黑色。

复杂场景下的人体头部识别方法\n技术领域\n[0001] 本发明涉及一种视频分析技术，具体的说是一种在有摄像机获取的复杂场景下的人体头部识别方法。\n[0002] 在普通视频监控中，人群的行进多出现相互遮挡、重叠现象，不便于单独人体的识别与跟踪。为避免这种现象，提高计数精度，现有基于视频的客流统计系统往往要求摄像头垂直向下照射。其缺点是需要独立安装摄像头，适应性差，不兼容于原有监控系统。而且垂直角度摄像头取得视频信息量少，达不到监控目的。\n[0003] 普通监控设备一般安装于高处，与水平成30～70度夹角。在人群监控过程中，发生遮挡和连接现象的主要是身体躯干和四肢部位，而人体的头、肩部一般会暴露在监控系统中，否则监控就失去了意义。利用这一特点，本方法只采用肩膀以上的有效特征作为判别依据。\n[0004] 图像或视频序列中行人的检测与识别是计算机视觉热门话题之一。无论是工业界还是学术界都出现了非常多的好方法。有基于头、躯干、四肢分别匹配然后整合在一起的，有基于人体运动周期性的，有基于特征的等等。下面对一些经典的和相关的方法做简单论述。\n[0005] 文章Viola，P.，Michael J.，Snow，D.，Detecting Pedestrians Using Patternsof Motion and Appearance，IJCV(63)，No.2，July 2005，pp.153-161.提出著名的由积分图弱分类器级联成强分类器识别人脸及人体的方法，可用于检测小型运动人体。该方法处理速度慢(4帧/秒)，模型学习时间长(十几个小时)，对被检测人体的大小要求高，只适应于固定场景下运动人体检测。\n[0006] 文 章 Wu，B.，Nevatia，R.，Detection and Tracking of Multiple，PartiallyOccluded Humans by Bayesian Combination of Edgelet based Part Detectors，IJCV(75)，No.2，November 2007，pp.247-266。融合了肢体分割、弱分类器识别以及级联boosting等多种技术，对多方向、多角度人体识别有较好的适应性。该模型较为复杂，在保持被检测人体尺度不变的前提下仍只能处理1帧/秒，实用困难。\n[0007] 文 章 Dalal，N.，Triggs，B.，Histograms of Oriented Gradients for HumanDetection，CVPR05(I：886-893).基于美国专利(专利号：6,711,293“METHODAND APPARATUS FOR IDENTIFYING SCALE INVARIANT FEATURESIN AN IMAGE AND USE OF SAME FOR LOCATING AN OBJECT IN ANIMAGE”)改进的专门用于识别人体的方法。关键在于特征点的收集、筛选与表示。该方法对于光照、姿态、衣着和大小的变化以及遮挡有很好的鲁棒性。适用于检测静态图片中的直立人体，摄像机要求与人体基本水平，不能大角度俯视。\n[0008] 中国专利(专利申请号：200780001314.1“在摄像机获取的场景的测试图像中检测人物的方法和系统”)是HoG算法和级连训练分类器Adaboost等多种经典理论的一个结合和改进，其工作主要面向应用层面。仍然具有过程复杂，要求较高计算量的缺点。另外识别率依靠分类器的训练结果，场景的变化会出现不同的效果，不适于实际应用。\n[0009] 在现实场景中，特别是在人群密集的场合如车站、体育场馆、商场等由于遮挡，人体往往不能够被完整的摄录下来。这给传统的基于人体外形特征或运动特征的方法造成很大的障碍。然而，人体的头和肩膀即使在这种条件下也会部分或全部显现出来。利用人头和肩部特征进行人体识别的方法被逐渐提及。\n[0010] 文章《基于组合模板的人体头部精确定位算法》《中国图象图形学报》2007年第12卷第08期作者：汤金宽，曹丹华，吴裕斌，顾雯雯提出采用“凸”字形模板匹配再通过水平和垂直模板矫正的方法检测人体头部及躯干。只能对室内单体人处理，且摄像机需水平照射，不利于实际应用。\n[0011] 文章《基于人体头肩部形状的身份识别》《应用科技》2006年第33卷第12期作者：韩新宇，朱齐丹，章慧君提出对采集图像去噪后进行逐行扫描匹配样本库的方式检测人头部，前提是只能处理单人，且人体与摄像头距离为已知。这在一般现实场景中无法满足。\n[0012] 文章《智能监控中基于头肩特征的人体检测方法研究》《浙江大学学报(工学版)》\n2004年第38卷第04期作者：潘锋，王宣银，王全强提出通过分割单体直方图得到头肩位置信息，再用SVM进行分类的方法。该系统只能处理单个人体或互不遮挡的多人体，且摄像机要求水平照射，与实际应用有较大出入。\n[0013] 文章Zui Zhang，Gunes，Hatice Piccardi，Massimo，“An accuratealgorithm for head detection based on XYZ and HSV hair and skin colormodels”，ICIP 2008，pp：\n1644-1647在位置空间及颜色空间建立高斯混合模型，然后利用椭圆拟合方式定位人头。虽然能够对多角度人头进行有效识别，但前提是画面必须有较高的分辨率、背景为单色或已经做好人体分割且只处理单个人体。\n发明内容\n[0014] 针对现有技术中因现场光照、摄像机角度、人体尺寸以及遮挡等外界因素造成的人体识别准确度低或无法识别的问题，本发明的要解决的技术问题是提供一种复杂场景下的人体头部识别方法。\n[0015] 为解决上述技术问题，本发明采用的技术方案是：\n[0016] 本发明复杂场景下的人体头部识别方法包括以下步骤：\n[0017] 将视频设备输入的视频流分解成单帧视频序列后分配给由外轮廓识别模块、特征弧识别模块和颜色识别模块三个模块进行处理；\n[0018] 外轮廓识别模块对单帧视频序列进行前背景分离后，进行外轮廓提取，并计算出头顶顶点权概率分布；\n[0019] 特征弧识别模块在对单帧视频序列进行平滑及灰度化处理后的图像上做边缘检测，再经过特征弧匹配后得到特征弧匹配概率分布；\n[0020] 颜色识别模块将前景图像与颜色原始模板进行匹配得到色彩权概率分布；\n[0021] 将上述顶点权概率分布、特征弧匹配概率分布以及色彩权概率分布通过简单boosting加权叠加，得到最终的头顶概率分布。\n[0022] 所述简单boosting为通过对顶点权概率分布、特征弧匹配概率分布以及色彩权概率分布三种弱分类器的线性加权叠加得到强分类器结果输出。\n[0023] 所述外轮廓识别模块、特征弧识别模块和颜色识别模块均在前背景分离后的前景图像中进行分析处理。\n[0024] 所述计算顶点权概率分布包括以下步骤：\n[0025] 确定计算起始点P。，将外轮廓提取结果得到的轮廓链链首作为起始点；\n[0026] 选取辅助计算点，沿轮廓链在起始点两侧分别确定近端辅助点和远端辅助点；\n[0027] 通过近端辅助点和远端辅助点计算起始点平均曲率的大小及法线方向；\n[0028] 依据平均曲率大小及法线方向计算起始点顶点权；\n[0029] 如果没到轮廓链链尾，则沿轮廓链计算下一点顶点权直到该轮廓所有点计算完为止；\n[0030] 对顶点权进行加权距离变换，将权重按值大小向空间散布；\n[0031] 归一化处理得到顶点权概率分布。\n[0032] 加权距离变换在原有距离变换基础上增加权重机制，通过种子权重控制其影响范围，具体为：将顶点权权重按值大小向空间散布，加权距离变换考虑种子点权大小，即权重大的种子散布的范围大于权重小的种子。\n[0033] 所述特征弧匹配概率分布通过以下步骤得到：\n[0034] 将视频设备输入的视频流分解成单帧视频序列进行平滑处理后的灰度图与得到的前景图进行掩码后作为边缘特征计算的输入；\n[0035] 在上述输入数据中抽取边缘特征及边缘特征点；\n[0036] 判断得到的边缘特征点的边缘强度是否大于阈值，如大于阈值，则取边缘特征点所在位置相应匹配模板大小图像；\n[0037] 将该图像与预先建立好的原始模板进行匹配并记录得分；\n[0038] 在与原始模板匹配后，动态调节原始模板大小；\n[0039] 判断匹配得分是否高于前一次动态调节后的原始模板，如果匹配得分不高于前一次动态调节后的模板，则置特征弧匹配权为前一次动态调节后的模板匹配得分；\n[0040] 判断所有特征点是否处理完毕，如处理完毕，则进行归一化处理，得到特征弧匹配概率分布并输出；如果没处理完，则返回至抽取边缘特征点步骤进行下一个点处理；\n[0041] 如果模板匹配得分高于前一次动态调节后的原始模板，则继续沿原调节方向对模板进行放大或缩小处理直到得分不再增加为止，并将此时分数作为最终模板匹配得分。\n[0042] 所述原始模板只涉及人头耳部以上区域。\n[0043] 采用跳跃移动窗口方式计算特征弧匹配权；边缘特征点的查找和匹配通过水平移动原始模板窗口实现，而配合阈值的判断使其跳跃过边缘强度小的噪音点。\n[0044] 所述色彩权概率分布通过以下步骤得到：\n[0045] 以一帧原始视频图像与前景图进行掩码的结果作为输入；\n[0046] 在上述输入数据中选取有效颜色特征点；\n[0047] 判断有效特征点对应的特征弧点匹配权是否小于阈值；\n[0048] 如果特征弧点匹配权不小于阈值，则取该有效特征点所在图像窗口分别与正面模板和负面模板进行匹配，记录上述匹配的最大匹配得分；\n[0049] 判断所有边缘特征点是否处理完毕；\n[0050] 如处理完毕，则进行归一化处理得到色彩权概率分布并输出。\n[0051] 采用正面及反面颜色模板进行色彩匹配；正面及反面模板设计均为矩形，长宽比例为1∶1.33。正面模板由上下相连的两个矩形构成，颜色分别为纯黑及纯白色，其中黑、白色部分宽度比例1∶3，反面模板为纯黑色。\n[0052] 本发明具有以下有益效果及优点：\n[0053] 1.本发明提出一种在复杂场景下实时识别多人的人体头部技术，应用到多角度客流统计，人脸识别的前期定位、人体跟踪与识别、快球跟踪、头像超分辨率等应用当中，有效抑制人体遮挡、摄像机角度、光照变化等客观环境造成不良影响。\n[0054] 2.本发明利用人体头部多种特征进行识别，动态调整各特征分类权重，识别最优化设计；视频图像利用现有的普通视频监控录像，在人群密度大、客流量大场所下，利用监控摄像机一般处于高处，人体肩膀以上的部位不会被整体遮挡的特点完成人的定位和检测。\n[0055] 3.本发明采用由顶点特征、轮廓特征，对称特征以及色谱和纹理分析等多方面信息组成，以实现对人体的头部检测，识别速度快、精度高，可以利用现有大部分监控系统，单体识别时间小于0.2秒。\n附图说明\n[0056] 图1为行人在光照和摄像机角度、位置发生变化下的监控示意图；\n[0057] 图2为本发明方法人体头部识别的总体流程图；\n[0058] 图3为本发明方法中顶点权计算流程图；\n[0059] 图4为本发明方法中特征弧匹配及特征权计算流程图；\n[0060] 图5为本发明方法中颜色模板匹配及色彩权计算流程图；\n[0061] 图6为本发明方法中轮廓顶点权计算示意图；\n[0062] 图7为本发明方法中特征弧模板示意图；\n[0063] 图8为本发明方法中颜色模板示意图。\n具体实施方式\n[0064] 下面结合附图和具体实施方式对本发明做进一步详细描述。\n[0065] 图1显示的是一个模拟的现实监控场景。用黑色人体剪影代表大小不同的人体在平面105上模拟客流进出活动。第1、2摄像机103、104表示现实中可能存在的多种安置方式，它们在角度、方向、焦距等有很大变化。同时，现场的第1、2灯光101、102的位置、方向、强弱等变化也给人体识别带来较大难度。处理器106运行人体识别算法，对由摄像机输入视频流进行实时处理。\n[0066] 如图2所示，本发明复杂场景下的人体头部识别方法步骤如下：\n[0067] 将视频设备输入的视频流分解成单帧视频序列后分配给由颜色识别模块、外轮廓识别模块和特征弧识别模块三个模块进行处理(201)；\n[0068] 外轮廓识别模块对单帧视频序列进行前背景分离(202)后，进行外轮廓提取(203)，并计算出顶点权概率分布(204)；\n[0069] 颜色识别模块将前背景分离结果作为图像掩码进行处理后得到色彩权概率分布(206、208)；\n[0070] 特征弧识别模块将前背景分离结果作为图像掩码进行处理后得到特征弧匹配概率分布(205、207、209)；\n[0071] 将上述顶点权概率分布、色彩权概率分布以及特征弧匹配概率分布通过简单boosting进行线性加权叠加，得到最终的头顶概率分布(210)。\n[0072] 本实施例中运动物体前背影分离可采用简单帧差、背景建模、光流等方法，其中背景建模又可分为单高斯、高斯混合、Kernel-based、Eigen-Background等。本实施例采用高斯混合模型，定义如下：\n[0073] \n[0074] 其中，wj是为j个高斯核权重；K为高斯核个数，一般为3。η(x；μj：，∑j)，是中值为μj：、方差为∑j的第j个高斯分布。在N时刻，每个像素拥有值xN的概率p(xN)被K个高斯混合所描述。\n[0075] 前背景分离202的结果一方面交给轮廓提取步骤203做外轮廓提取工作，另一方面作为图像掩码交给颜色模板匹配步骤206和特征弧匹配步骤207剔除与人体识别不相关区域，减少计算量。轮廓提取203计算得到一个或多个轮廓链，交给顶点权计算步骤204(在图3中详细介绍)计算顶点权概率分布并输出。\n[0076] 特征弧匹配步骤207将经过灰度化及高斯平滑步骤205处理过的灰度图与经过前背景分离步骤202得到的图像掩码做“与”操作得到有效识别区域，再经过特征权计算步骤\n209得到特征弧匹配概率分布。特征弧匹配及特征权计算过程详见图4。\n[0077] 颜色识别模块由颜色模板匹配步骤206和色彩权计算步骤208构成。颜色模板匹配步骤206将原始视频图像与前背景分离步骤202得到的图像掩码做“与”操作得到有效识别区域，再通过与颜色模板的匹配计算色彩权得到色彩权概率分布，详细匹配计算过程见图5。\n[0078] 三个弱分类器已分别根据自己特征计算出头肩部出现的位置概率hi(x)，现在通过简单boosting合成强分类器H(x)，输出最终结果。设权重为αi的弱分类器输出结果为hi(x)，这里i∈{1，2，3}，得到t时刻强分类器 可见，强分类器是弱分类器的线性加权叠加。弱分类器的权重αi体现为单个弱分类器的贡献大小。权重越大的弱t-1\n分类器对最终强分类器的影响越大，而权重的更新则通过 完成。这里ei\nt-1\n为t-1时刻的错误率，通过 得到(y 为t-1时刻分类结果)。可见，前一\n时刻的分类错误会导致下一时刻该分类器贡献减小。也就是说，假如某一时刻颜色信息不能够帮助正确区分人体头部的话，颜色比重在下一时刻整体辨别的时候会逐渐减小，这样就保证了在任何时刻都有最合适的分类器做出正确的选择。\n[0079] (一)计算顶点权概率分布包括以下步骤：\n[0080] 确定曲率计算的起始点，将根据外轮廓提取结果得到的轮廓链链首作为起始点；\n[0081] 选取辅助计算点，沿轮廓链在起始点两侧分别确定近端辅助点和远端辅助点；\n[0082] 通过近端辅助点和远端辅助点计算起始点平均曲率的大小及起始点的法线方向；\n[0083] 分配曲率权重，根据上述起始点平均曲率的大小及起始点的法线方向计算起始点权重，将起始点平均曲率投影至坐标轴正方向，取投影值作为权重；本实施例中坐标以图片左下角顶点为原点，规定水平右方向为x轴正方向，竖直上为y轴正方向；\n[0084] 如果没到轮廓链链尾，则沿轮廓链计算下一点曲率权直到该轮廓所有点计算完为止；\n[0085] 对曲率权进行加权距离变换，将权重按值大小向空间散布；\n[0086] 进行归一化处理，得到顶点权概率分布。\n[0087] 图3详细介绍了顶点权计算过程。步骤301从图2的步骤203中得到需要处理的轮廓链链首交给步骤302作为起始点P0，步骤303和步骤304完成辅助计算点选取工作，沿轮廓链在P0两侧间隔为r和3r位置分别确定近端辅助点P1、P2和远端辅助点P3、P4。其中r用来控制曲率计算的局域性防止奇异点干扰。步骤305分别通过计算弧 和弧的平均曲率再求平均的方式得到P0点的曲率S0， 其中，∠P1P2为\nP1点切线到P2点时转过的角度，∠P3P4同理。\n[0088] 为简便计算，P0点法线方向 取与直线P1P2和直线P3P4斜率平均值垂直方向，其斜率为 其中，k12与k34分别是直线P1P2和直线P3P4的斜率。\n[0089] 曲率权重分配步骤306根据S0的大小和法线方向 计算P0点权重 根据公式将曲率投影至竖直轴正方向，取投影坐标作为权重，这样有利于头顶弧形成，因为一般竖直人体头顶弧线的曲率往往是向上的。沿轮廓链计算下一点曲率权直到该轮廓所有点计算完为止。步骤308对得到的曲率权进行Weighted Distance Transform(加权距离变换)，将权重按值大小向空间散布。加权距离变换与传统距离变换不同，这里不仅考虑种子点有无(二进制)，而且考虑种子点权大小，也就是说，权重大的种子散布的范围要大于权重小的种子。这对于在顶点权大的点附近寻找头顶非常有效。最后经过步骤309归一化得到人头部的概率分布。该一系列的过程在图6中有示例。\n[0090] 如图6所示，步骤601中黑色封闭曲线为轮廓链，计算后的曲率权在步骤602中以不同灰度的像素点表示。颜色越深表明权重越大。可见曲率大并且方向朝上的弧线部分具有较大的权重。放大的一段曲率权在604中表示，为便于显示，图中数值已被统一缩放仅表明大小关系。最后DistanceTransform得到的概率分布显示在步骤603，图中深色区域为头顶出现几率较大的区域。\n[0091] (二)特征弧匹配概率分布通过以下步骤得到：\n[0092] 将视频设备输入的视频流分解成单帧视频序列进行平滑处理后的灰度图与得到的前景图进行掩码后作为边缘特征计算的输入；\n[0093] 在上步骤计算结果中抽取边缘特征及边缘特征点；\n[0094] 判断得到的边缘特征点的边缘强度是否大于阈值，如大于阈值，则取边缘特征点所在位置相应匹配模板大小图像；\n[0095] 将该图像与预先建立好的原始模板进行匹配并记录得分；\n[0096] 在与原始模板匹配后，动态调节原始模板大小，使其适应于不同尺寸人体；\n[0097] 如果匹配得分不高于前一次动态调节后的原始模板，则置特征弧匹配权为前一次动态调节后的模板匹配得分；\n[0098] 判断所有特征点是事处理完毕，如处理完毕，则进行归一化处理，得到特征弧匹配概率分布并输出；\n[0099] 如果所有特征点没有处理完毕，则返回抽取边缘特征点步骤；\n[0100] 如果匹配得分高于前一次动态调节后的原始模板，则继续沿调节方向对模板进行放大或缩小处理，返回取边缘特征点所在位置相应匹配模板大小图像步骤；\n[0101] 如果边缘特征点的边缘强度不大于阈值，则视为噪音，置特征弧匹配权为零，返回在上步骤计算结果中抽取边缘特征及边缘特征点步骤。\n[0102] 上述原始模板是在模型训练过程对上千张不同场景、不同角度的图片数据学习所建立，该原始模板的设计经过大量实验测试，充分考虑人头顶在不同方向、角度观测条件下的形态变化，做到受影响最小。模板着重检测头顶部弧线，权重最大。而靠近该弧线人头顶区域下侧一般为头发、额头或帽边，颜色一般均匀，纹理不明显，在模板中用灰色作为负反馈。在头顶左右两侧同样设置负反馈区域，有效过滤肩膀、背包等不对称或存在多余纹理情况。\n[0103] 特征弧匹配及特征权计算过程如图4。步骤401将图2中步骤205平滑后的灰度图与步骤202得到的前景图进行掩码，作为步骤402边缘特征计算的输入，这样即减少了计算量也降低了噪音干扰。边缘特征检测使用Sobel算子，只对图像Y方向进行边缘检测，有效抑制竖边干扰，具体形式为\n[0104] 通过步骤403～405，在得到的边缘特征中提取强度超过预定阈值的点作为原始模板匹配基点q0，其余点视为噪音，置特征弧匹配权为零。步骤406～411完成模板匹配过程。在q0位置取与默认模板大小一致边缘图像(23×7像素)，将该图像与图7中步骤701所示原始模板进行匹配。设模板(i，j)位置上像素强度为mij，相应匹配图像像素强度为cij，则该图像匹配得分ε可由 计算得到。模板数值离散化的结果在其右侧步骤\n702中显示，图中黑色区域为正反馈区域，对应数值为正，暗灰色区域为负反馈区域，对应数值为负。\n[0105] 在与原始模板匹配后，为适应物体(人头)大小变化，动态调节模板大小，比例系数为0.9(缩小)和1.1(放大)。将调整后的模板继续与q0点图像进行匹配，直到匹配结果不再变好时记录最好匹配时得分以及当时模板大小(以后颜色匹配时用到)。在步骤411确保所有有效特征点处理完后经步骤412归一化得到特征弧匹配概率分布。\n[0106] (三)色彩权概率分布通过以下步骤得到：\n[0107] 以一帧原始视频图像与前景图进行掩码的结果作为输入；\n[0108] 在上述输入数据中选取有效特征点，这里的特征点是“特征弧匹配”步骤中特征点的子集(超过阈值部分)；\n[0109] 判断有效特征点对应的特征弧点匹配权是否小于阈值；\n[0110] 如果特征弧点匹配权不小于阈值，则取该有效特征点所在图像窗口分别与正面模板和负面模板进行匹配，记录上述匹配的最大匹配得分；\n[0111] 判断所有边缘特征点是否处理完毕；\n[0112] 如处理完毕，则进行归一化处理得到色彩权概率分布并输出；\n[0113] 如果所有边缘特征点没有处理完毕，则返回在上述输入数据中选取有效特征点步骤；\n[0114] 如果有效特征点对应的特征弧点匹配权小于阈值，则将该有效特征点的色彩权置为0，返回在上述输入数据中选取有效特征点步骤。\n[0115] 图5所示为色彩权的计算过程。步骤501得到原始一帧视频图像与前景掩码的结果作为输入。步骤502～504选取有效特征点r0，该点与图4所示过程中满足步骤404的点集一致，也就是说，只考虑具有一定边缘强度的点做色彩匹配，而不是对所有点进行处理，这样极大节省系统开销。步骤505根据q0匹配时最佳模板大小取r0相应大小图像。将该图像分别与色彩正面模板和反面模板进行匹配，两种模板实例见图8。图8中显示正面及反面颜色模板例子，其中801显示正面模板，该模板由上部及下部两种颜色构成，上部颜色可为发色或帽子颜色，下部颜色可为肤色或白色(戴口罩情况)。该模板同时可作为侧面模板使用。802显示人头反面或顶面模板，模板可为黑色、灰色等单一颜色或通过发色学习得\n2\n到的任意颜色分布。色彩匹配可由 计算。其中，dij 为图像(i，j)位置上像素点与模板颜色分布在RGB色彩空间上的距离。\n[0116] 步骤508记录颜色模板匹配的最高得分，在处理完所有特征点后(步骤509)，经步骤510归一化得到色彩权概率分布。\n[0117] 本发明方法考虑人体头部的形态特征、颜色特征、轮廓特征以及运动特征，分别建立动态模型，计算概率。这些特征都是独立的弱分类器，根据自己特点对图像内容进行独立分析识别，形成分值，再结合自己的经验权重进行投票，投票结果作为最终结论统一输出。\n也就是由弱分类器构建强分类器最后由强分类器决定输出结果的过程。每个弱分类器都有属于自己的权重，通过对所有弱分类器线性叠加得到强分类器。这样做的好处在于，在现实多变的场景中，所有特征不可能同时都得到很好的体现，颜色明显的地方轮廓可能不明显，轮廓清晰的地方可能运动信息不那么强。这就需要特征明显的弱分类器权重大些，特征不明显的权重小些，通过实时动态的调节各特征的权重达到最好的检测效果。\n[0118] 由于这种通过弱分类器合成强分类器并且能够动态调节弱分类器权重(限于Adaboost训练)的过程与经典的boosting相似，并且出于实用性考虑，本发明去掉boosting费时的训练以及大量样本权重变化，称之为：简单boosting。\n[0119] 该模型与Viola，P.最早提出的用于人脸检测的AdaBoost有几点不同，首先，Viola，P.弱分类器是极小的积分图，往往只有几个像素大小，而本方法中的模型是大尺度的宏观特征像轮廓、颜色等等；其次，Viola模型的学习需要很长时间以及大量样本，从几十万个这样的积分图中挑出最合适的弱分类器构成强分类器。相反的，本方法中的模型不需要学习，可以通过识别结果动态调节弱分类器权重及模板大小；Viola模型通过级联一级级剔除的方式进行识别，本发明则通过投票；最后，为了使弱分类器具有区别正样本与负样本的能力，Viola模型的训练被限制在一定角度、光线及尺度变化范围内，这样训练好的分类器也只适用于一定角度以及光线变化的情况。\n[0120] 在整个监控画面中寻找人体比在某特定区域寻找要花费更多的计算及更低的准确率。为了节省计算及提高准确率，首先通过前背景分离排除了与人体无关的背景。这里的背景即包括不动背景像道路、建筑、家具等也包括一些运动着的缓慢变化的背景像波动的水、随风飘动的旗帜、浮动的云、摇曳的树枝等。在以下各步弱分类器作用过程中，计算只在分离出的前景图中进行。\n[0121] 第一类弱分类器基于人体运动时的外轮廓特征。介于人体直立行走的特点，人体头部往往居于人体外轮廓的顶部。同时，头部与肩部的外轮廓形成方向向上曲线，与颈部及身体其他部位形成的轮廓有鲜明对比。计算前景图中外轮廓各点曲率及方向，并根据其方向和大小分配不同权重。曲率大及方向向上分配大权重，曲率小或方向偏离向上分配小权重，目的在于突出头肩部位置，再利用Distance Transform变换发散权重适应偏移误差，最后归一化得到头肩部概率分布。\n[0122] 第一类弱分类器的优点是特征明显，前景中未与其他前景物交叠的人体都会满足这一特点，但最大缺点是无法对存在于外轮廓内部的人体头部进行有效识别。本发明引入第二类弱分类器-头部边缘弧。头部边缘基于纹理特征，与物体运动无关，而且对人体的旋转及摄像机照射角度变化都有很强的鲁棒性(经测试，人体头顶边缘弧形状及强度在人体\n360°旋转和-60°～60°观测角变化时维持在±5％以内)。本实施例采用Sobel算子抽取前景图中Y方向物体边缘，与定义头顶弧模板进行匹配得到权重。为适应场景中人头部大小变化，模板尺寸随匹配得分趋势动态调整，对前景图进行移动窗口式搜索，计算头顶弧权重，得到头顶概率分布。\n[0123] 第二类弱分类器的优点是可以解决第一类弱分类器无法检测到的位于前景内部的人体头部问题，漏检率低，缺点是误检率相对较高。特别遇到包裹外形与人体头部相似情形，往往会被误识为头部。这时可以通过最后一类弱分类器将其剔除，也就是利用物体的颜色特征。为适应各种摄像机在色彩、清晰度、白平衡等参数上的差异，不对肤色和发色进行细致建模，相反的，本发明注重颜色均一性以及分布位置特点，对人头部正面(包括侧面)和背面(包括上面)的颜色分布建立模板，移动窗口式匹配前景，模板尺寸与头顶弧匹配模板一致，从正面和背面模板匹配结果中取最大值作为颜色分类器分类结果。\n[0124] 最后，将这三类弱分类器的计算结果乘以它们各自的弱分类器权重后累加得到最终识别结果。结果在输出的同时反馈到各弱分类器动态调节各自权重。也就是说，匹配正确的弱分类器权重增加，错误的减少。