基于分块的非特定目标实时跟踪方法

1.基于分块的非特定目标实时跟踪方法，包括分类器更新、目标检测和权重更新三大步骤，其特征在于，所述的分类器更新步骤为：
步骤a，分块，根据已经获得的目标位置和大小信息，将目标区域划分为K个均匀大小互不重叠的矩形块
步骤b，对每一个分块Bk维护一个分类器Ck，并在每一帧进行在线更新；
所述的目标检测步骤为：
步骤c，用分类器Ck在新视频帧上进行检测得到得分图Ik，并计算局部置信图pk；
步骤d，对全部的K个局部置信图加权平均得到全局的置信图P；
步骤e，采用mean-shift方法在全局置信图上寻找置信峰值，该置信峰值的位置既被认为是目标在当前帧中的位置pos，即pos＝meanshift(P)；
所述的权重更新步骤为对每一个分块Bk进行如下处理：
步骤f，根据步骤e获得的目标位置pos，在得分图Ik上采样获得正负反馈数据，计算分类阈值Tk；
步骤g，用Tk对正负反馈数据进行分类以检验分类器Ck的分辨能力，并据分类准确性计算Ck的可信度；
步骤h，根据Ck的可信度更新Bk的权重ωk，并设置Ck的更新标记。
2.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的步骤a中，根据给定的目标大小自动的将目标区域划分为均匀大小互不重叠的矩形块，这些分块并不需要具有语义特征，划分也非常简单且对任意目标都适用，块与块相互之间的关联也仅仅是空间邻接关系，各个分块的中心与目标中心具有一个固定的偏移量分块数目K和偏移量的值在分块时根据目标大小和分块情况确定。
3.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的步骤c、d中，将分类器的检测输出的得分图Ik转换为局部置信图并进一步计算全局置信图，该全局置信图能更好的描述目标在某个位置的概率：
其中
其中(i，j)指视频帧中一个像素点的水平和垂直的位置。
4.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的步骤f、g、h，在目标检测步骤确定目标位置之后，又对各个分类器 的得分图 采样来评估这些分类器在当前帧的分辨能力，继而据此更新各个分块 的权重。
5.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的步骤f中，以pos+(xk，yk)为中心点在得分图Ik上采样，选择与中心点距离小于r1的采样点为正反馈数据、与中心点距离大于r2的采样点为负反馈数据作为检验分类器Ck的分辨能力的数据集。参数r1和r2均为正实数，由用户自行设置，参考值为3和5。
6.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的
2 2
步骤f中，用高斯分布N(μ1，σ1)拟合正反馈数据和高斯分布N(μ0，σ0)拟合负反馈数据，继而利用这些分布的参数(均值和方差)计算一个分类阈值
7.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的步骤g、h中，以Tk对正负反馈数据分类的性能衡量分类器Ck的可信度 即其中 表示在第t帧中分块Bk上用阈值Tk对正负反馈数据进行分类的
错误率。权重更新法则为： 其中 和 是分块Bk在第t帧和第t-1帧
的权重，滞后因子α是一个小于1但接近1的正实数，以保证权重变化的平稳。
8.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的步骤h中，设置一个分类器更新标记，当以Tk对正负反馈数据分类的错误率由用户设置，参考值为0.3)时，暂停分类器更新。

基于分块的非特定目标实时跟踪方法\n技术领域\n[0001] 本发明涉及视频中目标跟踪方法，特别涉及一种基于分块的非特定目标实时跟踪方法。\n背景技术\n[0002] 目标跟踪是计算机视觉和自动化领域一个重要的工作，在军事和民用方面都有着非常广泛的应用。如人机交互，智能交通，安全监控，机器人，空中预警等。这些应用都对自动的实时目标跟踪提出了较高的需求和要求。\n[0003] 目前视频目标跟踪方法有许多种，如基于轮廓或者模板匹配的，基于滤波器的，基于分类的等等。比较突出的是最近两年由Dorin Comaniciu提出的mean-shift跟踪算法，Amit Adam提出的基于片段的跟踪方法(Frag Tracker)，Helmut Grabner提出的(监督\半监督)在线Adaboost跟踪算法(OABTracker)和美国加州大学Boris Babenko提出的多示例学习跟踪算法(MILTracker)。前两种方法都对目标运动和外观变化显著的目标跟踪能力较弱，在线Adaboost方法能较好的适应目标的外观变化，但是容易出现漂移，跟踪时间稍长则可能丢失目标，而且对遮挡的处理能力较弱，第四种方法较在线Adaboost方法增强了对目标外观的自适应能力，也有一定的遮挡处理能力，但是运算复杂度较高，实时性低。此外这些方法都是将目标作为一个整体进行跟踪，不能区分地处理目标不同部分，由姿态、遮挡等因素引起的局部外观变化会对跟踪结果产生明显不利的影响。Bo Wu等人2007年提出了分部式行人跟踪方法，该方法是专门针对行人为目标的跟踪，其分块是结构化的具有语义概率的头部，躯干等等，需要预先训练的身体各部位检测器，对一般化的目标不具有普适性。\n发明内容\n[0004] 本发明的目的在于将跟踪的注意力集中于目标区域相对较稳定的部分，并主要根据这些部分做出判决，提高对目标外观变化的自适应能力和对遮挡的鲁棒性，弥补现有目标跟踪方法的缺点，实现对非特定类型目标的准确而实时的跟踪。因此我们对目标进行非语义的分块处理，先分别以各个块为目标进行分类器学习和检测，然后综合各个块的结果确定目标在新视频帧中的位置，为对各目标块区别对待，我们赋予每个块一个权重，并设计了一个权重更新机制，根据前一帧的跟踪结果逐帧地更新权重。该方法在保持低计算复杂度的同时，显著的提高了跟踪的准确性。\n[0005] 为达到上述目的，本发明提供一种基于分块的非特定目标实时跟踪方法，对视频逐帧地进行目标定位，对每一帧的处理都包括分类器更新、目标检测和权重更新三大步骤。\n[0006] 所述的分类器学习步骤为：\n[0007] 步骤a，分块。根据已经获得的目标位置和大小信息，将目标区域划分为均匀大小互不重叠的矩形块 (下文中提到的块和分块的含义均为此处的矩形块)，它们并不需要具有语义特征，分割非常简单对任意目标都适用，块与块相互之间的关联也仅仅是空间邻接关系。在第一帧时确定块的大小和数目，后续的每一帧都照此划分，各个块中心与目标中心具有一个固定的偏移量 块的大小控制在16×16至50×50像素之间，块的数目K控制在4-12之间，但是以上的限制都非强制性的；\n[0008] 步骤b，对每一个目标分块Bk维护一个分类器Ck，并在每一帧进行更新在线Adaboost分类器，具体的步骤又可分为：\n[0009] (1)抽取训练样本。以当前分块Bk为正样本，从其附近的区域随机取出与Bk等大小的m个(20-50)图像块为负样本，提取N维haar-like特征；\n[0010] (2)用在线Adaboost算法更新弱分类器并选择出n个弱分类器组成新的Ck。\n[0011] 所述的目标检测步骤为：\n[0012] 步骤c，对于新得到的第t帧，用分类器Ck在第k块附近R个像素半径区域内进行遍历检测，计算Ck对每个位置(i，j)的得分值Ik(i，j)(未进行类别量化的连续值)，得到得分图Ik，并进一步计算K个局部置信图\n[0013] \n[0014] 步骤d，对全部的K个局部置信图加权平均得到全局的置信图P：\n[0015] 其中ωk是第k个分块的权重， 是分块的中\n心点到目标中心点的偏移量。对局部置信图的加权求和考虑了各块的相对偏移，求得的全局置信度是P(i，j)表达的是对整个目标处于位置(i，j)的信心，这样使得在步骤c中并不需要考虑块与目标的相对位置关系；\n[0016] 步骤e，采用mean-shift方法在全局置信图上寻找置信峰值，该置信峰值的位置既被认为是目标在第t帧中的位置pos＝(x，y)＝meanshift(P)；\n[0017] 所述的权重更新步骤为：\n[0018] 步骤f，对每个分块Bk，以pos+(xk，yk)为中心点在得分图Ik上采样，选择与中心点距离小于r1的采样点为正反馈数据，拟合一个高斯分布N(μ1，σ1)；选择与中心点距离大于r2的采样点为负反馈数据，也拟合一个高斯分布N(μ0，σ0)。由此计算得到分类阈值这是两高斯分布的理论最小误差界，如图1；\n[0019] 步骤g，用Tk对正负反馈数据进行分类，计算错误率 并计算分类器的可信度[0020] 步骤h，更新各个块的权重 0＜α＜1为滞后因子，α通\n常接近1，以保证权重变化的平稳，提高系统稳定性；并根据各个块的错误率大小设置分类器更新标记 若 说明分类器Ck在当前帧的错误率过高，此时分\n类器不能分辨目标与背景，则接下来的分类器更新时不更新分类器Ck，暂停分类器更新，能避免更多噪声的引入。\n[0021] 本发明的有益效果在于，通过分块，对不同状态的块区别对待。主要是通过权重的更新，外观变化剧烈或者发生大面积遮挡的块，其对应的在线Adaboost分类器Ck不能较好的分辨目标和背景，该方法就自动的降低其发言权，减少对目标位置判断的干扰，相反相对稳定的块则会获得越来越大的权重，其对判断的贡就会增大，跟踪的结果就会更准确。本发明所述的方法不需要任何的预先学习，能对任意类型的目标都能处理并且能够实时跟踪。\n[0022] 实验结果显示本发明继承并显著提高了在线Adaboost方法对光照，姿态，运动，遮挡等所引起的目标外观变化的鲁棒性。如图2及表1。此外本发明采用计算复杂度低的特征和学习算法，而且候选的弱分类器和迭代次数少，能实现实时的跟踪(搜索半径R为15个像素时，普通的奔腾双核2.0G CPU处理速度能达到每秒超30帧)。\n[0023] 表1跟踪方法的准确性比较，视频数据除Squeezer是自行拍摄外，均来源于网络http://www.cs.toronto.edu/ ～ dross/ivt/；http://vision.ucsd.edu/ ～ bbabenko/project_miltrack.shtml； 及 http://www.cs.technion.ac.il/ ～ amita/fragtrack/fragtrack.htm，是该领域研究的常用数据。\n[0024] \n附图说明\n[0025] 图1是高斯拟合及分类阈值示意图。\n[0026] 图2是跟踪效果对比图，左图视频为walking woman，右图对应视频Coke can。\n[0027] 图3是基于分块的跟踪流程示意图。\n[0028] 图4是分类器更新流程。\n[0029] 图5是目标检测流程图。\n[0030] 图6是权重更新流程图。\n具体实施方式\n[0031] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0032] 如图3所示，为应用本发明基于分块的非特定目标实时跟踪流程意图。对于一个输入视频，给定目标在第一帧的位置和大小，先将目标区域分为图像块，利用这些数据更新每个块对应的分类器，然后在后续帧上进行检测，确定目标新的位置，最后依据检测的结果更新权重，如此循环，直到确定目标在最后一帧的位置，初始时刻各个块的权重被设置为相等。值得一提的是在第一帧中，用于学习的正样本不止一个，而是把偏移量小于3个像素的图像块都视为正样本。\n[0033] 在对跟踪方法的过程进行详细说明之前，对本发明的思想进行阐明。本发明核心思想就是对目标的不同部分区别对待，将注意力集中到相对稳定的块上面，以它们的分类器响应作为判断的主要依据，以提高跟踪的准确性和稳定性。\n[0034] 本发明对目标类别和形状没有特殊要求，对于任意类别的目标都可以进行有效跟踪，精确度高，且能实时跟踪，可广泛应用于各种需要跟踪的场合，例如视频监控，电影分析，人机交互等等。此外其他的在线和增量学习方法都能很方便的应用到本发明的框架中来。\n[0035] 下面对跟踪过程进行详细说明。\n[0036] 如图4所示，本发明分类器更新流程为：\n[0037] 步骤101：开始；\n[0038] 步骤102：判断是否第一帧，如果是则根据目标区域大小估计块的大小S和数目K，S控制在16×16-50×50像素之间，块的数目K控制在4-12之间，后续帧的划分与第一帧一致。否则执行步骤103；\n[0039] 步骤103：对目标区域进行分块；\n[0040] 步骤104：k＝k+1，判断k≤K，是则执行步骤105，否则更新结束；\n[0041] 步骤105：判断 是则回到步骤104；\n[0042] 步骤106：准备学习样本。计算整张图像的积分图，将当前块作为更新分类器的正样本，并在其附近随机抽取一些(20-40个)块作为负样本，根据积分图计算每个样本的N维haar-like特征；\n[0043] 步骤107：用在线Adaboost算法进行分类器更新，选择错误率最小的n个弱分类器组成新分类器；\n[0044] 步骤108：执行步骤104。\n[0045] 如图5，目标检测的流程为：\n[0046] 步骤201：t＝t+1切换到新的视频帧；\n[0047] 步骤202：确定各个分类器的检测范围。将每个块在前一帧的位置上上下左右扩展R个像素，形成的矩形区域作为待检测的范围；\n[0048] 步骤203：判断k＞K？即是否已经检测完毕，是则执行步骤207；\n[0049] 步骤204：用分类器Ck在对应的待检测范围内遍历检测，得到块分类器得分图Ik；\n[0050] 步骤205：将分类器得分换算成置信度，得到K个局部置信图：\n[0051] \n[0052] 步骤206：k＝k+1，执行步骤203；\n[0053] 步骤207：计算全局置信图，即将各个局部置信图加权求和\n[0054] \n[0055] 步骤208：采用mean-shift算法估计置信图的峰值位置。此处即作为目标在新视频帧中的位置。\n[0056] 如图6，权重更新的流程为：\n[0057] 步骤301：开始；\n[0058] 步骤302：判断k＞K？即可信度是否已经计算完毕，是则执行步骤308；\n[0059] 步骤303：对每个得分图Ik，将以目标位置偏移(xk，yk)后的点为圆心，以r1(建议值：3)为半径的圆形范围内的得分值作为正反馈数据，以r2(建议值：5)为半径的圆形范围外的得分值作为负反馈数据；\n[0060] 步骤304：分别估计其正负反馈数据的均值和方差(μ1，σ1；μ0，σ0)；\n[0061] 步骤305：计算分类阈值\n[0062] 步骤306：用这个阈值对正负样本集进行分类，计算误差 和可信度[0063] 步骤307：k＝k+1，执行步骤302；\n[0064] 步骤308：对全部块分类器的可信度 进行归一化；\n[0065] 步骤309：更新各个块的权重 0＜α＜1为滞后因\n子，建议值为0.75-0.9；\n[0066] 步骤310：重新设置各个分类器的更新标记 k＝1，2，...，K，E为错误率阈值，小于0.5，建议值为0.3-0.4。\n[0067] 本发明对于非特定的目标类型，只依据空间关系将目标区域划分为互不重叠的块，对每一块赋予权重，并在后续的跟踪过程中在线更新分类器和权重，能有效的捕获目标外观变化，并作出自适应调整，将注意力集中到较稳定的块，能减小不稳定因素的干扰，对光照，姿态，运动，遮挡等多种因素的变化，都具有良好的鲁棒性。并且本发明的跟踪方法原理简单，计算复杂度小，能在普通PC机上做到实时处理。并且具有很强的可灵活性，其他的一些学习方法，特征和更新方法都能方便的应用到本方法中。此外以上描述中的参数都可调，而对于设定的相同参数在对不同目标的跟踪应用中都能高效准确的处理，不需要另外调整。虽然以上的描述都是针对单个目标的跟踪，但是只需要作简单的修改即能实现对多目标的跟踪。\n[0068] 以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，如分类器学习方法并不限于在线Adaboost，在线MILBoost，在线SVM等许多其他学习方法都能用于其中，图像的特征表达也可以替换许多其他特征，再例如在目标检测步骤中可以设置尺度因子以适应目标尺度的变化，每次都把图像缩放到多个尺度上进行检测，在最终确定目标位置时不仅在空间上，而且在尺度上取置信度峰值，……；这些变形都将落入本发明的保护范围内。