高速公路场景下一种多特征融合的多车辆视频跟踪方法

1.高速公路场景下一种多特征融合的多车辆视频跟踪方法,其特征在于该方法包括以下步骤：
步骤1.用一个固定视场的监控摄像机，对高速公路中行驶的车辆获取视频图像； 步骤2.对于监控摄像机采集的输入视频图像中的每一帧图像，利用改进的混合高斯建模，在图像中进行车辆检测和定位，具体是：
2-1.基于视频中的道路区域，利用改进的混合高斯建模，所述改进的混合高斯建模引进一个参数m，m记录当前帧与模型匹配的有效像素的点数，令背景更新率ρ＝α+(1-α)/m，其中α表示基本混合高斯建模中背景参数的更新率；
2-2.经过改进的混合高斯建模后，输入的视频图像变成二值化的图像，其中白色像素代表为前景物体的位置；通过连通区域的4邻域归并策略，将符合车辆大小特征的白色连通区域在原视频图像中用矩形搜索框标记出来，这样可获得视频中的车辆定位； 步骤3.提取运动车辆的多个特征信息，用于视频车辆跟踪，具体是：对车辆所在矩形搜索框进行灰度、HSV颜色和位置信息的提取；
步骤4.匹配不同视频帧的检测结果，判断是否属于同一车辆,并对图像中车辆相互遮挡的情况进行处理，具体是：
4-1.车辆相似度定义：将第t帧的第i个车辆检测结果表示为 其
中 表示车辆所在矩形搜索框中心位置 矩形搜索框的宽度和
长度为 表示车辆所在矩形搜索框的HSV颜色特征； 表示车辆所在矩形搜索框的灰度特征；而将第t-1帧的第j个车辆检测结果表示为 其中
表示车辆所在矩形搜索框中心位置 矩形搜索框宽度和
长度为 表示车辆所在矩形搜索框的HSV颜色特征， 表示车辆所在矩形搜索框的灰度特征；
采用高斯分布的核函数建模，分别得到HSV颜色相似函数Ps，位置相似函数PM，灰度相似函数PG，则车辆相似度函数f=w1Ps+w2PM+w3PG，其中w1 、w2 、w3 分别为Ps、PM和PG在f中的权重函数；
4-2.初始化：当前帧中检测出来所有车辆构成了待匹配车辆序列，如果当前帧是改进的混合高斯建模完成后的第一帧，则将第一帧中的待匹配车辆序列初始化为现有跟踪车辆序列；
4-3.预设阀值T1、T2、T3并跟踪：
4-3-1.将第t帧的待匹配车辆序列的每一个车辆和现有跟踪车辆序列的所有车辆进行匹配，找到第t帧中的第i辆待匹配车辆与现有跟踪车辆序列中相似度函数值最大的第j辆车辆；如果这个最大的相似度函数值f′大于等于阀值T1,则判断第t-1帧的车辆j出现在第t帧的车辆i的位置，更新车辆信息；如果该最大相似度函数值f'小于阀值T1，那么第t帧的待匹配车辆序列中的车辆i作为可能出现在视频中的新车辆加入到车辆缓冲序列；
4-3-2.对车辆缓冲序列里所有的车辆进行统计，如果当前车辆在缓冲序列中连续出现T2帧；那么认为该车辆是新车辆出现在视频中，并将该车加入到现有跟踪车辆序列，并返回至步骤4-3-1；如果连续T3帧未出现，那么则认为该车辆已经驶出本视频监控范围，从缓冲车辆序列里删除，并将其从现有跟踪车辆序列中删除；
如果第t帧中的车辆目标O对应t-1帧中两辆或两辆以上车辆O′1,O′2...O′m的位置函数都大于一个预设的门限T4时，说明车辆目标O对应于前一帧图像中两个或两个以上车辆模型O′1,O′2...O′m，判定发生车辆间相互遮挡，采用分块跟踪方法消除跟踪遮挡影响，其中m≥2；
所述的分块跟踪方法，具体是：在车辆O′1,O′2...O′m所在矩形搜索框内采用分块模型分别进行分块，并提取每个分块的HSV颜色特征，然后将分好的每个块都标记上每块的中心点距离原先车辆矩形搜索框中心点的距离Dk=(dx,dy),k=1,2,...N其中dx为x方向上的距离，dy为y方向上的距离，N为分块的数量；对每一个分块在当前t帧的车辆目标O矩形搜索框中进行颜色匹配；选择颜色匹配值最大的q个分块，联合确定前一帧的车辆的中心在发生遮挡的车辆目标O的矩形搜索框的位置，采用上一帧的车辆矩形搜索框获得车 辆的矩形搜索框位置，这样可分离多个相互遮挡的车辆，其中 Dk=(dx,dy),k=1,2,...N。
2.根据权利要求1所述的高速公路场景下一种多特征融合的多车辆视频跟踪方法，其特征在于：步骤4-1在得到HSV颜色相似函数Ps过程中采用了对当前的前景图像进行隔行抽取的方法。

高速公路场景下一种多特征融合的多车辆视频跟踪方法\n技术领域\n[0001] 本发明属于图像处理领域，具体涉及智能交通领域，特别涉及到高速公路监控场\n景下多车辆视频跟踪的方法。\n背景技术\n[0002] 近年来，由于经济的快速发展，道路交通迅速发展，机动车辆的保有量迅速攀升，大量的公路交通问题显现出来，如堵车、交通事故等频频发生，对交通管理提出了新的挑\n战。为了解决地面交通快速发展所引发的各种问题，各个发达国家竞相投入大量的资金和\n人员，开始大规模的进行公路交通运输智能化的研究。智能交通系统(ITS，Intelligent \nTraffic System)的研究被提到了重要位置。许多国家就发展智能交通系统做出了长远规\n划。部分已经研制成功的智能交通系统技术投入使用后取得了良好的效果和收益。运动\n车辆检测跟踪是基于计算机视觉的智能交通系统的核心技术，是计算机视觉的基本问题之\n一。\n[0003] 运动车辆跟踪建立在准确的车辆检测的基础之上。目前基于视频的运动车辆的检\n测方法主要有：背景差分法、时间差分法、灰度特征法、光流法、高斯背景建模等方法。\n[0004] 运动车辆跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，运动目标的跟踪大致可以分为基于特征的方法、基于区域的方\n法、基于轮廓的方法、基于模型的方法四种。\n[0005] 基于特征的跟踪\n[0006] 基于特征的跟踪方法，是从图像中提取整个车辆或局部车辆的典型特征并在图像\n序列间匹配这些典型特征的跟踪方法。\n[0007] 基于区域的跟踪\n[0008] 基于小区域的跟踪是比较典型的基于区域的视觉跟踪。它的基本原则就是利用图\n像的特征将每帧图像分割为不同区域，通过这些区域在相邻帧中进行区域匹配，实现目标\n跟踪。\n[0009] 基于轮廓的跟踪\n[0010] 基于活动轮廓的跟踪其核心思想是利用封闭的曲线轮廓来表达运动目标，该曲线\n轮廓通过各种约束函数达到方向及方向的变形从而逐渐与图像中的真实目标相适应，检索\n或跟踪复杂背景中的目标。\n[0011] 基于模型的跟踪\n[0012] 基于模型中典型的三维模型的方法通过测量或者其他的计算机视觉技术建立起\n目标的三维模型，在跟踪的时候通过模型和投影等参数进行匹配来定位和识别目标。由于\n利用了物体的三维轮廓或者表面信息，这类方法在本质上具有非常强的鲁棒性，在遮挡和\n干扰情况下能够获得其它方法难以比拟的效果。但是也有自己的一些缺点。\n发明内容\n[0013] 本发明的目的是在于克服现有技术的不足，提供一种基于改进的混合高斯建模法\n进行车辆检测，然后采用多特征融合，将分块建模、颜色建模和位置建模等相融合的多车辆的跟踪方法。该方法对于高速公路上多车辆的数据关联和遮挡等跟踪的难点问题有很强的\n鲁棒性。\n[0014] 本发明的目的是通过以下步骤来实现的：\n[0015] 步骤1.用一个固定视场的监控摄像机，对高速公路中行驶的车辆获取视频图像。\n[0016] 步骤2.对于监控摄像机采集的输入视频图像中的每一帧图像，利用改进的混合\n高斯建模，在图像中进行车辆检测和定位，具体是：\n[0017] 2-1.基于视频中的道路区域，利用改进的混合高斯建模，所述改进的混合高斯建\n模引进一个参数 ， 记录当前帧\n与模型匹配的有效像素的点数，令背景更新率 ，其中 表示基本混合高斯\n建模中背景参数的更新率。\n[0018] 2-2.经过改进的混合高斯建模后，输入的视频图像变成二值化的图像，其中白色\n像素代表为前景物体的位置；通过连通区域的4邻域归并策略，将符合车辆大小特征的白\n色连通区域在原视频图像中用矩形搜索框标记出来，这样可获得视频中的车辆定位。\n[0019] 步骤3.提取运动车辆的多个特征信息，用于视频车辆跟踪，具体是：对车辆所在\n矩形搜索框进行灰度、HSV颜色和位置信息的提取。\n[0020] 步骤4.匹配不同视频帧的检测结果，判断是否属于同一车辆,并对图像中车辆相\n互遮挡的情况进行处理，具体是：\n[0021] 4-1.车辆相似度定义：将第t帧的第i个车辆检测结果表示为 ，其中\n表示车辆所在矩形搜索框中心位置 ，矩形搜索框的宽度和长度为\n。 表示车辆所在矩形搜索框的HSV颜色特征。 表示车辆所在矩形搜索框的灰度\n特征。而将第t-1帧的第j个车辆检测结果表示为 ，其中\n表示车辆所在矩形搜索框中心位置 ，矩形搜索框宽度和长度为 ， 表\n示车辆所在矩形搜索框的HSV颜色特征， 表示车辆所在矩形搜索框的灰度特征。\n[0022] 采用高斯分布的核函数建模，分别得到HSV颜色相似函数 ，位置相似函数 ，\n灰度相似函数 ，则车辆相似度函数 其中 分别为 、 和\n在 中的权重函数。\n[0023] 4-2.初始化：当前帧中检测出来所有车辆构成了待匹配车辆序列，如果当前帧是\n改进的混合高斯建模完成后的第一帧，则将第一帧中的待匹配车辆序列初始化为现有跟踪\n车辆序列。\n[0024] 4-3.跟踪：\n[0025] 预设阀值 、 、 。\n[0026] 4-3-1将第t帧的待匹配车辆序列的每一个车辆和现有跟踪车辆序列的所有车辆\n进行匹配，找到第t帧中的第i辆待匹配车辆与现有跟踪车辆序列中相似度函数值最大的\n第j辆车辆；如果这个最大的相似度函数值 大于等于阀值 ,则判断第t-1帧的车辆j\n出现在第t帧的车辆i的位置，更新车辆信息；如果该最大相似度函数值 小于阀值 ，那\n么第t帧的待匹配车辆序列中的车辆i作为可能出现在视频中的新车辆加入到车辆缓冲序\n列。\n[0027] 4-3-2对车辆缓冲序列里所有的车辆进行统计，如果当前车辆在缓冲序列中连续\n出现 帧。那么认为该车辆是新车辆出现在视频中，并将该车加入到现有跟踪车辆序列，并返回至步骤4-3-1。如果连续 帧未出现，那么则认为该车辆已经驶出本视频监控范围，从\n缓冲车辆序列里删除，并将其从现有跟踪车辆序列中删除。\n[0028] 如果第t帧中的车辆目标 对应t-1帧中两辆或两辆以上车辆\n的位置函数都大于一个预设的门限 时，说明车辆目标 对应于前一帧图像中两个或两个\n以上车辆模型 ，判定发生车辆间相互遮挡，采用分块跟踪方法消除跟踪遮\n挡影响。\n[0029] 所述的分块跟踪方法，具体是：在车辆 所在矩形搜索框内采用\n分块模型分别进行分块，并提取每个分块的HSV颜色特征，然后将分好的每个块都标记上\n每块的中心点距离原先车辆矩形搜索框中心点的距离 其中 为\n方向上的距离， 为 方向上的距离， 为分块的数量。对每一个分块在当前t帧的\n车辆目标 矩形搜索框中进行颜色匹配；选择颜色匹配值最大的 个分块(其中\n, )联合确定前一帧的车辆的中心在发生遮挡的车辆目标 的矩\n形搜索框的位置，采用上一帧的车辆矩形搜索框获得车辆的矩形搜索框位置，这样可分离\n多个相互遮挡的车辆。\n[0030] 步骤4-1在得到HSV颜色相似函数 过程中采用了对当前的前景图像进行采取隔\n行抽取的方法。\n[0031] 与现有技术相比，本发明的优点在于：\n[0032] 本发明在背景建模方面通过混合高斯建模对光照变化和图像噪声的抗干扰性较\n强，对成功准确的提取车辆前景信息有较好的帮助。\n[0033] 本发明在多车辆跟踪的目标关联上采用了多信息融合的技术，多种特征的联合跟\n踪有利于提高跟踪的准确率和抗干扰性。\n[0034] 本发明解决了车辆跟踪中遮挡耦合情况下，目标容易丢失的问题，车辆跟踪成功\n率高且应用范围较广。\n附图说明\n[0035] 图1是本方法的总体流程图。\n[0036] 图2是混合高斯建模的流程图。\n[0037] 图3是位置建模的模型图。\n[0038] 图4是分块跟踪的分块模型图。\n具体实施方式\n[0039] 下面结合附图和具体实施方式对本发明做进一步的描述。\n[0040] 图1给出了车辆跟踪算法的技术流程图。\n[0041] 1、视频采集\n[0042] 针对固定视场的监控摄像机，以固定时间间隔对道路场景进行采集以获得连续的\n现场场景图像，为保证对车辆检测和跟踪的准确性，采样间隔应小于0.1秒，即大于10帧每秒。\n[0043] 2、车辆检测\n[0044] 本方法采用改进的混合高斯对背景进行建模。混合高斯建模由有限个高斯函数的\n加权和组成。对每一个像素点，定义 个高斯模型。混合高斯建模的流程如图2所示。\n[0045] 为了使图像像素的颜色对光亮度变化具有鲁棒性，我们采用HSV颜色空间把色度\n从饱和度、亮度中分解出来，从而减小对光照变化的影响。\n[0046] \n（1）\n[0047] 混合高斯模型的初始化通过计算一段视频序列图像像素的均值和方差得到，即：\n[0048] （2）\n[0049] 初始化后需要利用每一帧输入的像素更新模型的参数，首先检查每一个新的像素\n值是否与模型匹配，即在时刻 ，如果输入的像素特征对第 个高斯分量有：\n[0050] （3）\n[0051] D为置信参数，本算法取3，如果 ，那么 ，则认为输入\n像素点和背景的高斯混合模型不匹配，该像素为前景像素，不对相应的高斯混合模型参数\n进行更新。如果 则认为 与高斯混合模型匹配，则对相应的高斯混合模型的参\n数进行更新。高斯混合模型的权值及均值和方差的更新方程如下：\n[0052] （4）\n[0053] （5）\n[0054] （6）\n[0055] 其中 为更新率， ， 为背景参数更新率。\n[0056] 传统的混合高斯模型中，背景更新速度取决于更新率 。为了抑制视频中的噪声\n干扰和保持模型的稳定性，更新率 的取值通常较小。然而更新率 取值较小时，则背景模\n型的均值和方差收敛速度比较慢且需要较长时间适应环境的变化。因此取一个自适应的更\n新率 显得很关键。针对上述存在的问题，本发明对背景建模的更新过程进行了改进：\n[0057] (1)首先本算法引进一个参数 ， 记录当前帧与某模型匹配的有效像素的点\n数，令 而用 来计算背景更新率 。 初始化为1，随着每次更新匹配\n的有效像素的增加而增加。当 较小时， 较大，在模型的更新过程中可以加快模型参数\n的收敛。随着 的增加， 逐渐变小，模型趋向稳定。\n[0058] (2)为了解决运动缓慢物体融入背景的问题，我们观察某像素持续为背景的帧数\n ，当 时，即使该像素模型由于权值上升已转化为背景模型，此时仍认\n为该像素为前景像素，认为该像素为运动缓慢物体像素。若 则\n由于该像素模型持续认定为背景模型，才认定该像素为背景像素。即持续为背景的帧数至\n少要大于 的情况下，才可被认定为背景。\n[0059] 通过改进的混合高斯建模后，输入图像成为二值化的图像，白色像素点表示前景\n物体区域。然后通过连通区域的4邻域归并策略，对图像进行从上到下，从左到右的扫描来识别相连白色像素的区域。将得到的相连区域剔除那些大小不符合车辆大小上下限的区\n域，消除阴影的干扰，就得到了车辆区域定位，用矩形搜索框标记出。\n[0060] 3、特征提取\n[0061] 将车辆所在矩形搜索框的HSV颜色特征、灰度特征、位置特征信息提取并存储起\n来，用于视频的车辆跟踪。\n[0062] （1）提取HSV颜色：\n[0063] 对颜色特征建立可靠的模型，以便根据颜色模型进行跟踪，本算法选用核密度估\n计的方法对混合高斯建模检测到的车辆分块颜色信息进行建模，核函数采用高斯核。 [0064] 给定样本空间 ，每个像素 的颜色用一个三维向量表示，\n， ， 分别表示 ， ，的带宽。\n[0065] （2）灰度特征提取：\n[0066] 提取灰度特征和提取HSV颜色特征类似，HSV空间的操作转换为灰度空间操作。\n[0067] （3）提取位置特征：\n[0068] 位置坐标选择为前景车辆矩形搜索框中轴线上的点坐标，我们选取上、中、\n下三点坐标，通过前后两帧之间点坐标的差值来建立位置相似函数，运动向量表示为\n，如图3所示。\n[0069] 4、车辆跟踪：\n[0070] 多车辆的跟踪的关键是数据关联，即前一帧中建立的已知车辆跟踪序列如何与当\n前帧中的找到的待匹配车辆序列建立关系，确认两个序列中的某个车辆为同一个跟踪模\n型。\n[0071] 本算法利用了目标区域的颜色、灰度及位置信息特征，跟踪问题可通过对视频各\n帧间特征的匹配来实现，跟踪时按照最大相似度来确定匹配。\n[0072] 4-1相似性定义\n[0073] 4-1-1.HSV的颜色相似函数：\n[0074] （7）\n[0075] 核函数采用高斯分布：\n[0076] （8）\n[0077] 各个颜色通道到方差为 ，\n[0078] ， ， （9）\n[0079] 4-1-2.灰度的相似函数 和HSV颜色相似函数 类似，操作空间由HSV空间转换\n到灰度空间。\n[0080] 4-1-3. 提取位置特征时，我们先在上一帧车辆位置信息的基础上用kalman滤波\n预测该车辆在本帧的位置，然后将这个预测的运动位置结果与本帧提取的车辆的位置做比\n较。当两个车辆模型相距较远时，同一辆车在相邻两帧距离相对较小，因此位置相似函数将起主要作用，能够产生好的跟踪效果。在跟踪过程中被跟踪的车辆需要与前一时刻自己本\n身的模型进行位置相似函数的求解，同时还要与其他车辆模型进行位置相似函数的求解。\n[0081] 运动向量为 ，运动向量的三点坐标是相互独立的，因此\n位置相似函数 可以表示为：\n[0082] （1\n0） \n[0083] 其中：\n[0084] （11）\n[0085] 其中的 是由两帧帧间的车辆模型的运动距离大小决定的。\n[0086] 相似度函数 其中 为HSV颜色相似函数， 位置相似函\n数， 为灰度相似函数。 分别为 的权重函数。\n[0087] 4-2.初始化：当前帧中检测出来所有车辆构成了待匹配车辆序列，如果当前帧是\n改进的混合高斯建模完成后的第一帧，则将第一帧中的待匹配车辆序列初始化为现有跟踪\n车辆序列；\n[0088] 4-3.跟踪：\n[0089] 预设阀值 、 、 。\n[0090] 4-3-1.将第t帧的待匹配车辆序列的每一个车辆和现有跟踪车辆序列的所有车\n辆进行匹配，找到第t帧中的第i辆待匹配车辆与现有跟踪车辆序列中相似度函数值最大\n的第j辆车辆；如果这个最大的相似度函数值 大于等于阀值 ,则判断第t-1帧的车辆\nj出现在第t帧的车辆i的位置，更新车辆信息；如果该最大相似度函数值 小于阀值 ，\n那么第t帧的待匹配车辆序列中的车辆i作为可能出现在视频中的新车辆加入到车辆缓冲\n序列；\n[0091] 4-3-2.对车辆缓冲序列里所有的车辆进行统计，如果当前车辆在缓冲序列中连续\n出现 帧。那么认为该车辆是新车辆出现在视频中，并将该车加入到现有跟踪车辆序列，并返回至步骤4-3-1。如果连续 帧未出现，那么则认为该车辆已经驶出本视频监控范围，从\n缓冲车辆序列里删除，并将其从现有跟踪车辆序列中删除。\n[0092] 如果第t帧中的车辆目标 对应t-1帧中两辆或两辆以上车辆\n的位置函数都大于一个预设的门限 时，说明车辆目标 对应于前一帧图像中两个或两个\n以上车辆模型 ，判定发生车辆间相互遮挡，采用分块跟踪方法消除跟踪遮\n挡影响。\n[0093] 分块跟踪方法，具体是：在车辆 所在矩形搜索框内采用分块模型\n（如图4所示）分别进行分块，并提取每个分块的HSV颜色特征，然后将分好的每个块都标\n记上每块的中心点距离原先车辆矩形搜索框中心点的距离 其中\n为 方向上的距离， 为 方向上的距离， 为分块的数量。对每一个分块在当前t帧的\n车辆目标 矩形搜索框中进行颜色匹配；选择颜色匹配值最大的 个分块(其中\n, )联合确定前一帧的车辆的中心在发生遮挡的车辆目标 的矩\n形搜索框的位置，采用上一帧的车辆矩形搜索框获得车辆的矩形搜索框位置，这样可分离\n多个相互遮挡的车辆。\n[0094] 这时，我们将所有发生遮挡的车辆在现存的车辆模型序列中做上遮挡的标记，直\n到它们到某帧分开为止。判断遮挡分离的条件是：在前一帧中标记遮挡的车辆模型与本帧\n中若干个车辆模型的运动建模函数值大于一个预设的阀值，表明发生遮挡分离。我们用基\n于颜色模型的相似性来判断分离的模型对应于某一个存储的已知跟踪模型。匹配后取消遮\n挡标记。\n[0095] 5、提高算法的运行效率\n[0096] 对当前的前景图像和存储图像进行采取隔行抽取的方法来减少数据量。为了兼顾\n精度与计算量，我们采用以下原则：如果分辨率已经很小的图像就不必采用隔行抽取，以保证图像不失真，只有分辨率较大的图像采用隔行抽取的方法得到图像。对隔行抽取后的图\n像再进行相关的图像处理操作，得到了再本帧中的跟踪结果后将标示跟踪位置的矩形框乘\n以二倍的方式反推到原来图像上。该方法不仅达到了原来的跟踪效果而且大大提高了算法\n的运行效率。