基于立体视觉的公交客流统计方法及其系统

1.一种基于立体视觉的公交客流统计方法，其特征在于，处理器对立体视觉 装置获取的双目图像进行立体视觉处理，得到场景中的各点到所述立体视觉装 置中的摄像机之间的距离，然后在距离上设置阈值，得到距离摄像机某一距离 范围内的场景中的所有点，通过对这些点的去噪、拟和，再结合单目图像的特 征识别方法，将那些近似组成圆的场景中点的集合作为人的头部，从而实现了 人头部的检测，再将人头部检测的结果的位置、半径、灰度信息交由跟踪算法 实施有效跟踪，便可以判断出客流的运动方向，从而完成客流信息统计。
2.根据权利要求1所述的一种基于立体视觉的公交客流统计方法，其主要特 征在于，所述的立体视觉处理：指的是利用两台略有位置偏移的摄像机通过三 角运算，获得场景的深度信息，立体视觉处理方法步骤如下：1)在不同的图像之 间建立图像特征点之间的对应关系，2)计算图像特征点位置之间的相对偏移，3) 通过已知的摄像机参数计算图中特征点的三维位置信息。
3.根据权利要求1所述的一种基于立体视觉的公交客流统计方法，其主要特 征在于，所述的单目图像的特征识别方法：将人体头部的形状作为特征，取双 目图像中的任一目图像作为单目图像，对其进行图像的边缘检测，在边缘检测 结果上实施改进的哈夫变换，在哈夫变换的结果中进行模糊聚类，从而获得场 景中所有类圆形目标作为人体头部的检测结果。
4.一种基于立体视觉的公交客流统计系统，其特征在于，处理器分别与控制 电路、网络传输模块、协议转换模块、存储器相接，控制电路分别与双目图像 采集模块、网络传输模块相接，网络传输模块与网络接口相接，存储器与双目 图像采集模块相接，所述的双目图像采集模块：时序控制电路分别与摄像机1 和摄像机2相接，处理器为嵌入式处理器，处理器对立体视觉装置获取的双目 图像进行立体视觉处理，得到场景中的各点到所述立体视觉装置中的摄像机之 间的距离，然后在距离上设置阈值，得到距离摄像机某一距离范围内的场景中 的所有点，通过对这些点的去噪、拟和，再结合单目图像的特征识别方法，将 那些近似组成圆的场景中点的集合作为人的头部，从而实现了人头部的检测， 再将人头部检测的结果的位置、半径、灰度信息交由跟踪算法实施有效跟踪， 便可以判断出客流的运动方向，从而完成客流信息统计。

技术领域：\n本发明涉及公交客流统计，尤其涉及一种基于立体视觉的公交客流统计方法及 其系统。\n背景技术：\n近些年来，展览馆、体育场、图书馆、机场、地铁及公交车等公共场所都 安装有智能监控与调度系统，对这些系统来说，实时准确的客流信息的重要性 不言而喻。而目前客流信息统计的主要手段为红外遮挡系统及压力传感系统， 这两种传统方法的优势在于实现简单，成本低廉，但其主要缺陷在于统计不准 确，对客流高峰期拥挤状况无能为力。\n相对于其他信息，图像信息的容量更大，更丰富，因此图像处理技术的兴 起与不断的发展为传统的客流统计技术面临的一系列问题的解决提出了很多新 方法。目前，已经有很多基于图像处理的方法应用于客流统计系统，但它们所 采用的方法都是基于单目二维图像的，应用于公交客流统计系统时，还存在很 多无法克服的问题，这些问题主要有：\n1)背景随光线变化复杂，不利于前景(人头部)的提取；\n2)客流高峰拥挤情况下，人与人之间结合紧密，基于二维信息的方法很难 将拥挤在一起的几个人准确的区分开来，而且拥挤情况又是非常频繁的；\n3)由于公交车台阶的存在，导致同一人的头部在上下车时在位置固定的单 目摄像机看来大小是时刻变化的，非常不利于识别与跟踪。\n发明内容：\n本发明的目的是提供一种基于立体视觉的公交客流统计方法及其系统。\n基于立体视觉的公交客流统计方法：处理器对立体视觉装置获取的双目图 像进行立体视觉处理，得到场景中的各点到摄像机之间的距离，然后在距离上 设置阈值，得到距离摄像机某一距离范围内的场景中的所有点，通过对这些点 的去噪、拟和，再结合单目图像的特征识别方法，将那些近似组成圆的场景中 点的集合作为人的头部，从而实现了人头部的检测，再将人头部检测的结果的 位置、半径、灰度信息交由跟踪算法实施有效跟踪，便可以正确判断出客流的 运动方向，从而完成客流信息统计。\n立体视觉处理：指的是利用两台略有位置偏移的摄像机通过三角运算，获 得场景的深度信息，立体视觉处理方法步骤如下：1)在不同的图像之间建立图像 特征点之间的对应关系，2)计算图像特征点位置之间的相对偏移，3)通过已知的 摄像机参数计算图中特征点的三维位置信息。\n单目图像的特征识别方法：将人体头部的形状作为特征，取双目图像中的 任一目图像作为单目图像，对其进行图像的边缘检测，在边缘检测结果上实施 改进的哈夫变换，在哈夫变换的结果中进行模糊聚类，从而获得场景中所有类 圆形目标作为人体头部的检测结果。\n基于立体视觉的公交客流统计装置：处理器分别与控制电路、网络传输模 块、协议转换模块、存储器相接，控制电路分别与双目图像采集模块、网络传 输模块相接，网络传输模块与网络接口相接，存储器与双目图像采集模块相接。\n双目图像采集模块：时序控制电路分别与摄像机1和摄像机2相接。\n本发明可以克服现有的公交客流统计系统存在的很多问题，对于城市公交 汽车，客流统计信息对于调配公交车辆班次密度和对公交线路的规划设计具有 十分重要的参考意义；对于长途客运汽车，客流统计信息对于超载、私自收费 等威胁乘客人身安全、造成国家经济损失的不良现象具有良好的监督作用。总 之，本发明不仅可以为公交规划、市政建设提供更加可靠的客流数据，对汽车 客运运输事业的健康发展同样起着重要的作用。\n附图说明：\n图1是基于立体视觉的公交客流统计系统结构框图；\n图2是本发明的双目图像采集模块结构框图；\n图3是本发明实现人头部检测算法软件流程图；\n图4是本发明跟踪算法软件流程图。\n具体实施方式：\n如图1所示，基于立体视觉的公交客流统计系统：处理器分别与控制电路、 网络传输模块、协议转换模块、存储器相接，控制电路分别与双目图像采集模 块、网络传输模块相接，网络传输模块与网络接口相接，存储器与双目图像采集 模块相接。为确保实时处理，图像分辨率不宜过大，不采用彩色图像，直接由 摄像头获取灰度图像，在这种情况下，图像数据量不是很大，不需要考虑与处 理器接口复杂的SDRAM，直接采用处理器片上SRAM或者外部扩展SRAM。 立体视觉算法与一般图像处理算法比较，运算量大，浮点运算多，对内存的需 求大，为确保实时性要求，处理器的选择很重要。TMS320C6000系列是德州仪器 公司生产的高档DSP产品，这种DSP可以提高系统性价比，减少开发时间，增 加可靠性，得到了十分广泛的应用。其主要特性为：①定点/浮点系列兼容DSP， 主频100MHz-600MHz；②具有VelciTITM先进VLIW结构内核；③具有类似RISC 的指令集；④片内集成大容量SRAM，可达8M；⑤高效率协处理器(C64x)；⑥片 内提供多种集成外设。包括多通道缓冲串口McBSP，多通道音频串口McASP和多 通道DMA/EDMA控制器等；其特性决定了C6000系列特别适合于开发图像产品， 因此作为立体视觉客流统计系统的中央处理器，C6000系列是个合适的选择。嵌 入式系统开发中，高效的调试手段是异常重要的，不仅在产品研发阶段需要调 试接口，在产品上市初期，为了修补各种研发阶段没有遭遇的问题，也必须保 留调试接口。考虑到图像的数据量，该调试接口必须保证较高的传输速率，综 合考虑传输率与开发成本，网络接口是一个比较理想的选择。采用百兆以太网 卡芯片(如RTL8139)作为网络接口，可以在客流统计系统与宿主机(可以为 PC或专门开发的带有网络接口的嵌入式系统)之间传送各种必要的调试数据甚 至是实时的双目图像数据，为高效的调试提供保障。\n如图2所示，双目图像采集模块：时序控制电路分别与摄像机1和摄像机2 相接。立体视觉系统采用双目摄像机，且双目摄像机为水平放置，即两摄像机 镜头中心连线处于同一水平线上。考虑到摄像机安装高度有限，为了兼顾两摄 像机具有较大的公共视场，需要采用广角镜头。镜头焦距不大于600像素宽度。 考虑实时性要求，两个摄像机采集灰度图像，结合立体视觉精度要求，采集图 像分辨率为640*480；两摄像机之间基线长度为15厘米。\n如图3所示，检测模块的算法流程图，首先对双目图像进行立体视觉处理， 采用基于窗口的匹配算法获得含深度信息的图像I(x，y，z)，在Z方向设定相应的 阈值后，可能为人头部的区域就都被提取出来。随后在双目图像中任意取出一 幅作为单目图像进行平面类圆物体提取。提取过程先要对单目图像进行边缘检 测、背景去除等预处理工作，接着对经过预处理的前景边缘图像进行改进的哈 夫变换，对哈夫变换的结果引入模糊度量，在模糊置信度的指导下去除哈夫变 换结果中的虚假类圆物体，获得单目图像中所有类圆物体的位置与半径。最后， 将立体视觉算法处理的结果与单目图像哈夫变换的结果结合起来，提取出前景 中所有人头部所在的位置，并同时计算出跟踪部分所需要的每个人头部的特征 向量(x，y，z，R，G)。由于人的头部明显高于人体肩部等其他部位，也就是说人体头 部与摄像机之间的距离比其他部分近。利用立体视觉的方法可以得到场景中的 各点到摄像机之间的距离，因此我们可以得到距离摄像机某一范围内的场景中 的所有点。通过对这些点的去噪、拟和过程，将那些近似组成圆的场景中点的 集合作为人的头部，从而实现了人头部的检测，再将人头部检测的结果(位置、 半径、灰度等信息)交由跟踪算法实施有效跟踪，便可以正确判断出此人运动 方向，从而完成计数。立体视觉技术能够利用两台略有位置偏移的摄像机通过 三角运算，获得场景的深度信息。摄像机模块同时获取场景的两幅图像。场景 中的点分别在两幅图像中存在像点。在不同的图像中像点的位置不同，这个位 置的不同被称为视差，场景中的点距离摄像机距离不同导致视差大小也不相同， 距离近则视差大，距离远则视差小。立体视觉正是基于不同的偏移程度，通过 三角运算来确定场景中的物体到摄像机的距离。立体视觉大体上可以分为以下 三步：1、在不同的图像之间建立图像特征点之间的对应关系；2、计算图像特 征点位置之间的相对偏移；3、通过已知的摄像机参数计算图中特征点的三维位 置信息。其中最关键的是第一步。为了建立两幅图中的对应点对，我们采用基 于窗口的匹配方法，该方法适合硬件加速并且具有较为稳定的输出结果，相似 度衡量函数采用SAD，表达式如下：\n$\underset{d=d_{\min }}{\overset{d_{\max }}{\min }}\underset{i=-\frac{m}{2}}{\overset{\frac{m}{2}}{\Sigma }}\underset{j=-\frac{m}{2}}{\overset{\frac{m}{2}}{\Sigma }}\left|I_{\mathrm{right}}\right[x+i\left]\right[y+j]-I_{\mathrm{left}}[x+i+d\left]\right[y+j\left]\right|$\n其中dmin和dmax分别为最小和最大视差值。m为模板窗口的大小。Ileft和Iright 分别为左图和右图。\n特征点对建立后，我们可以对场景中的任意一点A计算其视差，公式如下： D(A)＝x(Aleft)-x(Aright)。其中x(Aleft)和x(Aright)分别为点A在左图和右图中像点的x 坐标。\n最后我们通过下式对场景中的点进行三维重建：\n$\left\{\begin{array}{c}\mathrm{Xc}=\frac{b\times (U-U_0)}{d}\\ \mathrm{Yc}=\frac{b\times (V-V_0)}{d}\\ \mathrm{Zc}=\frac{b\times f}{d}\end{array}\right.$\n其中U0、V0为图像中心坐标，f为焦距，b为摄像机基线长度，d为场景点的视差， Xc，Yc，Zc为场景点在摄像机坐标系下的三维坐标。在获取场景的深度信息之 后，再取双目图像中的任一目图像作为单目图像，对其首先进行边缘检测，对 边缘检测结果实施改进的哈夫变换以检测类圆形物体的存在，主要原理为： 圆心计算公式： $\left\{\begin{array}{c}{x}_c=x_i-r\cos \theta \\ y_c=y_i-r\sin \theta \end{array}\right.---\left(1\right),$\n其中，(xi，yi)为边缘点在单目图像中的坐标值，(xc，yc)为对应半径r的圆心坐标 值，θ＝arctg(gy/gx)，gy，gx分别是两个方向的梯度，在边缘检测时可以预先得 到。这样，给定人头部半径范围，在每个半径下对所有检测区域内的边缘点按(1) 式计算其对应的圆心坐标，就可以得到一张所有半径下圆心位置的映射表，在 这张表中按一定的聚类规则进行聚类运算，再给定一个落到同一个圆上点数的 阈值就可以得到所有类圆物体的圆心位置和半径了。当然，这其中会存在很多 虚假圆，包括一些相交圆、相容圆的情况，还要针对这些情况作进一步的处理， 以尽可能的消除虚假圆，使这一步得到的结果尽可能都是人头部。对于哈夫变 换得到的结果，有可能出现曲线不闭合、边缘信息不完整等近似圆程度不定的 情况，这种不定量的情况需要引入模糊概念进行处理。在这里引入两个置信度 来衡量类圆物体近似圆的程度，其隶属函数分别为：\n1)μ1＝T/2πr；2)μ2＝A/πr2\n其中T为该类圆哈夫变换得到的点数，可以理解为弧长，则当弧长等于圆周长， 即T＝2πr时，隶属度为1，其余情况下，0＜μ1＜1。A为该类圆中，哈夫变换得 到的点依次连接所得到的圆内接多边形的面积，则极限情况下，A＝πr2，隶属度 为1，其余情况下，0＜μ2＜1。可以看到，μ1和μ2可以很好的描述曲线不闭合， 边缘信息不完整情况下的类圆物体近似圆的程度，将这两个置信度分别或以一 定的线性组合(系数可由神经网络或支撑向量机经训练得到)作用于哈夫变换 的结果，就可以按照置信度的大小来消除、合并虚假圆，使得输出结果尽可能 为真实的人头部。\n如图4所示，跟踪模块的算法流程图，每个人在进出视场的过程中每次出 现时由检测部分提取的特征向量构成了一个特征向量的序列。每个序列除了需 要记录每次出现时的特征向量外，还要通过卡尔曼预测器预测下一帧中该序列 特征向量的预测值。这样，所有出现在视场中的人每个人都有一个跟踪序列， 所有人的跟踪序列组成了跟踪序列组或称为跟踪序列矩阵。跟踪模块的任务就 是从前一帧的跟踪序列矩阵中提取出与当前帧的检测向量的向量距离最近的跟 踪序列，如果该最近向量距离低于所设定的阈值，则匹配成功，将该检测向量 加入到相应的跟踪序列中，否则，匹配失败，此时如果检测向量的模糊置信度 高于给定的阈值说明一个此前未出现的人进入视场，则与此人相对应的新的跟 踪序列产生，而该检测向量即为新的跟踪序列中的第一个向量值。值得一提的 是，这里采用了向量距离，而不是通常意义上的几何距离。其原因是由于人上 下公交车，尤其是上下台阶时运动很不规则，如果只采用几何距离的话，跟踪 出错的几率很大，而采用向量距离，由于兼顾了头部大小与灰度信息，则跟踪 出错的几率大大降低。当一个人在视场中消失(可以定义为两帧或多帧未匹配) 时，其对应的跟踪序列任务结束，将其中记录的所有向量值取出作为判断其上 下车的依据。