基于双目立体视觉的客流密度估计的方法和系统

1.一种基于双目立体视觉的客流密度估计的系统，其特征在于： 该系统由双目平行摄像机、DSP处理器、通信模块、视频输出模块、上位主机、视频监视器等组成，DSP处理器分别与双目平行摄像机、通信模块、视频输出模块连接，通信模块与上位主机连接，视频输出模块与视频监视器连接，所述的双目平行摄像机模块，它包括左摄像机A1、右摄像机A2，分别用于采集左右图像；所述的通信模块，它包括网络接口及RS-485接口，用于与上位主机的数据通信；所述的视频输出模块，用于将客流视频图像输出至视频监视器进行实时监控。
2.一种基于双目立体视觉的客流密度估计的方法，采用根据权利要求1所述述基于双目立体视觉的客流密度估计的系统对一个平面上的客流数量进行统计，其特征在于，该方法步骤如下：
(1)、对左右摄像机进行标定，得出左右摄像机的内外参数；根据左右摄像机的标定点的视差计算左右摄像机的主点差；
(2)、实时采集左右图像，依据主点差进行位置校正，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像；
(3)、根据当前帧视差图像和背景帧视差图像对前景人体目标进行分割，得到二值化的前景人体目标图像；
(4)、计算前景人体目标图像中每一个像素点对应的二维地平面的位置，生成二维映射图像；
(5)、把地平面上前景人体目标区域面积与背景区域面积做比值得到拥挤度，通过拥挤度与人数的非线性关系得到单位面积人数密度估计。
3.根据权利要求2所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(1)所述的对左右摄像机进行标定，得出左右摄像机的内外参数；根据左右摄像机的标定点的视差计算左右摄像机的主点差，其具体步骤如下：
(1-1)、采用张正友摄像机标定算法，设置棋盘格标定板，左右摄像机从不同方向拍摄至少三幅图像像素坐标系下的标定图像，提取各标定图像中的角点作为特征点；
(1-2)、利用上述标定图像中的特征点求单应矩阵，然后由单应矩阵求出摄像机的内外参数，包括主点坐标u0、v0、旋转矩阵R、平移向量T，利用标定结果计算各标定点在XcYcZc摄像机坐标系下的坐标；
(1-3)、根据上述标定点在左右标定图像中的坐标计算左右摄像机的主点差，水平方向的主点差du的计算公式为：
(1)
其中，Zc为标定点在摄像机坐标系下的 Z轴值，d是标定点在图像像素坐标系水平方向的坐标差，即标定点的视差，B是左右摄像机的基线长度，f是左右摄像机的焦距，对各标定点所求出的主点差进行平均即可得到左右摄像机的主点差。
4.根据权利要求3所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(2)所述的实时采集左右图像，依据主点差进行位置校正，按照自适应的窗口匹配方法进行立体视差匹配，得到当前帧视差图像，其具体如下：
(2-1)、实时采集左右摄像机的左右图像，按照步骤(1)所述的左右摄像机主点差，对左图像平移（du,dv）以校正主点差对立体匹配的影响，用于下一步的精确视差计算；
(2-2)、得到当前帧视差图像，首先设左图像中的一幅图像为参考图像，另一幅图像为匹配图像，将参考图像中像素点为中心、大小为 像素的块的一个自适应窗口为匹配基元，然后，在匹配图像中以视差范围内每个像素点为中心、大小同为 的窗口，依次计算参考图像中待匹配像素的窗口相关性测量值，记为 ，其相关性测量值表达式如下：
(2)
其中， 为图像像素坐标， 和 分别表示右、左图像的灰度值， 和 分别为右、左图像中以匹配像素点为中心的窗口内像素平均灰度，为沿极线方向在视差匹配范围内的偏移量，对相关性测量 值进行二次型插值，得到相关性测量
最大值所对应的偏移量d即是所得的视差。
5.根据权利要求4所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(3)所述的根据当前帧视差图像和背景帧视差图像对前景人体目标进行分割，得到二值化的前景人体目标图像；
(3-1)、计算视差的背景差，背景帧视差与当前帧视差相减所得的差值记为 ，其表达式为：
(3)
其中， 表示像素位置坐标， 表示当前帧视差（第k帧）， 表示
背景帧视差， 为计算出的视差差值；
(3-2)、计算二值化前景人体目标图像 ，其表达式为：
(4)
其中，T表示视差差值的阈值，由实验确定。
6.根据权利要求5所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(4)所述的计算前景人体目标图像中每一个像素点对应的二维地平面的位置，生成二维映射图像，其具体如下：
(4-1)、把图像像素坐标系下的前景人体目标图像中的点 ，映射至以物理单位（例如毫米）表示的图像坐标系 ，映射关系为：
(5)
其中， 和 为每个像素在图像坐标系 轴和 轴方向上的物理尺寸，u和 v为图像像素坐标系中的像素坐标， 和 为图像的主点坐标；
(4-2)、将图像坐标系中的像素值映射至摄像机坐标系下的 轴值、 轴值、 轴值，其表达关系式如下：
(6)
其中， 为摄像机坐标系下的 轴上点的坐标值， 为摄像机坐标系下的 轴上点的坐标值， 为摄像机坐标系下的 轴上点的坐标值，由以下公式计算得到：
(7)
其中d是步骤(2)所述的像素点的视差，B是左右摄像机的基线长度，f是左右摄像机的焦距，
(4-3)、将摄像机坐标系中的像素值映射至世界坐标系，得到前景人体目标图像中的每一个像素点对应的二维地平面的位置，计算公式如下：
(8)
其中， 为空间任意一点的世界坐标，R为摄像机旋转矩阵，T为摄像机
平移向量，在第一步的摄像机标定时确定；
(4-4)、根据所有前景人体目标点的世界坐标位置形成XwYw地平面分布的二维映射图像，映射图像的XwYw坐标值，对Zw非零的前景人体目标点，其映射图像的灰度值置为1，对Zw零的前景人体目标点，其其映射图像的灰度值置为0。
7.根据权利要求6所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(5)所述的把地平面上前景人体目标区域面积与背景区域面积做比值得到拥挤度，通过拥挤度与人数的非线性关系得到单位面积人数密度估计，其具体如下：
(5-1)、将背景图像的密度估计区域映射到XwYw地平面上，得到一个背景映射区域，实际的前景人体目标图像也映射到背景映射区域，把前景人体目标区域面积与背景映射区域面积之比定义为拥挤度，其计算式为：
(9)
其中， Sf是映射图像中的前景人体目标图像面积， Sb是背景映射区域面积， y是拥挤度；
(5-2)、拥挤度与实际场景中单位面积人数之间的关系用二次型多项式进行拟合，其拟合关系式为：
(10)
其中， 、 、 分别为二次型多项式系数，其系数值由实际场景中的拥挤度和单位面积的人数之间的实验值预先标定。

暂无

暂无