一种基于多摄像机的视频实时拼接方法

1.一种基于多摄像机的视频实时拼接方法，硬件是基于多摄像机的交通监控视频拼接装置，主要包括处理器、视频采集模块、电源模块、显示模块和存储模块；其步骤如下：
步骤1、启动操作，获取同步多路视频数据；
步骤2、对同一时刻的帧图像进行预处理：把彩色图像变成256灰度的灰度图像，并采用直方图均衡方法对图像进行增强处理；
步骤3、采用SURF算法进行对应帧特征点的提取；
步骤4、采用最近邻匹配法、随机抽样一致性匹配算法对视频图像对应帧的特征点对进行匹配；
步骤5、求解视频初始k帧的最优单应性矩阵：
步骤5-1、确定拼接图像的重叠区域
按照图像的透视映射关系，根据单应性矩阵得到保留特征点在另一对应帧图像的匹配点；如果计算出的匹配点没有落在图像内，说明这一点并不在两幅图像的重叠区内，反之，如果特征点映射前后都落在图像内，说明它处在重叠区内；用这种方法遍历一遍，即对一幅图像中所有保留特征点进行透视映射变换，得到映射对应特征点确定的区域；取以另一幅图像的边缘为边界，取重叠区的最小内接多边形作为重叠区域；
步骤5-2、求取前k帧对应图像拼接重叠区域的相似度
相似度测度由归一化协方差相关函数来定义，如下公式1所述：
式中，w，h为重叠区的宽高，显然，相似度C取值范围是(-1，1)，取值越大说明重叠区相关程度越高；
步骤5-3、确定前k帧的最优单应性矩阵
对连续前k帧重叠区域相似度求极大值，把相关性最高的图像帧的单应性矩阵作为最优的单应性矩阵，并将其作为后继帧的单应性矩阵；
步骤6、根据最优的单应性矩阵进行后继视频帧场景的拼接；
步骤7、输出拼接后的视频。
2.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，所述的图像灰度化是利用下式加权平均法的公式进行变换，把彩色图像变成256灰度级别的灰度图像：
f(i，j)＝0.3*R(i，j)+0.59*G(i，j)+0.11*B(i，j)。
3.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，对 图像进行增强处理，采用直方图均衡方法来扩大图像灰度的动态范围，其步骤：
步骤2-1统计图像中灰度级为k的像素个数为nk；
步骤2-2计算直方图中应变量的值：pk＝nk/(M×N)；
步骤2-3计算累计直方图中应变量的值：sk＝∑pk；
步骤2-4确定映射对应关系：寻找i(i＝0，1，……，L)使其满足i/L，与sk最为接近；
步骤2-5将原图像中灰度级为k的象素的值改为i；
其中L是灰度层次数，M×N是图像尺寸。
4.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，所述采用SURF算法进行对应帧特征点的提取包括：
步骤3-1、尺度空间极值检测，以初步确定特征点位置和所在尺度；在原始图像上，通过扩大方框的大小形成不同尺度的图像金字塔，构造方框滤波模板；构建尺度空间的图像金字塔，形成金字塔形的三维像素空间；计算每一点的delta值；
所述的计算每一点的delta值方法如下：
Hessian矩阵为
SURF算子定量计算尺度空间内每一点的delta值，delta的计算如下式所示：
2
delta＝DxxDyy-(0.9Dxy) ；
在极值点周围26个点进行极大值的求取，从而得到粗略的特征点，以求取尺度空间的极大值点；通过二次插值法拟合极值点邻域内的离散点得到三维二次曲线，二次曲线的极值位置即为极值点的亚像素位置，如果这个亚像素位置偏离原整数极值点坐标在三个维度均不超过0.5个像素，即认为极值点是稳定的，否则剔除，以精确确定特征点的位置和尺度；
步骤3-2、在特征点选取一个与尺度相应的邻域，求出主方向：以特征点为中心，在被检测的特征点周围构建一个圆形区域；计算邻域内的点在x、y方向的Haar小波响应，Harr小波响应被计算出来，给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；在滑动方向覆盖π/3，在60°范围内的窗口内水平和垂直方向的小波响应相加以形成新的矢量，遍历整个圆形区域，选择最大矢量的方向为该特征点的主方向；通过特征点逐个进行计算，得到每一个特征点的主方向；
步骤3-3、形成SURF的特征向量：以特征点为中心，首先将坐标轴旋转到主方向；按照主方向选取边长为20s的正方形区域，这些窗口被分割成4×4的子区域；在每一个子区域内，计算5s×5s范围内的小波响应，采样步长取s；相对于主方向的水平、垂直方向的Haar小波响应分别记做dx、dy；
同样赋予响应值以权值系数，以增加对几何变换的鲁棒性；将每个子区域的响应以及响应的绝对值相加形成∑dx，∑dy，∑dx，∑dy；每个子区域形成四维分量的矢量Vsub＝(∑dx，∑dx，∑dy，∑dy)；对每一特征点，则形成4×(4×4)＝64维的描述向量；再进行向量的归一化，从而对光照具有一定的鲁棒性。
5.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，采用最近邻匹配法、随机抽样一致性匹配算法对视频图像对应帧的特征点对进行匹配，包括：
步骤4-1、最近邻匹配法，对源图像每一个特征点，计算其与对应帧图像匹配特征点的距离；采用优先k-d树进行优先搜索，查找每个特征点的2个近似最近邻特征点；把特征点的最近邻距离与次近邻距离的比值作为特征点间是否匹配的依据；如果比值小于某个比例阈值，则接受这一对匹配点；
步骤4-2、随机抽样一致性匹配算法，重复采样n次，随机取出4组对应点对组成一个样本，并计算单应性矩阵H；
步骤4-3、单应性矩阵的计算公式：
T
令I是空间中一个平面，它在两个视点下的成像分别记为11、I2，[x y 1] ∈I1，[X Y T
1] ∈I2是任意一对对应点，则图像I1和图像I2变换关系可用公式I1＝kH×I2表示，具体为：
其中，k是比例因子，表示图像间的缩放关系，H称为单应性矩阵，它是一个3×3满秩矩阵，通常写为下面的形式：
右下角h33的取值为1；
在每次采样获得4对精确的匹配点对都要计算是否有三点共线的情况；判断三点是否共线的方法：三点为坐标为(x1，y1)，(x2，y2)，(x3，y3)，求得其中任意两点连线的矢量坐标，如x1-x2＝a，y1-y2＝b，x1-x3＝c，y1-y3＝d得(a，b)，(c，d)，看是否ad＝bc即看是否平行，等于的话，则共线，否则不共线，如果有共线就要重新选取匹配点对；
步骤4-4、计算每组假设对应的距离d，即欧式距离；通过与门限值比较，初始参数值取为x，利用此阈值判断提取的点是否为满足估计参数的点；将与H一致的点对作为内点；此迭代一定的次数之后，选取包含内点数目最多的一个点集，内点数目相等时，选择标准方差最小的点集；将对应输入数 据中“内点”比例最高的所估计出的参数值以及选出来的内点一起进行优化；
步骤4-5、用所选取的点集中的匹配的特征点对重新计算单应性矩阵，用最小二乘法来最小化误差。

一种基于多摄像机的视频实时拼接方法 \n技术领域\n[0001] 本发明属于智能交通的视频监控领域，是基于计算机视觉的监控范围扩展技术。 技术背景\n[0002] 目前的拼接技术主要应用在交通行业的视频实时监控领域，研究也主要集中在对摄像机位置相对固定的交通监控视频的拼接上。算法相对比较成熟的是对静态图像的拼接，视频拼接技术主要利用视频图像帧间的相关性，拼接过程中涉及到大量的计算，这就需要在保证画面质量的前提下，选取一种快速的匹配算法，以减少整个视频拼接的计算量，提高视频拼接速度。关于视频拼接原理和方法国内外已有不少的论文发表，但是现在还没有通用的能够达到实时处理速度的视频拼接软件以及产品出现。 \n发明内容\n[0003] 本发明的目的是提供一种基于多摄像机的视频实时拼接方法，以解决视频单帧图像拼接计算量大以及视频拼接速度慢等技术问题。 \n[0004] 本发明所述的一种基于多摄像机的视频实时拼接方法，硬件是基于多摄像机的交通监控视频拼接装置，主要包括处理器、视频采集模块、电源模块、显示模块和存储模块，其步骤如下： \n[0005] 步骤1、启动操作，获取同步多路视频数据； \n[0006] 步骤2、对同一时刻的帧图像进行预处理：把彩色图像变成256灰度的灰度图像，并对图像采用直方图均衡的方法进行图像增强处理； \n[0007] 步骤3、采用SURF算法进行对应帧图像特征点的提取； \n[0008] 步骤4、采用最近邻匹配法、随机抽样一致性匹配算法求出视频初始对应帧间的单应性矩阵； \n[0009] 步骤5、求解视频初始k帧的最优单应性矩阵： \n[0010] 步骤5-1、确定拼接图像的重叠区域 \n[0011] 按照图像的透视映射关系，根据单应性矩阵得到保留特征点在另一对应帧图像的匹配点；如果计算出的匹配点没有落在图像内，说明这一点并不在两幅图像的重叠区内，反之，如果特征点映射前后都落在图像内，说明它处在重叠区内；用这种方法遍历一遍，即对一幅图像中所有保留特征点进行透视映射变换，得到映射对应特征点确定的区域。取以另一幅图像的边缘为边界，取重叠区的最小内接多边形作为重叠区域； \n[0012] 步骤5-2、求取前k帧对应帧拼接图像重叠区域的相似度 \n[0013] 相似度测度由归一化协方差相关函数来定义，如下公式1所述： [0014] \n[0015] 式中，w，k为重叠区的宽高。显然，相似度C取值范围是(-1，1)，取值越大说明重叠区相关程度越高； \n[0016] 步骤5-3、确定前k帧的最优单应性矩阵 \n[0017] 对连续前k帧重叠区域相似度值求极大值，把相关性最高的图像帧的单应性矩阵作为最优的单应性矩阵，并将其作为后继帧的单应性矩阵； \n[0018] 步骤6、根据最优的单应性矩阵进行后继视频帧场景的拼接； \n[0019] 步骤7、输出拼接后的视频。 \n[0020] 如上步骤2所述的图像灰度化是利用下式加权平均法的公式进行变换，把彩色图像变成256灰度级别的灰度图像： \n[0021] f(i，j)＝0.3*R(i，j)+0.59*G(i，j)+0.11*B(i，j)。 \n[0022] 如上步骤2所述对图像进行非线性拉伸来增加图像灰度值的动态范围，增加对比度是采用直方图均衡化，其步骤： \n[0023] 步骤2-1、统计图像中灰度级为k的像素个数为nk； \n[0024] 步骤2-2、计算直方图中应变量的值：pk＝nk/(M×N)； \n[0025] 步骤2-3、计算累计直方图中应变量的值：sk＝∑pk； \n[0026] 步骤2-4、确定映射对应关系：寻找i(i＝0，1，……，L)使其满足i/L((按四舍五入取正整数)与sk最为接近； \n[0027] 步骤2-5、将原图像中灰度级为k的象素的值改为i； \n[0028] 其中L是灰度层次数，M×N是图像尺寸。 \n[0029] 上述步骤3所述采用SURF算法进行对应帧特征点的提取包括： \n[0030] 步骤3-1、尺度空间极值检测，以初步确定特征点位置和所在尺度；在原始图像上，通过扩大方框的大小形成不同尺度的图像金字塔，构造方框滤波模板；构建尺度空间的图像金字塔，形成金字塔形的三维像素空间；计算每一点的delta值； \n[0031] 所述的计算每一点的delta值方法如下： \n[0032] Hessian矩阵为 \n[0033] \n[0034] SURF算子定量计算尺度空间内每一点的delta值，delta的计算如下式所示： [0035] delta＝DxxDyy-(0.9Dxy)2。 \n[0036] 在极值点周围26个点进行极大值的求取，从而得到粗略的特征点，以求取尺度空间的极大值点；通过二次插值法(多项式插值)拟合极值点邻域 内的离散点得到三维二次曲线，二次曲线的极值位置即为极值点的亚像素位置，如果这个亚像素位置偏离原整数极值点坐标在三个维度均不超过0.5个像素，即认为极值点是稳定的，否则剔除，以精确确定特征点的位置和尺度； \n[0037] 步骤3-2、在特征点选取一个与尺度相应的邻域，求出主方向：以特征点为中心，在被检测的特征点周围构建一个圆形区域；计算邻域内的点在x、y方向的Haar小波响应，Harr小波响应被计算出来，给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；在滑动方向覆盖π/3，在60°范围内的窗口内水平和垂直方向的小波响应相加以形成新的矢量，遍历整个圆形区域，选择最大矢量的方向为该特征点的主方向；通过特征点逐个进行计算，得到每一个特征点的主方向； \n[0038] 步骤3-3、、形成SURF的特征向量：以特征点为中心，首先将坐标轴旋转到主方向；\n按照主方向选取边长为20s的正方形区域，这些窗口被分割成4×4的子区域；在每一个子区域内，计算5s×5s范围内的小波响应，采样步长取s；相对于主方向的水平、垂直方向的Haar小波响应分别记做dx、dy；同样赋予响应值以权值系数，以增加对几何变换的鲁棒性；\n将每个子区域的响应以及响应的绝对值相加形成∑dx，∑dy，∑dx，∑dy；每个子区域形成四维分量的矢量Vsub＝(∑dx，∑dx，∑dy，∑dy)；对每一特征点，则形成4×(4×4)＝\n64维的描述向量；再进行向量的归一化，从而对光照具有一定的鲁棒性。 [0039] 上述步骤4采用最近邻匹配法、随机抽样一致性匹配算法对视频图像对应帧的特征点对进行匹配，包括： \n[0040] 步骤4-1、对源图像每一个特征点，计算其与对应帧图像匹配特征点的距离；采用优先k-d树进行优先搜索，查找每个特征点的2个近似最近邻特征点；把特征点的最近邻距离与次近邻距离的比值作为特征点间是否匹配的依据；如果比值小于某个比例阈值，则接受这一对匹配点； \n[0041] 步骤4-2、重复采样n次，随机取出4组对应点对组成一个样本并计算单应性矩阵H； \n[0042] 步骤4-3、所述单应性矩阵的计算公式： \n[0043] 令I是空间中一个平面，它在两个视点下的成像分别记为I1、I2，[x y 1]T∈I1，T\n[X Y 1] ∈I2是任意一对对应点，则图像I1和图像I2变换关系可用公式I1＝kH×I2表示，具体为： \n[0044] \n[0045] 其中，k是比例因子，表示图像间的缩放关系。H称为单应性矩阵，它是一个3×3满秩矩阵，通常写为下面的形式： \n[0046] \n[0047] 右下角h33的取值为1； \n[0048] 单应性矩阵H的计算： \n[0049] 在每次采样获得4对精确的匹配点对都要计算是否有三点共线的情况；判断三点是否共线的方法：三点为坐标为(x1，y1)，(x2，y2)，(x3，y3)，求得其中任意两点连线的矢量坐标，如x1-x2＝a，y1-y2＝b，x1-x3＝c，y1-y3＝d得(a，b)，(c，d)，看是否ad＝bc即看是否平行，等于的话，则共线，否则不共线。如果有就要重新选取匹配点对。 [0050] 步骤4-4、计算每组假设对应的距离d，即欧式距离；通过与门限值比较，初始参数值取为x，利用此阈值判断提取的点是否为满足估计参数的点；将与H一致的点对作为内点；此迭代一定的次数之后，选取包含内点数目最多的一个点集，内点数目相等时，选择标准方差最小的点集；将对应输入数据中“内点”比例最高的所估计出的参数值以及选出来的内点一起进行优化； \n[0051] 步骤4-5、用所选取的点集中的匹配对重新计算单应性矩阵H，用最小二乘法来最小化误差。 \n[0052] 本发明优点是在减少视频拼接计算量和提高交通监控视频拼接速度的基础上，对交通监控的视频图像进行实时的视频拼接处理以及显示，并以直接的形式提供给交通监控管理人员，提高交通监控的视野范围，有效地对交通事故进行监控。 \n附图说明\n[0053] 图1是本发明的方框滤波模板的x方向板值示意图。 \n[0054] 图2是本发明的方框滤波模板的y方向板值示意图。 \n[0055] 图3是本发明的方框滤波模板的xy方向板值示意图。 \n[0056] 图4是本发明的求取尺度空间的极大值点的原理示意图。 \n具体实施方式\n[0057] 本发明的主要功能由两个主要的基本模块实现，视频采集模块主要由摄像机组成，负责视频图像数据的采集以及数据格式的转换；处理器中的图像处理单元，主要完成对输入的两路视频信号的拼接融合处理。 \n[0058] 本发明的具体步骤： \n[0059] 一、获取同质多路视频图像； \n[0060] 启动操作，获取同步多路视频数据。 \n[0061] 二、对同一时刻的帧图像进行预处理； \n[0062] 1、图像灰度化 \n[0063] 利用下式加权平均法的公式进行变换，把彩色图像变成256灰度级别的灰度图像： \n[0064] f(i，j)＝0.3*R(i，j)+0.59*G(i，j)+0.11*B(i，j) \n[0065] 2、直方图均衡 \n[0066] 直方图均衡化是通过对图像进行非线性拉伸来增加图像灰度值的动态范围。其实质是将多个频数不同的灰度级合并到同一个灰度级，以换取对比度的扩大。从直方图上看，直方图均衡化就是把给定图像的直方图分布改变成均匀的直方图分布。 [0067] 直方图均衡化步骤： \n[0068] 统计图像中灰度级为k的像素个数为nk； \n[0069] 计算直方图中应变量的值：pk＝nk/(M×N)； \n[0070] 计算累计直方图中应变量的值：sk＝∑pk； \n[0071] 确定映射对应关系：寻找i(i＝0，1，^，L)使其满足i/L((按四舍五入取正整数)与sk最为接近； \n[0072] 将原图像中灰度级为k的象素的值改为i。 \n[0073] 其中L是灰度层次数，M×N是图像尺寸。 \n[0074] 三、采用SURF算法进行对应帧特征点的提取； \n[0075] 步骤： \n[0076] 1、尺度空间极值检测，以初步确定关键点位置和所在尺度。 \n[0077] a)、构造方框滤波模板 \n[0078] 在原始图像上，通过扩大方框的大小形成不同尺度的图像金字塔。以9×9为例，图1至3为对应的简化后的方框滤波模板。相应的尺度值s＝1.2。 \n[0079] b)、构建尺度空间的图像金字塔，形成金字塔形的三维像素空间。 [0080] 构建尺度图像金字塔，在每一阶中，选择4层的尺度图像，4阶的构建参数如图3所示。灰色底的数字表示方框滤波模板的大小，如果图像尺寸远大于模板大小，还可继续增加阶数。如滤波模板大小为N×N，则对应的尺度s＝1.2×N/9。 \n[0081] c)、计算每一点的delta值 \n[0082] Hessian矩阵为： \n[0083] \n[0084] SURF算子定量计算尺度空间内每一点的delta值，delta的计算如下式所示： [0085] dela＝DxxDyy-(0.9Dxy)2\n[0086] d)、求取尺度空间的极大值点 \n[0087] 在极值点周围26个点进行极大值的求取，从而得到粗略的特征点。图4中标记为叉号的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域\n9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。参见图4。 \n[0088] e)、极值点的稳定性判定：精确确定关键点的位置和尺度 \n[0089] 通过二次插值法(多项式插值)拟合极值点邻域内的离散点得到三维二 次曲线； \n[0090] 二次曲线的极值位置即为极值点的亚像素位置。如果这个亚像素位置偏离原整数极值点坐标在三个维度均不超过0.5个像素，即认为极值点是稳定的，否则剔除。 [0091] 2、在特征点选取一个与尺度相应的邻域，求出主方向：获得图像旋转的不变性 [0092] a)、以特征点为中心，在被检测的特征点周围构建一个圆形区域，如下图所示。半径为6s(s为特征点所在的尺度值)。 \n[0093] b)、计算邻域内的点在x、y方向的Haar小波(Haar小波边长取4s)响应。 [0094] Harr小波响应被计算出来，给这些响应值赋高斯权重系数(σ＝2.5w，w表示尺度空间中的每组分隔成的间隔数，文中w为分辨率设定为2)。使得靠近特征点的响应贡献大，而远离特征点的响应贡献小； \n[0095] c)、在滑动方向覆盖π/3(60°范围内)的窗口内水平和垂直方向的小波响应相加以形成新的矢量，遍历整个圆形区域，选择最大矢量的方向为该特征点的主方向； [0096] d)、通过特征点逐个进行计算，得到每一个特征点的主方向。 [0097] 3、形成SURF的特征向量 \n[0098] a)以特征点为中心，首先将坐标轴旋转到主方向； \n[0099] b)按照主方向选取边长为20s的正方形区域，这些窗口被分割成4×4的子区域； [0100] c)在每一个子区域内，计算5s×5s(采样步长取s)范围内的小波响应。相对于主方向的水平、垂直方向的Haar小波响应分别记做dx、dy。同样赋予响应值以权值系数，以增加对几何变换的鲁棒性； \n[0101] d)将每个子区域的响应以及响应的绝对值相加形成∑dx，∑dy，∑dx，∑dy； [0102] e)每个子区域形成四维分量的矢量Vsub＝(∑dx，∑dx，∑dy，∑dy)； [0103] 对每一特征点，则形成4×(4×4)＝64维的描述向量； \n[0104] 再进行向量的归一化，从而对光照具有一定的鲁棒性。 \n[0105] 还有很多其他方法，可以实现特征点的提取，如sift方法。 \n[0106] 四、采用最近邻匹配法、随机抽样一致性匹配算法求出视频对应帧图像间的匹配特征点对； \n[0107] 1、粗匹配算法：最近邻方法 \n[0108] 步骤： \n[0109] 1)、对源图像每一个特征点，计算其与匹配帧图像所有特征点的距离； [0110] 2)、采用优先k-d树进行优先搜索，查找每个特征点的2个近 似最近邻特征点； [0111] 3)、把特征点的最近邻距离与次近邻距离的比值作为特征点间是否匹配的依据； [0112] 4)、如果比值小于某个比例阈值，则接受这一对匹配点。在本算法中，其比值为\n0.6。降低这个比例阈值，SURF匹配对数目会减少，但更加稳定； \n[0113] 由于粗匹配可能存在误匹配的点对，因此需要对粗匹配的特征对进行精确匹配。 [0114] 2、精确匹配算法：随机采样一致性 \n[0115] 通过粗匹配算法得到潜在匹配对，其中不可避免会产生一些错误匹配，因此需要根据几何限制和其他附加约束消除错误匹配，提高鲁棒性。对于得到的匹配对可以用随机抽样一致性(Random Sample Consensus，RANSAC)算法进行过滤。 \n[0116] 步骤： \n[0117] 1)、重复采样n次(n由采样自适应确定)，随机取出4组对应点对组成一个样本并计算矩阵单应性矩阵H； \n[0118] 2)、单应性矩阵H的计算 \n[0119] 理论上讲，从精确匹配的特征点集中选取4对精确的匹配点就可以解出H，实际计算中往往存在误差，如出现三点共线的情况就不能得出解，必须对方程的特征对进行非线性优化； \n[0120] 在每次采样获得4对精确的匹配点对都要计算是否有三点共线的情况。判断三点是否共线的方法：三点为坐标为(x1，y1)，(x2，y2)，(x3，y3)，求得其中任意两点连线的矢量坐标，如x1-x2＝a，y1-y2＝b，x1-x3＝c，y1-y3＝d得(a，b)，(c，d)，看是否ad＝bc即看是否平行，等于的话，则共线，否则不共线。如果有就要重新选取匹配点对。 [0121] 3)、计算每组假设对应的距离d(欧式距离)；通过与门限值比较，初始参数值取为\n0.001，利用此阈值判断提取的点是否为满足估计参数的点。将与H一致的点对作为内点； [0122] 4)、如此迭代一定的次数之后，选取包含内点数目最多的一个点集(内点数目相等时，选择标准方差最小的点集)；将对应输入数据中“内点”比例最高的所估计出的参数值以及选出来的内点一起进行优化。用所选取的点集中的匹配对重新计算单应性矩阵，用最小二乘法来最小化误差。 \n[0123] 还有很多其他方法，可是实现匹配，如归一化互信息量方法，相似度测度等。 [0124] 五、求解视频初始k帧的最优单应性矩阵 \n[0125] 一个性能好的单应性矩阵可以使两幅待拼接图像很好地拼接在一起的结论。但由于在特征点匹配过程中可能存在特征点误匹配的情况，实际在单 帧图像中通过特征点对匹配求解所得单应性矩阵不一定是最优单应性矩阵。而且，对视频图像采用单帧图像拼接的方式进行，没有利用视频帧间图像的相关性，也没有考虑到帧间单应性矩阵的关联，因此也会降低视频拼接的效率。因此，可以利用视频帧间的相关性，在拼接过程中根据前k帧重叠区域的最大相关性，求取最优单应性矩阵，作为后继帧的单应性矩阵。 [0126] 1、确定拼接图像的重叠区域。 \n[0127] 按照图像的透视映射关系，根据单应性矩阵得到保留特征点在另一对应帧图像的匹配点；如果计算出的匹配点没有落在图像内，说明这一点并不在两幅图像的重叠区内，反之，如果特征点映射前后都落在图像内，说明它处在重叠区内；用这种方法遍历一遍，即对一幅图像中所有保留特征点进行透视映射变换，得到映射对应特征点确定的区域。取以另一幅图像的边缘为边界，取重叠区的最小内接多边形作为重叠区域； \n[0128] 2、求取前k帧对应拼接图像重叠区域的相似度。 \n[0129] 相似度测度由归一化协方差相关函数来定义，如下公式1所述： [0130] \n[0131] 式中，w，k为重叠区的宽高。显然，相似度C取值范围是(-1，1)，取值越大说明重叠区相关程度越高； \n[0132] 3、确定前k帧的最优单应性矩阵。 \n[0133] 对连续前k帧相似度值求极大值，把相关性最高的图像帧的单应性矩阵作为最优的单应性矩阵，作为后继帧的单应性矩阵，而不用再对后续帧图像进行特征点提取、特征点对匹配以及单应性矩阵的计算，从而大大缩短算法所需时间，可以满足视频拼接实时性的要求。 \n[0134] 六、根据最优的单应性矩阵进行后继视频帧场景的拼接； \n[0135] 利用最优单应性矩阵做后继帧的单应性矩阵进行拼接。对后续帧进行拼接，而不用再对后续帧图像求特征点以及匹配计算，从而大大缩短算法所需时间，可以满足视频拼接实时性的要求。 \n[0136] 七、输出拼接后的视频。