基于特征的大幅面文化遗产图像拼接方法

1、基于特征的大幅面文化遗产图像拼接方法，包括下述步骤：
1)按图像排列顺序读入一组待拼接图像；
2)判断是否已知所有拍摄图像的相机镜头焦距值；已知焦距值进入下一 步，未知焦距值转到4)；
3)以焦距值为半径，用柱面投影的公式，把每幅图像投影到圆柱平面上； 其特征在于：
采用角点检测的方法提取每幅图像中的角点作为图像的特征用于图像 间的匹配；使用聚类的方法预筛选图像间的相关点；使用最佳路径与亮 度权重函数相结合的方法融合拼接图像，以消除重影现象和亮度不连续 现象；
4)使用Harris角点检测的方法提取图像中物体的角点作为特征点；其具 体为：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方 向和y轴方向的梯度值fx和fy，然后使用以下公式计算C矩阵：
$C=G\left(\sigma \right)\otimes \left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$
其中：G(σ)为高斯窗函数，fx和fy为图像x轴方向和y轴方向的像素 梯度值；下一步又应用了“角”函数R：
R＝Det(C)-αTr2(C)  0.04≤α≤0.06
当某点R大于设定的某一阈值T时，T的取值范围大于0，这点就是检 测出的特征点；
5)使用NCC相关性算法计算图像间特征点的相关性，得到成对的相关 特征点；NCC相关性计算公式如下：
$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}(I_1(x-i,y-j)-\overline{I_1})(I_2(x-i,y-j)-\overline{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_1(x-i,y-j)-\overline{I_1})}^2\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_2(x-i,y-j)-\overline{I_2})}^2}}$
其中：I1和I2为两幅图像的像素值； $\overline{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_1(x-i,y-j),$ $\overline{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_2(x-i,y-j)$ 分别为图像I1和I2以(x，y)为中心的N×N图像 窗内的像素均值，(x-i，y-j)为图像坐标，N∈(3，11)；将NCC的计算值 归一化在[-1，1]范围内；
6)使用聚类法预筛选成对的相关点，以减少不匹配点所占比例
首先用直线斜率公式求出所有成对相关点的斜率，然后运用简单聚类 的方法以其中任一个斜率点为中心，计算其邻域(-r，r)内包含其它斜率的 数量，r的取值范围在0.01-0.05之间，找到直线斜率在邻域内的最大集 合，则其在该邻域内生成直线的成对特征点即为筛选出的预匹配点；
7)使用RANSAC方法采用抽样的方式提取四对相关的特征点计算图像 变换矩阵，然后把图像I2的所有特征点坐标变换到图像I1的坐标系中， 计算其与图像I1中对应相关点的坐标误差值，即两点间距离，如果小 于门限值M，M的取值范围为0.05～0.15，则认为这一对相关点是匹 配的特征点，称为线内点；按照如上方法继续抽样、计算线内点，直 到线内点数量不再增加或者抽样计算达到N次则终止抽样，N的取值 范围为1000～50000；
8)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹 配位置拼合到同一图像空间中；变换公式如下：
$\hat{X}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$
其中，H是投影变换矩阵，它是自相关的，h00、h01、h02、h10、h11、h12、 h20、h21为八个所求变量，X＝[x，y，1]T为图像变换前原始输入图像的坐 标， $\hat{X}={[\hat{x},\hat{y},1]}^T$ 为经投影变换后图像坐标。变换结果的自相关坐标 必须归一化以得到非相关的结果X′＝[x′y′1]T：
$x^{\prime }=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$ $y^{\prime }=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+1}$
其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；
9)再次判断是否已知拍摄图像的相机镜头焦距值；如已知焦距值则转到 11)，未知焦距值则进入下一步；
10)估计相机的焦距值；使用图像I2投影到图像I1的投影变换矩阵中h00、 h01、h02、h10、h11、h12这六个变量可以估计出相机的焦距值，公式如 下：
$f_0^2=\sqrt{\frac{h_{00}^2+h_{01}^2-h_{10}^2-h_{11}^2}{h_{12}^2-h_{02}^2}},$ h12≠h02
其中，f0为计算所得焦距值；
同样，使用图像I1投影到图像I2的投影变换矩阵中h’00、h’01、h’02、 h’10、h’11、h’12这六个变量可以估计出相机的焦距值，公式如下：
$f_1^2=\sqrt{\frac{h_{00}^{\prime 2}+h_{01}^{\prime 2}-h_{10}^{\prime 2}-h_{11}^{\prime 2}}{h_{12}^{\prime 2}-h_{02}^{\prime 2}}},$ h′12≠h′02
其中，f1为计算所得焦距值；
计算f0和f1的几何均值作为图像I1、I2共同的焦距值 $f=\sqrt{f_1{f}_0};$
如果计算多幅图像的焦距值，则首先计算两两相邻图像的焦距值， 然后计算这些焦距值的几何均值作为共同的统一的焦距值；估计出焦 距值后转到步骤3)并继续进行3)之后的步骤；
11)生成最佳拼接路径，消除鬼影现象；公式如下：
$P(x^{\prime },y^{\prime })=\min \left\{\underset{i=-1}{\overset{1}{\Sigma }}\underset{j=-1}{\overset{1}{\Sigma }}k{[I_1(x+i,y+j)-I_2(x+i,y+j)]}^2\right\}$
其中， $k=\left\{\begin{array}{cc}1-0.2(i-1)& h_{02}{\ge h}_{12}\\ 1-0.2(j-1)& h_{02}<h_{12}\end{array}\right.$ 为重力系数，P(x′，y′)即为生成的最佳路径； 具体方法为：
首先计算图像I1和I2重叠区域的第一行相邻像素值差值的平方，得 到绝对值最小的点作为路径的起始点，然后计算其与左右、左下、右下 和正下方的相邻像素差值的平方，找到下一差值平方最小点，作为路径 端点，再对此路径端点周围七个像素点计算像素差值平方，像素差值平 方最小的点为下一个端点；依照这样计算下去，最终找到一条像素差值 较小的拼接路径；
12)把图像处理中RGB颜色空间的像素值转换到HSI颜色空间，使用其 中的亮度分量I，沿最佳路径对两幅图像进行亮度融合：使用权重函 数公式对亮度分量进行融合：
$C\left(x\right)=\frac{{\Sigma }_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\Sigma }_{k}w\left(d\left(x\right)\right)}$
其中，w是单调函数，取w(x)＝x，d(x)为图像Ik(k＝1，2，3…)中融合点 (x，y)与融合范围边界在x轴上的距离，Ik(x)为融合点的亮度值，C(x) 为融合后的亮度值；对亮度融合以后，再用HSI颜色空间与RGB颜 色空间的公式转换到RGB颜色空间内；
13)输出拼接结果图。

技术领域\n本发明涉及图像匹配、图像拼接领域，设计和实现了一种基于特征的大 幅面文化遗产图像拼接方法。\n背景技术\n图像拼接技术在计算机图形学、计算机视觉以及多媒体系统等领域中的应 用日益广泛。它可以把普通数码相机拍摄的多幅图像拼接为一幅全景图像，从 而能真实地重现原有场景。因此，图像拼接技术在需要大幅面图像或大场景的 文化遗产数字化保护、虚拟现实技术和遥感图像处理方面都具有十分广泛的应 用前景。\n近年来，随着计算机网络技术的迅速发展和数码相机的普及，图像拼接 技术有了更大的应用价值，也成为学术界研究的一个热点。目前，国外已经 提出了多种针对不同应用条件的图像拼接实现算法。但还没有获得一种效率 高并且通用的图像拼接方法。建立图像拼接系统的关键技术包括图像特征提 取、特征匹配、图像的融合这三个主要部分。其中图像匹配部分，可以分为 基于特征的和直接匹配的两类方法。直接匹配的方法易受杂点和区域最小值 的影响，效率不高，已很少被使用。基于特征的方法中，C.Harris和M.J.Stephens 提出了角检测的方法，由于其特征稳定、明显，而且非常适用于文化遗产图 像内容多为人造建筑、具有规则的几何图形的特点。在特征匹配部分，传统 的拼接算法使用RANSAC方法。它能够精确的筛选出匹配的特征点，但在失 配点所占比例较大的情况下效率较低，影响了算法的效率。图像融合部分中， 消除鬼影现象是关键问题。解决鬼影现象的产生一般的方法是找到一条最佳 拼合线。近年来，出现了许多具体的实现算法：Uyttendaele等人通过确定图像 中不同的ROD(Region of Difference)区域，然后建立一幅包含有ROD顶点和边 缘的图像，从而找到一条避开ROD的路径。其它的寻找最优路径法还包括 Geman等人提出的模拟退火方法，还有图像分割法等；但是这些方法的算法复 杂度都较高，影响程序的效率。\n目前，由于全景图像拼接技术的重大理论意义和实际应用价值，国外学 术界一直重视对这一领域的研究。许多研究小组都建立了实验系统，而且一 部分研究成熟的成果也用于了商业软件的开发中，如：QuikTime VR，Surround Video，Cool360，RealVR等商业软件。此外，IEEE、ACM等学会组织也有相关 的讨论会。至今，仍有大量的论文提出了各种新的改进算法和针对于不同应 用领域的算法，不断的对图像拼接技术进行深入研究。但是，要建立一套自 动、高效、鲁棒性强的图像拼接算法还是一个难题。因此，研究如何改进图 像拼接的算法，提高算法效率和拼接效果，是一项很有意义的工作。\n发明内容\n本发明的目的是提出一种基于特征的大幅面文化遗产图像拼接方法。使 用这种方法效率较高，且能够得到理想的拼接效果。\n本发明中根据文化遗产图像的内容多为人造建筑、包含几何图形的特点， 采用Harris角点检测的方法提取图像中的角点作为图像的特征用于图像间的 匹配，可以精确、稳定的提取出图像的特征；特征点的匹配直接关系到图像 的匹配是否成功，因此获得匹配的特征点成为一个关键问题。传统的特征点 匹配算法在不匹配点较多的情况下匹配效率比较低，而图像拼接中恰恰经常 出现不匹配点较多的情况，本发明对此进行了深入研究并对传统方法加以改 进，利用匹配特征点之间的特性，提出了使用聚类法预筛选特征点的方法， 从而大大提高了特征点匹配的效率且保证了特征点匹配的精确性。本算法还 对图像融合中的关键技术，消重影技术进行了深入分析和研究，并且提出了 一种简单有效的最佳路径消鬼影与亮度权重函数法相结合的图像融合方法， 利用图搜索的方法找到一条像素值差别较小的路径作为图像间的拼接线，即 最佳路径；然后把图像转换到HSI颜色空间，是用图像的亮度分量对亮度进 行融合，从而达到了消鬼影和使亮度平滑过渡的目的；相对于其它方法，此 方法算法复杂度低，能达到较自然的融合效果。\n本发明的技术思路特征为：\n1.利用Harris角检测的方法提取图像内容的角点作为图像特征点(如图1)。\n2.利用图像间匹配特征点之间所连直线斜率相同或相近的特性(见图2)，使 用聚类的方法预筛选特征点。首先用直线斜率公式求出成对相关点的斜率， 然后运用简单聚类的方法以其中一个相关点斜率为中心，计算其小邻域内包 含其它斜率的数量，找到直线斜率的最大集合，即该邻域内包含的斜率数量 最多，则在该邻域内生成直线的成对特征点即为筛选出的预匹配点。\n3.根据产生鬼影现象的区域两幅图像间的像素差值较大的特性，使用最佳路径 的方法生成一条能够避开差值较大区域的拼接路径，此路径上的像素差值是 图像中差值较小的(见图3)。\n4.计算图像间重叠区域的第一行所有相邻像素的差值，找到差值最小的一点作 为路径的起始点。\n5.计算起始点左右和下方像素的差值，以差值最小的点作为路径生成的端点。\n6.依次计算路径端点上下左右七个方向上(除去路径上的点)的像素差值。同 时引入重力系数，以控制路径生成的方向。由图像间变换矩阵中的变量可以 确定拼接的方向。以水平拼接为例，拼接路径应为竖直方向，因此在计算路 径端点上方(包括左上和右上)像素差值时，乘以一个大于1的系数a1，同 样在计算端点左右方向上的像素差值时，也乘以一个大于1的系数a2，且a2＜ a1，使路径可以向下生成且避开差值较大区域。\n7.以拼接路径为中心，沿拼接路径，提取30像素宽度区域内的像素RGB值。\n8.计算HSI颜色空间的亮度分量，用权重函数公式对两幅图像的亮度值进行融 合，再反向变换到RGB颜色空间。\n6.综合考虑，本发明使用角检测的方法提取图像的特征，符合文化遗产图像 的特点，使用聚类的方法预筛选图像的相关特征点，大大提高了算法的效率； 在图像融合部分，使用了最佳路径法与亮度权重函数法相结合的图像融合方 法，使融合后的图像亮度过渡自然且避免了鬼影现象的产生，得到了较为理 想的拼接效果。\n本发明的技术方案流程图参见图4、图5。图4是预筛选相关特征点流程 图，图5是本发明的方法流程图。\n本发明的方法包括下述步骤：\n1)按图像排列顺序读入一组待拼接图像；\n2)判断是否已知所有拍摄图像的相机镜头焦距值。已知焦距值进入下一 步，未知焦距值转到4)；\n3)以焦距值为半径，用柱面投影的公式，把每幅图像投影到圆柱平面上；\n其特征在于：采用角点检测的方法提取每幅图像中的角点作为图像的 特征用于图像间的匹配；使用聚类的方法预筛选图像间的相关点；使用 最佳路径与亮度权重函数相结合的方法融合拼接图像，以消除重影现象 和亮度不连续现象；\n4)使用Harris角点检测的方法提取图像中物体的角点作为特征点；其具 体为：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方 向和y轴方向的梯度值(一阶偏导数)fx和fy，然后使用以下公式计 算C矩阵：\n$C=G\left(\sigma \right)\otimes \left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$\n其中：G(σ)为高斯窗函数，fx和fy为图像x轴方向和y轴方向的像素 梯度值；下一步又应用了“角”函数R：\nR＝Det(C)-αTr2(C)  0.04≤α≤0.06\n当某点R大于设定的某一阈值T(T＞0)时，这点就是检测出的特征点；\n5)使用NCC(Normalized Cross Correlation)相关性算法计算图像间特征 点的相关性，得到成对的相关特征点；NCC相关性计算公式如下：\n$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}(I_1(x-i,y-j)-\overline{I_1})(I_2(x-i,y-j)-\overline{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_1(x-i,y-j)-\overline{I_1})}^2\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_2(x-i,y-j)-\overline{I_2})}^2}}$\n其中：I1和I2为两幅图像的像素值； $\overline{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_1(x-i,y-j),$ $\overline{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_2(x-i,y-j)$ 分别为图像I1和I2以(x，y)为中心的N×N图像 窗内的像素均值，(x-i，y-j)为图像坐标，，N∈(3，11)；\n将NCC的相似度值归一化在[-1，1]范围内；\n6)使用聚类法预筛选成对的相关点，以减少不匹配点所占比例。首先用 直线斜率公式求出所有成对相关点的斜率，然后运用简单聚类的方法 以其中任一个斜率点为中心，计算其邻域(-r，r)(r的取值范围在 0.01-0.05之间)内包含其它斜率的数量，找到直线斜率在邻域(-r，r) 内的最大集合，则其在该邻域内生成直线的成对特征点即为筛选出的 预匹配点；\n7)使用RANSAC(RANdom SAmple Consensus)方法采用抽样的方式提取 四对相关的特征点计算图像变换矩阵，然后把图像I2的所有特征点坐 标变换到图像I1的坐标系中，计算其与图像I1中对应相关点的坐标误 差值(即两点间距离)，如果小于门限值M，M的取值范围为0.05～ 0.15，则认为这一对相关点是匹配的特征点(称为线内点)；按照如上 方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算 达到N次(N的取值范围为1000～50000)则终止抽样；\n8)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹 配位置拼合到同一图像空间中；变换公式如下：\n$\hat{X}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$\n其中，H是投影变换矩阵，它是自相关的，h00、h01、h02、h10、h11、h12、 h20、h21为八个所求变量，X＝[x，y，1]T为图像变换前原始输入图像的坐 标， $\hat{X}={[\hat{x},\hat{y},1]}^T$ 为经投影变换后图像坐标。变换结果的自相关坐标 必须归一化以得到非相关的结果X′＝[x′y′1]T：\n$x^{\prime }=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$ $y^{\prime }=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+1}$\n其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；\n9)再次判断是否已知拍摄图像的相机镜头焦距值；如已知焦距值则转到 11)，未知焦距值则进入下一步；\n10)估计相机的焦距值。使用图像I2投影到图像I1的投影变换矩阵中h00、 h01、h02、h10、h11、h12这六个变量可以估计出相机的焦距值，公式如 下：\n$f_0^2=\sqrt{\frac{h_{00}^2+h_{01}^2-h_{10}^2-h_{11}^2}{h_{12}^2-h_{02}^2}},$ h12≠h02\n其中，f0为计算所得焦距值；同样，使用图像I1投影到图像I2的投 影变换矩阵中h’00、h’01、h’02、h’10、h’11、h’12这六个变量可以估 计出相机的焦距值，公式如下：\n$f_1^2=\sqrt{\frac{h_{00}^{\prime 2}+h_{01}^{\prime 2}-h_{10}^{\prime 2}-h_{11}^{\prime 2}}{h_{12}^{\prime 2}-h_{02}^{\prime 2}}},$ h′12≠h′02\n其中，f1为计算所得焦距值；如果焦距值要适用于两幅图像的话，可 以计算f0和f1的几何均值作为共同的焦距值 $f=\sqrt{f_1{f}_0};$ 如果计算多幅 图像的焦距值，则用首先计算两两相邻图像的焦距值，然后计算这些 焦距值的几何均值作为共同的统一的焦距值；估计出焦距值后转到步 骤3)并继续进行3)之后的步骤；\n11)生成最佳拼接路径，消除鬼影现象；公式如下：\n$P(x^{\prime },y^{\prime })=\min \left\{\underset{i=-1}{\overset{1}{\Sigma }}\underset{j=-1}{\overset{1}{\Sigma }}k{[I_1(x+i,y+j)-I_2(x+i,y+j)]}^2\right\}$\n其中， $k=\left\{\begin{array}{cc}1-0.2(i-1)& h_{02}\ge h_{12}\\ 1-0.2(j-1)& h_{02}<h_{12}\end{array}\right.$ 为重力系数，控制路径的生成方向；P(x′，y′) 即为生成的最佳路径；具体方法为：首先计算图像I1和I2重叠区域 的第一行相邻像素值差值的平方，得到绝对值最小的点作为路径的起 始点，然后计算其与左右、左下、右下和正下方的相邻像素差值的平 方，找到下一差值平方最小点，作为路径端点，再对此路径端点周围 七个像素点计算像素差值平方，差值平方最小的点作为下一个端点， 这样计算下去，最终找到一条像素差值较小的拼接路径。为了控制路 径的生成方向，使之达到重叠区域的另一端，生成一条完整的最佳路 径，算法中引入了重力系数k；\n12)把图像处理中RGB颜色空间的像素值转换到HSI颜色空间，使用其 中的亮度分量I，沿最佳路径对两幅图像进行亮度融合：使用权重函 数公式对亮度分量进行融合：\n$C\left(x\right)=\frac{{\Sigma }_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\Sigma }_{k}w\left(d\left(x\right)\right)}$\n其中，w是单调函数，一般取w(x)＝x，d(x)为图像Ik(k＝1，2，3…)中融 合点(x，y)与融合范围边界在x轴上的距离，Ik(x)为融合点的亮度值， C(x)为融合后的亮度值；对亮度融合以后，再用HSI颜色空间与RGB 颜色空间的公式转换到RGB颜色空间内；\n13)输出拼接结果图。\n本发明的原理为：通过对实际情况的考察，发现不匹配点所占所有相关 点中的比例，对筛选匹配点算法效率的影响很大。因此，根据匹配点之间所 连直线斜率之相同或者相近的特性，用聚类的方法预先滤除一部分不匹配点， 提高了数据的纯度，从而极大的减少了传统方法的迭代循环次数。经实验证 明，这种方法能够达到预期的效果，提高了算法的筛选效率和鲁棒性。\n在本发明中，考虑到在图像融合时会产生鬼影现象，因此通过一种简单 有效的最佳路径生成方法，避开了图像重叠部分会产生鬼影现象的差值较大 区域。在路径的生成过程中，引入了重力系数，从而控制了路径的生成方向， 且能够达到消除鬼影的目的。为了使图像融合自然、消除图像间亮度差异， 本发明中又使用了亮度权重函数，在HSI颜色空间对图像的亮度值进行融合。 通过大量实验证明，使用这种方法效率较高，且能够得到理想的拼接效果。\n附图说明\n图1是Harris角检测实验结果图；\n图2(a)是图像间连接直线实验结果图；(b)是聚类法筛选特征点示意图；\n图3是最佳路径生成方法示意图；\n图4是预筛选相关特征点流程图；\n图5是本发明采用的方法的流程图；\n图6是本发明拼接图像的结果图\n具体实施方式\n在本实施例中，首先是读入一组JPG或BMP格式的图像序列，输入的图 像序列需要相邻图像间有部分的重叠内容，从计算机中读入图像数据后，计 算机将调用本发明中提到的方法来完成具体的拼接工作。\n具体实施中，在计算机中完成以下步骤：\n第一步：依图像排列顺序读入图像序列中的每幅图像。\n第二步：判断用户是否输入了图像焦距值。输入了焦距值进入下一步， 否则转到第四步。\n第三步：根据焦距值对每幅图像进行柱面投影变换，把每幅图像投影到 圆柱平面上。\n第四步：使用Harris角点检测的方法提取图像中物体的角点作为特征点； 其具体为：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向 和y轴方向的梯度值(一阶偏导数)fx和fy，然后使用以下公式计算C矩阵：\n$C=G\left(\sigma \right)\otimes \left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$\n其中：G(σ)为5×5像素大小的高斯窗函数；下一步计算角函数R，其阈值取 T＝10000，系数α＝0.06：\nR＝Det(C)-αTr2(C)\n第五步：按顺序对相邻图像间的特征点进行NCC相关性计算，得到相 关的成对特征点。\n$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}(I_1(x-i,y-j)-\overline{I_1})(I_2(x-i,y-j)-\overline{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_1(x-i,y-j)-\overline{I_1})}^2\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_2(x-i,y-j)-\overline{I_2})}^2}}$\n其中：I1和I2为两幅图像的像素值； $\overline{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_1(x-i,y-j),$ $\overline{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_2(x-i,y-j)$ 分别为图像I1和I2以(x，y)为中心的N×N图像窗内的 像素均值，(x-i，y-j)为图像坐标，，N∈(3，11)；NCC的相似度值被归一化在[-1，1] 范围内；\n第六步：计算相邻图像间相关点所连直线的斜率值，使用聚类的方法以 任一斜率点为中心计算邻域(-r，r)内包含其它斜率的数量，如图2(b)所示， 选出斜率的最大集合作为预筛选的相关特征点。邻域半径r的选择根据大量实 验得到的经验值为0.02。\n第七步：使用RANSAC方法精确筛选出匹配的特征点：随机抽取四对 相关特征点计算图像变换矩阵，然后把图像I2的所有特征点坐标变换到图像 I1的坐标系中，计算其与图像I1中对应相关点的坐标误差值(即两点间距离)， 如果小于门限值M(此处M＝0.1)，则认为这一对相关点是匹配的特征点(称为 线内点)；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或 者抽样计算达到10000次则终止抽样。\n第八步：使用匹配的特征点求出图像间的八变量投影变换矩阵，把图像 按照匹配位置变换到新开辟的拼接结果图像空间。\n第九步：判断是否已知图像焦距值，如果已知转入第十一步，未知则转 入下一步。\n第十步：使用已经求出的投影变换矩阵中的变量，按照相机焦距估计的 公式计算图像间焦距的估计值，求得所有焦距值后，计算几何平均值作为总 的焦距值。\n使用图像I2投影到图像I1的投影变换矩阵中h00、h01、h02、h10、h11、 h12这六个变量可以估计出相机的焦距值，公式如下：\n$f_0^2=\sqrt{\frac{h_{00}^2+h_{01}^2-h_{10}^2-h_{11}^2}{h_{12}^2-h_{01}^2}},$ h12≠h02\n其中，f0为计算所得焦距值；同样，使用图像I1投影到图像I2的投影变换矩阵 中h’00、h’01、h’02、h’10、h’11、h’12这六个变量可以估计出相机的焦距值， 公式如下：\n$f_1^2=\sqrt{\frac{h_{00}^{\prime 2}+h_{01}^{\prime 2}-h_{10}^{\prime 2}-h_{11}^{\prime 2}}{h_{12}^{\prime 2}-h_{02}^{\prime 2}}},$ h′12≠h′02\n其中，f1为计算所得焦距值；如果焦距值要适用于两幅图像的话，可以计算f0 和f1的几何均值作为共同的焦距值 $f=\sqrt{f_1{f}_0};$ 如果计算多幅图像的焦距值，则 用首先计算两两相邻图像的焦距值，然后计算这些焦距值的几何均值作为共 同的统一的焦距值；估计出焦距值后转到步骤三并继续进行三之后的步骤；\n第十一步：计算重叠区域第一行的像素差值的平方，找到差值平方最小 的点作为最佳路径的起始点。\n第十二步：计算起始点与其左右及下方像素的差值的平方，找到下一差 值平方最小的点作为最佳路径的端点。在计算端点周围除路径点其它七个方 向上的像素差值平方，并且按照拼接方向，对差值乘以大于1的重力系数， 依此方法使路径生长，最终得到最佳路径。\n14)第十三步：以最佳路径为中心，取30像素宽的像素值，变换到HSI 颜色空间，提取亮度分量，使用权重函数公式\n$C\left(x\right)=\frac{{\Sigma }_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\Sigma }_{k}w\left(d\left(x\right)\right)}$\n对亮度分量进行融合，再变换回RGB颜色空间。输出拼接结果图像。\n为了检验本发明所提出的方法的性能，给出本发明经过预筛选特征点后 与传统算法只使用RANSAC算法的比较，以及融合以后的拼接效果图(见图 6)。在实验中，采用20对图像对预筛选的效果进行试验，实验条件如下：主 机为P42.8CPU，512M内存。实验结果如表1，从实验结果中可以看出，在 最终匹配点基本不变的情况下，经过预筛选滤除的不匹配点平均达到69.83％， 预筛选算法和RANSAC算法程序执行所用时间与原算法相比减少97.45％， RANSAC算法经预筛选后与原来相比迭代次数平均减少92.87％。因此，可以 看出聚类法预筛选相关点的算法简单，效率较高，解决了RANSAC算法在大 量不匹配点下迭代次数过多的缺点，极大地提高了算法的效率。由图6的实 验结果可以看出，通过最佳路径的方法，在图像融合时避开了鬼影区域，然 后通过亮度融合使图像过渡自然，使图像在融合区域达到了较为理想的融合 效果。相对于其他的融合方法，这种方法效果理想、效率高，非常适合用于 实际的拼接系统中。\n表1：实验结果比较\n  预筛选滤除不   匹配点   所用时间减少   比例   迭代次数减少   比例   最终匹配点数量   69.83％   97.45％   92.87％   基本不变