一种多光谱图像SIFT特征提取和描述方法及其系统

暂无

一种多光谱图像SIFT特征提取和描述方法及其系统\n技术领域\n[0001] 本发明属于图像处理技术领域，尤其涉及一种多光谱图像SIFT特征提取和描述方法及其系统。\n背景技术\n[0002] 近年来，多光谱在遥感、医学、生物等领域的应用越来越广泛。多光谱图像的波段多于3个，每个波段都可以形成一幅灰度图像。彩色图像可以认为是多光谱图像的一种特殊情况。多光谱图像可以提供比单波段图像更多的信息。目前，多光谱图像的分析与处理已经成为图像处理的一个研究热点，特征提取和描述是图像处理的重要环节，它在多光谱图像的处理上越来越引起研究者的关注。SIFT(invariant feature transform，尺度不变特征变换)特征由于其具有非常好的性能，已经被广泛使用。\n[0003] 当前，还没有一种方法能充分利用多光谱图像的多光谱信息进行SIFT特征提取的方法。对多光谱图像的特征提取都是对多光谱图像的某个波段图像或提取三个波段组合为伪彩色图像进行SIFT特征提取，这种方法不能充分利用多光谱图像的丰富光谱信息，提取的特征在鲁棒性和独特性上表现欠佳。\n[0004] 彩色图像作为多光谱图像的一个特殊情况，现有的彩色图像的局部不变特征的提取和描述方法主要是在彩色图像的各个分量图像或对彩色图像进行色彩空间变换后的分量图像上进行特征提取，比较有代表性的有：C-SIFT、HSV-SIFT、OpponentSIFT、rgSIFT等。\nC-SIFT使用O1/O3和O2/O3提取和描述彩色图像的特征，其中O1和O2表示色彩信息，它们对亮度具有不变性,O3是彩色图像灰度信息，它随着亮度的变化而变化。C-SIFT能去除O1和O2中的彩色图像的灰度信息，但是在亮度发生变化时，它的鲁棒性较差。HSV-SIFT方法首先将彩色图像变换到HSV空间中，然后在HSV中分别对三个通道的图像进行特征的提取和描述，将所提取的三个通道的128维的特征描述矢量进行组合以得到128×3维的描述矢量。Hue-SIFT采用色度直方图的级联方式进行特征的描述，它具有尺度不变性和移不变性。OpponentSIFT将图像变换到对立色彩空间中，然后对每个通道进行特征提取和描述，它具有亮度不变性。rgSIFT采用归一化的RGB彩色模型，对r和g色度分量进行特征描述。\nCIC-SIFT将彩色图像进行ICA变换，然后对变换后的三个通道的图像进行特征描述，它具有较好的鲁棒性和独特性。还有一种结合使用色彩和全局信息的SIFT特征提取和描述方法，使用了极坐标变换构建彩色不变量和椭圆邻域信息进行特征提取和描述，以提取具有较好仿射不变性的特征。\n[0005] 现有的基于SIFT的特征提取和描述方法仅能从灰度图像和彩色图像中提取特征，不能提取多于3个波段的多光谱图像的特征；并且现有方法仅仅利用了图像的空域信息，未充分利用色彩信息，降低了特征的鲁棒性和独特性。\n发明内容\n[0006] 本发明所要解决的技术问题在于提供一种多光谱图像SIFT特征提取和描述方法及其系统，旨在提取多光谱数据的特征和同时利用空域信息和颜色信息进行特征提取。\n[0007] 本发明是这样实现的，一种多光谱图像SIFT特征提取和描述方法，包括以下步骤：\n[0008] 步骤A：对多光谱图像建立彩色图像矢量场模型；\n[0009] 步骤B：建立并分析所述多光谱图像矢量场模型中的矢量场尺度空间，在所述矢量场尺度空间中搜索与定位局部不变特征；\n[0010] 步骤C：并对提取的所述局部不变特征进行描述。\n[0011] 所述的多光谱图像SIFT特征提取和描述方法，其中，所述步骤A包括以下步骤：\n[0012] 步骤A1：对多光谱图像f建立的所述多光谱图像矢量场模型为：\n其中e1,e2,...,en为超虚构单元；f(x,y)表示多光谱图像像素值，x\n表示像素点的x坐标，y表示像素点的y坐标，fi(x,y)表示多光谱图像第i波段的像素值，n为多光谱图像的波段数；\n[0013] 步骤A2：对所述多光谱图像f进行变换，f(x,y)＝flu(x,y)elu+fch(x,y)Ech，其中所述的多光谱图像f分成两个量，分别为flu亮度量、fch\n色度量，flu(x,y)中x表示x轴坐标，y表示y轴坐标，fch(x,y)中x表示x轴坐标，y表示y轴坐标，elu表示亮度投影轴，Ech表示色度投影平面，e1,e2,...,en为超虚构单元。\n[0014] 所述的彩色图像SIFT特征提取和描述方法，其中，所述步骤B包括以下步骤：\n[0015] 步骤B1：根据如下公式得到所述多光谱图像f的矢量场尺度空间Lc：Lc＝{Lc(x,y,kΩ)|k＝1,2,....,m}，其中\nGn+2(x,y,kΩ)表示高斯核，\nGn+2(x,y,kΩ)中x表示x\n轴坐标，y表示y轴坐标，kΩ表示尺度空间的尺度，f(x,y)表示n个波段的多光谱图像，x表示x轴坐标，y表示y轴坐标，Lc(x,y,kΩ)中x表示x轴坐标，y表示y轴坐标，kΩ表示尺度空间的尺度；\n[0016] 步骤B2：在所述矢量场尺度空间Lc中，通过相邻尺度图像的差分，获得矢量高斯差分图，表示为D(x,y,kΩ)，其中D(x,y,kΩ)＝Lc(x,y,kΩ)-Lc(x,y,Ω)，k为两相邻尺度空间尺度的倍数，\n[0017] 其中Dij是矢量空间中的多维矢量。\n[0018] 所述的彩色图像SIFT特征提取和描述方法，其中，所述步骤C包括以下步骤:\n[0019] 步骤C1：对于在Lc(x,y,Ω)中的一个特征点，其幅值和m(x,y)和方向θ(x,y)表示为：\n[0020] \n[0021] \n[0022] 步骤C2：通过方向直方图来对特征点周围的方向进行统计，具有最大统计值的方向作为所述特征点的主方向，并形成特征描述矢量。\n[0023] 本发明还提供一种多光谱图像SIFT特征提取和描述系统，其中，包括：\n[0024] 模型建立模块，用于对多光谱图像建立多光谱图像矢量场模型；\n[0025] 矢量场尺度空间建立与分析模块，用于建立并分析所述多光谱图像矢量场模型的矢量场尺度空间，在所述矢量场尺度空间中搜索与定位局部不变特征；\n[0026] 特征提取和描述模块，用于对提取的所述局部不变特征进行矢量描述。\n[0027] 所述的多光谱图像SIFT特征提取和描述系统，其中，所述模型建立模块包含矢量场模型模块和图像变换模块；\n[0028] 所述矢量场模型建立模块生成的多光谱图像矢量场模型为：\n其中e1,e2,...,en为超虚构单元；f(x,y)表示多光谱图像像素值，x\n表示像素点的x坐标，y表示像素点的y坐标，fi(x,y)表示多光谱图像第i波段的像素值，n为多光谱图像的波段数；\n[0029] 所述图像变换模块，对所述多光谱图像f进行变换f(x,y)＝flu(x,y)elu+fch(x,y)Ech，其中 所述的多光谱图像f分成两个量，分别为flu亮\n度量、fch色度量，flu(x,y)中x表示x轴坐标，y表示y轴坐标，fch(x,y)中x表示x轴坐标，y表示y轴坐标，elu表示亮度投影轴，Ech表示色度投影平面，e1,e2,...,en为超虚构单元。\n[0030] 所述的多光谱图像SIFT特征提取和描述系统，其中，所述矢量场尺度空间建立与分析模块包含矢量场尺度空间建立模块和多光谱图像SIFT特征提取模块；\n[0031] 所述矢量场尺度空间建立模块，根据公式Lc＝{Lc(x,y,kΩ)|k＝1,2,....,m}得到矢量场尺度空间，其中 表示\n高斯核， Gn+2(x,y,kΩ)中\nx表示x轴坐标，y表示y轴坐标，kΩ表示尺度空间的尺度，f(x,y)表示n个波段的多光谱图像，x表示x轴坐标，y表示y轴坐标，Lc(x,y,kΩ)中x表示x轴坐标，y表示y轴坐标，kΩ表示尺度空间的尺度；\n[0032] 所述多光谱图像SIFT特征提取模块，将相邻尺度图像进行差分得到矢量高斯差分图D(x,y,kΩ)，其中D(x,y,kΩ)＝Lc(x,y,kΩ)-Lc(x,y,Ω)，k为两相邻尺度空间尺度的倍数，\n[0033] 其中Dij是矢量空间中的多维矢量。\n[0034] 所述的多光谱图像SIFT特征提取和描述系统，其中，所述特征提取和描述模块包含特征点描述模块和多光谱图像SIFT特征描述模块；\n[0035] 所述特征点描述模块，对于在Lc(x,y,Ω)中的一个特征点，其幅值和m(x,y)和方向θ(x,y)表示为：\n[0036] \n[0037] \n[0038] 所述多光谱图像SIFT特征描述模块，通过方向直方图来对特征点周围的方向进行统计，以具有最大统计值的方向作为所述特征点的主方向，并形成特征描述矢量。\n[0039] 本发明与现有技术相比，具有以下优点：\n[0040] 1、能提取多光谱图像的局部不变特征，所提取的有效特征数量比现有其他算法更好，特征具有更好的鲁棒性和独特性；\n[0041] 2、所述基于矢量场多光谱图像SIFT特征提取和描述方法在彩色图像上提取出的局部不变特征比现有方法提取的特征具有更好的性能。\n附图说明\n[0042] 图1是本发明多光谱图像SIFT特征提取和描述方法的步骤流程图；\n[0043] 图2是本发明的方法和其他方法在多光谱图像和伪彩色图像上降低亮度后的比较；\n[0044] 图3是本发明的方法和其他方法在多光谱图像和伪彩色图像上图像缩小50％的比较；\n[0045] 图4是本发明的方法和其他方法在彩色图像上降低亮度的比较；\n[0046] 图5是本发明的方法和其他方法在彩色图像上图像模糊的比较；\n[0047] 图6是本发明的方法和其他方法在彩色图像上图像尺寸缩小50％的比较；\n[0048] 图7是本发明的方法和其他方法在彩色图像上视点变化的比较；\n[0049] 图8是本发明的方法和其他方法在彩色图像上JPEG压缩的；\n[0050] 图9是本发明彩色图像SIFT特征提取和描述系统的连接关系图；\n[0051] 图10是从多光谱图像中抽取第2波段的图像；\n[0052] 图11是从多光谱图像中抽取第7波段的图像；\n[0053] 图12是从多光谱图像中抽取第12波段的图像；\n[0054] 图13是由2、7、12波段组合成的伪彩色图像；\n[0055] 图14是伪彩色图像降低亮度的图像；\n[0056] 图15是伪彩色图像尺寸缩小50％的图像；\n[0057] 图16a是原标准测试图像，图16b是降低亮度后的图像；\n[0058] 图17a是原标准测试图像，图17b是视点变化后的图像；\n[0059] 图18a是原标准测试图像，图18b是JPEG压缩后的图像；\n[0060] 图19a是原标准测试图像，图19b是图像模糊后的图像；\n[0061] 图20a是原标准测试图像，图20b是尺寸缩小50％后的图像。\n具体实施方式\n[0062] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。\n[0063] 目前，特征提取算法都是针对灰度图像进行的，在处理彩色图像时，将彩色图像转换为灰度图像或在彩色图像的RGB三个通道上分别进行特征提取，这导致彩色图像的色彩信息丢失，从而使提取的特征的鲁棒性下降。本本明在提取多光谱图像的局部不变特征时充分利用光谱信息，对基于多光谱矢量分析的多光谱图像局部不变特征提取及描述方法进行研究，以提高特征的独特性和鲁棒性，以及特征和语义的对应性。在几何代数的分析理论下，首先建立多光谱图像矢量场模型，然后对多光谱图像的矢量场尺度空间理论展开研究，接着在矢量场尺度空间中搜索与定位局部不变特征，并对提取的局部不变特征进行矢量描述。\n[0064] 如图1所示，一种多光谱图像SIFT特征提取和描述方法，包括以下步骤：步骤A：\n对多光谱图像建立多光谱图像矢量场模型，提取抗亮度变化的色彩成分。\n[0065] 在几何代数中，对多光谱图像f建立的所述多光谱图像矢量场模型为：\n其中e1,e2,...,en为超虚构单元；f(x,y)表示多光谱图像像素值，x\n表示像素点的x坐标，y表示像素点的y坐标，fi(x,y)表示多光谱图像第i波段的像素值，n为多光谱图像的波段数。\n[0066] 通过运用Young-Helmholtz彩色模型理论对所述多光谱图像f进行变换，f(x,y)＝flu(x,y)elu+fch(x,y)Ech，其中 flu(x,y)中x表示x轴\nl\n坐标，y表示y轴坐标，fch(x,y)中x表示x轴坐标，y表示y轴坐标，eu表示亮度投影轴，Ech表示色度投影平面，e1,e2,...,en为超虚构单元。上式把所述的彩色图像f分成两个量，分别为flu亮度(强度)量、fch色度(颜色信息)量，这种颜色变换是一个线性映射，所述线性映射是由对角矢量elu＝(1,1,1)＝iR+iG+iB上颜色空间的颜色矢量值像素和二维平面πch(C)完成的，所述二维平面πch(C)和所述对角矢量elu垂直：πch(C)⊥elu，所述对角矢量elu称作亮度白矢量，所述二维平面πch(C)称作RGB空间的色度平面。因此，每一个像素同时被表示为一个实数flu和一个复数fch，分别对应亮度和色度信息。\n[0067] 步骤B：建立并分析所述多光谱图像矢量场模型中的矢量场尺度空间，在所述矢量场尺度空间中搜索与定位局部不变特征。\n[0068] 传统的图像尺度空间是建立在灰度图像即标量图像上的，而本发明提出在矢量场上建立尺度空间，因此所建立起来的尺度空间中的各个尺度图像都是一个矢量场，称它为矢量场尺度空间。\n[0069] 传统的灰度图像的尺度空间是定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,delta)卷积运算。在几何代数的彩色空间中，卷积运算定义为：vn(r)＝∫∫∫ΩQn(ξ)V(r-ξ)dξ，其中Qn(ξ)和V(r-ξ)均为几何代数空间中的n维多维矢量，他们之间的乘积为几何代数积。\n[0070] 在卷积运算定义的基础上，多光谱图像f和高斯核Gn+2(x,y,Ω)的卷积可以表示为：\n[0071] 所述多光谱图像f的矢量场尺度空间Lc可以由多光谱图像f和高\n斯 核Gn+2(x,y,Ω) 的 卷 积 得 到，为 ,\n其..中.，. Gn+2(x,y,kΩ)表示高斯核，\nGn+2(x,y,kΩ)中x表示x\n轴坐标，y表示y轴坐标，kΩ表示尺度空间的尺度，f(x,y)表示n个波段的多光谱图像，x表示x轴坐标，y表示y轴坐标，Lc(x,y,kΩ)中x表示x轴坐标，y表示y轴坐标，kΩ表示尺度空间的尺度。\n[0072] 在所述矢量场尺度空间Lc中，通过相邻尺度图像的差分，获得矢量高斯差分图(GA-DoG)，表示为D(x,y,kΩ)，其中D(x,y,kΩ)＝Lc(x,y,kΩ)-Lc(x,y,Ω)，k为两相邻尺度空间尺度的倍数，\n[0073] 其中Dij是矢量空间中的多维矢量。\n[0074] 特征点的检测在由矢量高斯差分图D(x,y,kΩ)组成的集合中进行。首先将由矢量高斯差分图D(x,y,kΩ)组成高斯金字塔分为O组，每组有S层。为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点进行比较，看其是否比它的图像域和尺度域的相邻点大或者小，即检测点与它同尺度的8个相邻点和上下相邻尺度对应的18个点共26个点进行比较，以确保在矢量尺度空间和二维图像位置空间都检测到极值点。\n[0075] 步骤C：对提取的所述局部不变特征进行描述。对提取的特征进行矢量化描述对特征的抗色彩变化、抗几何变化、唯一性和后续的计算复杂性等具有极大的影响，本发明从色彩分布、幅值、方向等方面展开特征描述。\n[0076] 对检测到的特征的描述，本发明采用标准SIFT特征描述方法，但由于本发明是在矢量场空间中进行的，所以在进行特征点方向分配时提出了新的幅值和m(x,y)和方向θ(x,y)计算方法，对于在Lc(x,y,Ω)中的一个特征点，其幅值和m(x,y)和方向θ(x，y)表示为：\n[0077] \n[0078] \n[0079] 然后通过方向直方图来对特征点周围的方向进行统计，具有最大统计值的方向作为所述特征点的主方向，并形成特征描述矢量。\n[0080] 与上述各方法相结合，如图9所示，本发明还提供一种多光谱图像SIFT特征提取和描述系统，该系统包括：模型建立模块901、矢量场尺度空间建立与分析模块902和特征提取和描述模块903。所述模型建立模块901用于对多光谱图像建立多光谱图像矢量场模型；所述矢量场尺度空间建立与分析模块902与所述模型建立模块901相连，用于建立并分析所述多光谱图像矢量场模型的矢量场尺度空间，在所述矢量场尺度空间中搜索与定位局部不变特征；所述特征提取和描述模块903与所述矢量场尺度空间建立与分析模块902相连，用于对提取的所述局部不变特征进行矢量描述。\n[0081] 以下结合本发明的方法和一些现有技术的方法做一些实验，在实验中，为了便于叙述，称本发明的方法为GASIFT。在多光谱图像的测试实验中，采用的多光谱图像是含有\n36个波段的MODIS遥感卫星多光谱图像。在特征提取时，使用本发明的方法对整个多光谱进行特征提取和描述。而由于现有的其他方法仅能处理具有三个通道的图像，所以从多光谱图像中抽取3个波段(第2、7、12波段)合成一个伪彩色图像，如图10至图13所示。对多光谱图像和伪彩色图像进行破坏性的变换，包括裁剪、旋转、缩放等，如图14、图15所示为对伪彩色图像进行降低亮度和尺寸缩小50％的效果图。\n[0082] 在彩色图像的测试实验中，采用的图像来自于标准测试图像。对彩色图像进行破坏性的变换，包括亮度变化、裁剪、旋转、缩放、视点变化等，效果如图16至图20所示。\n[0083] 为了测试本发明的方法的性能，采用现有文献的查全率与1-查准率(recalls vs.1-precision)图来进行比较。对图像中的特征进行提取和描述，然后将源图像和被破坏图像的特征点进行度量匹配，如果两特征点的欧式距离小于阈值则标记为匹配(match)；\n如果一个匹配的两个特征点对应的是同一个位置的特征点，那么这两个特征点被标记为正确提取的特征(correct-positive)；否则，标记为被错判的特征(false-positive)；总的特征数(total number of positives)是实现估计的一个总的应该匹配的数量；那么，我们可以通过下式得到查全率与1-查准率(recalls vs.1-precision)图，\n[0084] \n在特征的匹配测量上，我们采用最近邻\n匹配策略，即认为距离度量值最小的就是匹配特征对。\n[0085] 表1是各个特征提取和描述方法的比较情况，从表中可以看出，在被破坏后的图像中提取的正确匹配的特征数，本发明的最高。这说明本发明的方法不仅能从多光谱图像中提取出更多的特征点，而且提取的特征点具有更好的鲁棒性和独特性。\n[0086] 表1：各个特征提取和描述方法在多光谱图像和伪彩色图像上的比较情况[0087] \n[0088] 图2、图3是各种方法在多光谱图像上进行特征提取所形成的查全率与1-查准率图。图2是对图像进行亮度变化后提取特征，测试方法的抗亮度变化性能，可以看出本发明的方法具有最好的性能。图3是在对图像进行缩小50％的图像进行测试，测试方法的抗缩放能力，可以看出本发明的方法也具有最好的性能。从上述实验结果中可以看出，本发明的算法在1-查准率(1-precision)的值小的时候具有非常好的性能，这也就是说在提取出的正确特征数小的时候，在保证正确率的情况下，本发明的方法能提取出比其他算法更多的特征点。本发明的方法具有比其他算法更好性能的原因是本发明的方法同时应用了彩色信息和空间信息进行特征提取，相比于其他方法仅利用空间信息，本发明方法利用的信息更丰富，在进行特征搜索时，能够在更大的空间中进行搜索，所提取的特征就会更多，独特性更好。\n[0089] 表2是各个特征提取和描述方法在彩色图像上的比较情况，从表中可以看出，在亮度变化后的图像中提取的正确匹配的特征数，本发明的最高。在其他情况下，本发明的方法也具有较好性能。\n[0090] 表2：各个特征提取和描述方法在彩色图像上的比较情况\n[0091] \n[0092] 图4至图8是各种方法在彩色图像上进行特征提取所形成的查全率与1-查准率(recalls vs.1-precision)图。从图中可以看出，本发明的方法在亮度降低的情况下在所有的方法中具有最好的性能。亮度降低时，1-查准率为0.36时，在本发明的方法的查全率值达到1，而此时其他方法的查全率值均在0.88以下。这主要是因为本发明的方法在进行特征提取前去除了亮度信息，保留了色度信息，特征提取仅在色度信息上进行。在图像模糊时，本发明的方法在所有的方法中的性能最佳。这主要是因为在图像被模糊化时，图像的大量细节被消除，传统方法仅在图像空域上进行特征提取引起不能提取出特征，而本发明的方法同时在空域和色彩空间中提取特征，则仍然可以提取出大量的特征。\n[0093] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。