一种交互式图像检索方法

1.一种交互式图像检索方法，其特征在于，
步骤1：采用移动虚拟分类面选取图像的数据点；将所有数据点按照其到当前移动虚拟分类面的距离映射到一维坐标轴上，被分为正类的数据点映射到正半轴，被分为负类的数据点映射到负半轴，原点对应于当前移动虚拟分类面；
步骤2：对图像数据点进行逐一标注，每次，选取一个数轴上坐标绝对值最小即距离原点最近的数据点进行标注；如果标注结果即该点的真实类别与当前移动虚拟分类面的分类结果一致，则保持原点位置不变；否则，移动原点位置使得移动后该数据点的分类结果与其真实类别一致；
步骤3：利用前一个标注的图像数据点选取下一个图像数据点具体是按照：每标注一个数据点之后，用移动的虚拟分类面适时调整其它未标注图像数据点的信息量，选取靠近移动虚拟分类面的图像数据点进行标注，使得选出的数据点尽可能更靠近真实分类面；
步骤4：利用标注的图像数据点作为训练样本对分类器进行更新，得到改进后的检索结果，完成交互式图像检索。
2.根据权利要求1所述的交互式图像检索方法，其特征在于：所述的图像数据点，是用图像数据点到分类面的距离度量图像数据点信息量，即利用图像数据点到分类面的距离判断分类类别的不确定性，从而作为标注该图像数据点所能获得的信息量；距离越近，不确定性越大，从而标注该图像数据点所能获得的信息量越大。
3.根据权利要求1所述的交互式图像检索方法，其特征在于：所述移动虚拟分类面，是使原先被错分的标注点被虚拟分类面正确地分类。
4.根据权利要求1所述的交互式图像检索方法，其特征在于：所述移动虚拟分类面的步长选取是将原点移至标注点与其相邻数据点的中点处。
5.根据权利要求1所述的交互式图像检索方法，其特征在于：所述分类器进行更新步骤如下：
步骤71：原点移动直到多个图像数据点被标注；
步骤72：将这些标注好的图像数据点加入训练集；
步骤73：利用训练集训练出一个新的分类器。

技术领域\n本发明属于图像处理技术领域，涉及基于移动虚拟分类面的交互式图像检索方法。\n背景技术\n随着多媒体技术的发展和计算机数据处理能力的提高，网络上的各类资源日益丰富，尤其是直观形象的数字图像更是以惊人的速度增长。在全世界范围内，每天都会产生数量巨大的图像，这就要求有一种能够快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术。\n基于内容的图像检索(Content-Based Image Retrieval，简称CBIR)，是当前较为常用的一种有效的图像检索方法，其主要的难点在于如何跨越图像高层语义和底层特征的鸿沟。相关反馈(Relevance Feedback)已被证明是一种能够较好地处理上述问题的技术，其主要思想是在图像检索过程中引入人机交互，每次返回一些图像给用户标注，然后利用这些已标注图像的信息去提高图像检索的准确度。在每轮相关反馈中，返回给用户标注的图像相对于庞大的图像数据库而言是非常少的，如何有效利用有限的标注图像和大量的未标注图像以尽可能地提高图像检索系统的性能，是相关反馈技术中的一个关键问题。\n主动学习(Active Learning)是针对机器学习中“标注数据少，未标注数据多”的情况提出的一种有效的学习算法，其主要思想是：只选取“最有信息”的数据进行标注，使得由这些数据所训练出的新分类器其性能得到尽可能大的提高。将主动学习运用到相关反馈中以提高图像检索的效果，是当前图像检索的一个趋势，其中最具代表性的是S.Tong和E.Chang提出的SVMActive：他们认为距离当前训练所得分类超平面最近的数据点为“最有信息”的数据，因此在每轮相关反馈中，他们返回一批距离分类面最近的图像给用户标注，并用这些标注图像训练出一个新的分类器。本发明认为，上述传统的“成批标注”的选点策略忽略了未标注数据点之间的相互关系，因此减少了所标注数据总的信息量，进而影响了整个图像检索系统的性能。\n发明内容\n传统的选点方法往往选取距离当前分类面最近的一批数据进行一次性标注，这种成批标注的方法忽略了数据点之间的关系，使得系统检索不够高效，为了解决现有技术的问题，本发明的目的是采用高效选点策略、增加所标注数据总的信息量，提高整个图像检索系统的性能，为此，本发明提出了一种基于新型的移动虚拟分类面策略(Moving VirtualBoundary策略，简称MVB策略)的交互式图像检索方法。\n为了实现所述的目的，本发明交互式图像检索方法的技术方案如下所述：\n步骤1：采用移动虚拟分类面选取图像的数据点；\n步骤2：对图像数据点进行逐一标注；\n步骤3：利用前一个标注的图像数据点选取下一个图像数据点；\n步骤4：利用标注的图像数据点作为训练样本对分类器进行更新，得到改进后的检索结果，完成交互式图像检索。\n根据本发明的实施例，所述的图像数据点，所述的图像数据点，是用图像数据点到分类面的距离度量图像数据点信息量，即利用图像数据点到分类面的距离判断分类类别的不确定性，从而作为标注该图像数据点所能获得的信息量。距离越近，不确定性越大，从而标注该图像数据点所能获得的信息量越大。\n根据本发明的实施例，所述的图像数据点的标注步骤：\n步骤31：标注一个图像数据点；\n步骤32：用移动的虚拟分类面适时调整其它各图像数据点的信息量；\n步骤33：选取靠近真实分类面的图像数据点进行标注。\n根据本发明的实施例，所述的虚拟分类步骤如下：\n步骤41：将所有图像数据点按照其到当前分类面的距离映射到一维坐标轴上，被分为正类的图像数据点映射到正半轴，被分为负类的图像数据点映射到负半轴，原点对应于当前分类面；\n步骤42：每次移动选取一个数轴上坐标绝对值最小即距离原点最近的图像数据点进行标注；\n步骤43：如果标注结果即该图像数据点的真实类别与当前分类面的分类结果一致，则保持原点位置不变；否则，移动原点位置使得移动后该图像数据点的分类结果与其真实类别一致。\n根据本发明的实施例，所述在每次移动虚拟分类面，使原先被错分的标注点被虚拟分类面正确地分类。\n根据本发明的实施例，所述的交互式图像检索方法，其特征在于：所述每次移动虚拟分类面的步长选取是将原点移至标注点与其相邻数据点的中点处。\n根据本发明的实施例，所述原点移动步骤：\n步骤71：原点移动到多个图像数据点并被标注；\n步骤72：将这些标注好的图像数据点加入训练集；\n步骤73：利用训练集训练出一个新的分类器。\n根据本发明的实施例，所述信息量中未标注数据的信息量在每轮相关反馈中随标注动态变化。\n本发明的积极效果：\n在图像检索的相关反馈过程中，主动学习常常被用来减轻人工标注的数据量，其主要思想是每次仅仅选取信息量最大的数据进行标注。传统的选点方法往往选取距离当前分类面最近的一批数据进行一次性标注，这种“成批标注”的方法忽略了数据点之间的关系，因此不够高效。本发明提出了一种新型的选点策略：“移动虚拟分类面”策略(MovingVirtual Boundary策略，简称MVB策略)。采用了“逐一标注”的策略取代了传统的“成批标注”的方法，利用前一个标注的数据去为下一个数据的选取提供指导，从而在不增加标注数据量的条件下提高了所标注数据总的信息量。本发明中，未标注数据的信息量在每轮相关反馈中是随标注动态变化的，而非固定不变的常量。本发明采用的移动的“虚拟分类面”去逼近数据的真实分类面，并在此过程中选取最有信息数据点进行标注。实验证明，采用了MVB选点策略的主动学习算法性能得到了显著提高。实验证明，该策略对于改进相关反馈中主动学习算法的效率、提高图像检索系统的性能具有重要的理论和实际意义。\n附图说明\n图1所示为距离当前分类面最近的数据点往往不是“最有信息”的数据点；\n图2所示为MVB选点策略与传统选点策略的比较；\n图3所示为原点移动示意图；\n图4所示为带相关反馈的图像检索系统流程图\n图5采用MVB选点策略的相关反馈流程图\n图6a和图6b所示分别为三轮和五轮相关反馈后的精确度曲线；\n图7a和图7b所示为30和50幅图像精确度与相关反馈轮数的关系曲线。\n具体实施方式\n下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。\n在图像检索的相关反馈过程中，主动学习常常被用来减轻人工标注的数据量，其主要思想是每次仅仅选取信息量最大的数据进行标注。传统的选点方法往往选取距离当前分类面最近的一批数据进行一次性标注，这种“成批标注”的方法忽略了数据点之间的关系，因此不够高效。本发明提出了一种新型的选点策略：“移动虚拟分类面”策略(MovingVirtual Boundary策略，简称MVB策略)。本发明采用了“逐一标注”的方法，利用前一个标注的数据去为下一个数据的选取提供指导，从而在不增加标注数据量的条件下提高了所标注数据总的信息量。实验证明，采用了MVB选点策略的主动学习算法性能得到了显著提高。\n主动学习的关键问题在于如何选取“最有信息”的数据，在图像检索中当前流行的选点策略通常选取一批距离当前训练所得分类面最近的图像给用户标注。但是，如图1所示为距离当前分类面最近的数据点往往不是“最有信息”的数据点，由于当前训练所得分类面实线所示往往不是数据点真实的分类面虚线所示，而事实上距离真实分类面最近的图像才是“最有信息”的数据，所以按照传统的选点策略选取的数据点其信息量往往不是很大，从而对于分类器性能的改善非常有限。\n如图1所示：▲表示负类数据；■表示正类数据；●表示最有信息数据；○表示未标注数据；\n本发明提出了“移动虚拟分类面”(Moving Virtual Boundary，简称MVB)的选点策略。不同于以往的“成批标注”，本发明采用了“逐一标注”的方法，利用前一个标注的数据去为下一个数据的选取提供指导，如图2所示为MVB选点策略与传统选点策略的比较，从而在不增加标注数据量的条件下提高了所标注数据总的信息量。\n如图2所示，MVB选点策略与传统选点策略的比较，和传统的方法一样，本发明把数据点距离分类面的距离作为其信息量的一种度量：数据点距离分类面越近，其类别的不确定性就越大，从而标注该点所能获得的信息量就越大。不同之处在于：在一轮相关反馈中，传统方法把数据点的信息量看作是不变的常量，每次选取距离当前分类面最近的一批数据点标注；而本发明则在每标注一个数据点之后，适时地对其它各点的信息量进行调整，使得选出的数据点尽可能更靠近真实分类面，而非当前分类面。\n下面详细介绍本发明的MVB选点策略：\n首先，本发明将所有数据点按照其到当前分类面的距离映射到一维坐标轴上，被分为正类的数据点映射到正半轴，被分为负类的数据点映射到负半轴，原点对应于当前分类面。\n每次，本发明选取一个数轴上坐标绝对值最小(即距离原点最近)的数据点进行标注。如果标注结果(即该点的真实类别)与当前分类面的分类结果一致，则保持原点位置不变；否则，本发明移动原点位置使得移动后该数据点的分类结果与其真实类别一致。以图3所示原点移动示意图为例，在标注之前，距离原点最近的数据点为点A，它被当前分类面分为正类，而标注之后的结果却是点A属于负类，因此需要将原点向数轴正方向移动，使得点A相对于移动后的原点而言属于负类。上述移动原点的过程实质上相当于在高维空间中移动一个“虚拟分类面”的过程(之所以称之为“虚拟分类面”，是因为它并不是通过训练所获得的分类面，而是对真实分类面可能位置的一种更为合理的假设)，这也就是MVB选点策略名称的由来。在每次移动之后，都保证原先被错分的标注点能够被虚拟分类面正确地分类。对于每次移动的步长，有不同的选取方法，一种最简单、最稳定的方法是将原点移至标注点与其相邻数据点的中点处。\n如图3所示原点移动示意图，重复以上过程，直到一定数目的数据点被标注。然后将这些标注好的数据点加入训练集，从而训练出一个新的分类器。\n现将图像检索过程中MVB选点策略的具体实施步骤总结如下：\n已知：当前分类面f，训练图像集合L(已标注)，未标注图像集合U，每一轮相关反馈所需标注的图像数N。\n步骤1：初始化虚拟分类面fv为当前分类面f；将未标注图像集合U中每一幅未标注图像映射到一维坐标轴上，图像x对应于坐标轴上坐标为fv(x)的点；原点对应于虚拟分类面fv。\n步骤2：重复以下流程N次：\n(1)选择距离原点最近的图像数据点，即坐标绝对值|fv(x)|最小的图像数据点进行标注，假设为x1。\n(2)如果x1位于原点的正方向(即右侧)，但被标注为“不相关”(即负样本)，则将原点移至x1及其右邻点的中点处；如果x1位于原点的负方向(即左侧)，但被标注为“相关”(即正样本)，则将原点移至x1及其左邻点的中点处；否则，保持原点位置不变。\n(3)将x1从未标注图像集合U中剔除，并加入训练图像集合L。\n(4)根据新的原点位置重新计算各未标注图像数据点x的坐标fv(x)。\n步骤3：用训练图像集合L训练出一个新的分类面f’。\n由于虚拟分类面始终向能够正确分类标注点的方向移动，故可以认为它是在尽可能地趋近于真实的分类面，从而使得每次选出的距离虚拟分类面最近的数据点也在不断地靠近真实分类面附件的最有信息数据点。显然，通过MVB策略选取出来的数据点比仅仅局限在当前分类面附件选取的数据点具有更多的信息量，因此对于分类器性能的提高更有帮助。\n带相关反馈的图像检索系统流程如图4所示，具体解释如下：\n①利用特征提取技术，从数据库图像中提取出图像特征(如颜色、纹理、形状等)，并保存在图像特征数据库中，该步骤可以离线完成。\n②对于用户提交的查询图像，需要通过特征提取获得与图像特征数据库中相对应的特征，该步骤在线完成。\n③将图像特征输入分类器，得到查询结果，即数据库中图像按照与查询图像相关性的降序排列。如果用户对查询结果满意，则查询结束；否则，用户需要提供反馈信息，以使分类器获得更好的结果。\n采用MVB选点策略的相关反馈流程如图5所示，具体解释如下：\n(1)使用MVB选点策略，从图像库中选取一幅“最有信息”的图像(即距离分类面最近的图像)，由用户进行标注，标注结果将决定虚拟分类面的移动与否及移动方向、位置，进而指导下一幅“最有信息”的图像的选取。该步骤可以循环N次，从而获得N幅已标注图像。\n(2)MVB选点标注过程结束后，将标注好的N幅图像作为训练图像，对分类器进行训练，以获得更新后的分类器。\n实施效果\n为证明MVB选点策略的有效性，本发明在Coral图像集的一个子类上运用不同的选点策略进行图像检索实验。在本发明的图像集中有5000幅图像，分为50个具有不同语义的类别，每类100幅图像。实验中，本发明用每类的前10幅图像作为查询图像，最后计算出平均的检索精确度。\n本发明选取颜色和纹理特征作为图像的底层特征表达。颜色特征由RGB空间125维的颜色直方图和6维的颜色矩组成。纹理特征按如下方法提取：首先对图像进行3层的离散小波变换，然后用10个子带上各自的均值和方差组成共20维的特征向量，作为图像的纹理特征。\n本发明将MVB选点策略应用于SVMActive，和采用传统选点策略原始SVMActive进行比较。采用的分类器是图像检索中常用的SVM分类器，选择RBF核，参数通过交叉验证获得。在每轮相关反馈中，两种方法均标注相同数量的图像(20幅)。\n图6a和图6b给出了分别经过三轮和五轮相关反馈后图像检索精确度的曲线，其中纵坐标为精确度值，横坐标表示在返回的前x幅图像范围内的精确度。\n图7a和图7b所显示的分别是返回的前30和50幅图像中精确度与相关反馈轮数的关系曲线，其中纵坐标为精确度值，横坐标为相关反馈的轮数。\n图6a和图6b、图7a和图7b中带○的曲线表示采用MVB选点策略的SVMActive，带△的曲线表示原始SVMActive。从图中本发明可以看出采用MVB选点策略之后，SVMActive的性能得到了明显改进，返回图像的精确度比原始的SVMActive有了显著提高。例如，在经过3轮相关反馈之后，返回的前30幅图像的准确率由原来的33.97％提高到43.69％；而在5轮相关反馈之后，返回的前50幅图像的准确率由原来的37.45％提高到49.58％。这说明了运用MVB策略选取出来标注的数据点比传统选点策略具有更多的信息量，从而能够更加有效地提高图像检索系统的性能。\n以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。