图像检索方法及图像检索装置

1.一种图像检索装置，其特征在于，具有：
特征量抽出单元，从关键字图像中抽出多个类型的特征量；
适合性判断单元，对于所述特征量抽出单元所抽出的各特征量的类 型，将是否计算出与人的相似感觉相一致的相似度作为有无适合性来进 行判断；
相似度计算单元，根据所述适合性判断单元的判断结果，计算所述 关键字图像与检索对象的各图像的相似度；
检索结果输出单元，把与所述相似度对应的图像作为检索结果输出，
所述特征量抽出单元至少包括进行颜色配置特征量的抽出、纹理特 征量的抽出以及形状特征量的抽出，
在所述颜色配置特征量的抽出中，对于把图像数据分割为格子状时 的局部图像，只有在满足以下两个条件的局部图像在一定数量以上时， 才从该图像数据中作为颜色配置特征量抽出，所述两个条件为：在图像 数据内有根据固定值以上的比例所包含的颜色；具有该颜色的像素在空 间上集中，
在所述形状特征量的抽出中，只从满足如下条件的图像数据中作为 形状特征量进行抽出，该条件为：为单色的背景，在图像数据的特定部 分存在有物体。
2.根据权利要求1所述的图像检索装置，其特征在于：
所述适合性判断单元对被判断为对于所述关键字图像具有适合性的 类型的特征量与检索对象的各图像之间有无适合性进行判断，所述相似 度计算单元对于各图像，把被判断为没有适合性的图像从检索对象中排 除，把被判断为有适合性的各图像作为检索对象进行集合，使用所述类 型的特征量来计算所述关键字图像与该检索对象的各图像的相似度。
3.根据权利要求1或2所述的图像检索装置，其特征在于：
在所述适合性判断单元判断为具有适合性的类型存在多个的情况 下，所述相似度计算单元把对每个类型所计算的相似度进行合计的结果 作为相似度的计算结果。
4.根据权利要求1或2所述的图像检索装置，其特征在于：
所述适合性判断单元在被判断为具有适合性的类型存在多个的情况 下，让用户从多个类型中选择一个类型，所述相似度计算单元使用所述 用户所选择的类型的特征量，计算所述关键字图像与检索对象的各图像 的相似度。
5.根据权利要求1或2所述的图像检索装置，其特征在于：
所述适合性判断单元让用户确认所述适合性的判断结果，所述相似 度计算单元根据得到所述用户的确认的判断结果，计算所述关键字图像 与检索对象的各图像的相似度。
6.一种图像检索方法，其特征在于，具有：
特征量抽出步骤，从关键字图像中抽出多个类型的特征量；
适合性判断步骤，对于所述特征量抽出步骤所抽出的各特征量的类 型，把是否计算出与人的相似感觉相一致的相似度作为有无适合性来进 行判断；
相似度计算步骤，根据所述适合性判断步骤的判断结果，计算所述 关键字图像与检索对象的各图像的相似度；
检索结果输出步骤，把与所述相似度对应的图像作为检索结果输出，
所述特征量抽出步骤至少包括进行颜色配置特征量的抽出、纹理特 征量的抽出以及形状特征量的抽出，
在所述特征量抽出步骤中，对于把图像数据分割为格子状时的局部 图像，只有在满足以下两个条件的局部图像在一定数量以上时，才从该 图像数据中作为颜色配置特征量抽出，所述两个条件为：在图像数据内 有根据固定值以上的比例所包含的颜色；具有该颜色的像素在空间上集 中，
在所述形状特征量的抽出步骤中，只从满足如下条件的图像数据中 作为形状特征量进行抽出，该条件为：为单色的背景，在图像数据的特 定部分存在有物体。
7.根据权利要求6所述的图像检索方法，其特征在于：
所述适合性判断步骤对被判断为对于所述关键字图像具有适合性的 类型的特征量与检索对象的各图像之间有无适合性进行判断，所述相似 度计算步骤对于各图像，把被判断为没有适合性的图像从检索对象中排 除，把被判断为有适合性的各图像作为检索对象进行集合，使用所述类 型的特征量来计算所述关键字图像与该检索对象的各图像的相似度。
8.根据权利要求6或7所述的图像检索方法，其特征在于：
在所述适合性判断步骤判断为具有适合性的类型存在多个的情况 下，所述相似度计算步骤把对每个类型所计算的相似度进行合计的结果 作为相似度的计算结果。
9.根据权利要求6或7所述的图像检索方法，其特征在于：
所述适合性判断步骤在被判断为具有适合性的类型存在多个的情况 下，让用户从多个类型当中选择一个类型，所述相似度计算单元使用所 述用户所选择的类型的特征量，计算所述关键字图像与检索对象的各图 像的相似度。
10.根据权利要求6或7所述的图像检索方法，其特征在于：
所述适合性判断步骤让用户确认所述适合性的判断结果，所述相似 度计算步骤根据得到所述用户的确认的判断结果，计算所述关键字图像 与检索对象的各图像的相似度。

技术领域
本发明涉及根据关键字图像，从图像数据库中检索所希望的图像的 技术。
背景技术
到目前，开发了很多具有如下功能的图像检索装置，即，通过从储 存了大量图像数据的图像数据库中按顺序取出与作为检索要求的用户所 给的关键字图像相似的图像数据并显示，使得用户可以高效地找到所希 望的图像数据。
在这样的图像检索装置中，使用了相似图像检索技术，由于以数值 来计算关键字图像数据和检索对象的图像数据的相似度，所以定义了以 数值来表示图像数据特征的特征量。在图像的相似度计算中使用该特征 量。
在这里，在上述特征量中，有根据捕捉图像所具有的颜色的配置、 纹理(是指用于表示在图形等中附在图形的表面的图案及质感的描绘)、 图像中所存在的物体的轮廓的形状等特征的观点所分的类型。
这样，在以往，对各个特征量的类型是以与人的相似度有关的感觉 相一致为目标，提出了很多有效的定义和其抽出方法〔片山纪生、佐藤 真一：用于进行相似检索的索引技术，信息处理学会杂志，Vol.42，No.10， pp.958-964(2001).〕。
因此，在以往的图像检索装置中，由于根据各种观点来检索相似图 像，因而就要事先准备多个类型的特征量，在由用户指定了符合检索目 标的特征量的类型后，再实施检索。
但是，在以往的图像检索装置中，对于不具备与图像的特征量相关 的知识的一般用户来讲，要选择符合检索目标的特征量的类型是很不容 易的。
其结果是，需要反复进行按照试行决定的特征量类型的检索，在经 过多次的检索失败后，才能决定出正确的用于检索的特征量类型，由此， 会出现检索操作需要用户很大工作量的问题。
并且，为了使使用这些特征量所计算出的相似度与人所具有的与相 似度有关的感觉相一致，成为对象的图像数据的内容就必须满足对每个 特征量类型所规定的一定的条件。
因此，在检索对象中包含有不符合条件的图像数据的情况下，相似 度计算会与人的感觉相违背，检索结果中包含有对于用户来说明显感觉 缺乏和关键字图像的相似度的图像数据。在可以限制为只对与使用检索 对象的图像数据的特征量的类型的条件相一致的图像数据进行检索的情 况下，不会产生该问题。
但是，在将混合有使用近年来普及的互联网所收集的图像数据等的 各种各样内容的图像数据的图像数据集作为检索对象的情况下，包含很 多与特征量的类型的条件不一致的图像数据，就会出现检索精度下降的 问题。
本发明就是鉴于上述的问题而提出的，其目的在于提供可以提高检 索精度的图像检索程序。
发明内容
为了达到上述的目的，本发明的图像检索装置，其特征在于具有： 特征量抽出单元，从关键字图像中抽出多个类型的特征量；适合性判断 单元，对于所述特征量抽出单元所抽出的各特征量的类型，将是否计算 出与人的相似感觉相一致的相似度作为有无适合性来进行判断；相似度 计算单元，根据所述适合性判断单元的判断结果，计算所述关键字图像 与检索对象的各图像的相似度；检索结果输出单元，把与所述相似度对 应的图像作为检索结果输出，所述特征量抽出单元至少包括进行颜色配 置特征量的抽出、纹理特征量的抽出以及形状特征量的抽出，在所述颜 色配置特征量的抽出中，对于把图像数据分割为格子状时的局部图像， 只有在满足以下两个条件的局部图像在一定数量以上时，才从该图像数 据中作为颜色配置特征量抽出，所述两个条件为：在图像数据内有根据 固定值以上的比例所包含的颜色；具有该颜色的像素在空间上集中，在 所述形状特征量的抽出中，只从满足如下条件的图像数据中作为形状特 征量进行抽出，该条件为：为单色的背景，在图像数据的特定部分存在 有物体。
另外，本发明的图像检索方法，其特征在于具有：特征量抽出步骤， 从关键字图像中抽出多个类型的特征量；适合性判断步骤，对于所述特 征量抽出单元所抽出的各特征量的类型，把是否计算出与人的相似感觉 相一致的相似度作为有无适合性来进行判断；相似度计算步骤，根据所 述适合性判断单元的判断结果，计算所述关键字图像和检索对象的各图 像的相似度；检索结果输出步骤，把与所述相似度对应的图像作为检索 结果输出，所述特征量抽出单元至少包括进行颜色配置特征量的抽出、 纹理特征量的抽出以及形状特征量的抽出，在所述特征量抽出步骤中， 对于把图像数据分割为格子状时的局部图像，只有在满足以下两个条件 的局部图像在一定数量以上时，才从该图像数据中作为颜色配置特征量 抽出，所述两个条件为：在图像数据内有根据固定值以上的比例所包含 的颜色；具有该颜色的像素在空间上集中，在所述形状特征量的抽出步 骤中，只从满足如下条件的图像数据中作为形状特征量进行抽出，该条 件为：为单色的背景，在图像数据的特定部分存在有物体。
根据本发明，对于从关键字图像中所抽出的各特征量的类型，将是 否计算出与人的相似感觉相一致的相似度作为有无适合性来进行判断， 根据该判断结果计算关键字图像和检索对象的各图像的相似度，将与相 似度相对应的图像作为检索结果进行输出，因而可以防止在计算相似度 时所使用的特征量的类型的选择错误，提高检索精确度。
附图说明
图1是表示本发明的一个实施方式的图像检索装置的方框图。
图2是表示图1所示的图像数据库110的表结构的图。
图3是表示图1所示的特征量数据库120的表结构的图。
图4是说明同一实施方式的动作的流程图。
图5是说明图4所示的特征量数据储存处理的流程图。
图6是说明图4所示的检索处理的流程图。
图7是说明图6所示的适合性判断处理的流程图。
图8是说明图6所示的检索处理的图。
图9是说明同一实施方式的与颜色配置特征量有关的适合性判断的 图。
图10是说明同一实施方式的与颜色配置特征量有关的适合性判断的 图。
图11是说明同一实施方式的与颜色配置特征量有关的适合性判断的 图。
图12是说明同一实施方式的颜色配置特征量的图。
图13是表示同一实施方式的与颜色配置特征量有关的适合性判断 中所使用的计算公式的图。
图14是说明同一实施方式的与纹理特征量有关的适合性判断的图。
图15是说明同一实施方式的与形状特征量有关的适合性判断的图。
图16是表示在同一实施方式中使用了颜色配置特征量的情况下的 检索结果画面300的图。
图17是表示在同一实施方式中使用了纹理特征量的情况下的检索 结果画面310的图。
图18是表示在同一实施方式中使用了形状特征量的情况下的检索 结果画面320的图。
图19是表示同一实施方式的变形例的结构的方框图。
具体实施方式
下面，结合附图详细说明本发明的一个实施方式的图像检索方法及 图像检索装置。图1是表示本发明的一个实施方式的图像检索装置的方 框图。
该图像检索装置100从为了计算关键字图像数据和后面所述的图像 数据库100内的图像数据之间的相似度而使用的多个特征量(颜色配置 特征量、纹理特征量、形状特征量等)当中，选择与人的相似感觉相一 致的可能性高的特征量，并使用该特征量进行图像检索。
在图像检索装置100中，输入部101是在成为相似图像检索的检索 关键字的关键字图像数据的输入、及各种关键字输入中所使用的输入装 置，是数字照相机、扫描仪、互联网通信机器、键盘、鼠标等。
显示部102是LCD(液晶显示器)及CRT(阴极射线管)等，根据 与图像检索有关的检索结果画面(参照图16～图18)，按照和关键字图 像数据的相似度的高低顺序，将一定件数的检索结果(图像数据)显示 给用户。
图像数据库110是被设置在磁储存装置及半导体储存器等中，储存 成为检索对象的图像数据的数据库。具体地，如图2所示，图像数据库 110具有图像ID及地址的字段。图像ID是用于识别成为检索对象的各图 像数据及关键字图像数据的识别符。地址表示图像数据实际被储存的位 置。
例如，图像ID为“0000001”的图像数据，与图8(b)所示的检索 对象的图像数据1111相对应。该图像数据1111表示纵纹图案的壁纸图像。
另外，图像ID为“0000002”的图像数据，与图8(c)所示的检索 对象的图像数据1112相对应。该图像数据1112和上述图像数据1111一样， 表示纵纹图案的壁纸图像。
另外，图像ID为“0000003”的图像数据，与图8(d)所示的检索 对象的图像数据1113相对应。该图像数据1113表示拍摄了森林的树木和 房子的照片图像。
特征量数据库120是储存以数值来表示图像数据库110(参照图2) 所储存的图像数据〔例如，图像数据1111～1113〔参照图8(b)～(d)〕〕、 关键字图像数据〔例如，关键字图像数据200(参照图8(a))〕的各自 的特征的特征量数据的数据库。
这里，在本实施方式中，作为图像的特征量的类型，例示了以下(1)～ (3)的三个种类。
(1)颜色配置特征量
(2)纹理特征量
(3)形状特征量
上述(1)颜色配置特征量是表示图像数据上的颜色的空间分布状态 的特征量。(2)纹理特征量是表示图像数据的图案及质感的描绘的特征 量。(3)形状特征量是表示图像数据中存在的物体的轮廓形状的特征量。
具体来讲，如图3所示，特征量数据库120是由颜色配置特征量数 据表121、纹理特征量数据表122及形状特征量数据表123所构成。
这些颜色配置特征量数据表121、纹理特征量数据表122及形状特征 量数据表123，分别具有图像ID及特征量数据的字段。图像ID与图像数 据库110(参照图2)的图像ID相对应。
颜色配置特征量数据表121的特征量数据是表示与对应于图像ID的 图像数据有关的颜色配置特征量的数据。纹理特征量数据表122的特征 量数据是表示与对应于图像ID的图像数据有关的纹理特征量的数据。形 状特征量数据表123的特征量数据是表示与对应于图像ID的图像数据有 关的形状特征量的数据。
返回到图1，特征量数据抽出部103从图像数据库110所储存的检索 对象的各图像数据及关键字图像数据中抽出分别与上述三种特征量(颜 色配置特征量、纹理特征量、形状特征量)相对应的特征量数据，并将 它们储存到特征量数据库120内(参照图4)。
在计算关键字图像数据和检索对象的图像数据的相似度的情况下， 使用这些特征量数据。
适合性判断部104对于以数值来计算关键字图像数据和作为检索对 象的图像数据之间的相似度时所使用的特征量数据，在进行了相似度的 计算的情况下，将是否计算了与人所具有的相似感觉(相似性)相一致 的相似度作为特征量数据(特征量)和所给的关键字图像数据(图像数 据)有无适合性来进行判断。
相似度计算部105根据与被判断为有适合性的关键字图像数据的特 征量数据相对应的矢量值和与检索对象的各图像数据的特征量数据相对 应的矢量值之间的欧几里德距离，计算检索对象的各图像数据对关键字 图像数据的相似度。检索部106执行与图像检索有关的处理。
下面，参照图4～图7所示的流程图对第一实施方式的动作进行说明。 在图1所示的图像数据库110内，如图2所示，预先储存有检索对象的 多个图像数据。
在该状态下，在图4所示的步骤SA1中，判断有无来自用户的与特 征量数据的储存有关的要求，在这种情况下，判断结果为「否」。
在步骤SA2中，判断有无来自用户的与图像检索有关的要求，在这 种情况下，判断结果为「否」。然后，重复步骤SA1及步骤SA2的判断， 直到步骤SA1或步骤SA2的判断结果为「是」。
然后，当有来自用户的与特征量数据的储存有关的要求时，步骤SA1 的判断结果为「是」。在步骤SA3中，从图像数据库110所储存的图像数 据中抽出与前面所述的三种特征量(颜色配置特征量、纹理特征量、形 状特征量)相对应的特征量数据，并实施将它们储存到特征量数据库120 内的特征量数据储存处理。
具体地，在图5所示的步骤SB1中，特征量数据抽出部103从图像 数据库110(参照图2)中取得一个图像数据〔例如，图像数据1111(参 照图8(b)〕。在步骤SB2中，特征量数据抽出部103从在步骤SB1中取 得的图像数据中抽出分别与三种特征量(颜色配置特征量、纹理特征量、 形状特征量)相对应的特征量数据。
下面，对分别与颜色配置特征量、纹理特征量、形状特征量相对应 的特征量数据的抽出方法进行详细说明。
颜色配置特征量
首先，说明与颜色配置特征量相对应的特征量数据的抽出方法。
如图9所示那样，例如将以适当的数把图像数据纵横分割为格子状 时的各局部图像数据Iij的颜色值的平均值作为一维排列的值来表现颜色 配置特征量。
在这里，用以RGB颜色空间的R(红)、G(绿)、B(蓝)的强度为 成分的三维矢量来表示局部图像数据Iij的颜色值的平均值。
另外，在使局部图像数据Iij的颜色值的平均值为(Rij，Gij，Bij) 的情况下，用矢量(R11，G11，B11，R12，G12，B12，R44，G44，B44) 来表示颜色配置。
为了使颜色配置特征量具有意义，满足下面的两个条件(1A)及(2A) 的局部图像数据必须达到一定数量以上。
·条件(1A)
在图像数据内有根据固定值以上的比例所包含的颜色。
·条件(2A)
具有满足了条件(1A)的颜色的像素在空间上集中。
这两个条件(1A)及(2A)是表示局部图像数据的颜色值的平均值 与该局部图像数据整体的颜色相近似的条件。
例如，在图像数据内很多颜色都只有少许存在的情况下，即使取得 其颜色值的平均值，也不能成为好的近似值。
另外，即使在图像数据内存在固定值以上的比例的颜色，在将该颜 色分割到细的区域进行分散的情况下，对人而言也感觉不到显著的颜色。 因此，作为条件，在图像数据中像素要在空间上集中。
根据下面的方法来判断是否满足了上述条件(1A)及(2A)。
条件(1A)的判断方法
首先，将RGB颜色空间分割为部分颜色空间。然后，在计算了各部 分颜色空间的局部图像数据所包含的像素的数之后，按每个部分颜色空 间计算上述计算结果的像素数相对于局部图像的总像素数的比例值。
在该比例值具有规定值以上的部分颜色空间的情况下，将该部分颜 色空间所代表的颜色值作为对应该局部图像的局部图像的代表颜色。
作为局部图像的代表颜色的决定方法，例如有把位于所对应的部分 颜色空间的重心位置的颜色作为代表颜色的方法。在存在该局部图像的 代表颜色的情况下，就满足了条件(1A)。
条件(2A)的判断方法
对于在条件(1A)的判断过程中得到的局部图像的代表颜色，用以 下的方法来计算集中度。首先，如图12所示那样，对于局部图像M上的 所有的像素，应用w×h的大小的使该像素向中心集中的窗口m，计算与 该窗口m中存在的局部图像的代表颜色相对应的像素的数RCxy。
此时，根据图13所示的公式(1)计算集中度SC。在公式(1)中， RC是与局部图像的代表颜色相对应的像素的总数，N为规定的值。
在该集中度SC具有规定值以上的局部图像的代表颜色的情况下，就 满足了条件(2A)。
纹理特征量
下面，对与纹理特征量相对应的特征量数据的抽出方法进行说明。
在抽出与纹理特征量相对应的特征量数据时，以图像数据整体被相 同的纹理(花纹)所覆盖为前提的情况占大部分。因此，在计算没有被 相同的纹理所覆盖的图像数据的情况下，该计算方法就可能抽不出所料 想的特征量数据。
其结果，在图像检索时，在给出了没有被相同的纹理所覆盖的关键 字图像数据时，在检索对象的图像数据之中，会出现与根据作为人的感 觉所感觉到的相似的图像数据相比，根据人的感觉没有感觉到相似的图 像数据反而表现了更高的相似度的情况。
在按相似度的高低顺序来显示图像检索结果的情况下，由于根据人 的感觉感到并不相似的图像数据反而比感到与关键字图像数据相似的图 像更靠前，因而就使得检索效率下降。
例如，作为图像检索的关键字图像，给出了图8(a)所示的关键字 图像数据200。另一方面，检索对象是图8(b)、(c)及(d)所示的图 像数据1111、1112及1113。
关键字图像数据200及图像数据1113是拍摄了在树木中有房子的风 景的照片图像。另一方面，图像数据1111及1112对应于被相同的纹理所 覆盖的壁纸图像。
另外，根据众所周知的田村的方法〔H.Tamura，S.Mori，and T.Yamawaki，“Texture Features Corresponding Visual Perception，”IEEE Trans.System Man and Cybemetics，Vol.8，No.6，(1978).〕来计算纹理 特征量。
根据田村的方法，用「粗糙度(coarseness)」、「对比度(contrast)」、 「方向性(directionality)」这三个成分来表示纹理特征量，把各成分的程 度作为分别以数值表示的三维矢量从图像数据中抽出。
「粗糙度」是表示图像数据中所表现的图案的刻度的大小，刻度越 大，「粗糙度」的值就越大。「对比度」是表示亮度值的不均衡的程度， 不均衡的程度越大，「对比度」值就越大。
「方向性」表示图像数据中的边缘成分的方向向固定方向集中的程 度，边缘成分的方向中的频度最高的方向的频度越大，「方向性」值就越 大。
根据该田村的方法，在从关键字图像数据200[参照图8(a)]中抽 出了与纹理特征量相对应的特征量数据的情况下，关键字图像数据200 的「粗糙度」、「对比度」、「方向性」的任何一个中，比起图像数据1113， 图像数据1111、图像数据1112表示了更高的相似度。
但是，在上述图像检索中，如果用户检索风景图像的话，在检索结 果中包含图像数据1111及图像数据1112就不妥当了。由于此种不妥当的 图像数据位于检索结果的靠前的位置，因而为了找到目标图像数据，就 要看很多不必要的图像数据，导致检索效率的低下。
因此，对于这样的关键字图像数据，计算纹理的相同性，在相同性 的值小于规定的值的情况下，判断为没有适合性，可以在检索中不使用 纹理特征量。
对纹理的相同性的计算方法进行说明。首先，将计算对象的图像进 行纵横分割。例如，如图14(a)及图14(B)所示，通过纵横二等分把 图像数据(关键字图像数据200等)四分割。
接着，从所分割的各局部图像中把纹理特征作为矢量抽出。作为此 时的纹理特征的计算方法，可以是和相似度计算中所使用的计算特征的 方法相同的方法，也可以是别的方法。
在这里，如果使用相同的方法即田村的方法的话，从各局部图像中 抽出三维矢量的特征。在这里，可以根据所抽出的特征矢量的不均衡的 程度来表示纹理的相同性。
越是相同的话，不均衡就会越小。因此，对从局部图像所得到的四 个特征矢量，作为不均衡的程度计算分散值，在分散值大于规定的值的 情况下，相同性就低，即判断为没有适合性。在图14(a)的例子中，在 关键字图像数据200的情况下，由于右下的局部图像和其他的三个相比， 「粗糙度」、「对比度」、「方向性」中的任何一个都有很大不同，因而分 散值就变高，可以判断为没有适合性。
形状特征量
下面，说明与形状特征量相对应的特征量数据的抽出方法。
在与形状特征量相对应的特征量数据的抽出中，有从图像数据中预 先抽出轮廓线的情况下的方法，和不抽出轮廓线的情况下的方法，但在 处理从互联网所收集的图像数据的情况下，由于不事先抽出轮廓线的情 况占大多数，因而使用后面的方法。
另一方面，在以任意的图像数据为对象的情况下，由于抽出图像数 据中存在的物体的轮廓线在技术上很困难，因而就利用物体的轮廓线在 图像数据中成为很强的边缘成分，作为局部的边缘成分的方向不同的频 度分布来近似地表示形状特征量。
在与此种形状特征量相对应的特征量数据的抽出方法中，以下面的 条件(3A)为前提。
条件(3A)：为单色的背景，在图像数据的特定部分存在有物体。
作为特定部分，例如在图像数据的中心附近。
在这里，基于条件(3A)的适合性判断的方法如下所述。首先，如 图15(a)及图15(b)所示，沿着从图像数据的中心按每个规定的角度 以放射状所拉出的线段，在向着图像数据的中心的方向上对像素进行扫 描。
在扫描的过程中，依次计算连续的像素的亮度值的差分，储存与超 过规定的值的差分相汇合的点的坐标值(x、y)。
对于从对各扫描线段进行该处理的结果所得到的坐标值，将相邻的 扫描线段之间的坐标值的距离进行累计。以该累计值为基准，在大于规 定的值的情况下，判断为没有适合性。在如图15(a)那样的满足前提条 件的图像数据210的情况下，所储存的坐标值之间的距离就变小。
另一方面，对于图15(b)所示的关键字图像数据200，在目标物(房 子)以外的背景中也描绘别的物体，在从这样的图像中抽出形状特征的 情况下，由于目标物以外的轮廓线等的影响很大，因而不能得到有意义 的形状特征。
在这种图像数据的情况下，由于所储存的坐标值之间的距离相对变 大，因而可以根据该判断方法判断为没有适合性。
返回到图5，在步骤SB3中，特征量数据抽出部103将在步骤SB2 中抽出的各特征量数据(颜色配置特征量、纹理特征量及形状特征量) 储存到特征量数据库120内(参照图3)。
在步骤SB4中，特征量数据抽出部103判断是否对图像数据库110 的所有的图像数据进行了处理(特征量的抽出、储存)，在这种情况下， 判断结果为「否」。然后，对剩余的图像数据进行上述的处理。
然后，当处理结束时，步骤SB4的判断结果为「是」，特征量数据储 存处理结束。
然后，当有来自用户的有关图像检索的要求时，图4所示的步骤SA2 的判断结果就为「是」。在步骤SA4中，执行用于检索与关键字图像数据 相似的图像数据的检索处理。
具体地，在图6所示的步骤SC1中，用户通过输入部101输入例如 图8(a)所示的关键字图像数据200。该关键字图像数据200对应于从 不同的角度拍摄和图8(d)所示的图像数据1113相同的地点的风景的照 片图像。
在步骤SC2中，对关键字图像数据200执行用于对颜色配置特征量、 纹理特征量及形状特征量的各特征量的适合性进行判断的适合性判断处 理。
具体地，在图7所示的步骤SD1中，适合性判断部104判断颜色配 置特征量的适合性。即、适合性判断部104对关键字图像数据200进行 纵横分割。
在这里，如图9所示，对关键字图像数据200进行纵4等分、横4 等分，分割为16个局部图像数据(I11～I44)。
接下来，适合性判断部104对每个关键字图像数据200的局部图像 数据(I11～I44)计算将RGB颜色空间的R、G、B分别进行4等分时 的各部分颜色空间所包含的像素数的比例值，把具有最大比例值的部分 颜色空间的比例值作为图10所示的值，求该值。
在这里，比例值取〔0.0，1.0〕的范围，值越大比例就越大。
另外，对于颜色配置特征量，当用于前面所述的条件(1A)的判断 方法的局部图像代表颜色的比例值的阈值定为0.3时，所有的局部图像均 具有阈值以上的比例值的部分颜色空间，具有局部图像的代表颜色。
另外，将用于求出颜色配置特征量的条件(2A)的判断方法的集中 度SC的公式(1)(参照图13)的N定为6，对具有图10的比例值的局 部图像代表颜色的集中度SC的计算结果就为图11所示的值。集中度SC 取〔0.0，1.0〕的范围，值越大就越集中。
在这里，当将颜色配置特征量的条件(2A)的判断方法的集中度SC 的阈值定为0.6时，图11所示的右下的局部图像以外的其他的局部图像 具有阈值以上的集中度，所以满足条件(2A)。该右下的局部图像不能满 足条件(2A)。
最后，在将同时满足用于判断与颜色配置特征量的适合性的基准即 条件(1A)和条件(2A)的局部图像数的阈值定为14个的情况下，由 于关键字图像数据200除了图11所示的右下的局部图像以外的其他的15 个局部图像同时满足条件(1A)和条件(2A)，因而判断为具有和颜色 配置特征量的适合性。
在图7所示的步骤SD2中，适合性判断部104判断纹理特征量的适 合性。即，如图14(a)所示，适合性判断部104通过纵横2等分对关键 字图像数据200进行4分割，从各个局部图像中把纹理特征量作为矢量 抽出。
接下来，适合性判断部104对各矢量值之间的分散值例如作为0.7来 进行计算。
在这里，分散值取〔0.0，1.0〕的范围，值越大就越分散。
在这里，当将判断关键字图像数据200和纹理特征量的适合性的分 散值的阈值定为0.6时，关键字图像数据200的分散值在阈值以上。因此， 在这种情况下，由于关键字图像数据200不具有纹理的相同性，因而判 断为不具有和纹理特征量的适合性。
在图7所示的步骤SD3中，适合性判断部104判断形状特征量的适 合性。即，如图15(b)所示，适合性判断部104沿着从关键字图像数据 200的中心按每个角度22.5度以放射状所拉出的线段，在向着图像数据 的中心的方向上对像素进行扫描。
在这里，适合性判断部104在扫描的过程中，依次计算连续的像素 的亮度值的差分，储存超过规定的阈值的差分的像素的坐标值(x、y)。 差分的阈值，例如在差分的值的范围为〔0.0，1.0〕的情况下，为0.8。
对于从对各扫描线段进行以上的处理的结果所得到的坐标值，对相 邻的扫描线段之间的坐标值的距离进行累计的结果为1150。在这里，当 将对该累计值的阈值定为1000时，关键字图像数据200具有比阈值大的 累计值，判断为对形状特征量没有适合性。
根据以上所述，对于关键字图像数据200，判断为和颜色配置特征量 有适合性，但和纹理特征量及和形状特征量没有适合性。
回到图6，在步骤SC3中，特征量数据抽出部103从关键字图像数 据200中抽出与有适合性的类型(在这种情况下，是上述颜色配置特征 量)相对应的特征量数据。
在步骤SC4中，特征量数据抽出部103将在步骤SC3中抽出的特征 量数据(颜色配置特征量)与和关键字图像数据200相对应的图像ID (＝0000004)对应起来，储存到特征量数据库120的颜色配置特征量数 据表121内(参照图3)。
另外，在图3中，在纹理特征量数据表122及形状特征量数据表123 中，储存有与图像ID(＝0000004)相对应的特征量数据，但实际上并没 有储存这些数据。
在图6所示步骤SC5中，相似度计算部105从图3所示的颜色配置 特征量数据表121中取得与图像ID(＝0000004)相对应的特征量数据(关 键字图像数据200的颜色配置特征量)。该特征量数据与在步骤SC2中被 判断为具有和关键字图像数据200的适合性的类型(颜色配置特征量) 相对应。
接着，适合性判断部104判断上述类型(颜色配置特征量)和图像 数据库110中所储存的检索对象的各图像数据之间有无适合性。
具体地，适合性判断部104和图7所示的步骤SD1一样，判断上述 颜色配置特征量和各图像数据之间有无适合性。
而且，在上述类型为纹理特征量的情况下，适合性判断部104与图7 所示的步骤SD2一样，判断上述纹理特征量和各图像数据之间有无适合 性。
而且，在上述类型为形状特征量的情况下，适合性判断部104和图7 所示的步骤SD3一样，判断上述形状特征量和各图像数据之间有无适合 性。
接着，相似度计算部105从检索对象的所有的图像数据中，排除在 上述适合性判断部104中被判断为没有适合性的图像数据，将检索对象 集合为被判断为有适合性的图像数据〔例如，与图像ID(0000001、 0000002、0000003)相对应的图像数据〕。
接着，相似度计算部105取得与上述图像ID(＝0000001、0000002、 0000003)相对应的特征量数据(图像数据1111、图像数据1112及图像 数据1113的颜色配置特征量)。
接下来，相似度计算部105计算与关键字图像数据200相对应的特 征量数据(颜色配置特征量)和分别与关键字图像数据1111、1112及1113 相对应的特征量数据(颜色配置特征量)之间的欧几里德距离。当将小 数点第二位后面进行四舍五入时，结果(欧几里德距离)为如下所示：
·关键字图像数据200和图像数据1111：111.6
·关键字图像数据200和图像数据1112：101.7
·关键字图像数据200和图像数据1113：7.1
在上述结果中，欧几里德距离越短，关键字图像数据200和检索对 象的图像数据的相似度就越高。
因此，对关键字图像数据200(颜色配置特征量)的相似度的顺序为： 第一位为图像数据1113〔参照图8(d)〕，第二位为图像数据1112〔参照 图8(c)〕，第三位为图像数据1111〔参照图8(b)〕。
在图6所示的步骤SC6中，检索部106根据在步骤SC5中所求出的 相似度的顺序，从图像数据库110(参照图2)中，作为检索结果取得图 像数据1113、图像数据1112、及图像数据1111。
接着，检索部106在显示部102上显示图16所示的检索结果画面300。 在该检索结果画面300中，显示了利用颜色特征量的情况下的检索结果， 该图从左到右显示了关键字图像数据200、按相似度的高低顺序的图像数 据1113、图像数据1112及图像数据1111。
另外，正如检索结果画面300所示，对应关键字图像数据200(风景 照片)，将对人而言感到最相似的图像数据1113(风景照片)显示在相似 度最高的位置上，将感到不相似的图像数据1112及图像数据1111显示在 其后面。
在这里，假定不实施前面所述的适合性判断，在利用与纹理特征量 相对应的特征量数据进行图像检索的情况下，使用纹理特征量数据表122 (参照图3)所储存的特征量数据(纹理特征量)，关键字图像数据200 和检索对象图像数据(图像数据1111～1113)之间的欧几里德距离为如 下所示：
·关键字图像数据200和图像数据1111：9.2
·关键字图像数据200和图像数据1112：12.8
·关键字图像数据200和图像数据1113：64.7
因此，对关键字图像数据200(纹理特征量)的相似度的顺序为：第 一位为图像数据1111〔参照图8(b)〕，第二位为图像数据1112〔参照图 8(c)〕，第三位为图像数据1113〔参照图8(d)〕。
在这种情况下，检索部106在显示部102上显示图17所示的检索结 果画面310。在该检索结果画面310中，显示了利用纹理特征量的情况下 的检索结果，该图从左到右显示了关键字图像数据200、按相似度的高低 顺序的图像数据1111、图像数据1112及图像数据1113。
另外，正如检索结果画面310所示，对应关键字图像数据200(风景 照片)，将对人而言感到不相似的图像数据1111显示在了相似度最高的 位置上，将感到更相似的图像数据1113显示在相似度最低的位置上。
另外，假定不实施前面所述的适合性判断，在利用与形状特征量相 对应的特征量数据进行图像检索的情况下，使用形状特征量数据表123 (参照图3)所储存的特征量数据(形状特征量)，关键字图像数据200 和检索对象图像数据(图像数据1111～1113)之间的欧几里德距离为如 下所示：
·关键字图像数据200和图像数据1111：3.7
·关键字图像数据200和图像数据1112：66.3
·关键字图像数据200和图像数据1113：31.7
这样，对关键字图像数据200(形状特征量)的相似度的顺序为：第 一位为图像数据1111〔参照图8(b)〕，第二位为图像数据1113〔参照图 8(d)〕，第三位为图像数据1112〔参照图8(c)〕。
在这种情况下，检索部106在显示部102上显示图18所示的检索结 果画面320。在该检索结果画面320中，显示了利用形状特征量的情况下 的检索结果，该图从左到右显示了关键字图像数据200、按相似度的高低 顺序的图像数据1111、图像数据1113及图像数据1112。
同时，为了能从检索结果画面320明白，对应于关键字图像数据200 (风景照片)，将对人而言感到不相似的图像数据1111显示在了相似度 高的位置上，将感到更相似的图像数据1113显示在相似度为中间的位置 上。
如上所述，根据本实施方式，由于对于从关键字图像数据200中抽 出的各特征量的类型(颜色配置特征量、纹理特征量、形状特征量)，把 是否计算出与人的相似感觉相一致的相似度作为有无适合性来进行判 断，根据该判断结果，计算关键字图像数据200和检索对象的各图像数 据的相似度，把与相似度对应的图像数据作为检索结果(参照图16～图 18)进行输出，因而可以防止在计算相似度时所应用的特征量的类型的 选择错误，提高检索精度。
另外，根据本实施方式，在图6所示的步骤SC5中，对被判断为对 于关键字图像200具有适合性的特征量的类型和检索对象的各图像数据 有无适合性进行判断，对于各图像数据，把判断为没有适合性的各图像 数据从检索对象中排除，把判断为有适合性的各图像数据作为检索对象 进行集合，使用类型的特征量来计算关键字图像数据200和该检索对象 的各图像数据的相似度，因而通过检索对象的集合，可以进一步提高检 索精度及检索效率。
以上，结合附图对本发明的第一实施方式进行了详细的说明，但具 体的结构例并不限于该实施方式，在不脱离本发明的技术思想的范围内， 即使有设计变更等，也属于本发明的范畴。
例如，在前面所述的第一实施方式中，也可以将用于实现图1所示 的图像检索装置100的功能的程序储存到图19所示的计算机可读取的储 存介质500内，通过使计算机400读取该储存介质500所储存的程序并 执行，实现图像检索装置100的功能。
计算机400由执行上述程序的CPU(中央处理器)410、键盘和鼠标 等的输入装置420、储存各种数据的ROM(只读存储器)430、储存运算 参数等的RAM(随机存取存储器)440、从储存介质500读取程序的读 取装置450、显示器和打印机等的输出装置460、连接装置各部的总线470 所构成。
CPU410在经由读取装置450读取储存介质500所储存的程序后，通 过执行程序，实现图像检索装置100的功能。另外，作为储存介质500， 可以列举光盘、软盘、硬盘等。
另外，在第一实施方式中，也可以这样构成：在由适合性判断部104 判断为具有适合性的类型(颜色配置特征量、纹理特征量等)存在多个 的情况下，在相似度计算部105中，把对每个类型所计算的相似度进行 合计的结果作为相似度的计算结果。
根据该构成，在被判断为具有适合性的类型存在多个的情况下，由 于把对每个类型所计算的相似度进行合计的结果作为相似度的计算结 果，因而从综合的观点来看，可以提高检索精度。
另外，在第一实施方式中，也可以这样构成：在适合性判断部104 判断为具有适合性的类型(颜色配置特征量、纹理特征量等)存在多个 的情况下，让用户从多个类型当中选择一个类型，使用用户所选择的类 型的特征量，在相似度计算部105中计算关键字图像数据200和检索对 象的各图像数据的相似度。
另外，在第一实施方式中，让用户确认适合性判断部104的适合性 的判断结果，根据得到用户确认的判断结果，在相似度计算部105中计 算关键字图像数据200和检索对象的各图像数据的相似度。
根据此种构成，可以对用户提供与最适合的特征量的类型的选择有 关的支持，可以使图像检索的用户界面更好。
如上所述，根据本发明，对于从关键字图像中抽出的各特征量的类 型，把是否计算了与人的相似感觉相一致的相似度作为有无适合性来进 行判断，根据该判断结果，计算关键字图像和检索对象的各图像的相似 度，把与相似度相对应的图像作为检索结果进行输出，因而可以防止在 计算相似度时所使用的特征量的类型的选择错误，可以达到提高检索精 度的效果。
另外，根据本发明，对被判断为对于关键字图像具有适合性的特征 量的类型和检索对象的各图像数据有无适合性进行判断，对于各图像数 据，把判断为没有适合性的各图像数据从检索对象中排除，把判断为有 适合性的各图像作为检索对象进行集合，使用类型的特征量来计算关键 字图像和该检索对象的各图像数据的相似度，因而通过检索对象的集合， 可以达到进一步提高检索精度及检索效率的效果。
另外，根据本发明，在被判断为具有适合性的类型存在多个的情况 下，由于把对每个类型所计算的相似度进行合计的结果作为相似度的计 算结果，因而可以达到从综合的观点来看可提高检索精度的效果。
另外，根据本发明，在被判断为具有适合性的类型存在多个的情况 下，由于让用户从多个类型当中选择一个类型，使用所选择的类型的特 征量来计算关键字图像和检索对象的各图像的相似度，因而可以对用户 提供与最适合的特征量的类型的选择有关的支持，可以达到使图像检索 的用户界面更好的效果。
另外，根据本发明，由于让用户确认适合性的判断结果，根据得到 了确认的判断结果来计算关键字图像和检索对象的各图像的相似度，因 而可以对用户提供与最适合的特征量的类型的选择有关的支持，可以达 到使图像检索的用户界面更好的效果。
如上所述，本发明的图像检索程序对使用多个类型(例如，颜色配 置特征量、纹理特征量、形状特征量)的特征量数据的图像检索是有用 的。