图像检索系统和方法及图像分类系统和方法

暂无

技术领域
本发明涉及从多个图像中检索与检索关键字图像相符的图像或对多 个图像进行分类的系统以及方法，尤其涉及一种适合获得符合利用者的 希望的检索结果或分类结果的图像检索系统、图像分类系统、以及图像 检索方法及图像分类方法。
背景技术
专利文献1：特开2001-52175号公报
以往，作为一种根据给出的检索关键字图像来从多个检索对象图像 中检索与检索关键字图像类似的图像的技术，例如，有专利文献1中公 开的图像检索装置。
专利文献1记载的图像检索装置具有：特征向量抽出部：其从获得 的对象图像数据或参照图像数据中抽出多个特征量，生成特征向量；参 照向量群处理部：其针对获得的多个参照图像数据，对各参照图像数据， 将特征向量抽出部抽出的特征向量和该参照图像的地址信息综合起来， 构成参照向量；生成参照向量群；类似度计算部：其计算由特征向量抽 出部从获得的对象图像数据中抽出的特征向量与从参照向量群选择的参 照图像数据的特征向量的类似度；类似度判断部：其将计算出的类似度 与指定基准进行比较；和取出部：其从参照向量群取出判断为类似的图 像的地址信息。
在此，作为图像的特征量，使用了颜色、花纹(texture)、结构特 征、时间特征。通过不透明度柱状图、并发关联矩阵、差分统计量等的 计算，求得关于花纹的特征量；此外，通过拉普拉斯滤波器的卷积积分 及霍夫变换等，求得关于边缘、线、轮廓等结构特征的特征量；进而， 通过变换成RGB空间、HSV空间或频谱等，求得关于颜色的特征量；通过 计算光流或进行小波变换，求得关于时间特征的特征量。
因为类似的概念很大程度上依赖于人的主观，所以，有时对某个人 而言感觉是类似的图像，对于其他人而言却感觉不类似。因此，在进行 图像的类似检索时，如何定义类似的概念是很重要的。
如果就图像的整体及部分进行讨论，那么，对于检索关键字图像， 例如，存在整体上类似但特征部分不类似的图像、或反之特征部分类似 但整体上不类似的图像，对于这些图像，需要分别正确地评价类似度。 在利用者看图像时，利用者注目于图像中的特征部分(如果是以花为主 体拍摄的图像，则是花的部分)。因此，应该感觉到特征部分类似但整体 上不类似的图像比整体上类似但特征部分不类似的图像更类似。因此， 与采用整个图像来评价类似度相比，采用重视图像中的特征部分的类似 度而轻视不是特征的部分的类似度方式来评价图像的类似度，更符合实 际情况。
但是，由于专利文献1记载的图像检索装置从图像数据整体抽出多 个特征量，生成特征向量，根据生成的特征向量，进行图像的类似检索， 所以，没有考虑利用者所注目的地方来评价图像的类似度。因此，存在 如下问题：无法在检索结果中充分反映利用者的主观，很难得到符合利 用者的希望的检索结果。
可以想到，这种情况不限于进行图像的类似检索的情况，根据类似 度对多个图像进行分类的情况下也存在同样的问题。
发明内容
因此，本发明是鉴于现有技术中存在的未解决的课题而提出的，其 目的在于提供一种适合得到符合利用者的希望的检索结果或分类结果的 图像检索系统、图像分类系统以及图像检索方法及图像分类方法。
[发明1]
发明1的图像检索系统是一种根据给出的检索关键字图像来从多个 检索对象图像中检索与上述检索关键字图像相符的图像的图像检索系 统，其特征在于：具有：检索对象图像存储装置，其用于存储上述多个 检索对象图像；检索关键字图像输入装置，其输入上述检索关键字图像； 引人注目区域抽出装置，其针对上述检索关键字图像输入装置输入的检 索关键字图像及上述检索对象图像存储装置的各检索对象图像，从所述 检索关键字图像及各检索对象图像中抽出引人注目区域；面部信息判断 装置，该面部信息判断装置针对上述检索关键字图像及上述各检索对象 图像，判断所述检索关键字图像及各检索对象图像中包含的人物图像的 面部信息，其中所述面部信息包括面部的方向信息；类似度判断装置， 该类似度判断装置对上述各检索对象图像，判断该检索对象图像中包含 的人物图像的面部与上述检索关键字图像中包含的人物图像的面部的类 似度；特征向量生成装置，其针对上述检索关键字图像及上述各检索对 象图像，根据上述引人注目区域抽出装置抽出的引人注目区域、所述面 部信息判断装置判断的面部信息、以及所述类似度判断装置判断的类似 度，生成表示所述检索关键字图像及各检索对象图像的特征的特征向量； 和图像检索装置，其根据上述特征向量生成装置生成的特征向量，从上 述检索对象图像存储装置中检索与上述检索关键字图像相符的图像。
根据这样的结构，在从检索关键字图像输入装置输入检索关键字图 像时，由引人注目区域抽出装置从输入的检索关键字图像中抽出引人注 目区域，由特征向量生成装置根据抽出的引人注目区域，生成表示检索 关键字图像的特征的特征向量。此外，同样地，对检索对象图像存储装 置的各检索对象图像，由引人注目区域抽出装置从该检索对象图像抽出 引人注目区域，由特征向量生成装置根据抽出的引人注目区域，生成表 示该检索对象图像的特征的特征向量。然后，由图像检索装置根据生成 的特征向量，从检索对象图像存储装置中检索与检索关键字图像相符的 图像。
由此，因为考虑利用者所注目的地方来进行检索，所以，利用者的 主观容易反映到检索结果中。因此，与过去相比，可以获得如下效果： 可以得到符合利用者的希望的检索结果。
在此，引人注目区域抽出装置只要针对检索关键字图像及各检索对 象图像，从该图像抽出引人注目区域就可以。例如，可以根据检索关键 字图像或检索对象图像，计算吸引度(誘目度)，根据计算出的吸引度， 抽出引人注目区域。以下，在发明4的图像分类系统与此相同。
此外，检索关键字图像输入装置只要能够输入检索关键字图像，可 以采用任何结构，例如，既可以将从检索对象图像存储装置中选择的检 索对象图像作为检索关键字图像进行输入，也可以从图像存储介质、网 络或其他图像存储介质输入检索关键字图像。以下，在发明4的图像分 类系统中，与此相同。
此外，检索对象图像存储装置是使用任何方法且在任何时间存储检 索对象图像的装置，既可以是预先存储了检索对象图像的装置，也可以 是不预先存储检索对象图像，而是在本系统运行时根据外部的输入等存 储检索对象图像的装置。
根据这样的结构，由面部信息判断装置判断检索关键字中包含的人 物图像的面部信息，由特征向量生成装置根据判断出的面部信息，生成 表示检索关键字图像的特征的特征向量。此外，同样地，对各检索对象 图像，由面部信息判断装置判断该检索对象图像中包含的人物图像的面 部信息，由特征向量生成装置根据判断出的面部信息，生成表示该检索 对象图像的特征的特征向量。
由此，因为考虑人物图像的面部信息来进行检索，所以，也可以获 得如下效果：可以得到与检索关键字图像中包含的人物图像的面部相符 的检索结果。
根据这样的结构，由类似度判断装置对各检索对象图像，判断该检 索对象图像中包含的人物图像的面部与检索关键字图像中包含的人物图 像的面部的类似度，由特征向量生成装置根据该判断结果，生成表示检 索关键字图像的特征的特征向量及表示各检索对象图像的特征的特征向 量。
由此，因为考虑人物图像的面部之间的类似度来进行检索，所以， 也可以获得如下效果：可以得到与检索关键字图像中包含的人物图像的 面部类似的检索结果。
[发明2]
进而，发明2的图像检索系统的特征在于：在发明1的图像检索系 统中，上述图像检索装置根据上述检索对象图像的特征向量之间的向量 间距离，将上述各检索对象图像分类为多个组，从上述检索对象图像存 储装置中检索出上述多个组之中的上述检索关键字图像所属的组的全部 检索对象图像。
根据这样的结构，由图像检索装置根据检索对象图像的特征向量之 间的向量间距离，将各检索对象图像分类为多个组，从检索对象图像存 储装置中检索出上述多个组之中的检索关键字图像所属的组的全部检索 对象图像。
由此，可以获得如下效果：可以得到被认为最符合利用者的希望的 几个检索结果。
[发明3]
进而，发明3的图像检索系统的特征在于：在发明1或2的图像检 索系统中，上述特征向量生成装置在上述检索关键字图像与上述检索对 象图像的纵横比或上述检索对象图像之间的纵横比不同时，将纵横比不 同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生 成上述第1图像的特征向量，针对上述第2图像之中的重复区域生成上 述第2图像的特征向量。
根据这样的结构，在检索关键字图像与检索对象图像的纵横比或检 索对象图像之间的纵横比不同时，由特征向量生成装置将纵横比不同的 第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成上 述第1图像的特征向量，针对上述第2图像之中的重复区域生成上述第2 图像的特征向量。
由此，因为即使是纵横比不同的图像之间，也可以比较正确地判断 是否类似，所以，也可以获得如下效果：可以得到更符合利用者的希望 的检索结果。
[发明4]
进而，发明4的图像分类系统是一种对多个分类对象图像进行分类的 图像分类系统，其特征在于：具有：分类对象图像存储装置，其用于存 储上述多个分类对象图像；引人注目区域抽出装置，其对上述分类对象 图像存储装置的各分类对象图像，从该分类对象图像中抽出引人注目区 域；面部信息判断装置，该面部信息判断装置对上述各分类对象图像， 判断该分类对象图像中包含的人物图像的面部信息，其中所述面部信息 包括面部的方向信息；类似度判断装置，该类似度判断装置对上述各分 类对象图像，判断该分类对象图像中包含的人物图像的面部与预先设定 的特定图像中包含的人物图像的面部的类似度；特征向量生成装置，其 根据上述引人注目区域抽出装置抽出的引人注目区域、所述面部信息判 断装置判断的面部信息、以及所述类似度判断装置判断的类似度，对上 述各分类对象图像生成表示该分类对象图像的特征的特征向量；和图像 分类装置，其根据上述特征向量生成装置生成的特征向量，将上述各分 类对象图像分类为多个组。
根据这样的结构，对分类对象图像存储装置的各分类对象图像，由 引人注目区域抽出装置从该分类对象图像中抽出引人注目区域，由特征 向量生成装置根据抽出的引人注目区域，生成表示该分类对象图像的特 征的特征向量。然后，由图像分类装置根据生成的特征向量，将各分类 对象图像分类为多个组。
由此，因为考虑利用者所注目的地方来进行分类，所以，利用者的 主观容易反映到分类结果中。因此，与过去相比，可以获得如下效果： 可以得到比较符合利用者的希望的分类结果。
在此，分类对象图像存储装置是使用任何方法且在任何时间存储分 类对象图像的装置，既可以是预先存储了分类对象图像的装置，也可以 是不预先存储分类对象图像，而是在本系统运行时根据外部的输入等存 储分类对象图像的装置。
根据这样的结构，对各分类对象图像，由面部信息判断装置判断该 分类对象图像中包含的人物图像的面部信息，由特征向量生成装置根据 判断出的面部信息，生成表示该分类对象图像的特征的特征向量。
由此，因为考虑人物图像的面部信息来进行分类，所以，也可以获 得如下效果：可以得到与人物图像的面部相符的图像都属于同一组的分 类结果。
根据这样的结构，对各分类对象图像，由类似度判断装置判断该分 类对象图像中包含的人物图像的面部与特定图像中包含的人物图像的面 部的类似度，由特征向量生成装置根据该判断结果，生成表示该分类对 象图像的特征的特征向量。
由此，因为考虑人物图像的面部之间的类似度来进行分类，所以， 也可以获得如下效果：可以得到人物图像的面部类似的图像都属于同一 组的分类结果。
[发明5]
进而，发明5的图像分类系统的特征在于：在发明4的图像分类系 统中，上述图像分类装置根据上述分类对象图像的特征向量之间的向量 间距离，将上述各分类对象图像分类为多个组，对上述各组，从上述分 类对象图像存储装置中检索出指定数量的分类对象图像。
根据这样的结构，由图像分类装置根据分类对象图像的特征向量之 间的向量间距离，将各分类对象图像分类为多个组，对各组，从分类对 象图像存储装置中检索出指定数量的分类对象图像。
由此，因为从不同组中检索出指定数量的分类对象图像，所以，也 可以获得如下效果：可以得到多样化的检索结果。
[发明6]
进而，发明6的图像分类系统其特征在于：在发明4或5的图像分 类系统中，上述特征向量生成装置在上述分类对象图像之间的纵横比不 同时，将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像 之中的重复区域生成上述第1图像的特征向量，针对上述第2图像之中 的重复区域生成上述第2图像的特征向量。
根据这样的结构，在分类对象图像之间的纵横比不同时，由特征向 量生成装置将纵横比不同的第1图像及第2图像重叠在一起，针对第1 图像之中的重复区域生成第1图像的特征向量，针对第2图像之中的重 复区域生成第2图像的特征向量。
由此，因为即使是纵横比不同的图像之间，也可以比较正确地判断 是否类似，所以，也可以获得如下效果：可以得到更符合利用者的希望 的分类结果。
[发明7]
另一方面，为了达成上述目的，发明7的图像检索方法是一种图像 检索方法，根据给出的检索关键字图像，从存储有多个检索对象图像的 检索对象图像存储装置中检索与上述检索关键字图像相符的图像，其特 征在于：包括以下步骤：检索关键字图像输入步骤：输入上述检索关键 字图像；引人注目区域抽出步骤：针对所述检索关键字图像输入步骤中 输入的检索关键字图像及所述检索对象图像存储装置的各检索对象图 像，从所述检索关键字图像及各检索对象图像中抽出引人注目区域；面 部信息判断步骤：针对所述检索关键字图像及所述各检索对象图像，判 断所述检索关键字图像及各检索对象图像中包含的人物图像的面部信 息，其中所述面部信息包括面部的方向信息；类似度判断步骤：针对所 述各检索对象图像，判断该检索对象图像中包含的人物图像的面部与所 述检索关键字图像中包含的人物图像的面部的类似度；特征向量生成步 骤：针对所述检索关键字图像及所述各检索对象图像，根据所述引人注 目区域抽出步骤中抽出的引人注目区域、所述面部信息判断步骤中判断 的面部信息、以及所述类似度判断步骤中判断的类似度，生成表示所述 检索关键字图像及各检索对象图像的特征的特征向量；和图像检索步骤： 根据上述特征向量生成步骤中生成的特征向量，从上述检索对象图像存 储装置中检索与上述检索关键字图像相符的图像。
由此，可以获得与发明1的图像检索系统同等的效果。在此，引人 注目区域抽出步骤只要针对检索关键字图像及各检索对象图像，从该图 像抽出引人注目区域就可以。例如，可以根据检索关键字图像或检索对 象图像，计算吸引度，根据计算出的吸引度，抽出引人注目区域。以下， 在发明8的图像分类方法中，与此相同。
此外，检索关键字图像输入步骤只要能输入检索关键字图像，可以 采用任何方法，例如，可以将从检索对象图像存储装置中选择的检索对 象图像作为检索关键字图像进行输入，也可以从图像存储介质、网络或 其他图像存储介质输入检索关键字图像。
[发明8]
另一方面，为了达成上述目的，发明8的图像分类方法是一种对多 个分类对象图像进行分类的图像分类方法，其特征在于：包括以下步骤： 引人注目区域抽出步骤：从上述分类对象图像中抽出引人注目区域；面 部信息判断步骤：对所述各分类对象图像，判断该分类对象图像中包含 的人物图像的面部信息，其中所述面部信息包括面部的方向信息；类似 度判断步骤：对所述各分类对象图像，判断该分类对象图像中包含的人 物图像的面部与预先设定的特定图像中包含的人物图像的面部的类似 度；特征向量生成步骤：根据上述引人注目区域抽出步骤中抽出的引人 注目区域、所述面部信息判断步骤中判断的面部信息、以及所述类似度 判断步骤中判断的类似度，生成表示上述分类对象图像的特征的特征向 量；重复步骤：对上述各分类对象图像，重复进行上述引人注目区域抽 出步骤、面部信息判断步骤、类似度判断步骤以及上述特征向量生成步 骤；和图像分类步骤：根据上述特征向量生成步骤中生成的特征向量， 将上述各分类对象图像分类为多个组。
由此，可以得到与发明4的图像分类系统同等的效果。
附图说明
图1是表示本发明所涉及的图像检索装置100的结构的功能框图。
图2是表示计算机200的结构的框图。
图3是表示图像检索处理的流程图。
图4是表示纵向的检索对象图像的一例的图。
图5是表示横向的检索对象图像的一例的图。
图6是表示将n个特征向量V分组为2组(cluster)的情况的图。
图7是表示显示出检索结果的显示画面的图。
图8是表示将纵横比不同的检索对象图像A、B重叠在一起的情况的 图。
符号说明
100：图像检索装置；200：计算机；10：检索对象图像登录DB；12： 检索关键字图像指定部；14：检索关键字图像读出部；16：引人注目区 域抽出部；18：面部图像处理部20：特征向量生成部；22：检索条件 指定部；24：图像检索部；26：显示形式指定部；28：图像显示部；34： 面部区域判断部；36：面部信息判断部；38：类似度判断部；50：CPU； 52：ROM；54：RAM；58：I/F；60：输入装置；64：显示装置。
具体实施方式
以下，参照附图，就本发明的实施方式进行说明。图1至图7是示 出本发明所涉及的图像检索系统、图像分类系统、图像检索程序及图像 分类程序、以及图像检索方法及图像分类方法的实施方式的图。
本实施方式考虑利用者所注目的地方，在进行图像的类似检索时， 应用本发明所涉及的图像检索系统、图像分类系统、图像检索程序及图 像分类程序、以及图像检索方法及图像分类方法。
在本实施方式中，作为图像中利用者所注目的地方(以下称为引人 注目区域)的抽出基准，使用“吸引度”的概念。吸引度的计算方法具 体地记载在例如“特开2001-126070号公报(引人注目区域抽出装置及 使用了该装置的自动构图决定装置)”中。
简单地说明吸引度。
为了抽出引人注目区域，根据原图像的物理特征评价吸引度。在此， 吸引度是指与人的主观相符的参数。引人注目区域的抽出是从评价结果 中抽出最显著的区域作为引人注目区域。即，在评价引人注目区域时， 因为根据物理特征来进行与人的主观相符的评价，所以，可以抽出与人 主观相符的引人注目区域。
例如，物理特征包含颜色的差异度时，可以根据各区域的颜色不同， 评价吸引度。
此外，因为物理特征除了颜色的差异度，还包含形状的差异度、面 积的差异度及花纹(图案)的差异度，所以，只要根据该4个差异度的 至少1个差异度来评价吸引度，就可以根据原图像的特征，正确地评价 吸引度。
此外，如果对颜色的3要素(色相、纯度、明度)也进行评价，则 可以将接近人主观认为显著的颜色(红色)的区域评价为最显著区域。 进而，如果对空间频率或原图像中的各区域的面积也进行评价，则可以 对最显著区域的评价进行更正确地判断。
此外，吸引度的评价按如下步骤进行。
(1)最初对原图像进行区域分割。此时，将原图像分割成图区域和 画区域。区域分割的方法可应用1997IEEE中的W.Y.Ma及B.S.Manjunath 等在“Edge Flow：A Framework of Boundary Detection and Image Segmentation”中记载的基于“edge flow”的边界检测方法。
(2)其次，抽出分割后的图区域，评价区域的吸引度。
吸引度的评价大致如下进行。
最初求得各区域的差异性吸引度。此时，分别求得颜色的差异度、 花纹的差异度、形状的差异度及面积的差异度，分别赋予加权系数，进 行线性组合，求得各区域的差异性吸引度。
其次，求得各区域的特征吸引度。此时，求得颜色的吸引度、空间 频率的吸引度、面积的吸引度，分别赋予加权系数，进行线性组合，求 得各区域的特征吸引度。
然后，将各区域的差异性吸引度与特征吸引度相加，求得特征量综 合值，通过指定的β函数评价特征量综合值，计算吸引度。
(3)此外，根据原图像生成评价吸引度的模式图。
下面，参照图1，就本发明所涉及的图像检索装置100的结构进行说 明。
图1是表示本发明所涉及的图像检索装置100的结构的功能框图。
图像检索装置100如图1所示，其由如下部分构成：检索对象图像 登录数据库(以下，将数据库略称为DB。)10，其登录了多个检索对象图 像；检索关键字图像指定部12，其指定检索关键字图像；和检索关键字 图像读出部14，其将检索关键字图像指定部12指定的检索对象图像作为 检索关键字图像，从检索对象图像登录DB10中读出。还具有：引人注目 区域抽出部16，其针对检索关键字图像读出部14读出的检索关键字图像 及检索对象图像登录DB10的各检索对象图像，从该图像中抽出引人注目 区域；面部图像处理部18，其针对检索关键字图像读出部14读出的检索 关键字图像及检索对象图像DB10的各检索对象图像，判断面部信息及类 似度；和特征向量生成部20，其根据引人注目区域抽出部16抽出的引人 注目区域及面部图像处理部18的判断结果，生成表示图像的特征的特征 向量。还具有：检索条件指定部22，其指定检索条件；图像检索部24， 其根据检索条件指定部22指定的检索条件及特征向量生成部20生成的 特征向量，从检索对象图像登录DB10中检索图像；显示形式指定部26， 其指定检索结果的显示形式；和图像显示部28，其用显示形式指定部26 指定的显示形式来显示检索结果的图像。
面部图像处理部18具有面部区域判断部34、面部信息判断部36和 类似度判断部38，其中，面部区域判断部34针对检索关键字图像读出部 14读出的检索关键字图像及检索对象图像登录DB10的各检索对象图像， 判断该图像中是否包含相当于人物图像的面部的区域(以下称为面部区 域)；面部信息判断部36根据面部区域判断部34的判断结果，判断图像 中包含的人物图像的面部的方向、大小及重心位置；类似度判断部38根 据面部区域判断部34的判断结果，对各检索对象图像，判断该检索对象 图像中包含的人物图像的面部与检索关键字图像中包含的人物图像的面 部的类似度。
具体来说，如图2所示，图像检索装置100可以作为计算机200及 由其运行的程序来实现。参照图2，就计算机200的结构进行说明。
图2是表示计算机200的结构的框图。
如图2所示，计算机200由以下装置构成：CPU50，其根据控制程序， 控制运算及系统整体；ROM52，其在指定区域中预先存储CPU50的控制程 序等；RAM54，其用于存储从ROM52等读出的数据及CPU50的运算过程中 所需的运算结果；和I/F58，其向外部装置传送数据的输入输出。这些装 置利用作为用于传输数据的信号线的总线59以相互可以进行数据接收和 发送的状态连接在一起。
在I/F58上，作为外部装置，连接了以下装置：检索对象图像登录 DB10；输入装置60，其作为人机接口由可以进行数据输入的键盘及鼠标 等构成；和显示装置64，其根据图像信号，显示画面。
CPU50由微处理单元(MPU)等构成，其启动ROM52的指定区域中存 储的指定程序，根据该程序，执行图3的流程图所示的图像检索处理。
图3是表示图像检索处理的流程图。
图像检索处理是一种从输入装置60接受检索请求的输入并执行的处 理，在CPU50中执行时，如图3所示，首先，转移到步骤S100。
在步骤S100中，输入检索条件的指定。作为检索条件，可以指定以 下检索模式：类似图像检索模式，其从检索对象图像登录DB10中检索与 检索关键字图像最类似的图像；类似图像群检索模式，其从检索对象图 像登录DB10中检索与检索关键字图像类似的多个图像；和多样性检索模 式，从检索对象图像登录DB10中检索性质不同的多个图像。
接着，转移到步骤S102，输入显示形式的指定。作为显示形式，可 以指定以下显示模式：放大显示模式，其将符合检索条件的图像放大显 示，将不符合检索条件的图像缩小显示；和清晰(鲜明)显示模式，其 将符合检索条件的图像清晰显示，将不符合检索条件的图像模糊显示。
接着，转移到步骤S104，从检索对象图像登录DB10中指定检索关键 字图像。另外，作为检索条件指定了多样性检索模式时，不需要检索关 键字图像的指定。以下，针对包含检索关键字图像的全部检索对象图像 进行步骤S106～S126及步骤S134的处理。
接着，转移到步骤S106，从检索对象图像登录DB10中读出开头的检 索对象图像，转移到步骤S108。
在步骤S108中，根据读出的检索对象图像，计算吸引度，根据计算 出的吸引度，抽出引人注目区域。引人注目区域的抽出按照上述方法进 行。因为有时吸引度的绝对值受检索对象图像的影响，所以，为了同等 评价全部检索对象图像，将吸引度标准化，将引人注目区域的引人注目 程度划分为指定级(例如，10级)。以下，将针对构成检索对象图像的各 像素计算出的吸引度作为e’xy。x、y表示检索对像图像中的像素的X坐标 及Y坐标。
图4是表示纵向的检索对象图像的一例的图。
在图4(a)的例中，摄影方向为纵向，右下配置了花的图像。此时， 在计算引人注目区域时，例如，如图4(b)所示，将花的图像之中的花 的部分及其近旁的区域作为引人注目程度最高的引人注目区域A抽出， 将花的图像之中的茎及叶的部分及其近旁的区域作为引人注目程度第2 高的引人注目区域B抽出。其他区域作为引人注目程度低的区域C抽出。
图5是表示横向的检索对象图像的一例的图。
在图5(a)的例中，摄影方向为横向，右下配置了花的图像。此时， 在计算引人注目区域时，例如，如图5(b)所示，将花的图像之中的花 的部分及其近旁的区域作为引人注目程度最高的引人注目区域A抽出， 将花的图像之中的茎及叶的部分及其近旁的区域作为引人注目程度第2 高的引人注目区域B抽出。其他区域作为引人注目程度低的区域C抽出。 由此，可以知道用同样的引人注目程度抽出了与图4的检索对象图像几 乎同样的区域。
接着，转移到步骤S110，判断读出的检索对象图像中是否包含面部 区域，转移到步骤S118。
在步骤S118中，根据步骤S110的判断结果，判断检索对象图像中 包含的人物图像的面部的方向、大小及重心位置。具体来说，假设检索 对象图像内包含多个面部区域，将它们作为检测面部区域群时，分别计 算：检测面部区域群在检索对象图像内占据的面积的总和f1；检测面部 区域群在检索对象图像面内占据的面积的平均值f2；检测面部区域群在 检索对象图像内占据的面积的方差f3；表示检测面部区域群的各面部在 水平方向朝向正面的程度的水平方向正面朝向程度的平均值f4(-π/2～ π/2)；检测面部区域群的各面部的水平方向正面朝向程度的方差f5；表 示检测面部区域群的各面部在垂直方向朝向正面的程度的垂直方向正面 朝向程度的平均值f6(-π/2～π/2)；检测面部区域群的各面部的垂直 方向正面朝向程度的方差f7；检测面部区域群的各重心位置的平均值f8； 及检测面部区域群的各重心位置的方差f9。在检索对象图像内只包含1 个面部区域时，f1及f2计算该面部区域的面积；f4及f6计算该面部区 域的水平方向正面朝向程度及垂直方向正面朝向程度。另外，检测面部 区域的面部以正面为基准倾斜于水平方向的程度越大，水平方向正面朝 向程度的值越小，检测面部区域的面部以正面为基准倾斜于垂直方向的 程度越大，垂直方向正面朝向程度的越变小。以下，除了特别区别的情 况，将水平方向正面朝向程度及垂直方向正面朝向程度总称为正面朝向 程度。此外，面部区域的面积通过用检索对象图像的大小进行标准化来 算出。
接着，转移到步骤S120，判断检索对象图像中包含的人物图像的面 部与检索关键字图像中包含的人物图像的面部的类似度。例如，在检索 关键字图像中包含被拍摄体A、B、C的人物图像时，对检索对象图像中 包含的各面部区域，分别判断与被拍摄体A的面部区域的面部的类似度； 与被拍摄体B的面部区域的面部的类似度；以及与被拍摄体C的面部区 域的面部的类似度。另外，作为检索条件，指定了多样性检索时，因为 不存在检索关键字图像，所以，对检索对象图像中包含的人物图像的面 部与预先设定的特定图像中包含的人物图像的面部的类似度进行判断。
接着，转移到步骤S124，根据步骤S108抽出的引人注目区域及步骤 S118、S120的判断结果，生成检索对象图像的特征向量V。特征向量V 大致由以下要素群构成：与引人注目区域的吸引度对应的第1要素群； 与面部信息f1～f9对应的第2要素群；和与类似度对应的第3要素群。
特征向量V的第1要素群将检索对象图像分割为多个区域(例如， 水平方向N个及垂直方向M个矩形区域)，根据下述公式(1)，对各分割 区域计算该分割区域(i，j)的吸引度的平均值eij，根据吸引度的平均值 eij进行决定。分割区域(i，j)在检索对象图像中表示水平方向第i(i＝1～ N)个、垂直方向第j(j＝1～M)个区域。
$e_{\mathrm{ij}}=\underset{n=\mathrm{xi}-s}{\overset{n=\mathrm{xi}+s}{\Sigma }}\underset{m=\mathrm{yi}-s}{\overset{m=\mathrm{yi}+s}{\Sigma }}{e^{\prime }}_{\mathrm{nm}}---\left(1\right)$
上述公式(1)在各分割区域是由2s×2s的像素构成的正方形区域 时，计算分割区域(i，j)的吸引度的平均值eij。在上述公式(1)中， xi是分割区域(i，j)的中心点的x坐标，xj是分割区域(i，j)的中心 点的y坐标。
因此，特征向量V的第1要素群是根据下述公式(2)，在各分割区 域的吸引度的平均值eij上分别乘以独立的系数Eij，将它们作为各要素进 行罗列而得到的。将检索对象图像分割为水平方向N个及垂直方向M个 区域时，特征向量V的第1要素群由N×M个要素构成。
(E11·e11，E12·e12，…，Eij·eij，…ENM·eNM)…(2)
特征向量V的第2要素群是根据下述公式(3)，在步骤S118判断出 的面部信息f1～f9上分别乘以独立的系数F1～F9，将它们作为各要素进 行罗列而成的。
(F1·f1，F2·f2，…，F9·f9) …(3)
特征向量V的第3要素群是根据下述公式(4)，在步骤S120判断出 的类似度pk上分别乘以独立的系数Pk，将它们作为各要素进行罗列而成 的。例如，在检索关键字图像中包含了K个人物图像时，对检索对象图 像中包含的各面部区域，计算与检索关键字图像中包含的面部区域k (k＝1～K)的面部的类似度。此时，在与面部区域k的面部类似(类似 度为大于等于指定值时)时，设pk＝1，在与面部区域k的面部不类似(类 似度小于指定值时)时，设pk＝0。
(P1·p1，P2·p2，…，Pk·pk，…Pk·pk)…(4)
根据以上所述，特征向量V是通过下述公式(5)作为罗列第1要素 群、第2要素群及第3要素群的各要素来表示的。
V＝(E11·e11，E12·e12，…，ENM·eNM，F1·f1·F2·f2，…，F9·f9， P1·p1，P2·p2，…，Pk·pk) …(5)
接着，转移到步骤S126，针对检索对象图像登录DB10的全部检索对 象图像，判断步骤S108～S124的处理是否结束，在判断为对全部检索对 象图像结束了处理时(“是”)，转移到步骤S128。
在步骤S128中，根据检索对象图像的特征向量之间的向量间距离， 将各检索对象图像分组为多个组。分组可以例如根据以往的K-平均法来 进行。在K-平均法中，作为第1处理，适当选择K个特征向量V，将选 择的特征向量Vk(k＝1～K)分别作为组k的中心位置。将组k的中心位 置作为mk。接着，作为第2处理，根据下述公式(6)，计算特征向量Vi (i＝1～N，N是检索对象图像的总数)与组k的中心位置mk的向量间距离， 将特征向量Vi归属于计算出的向量间距离最小的组k。下述公式(6)计 算特征向量VA与特征向量VB之间的向量间距离。
S＝|VA-VB| …(6)
接着，作为第3处理，用属于组k的特征向量Vi的平均值置换组k 的中心位置mk。接着，作为第4处理，在i＜N时，将i加“1”，进行第2 处理及第3处理。然后，作为第5处理，在第3处理中变更前后的mk有 变化时，使i＝1，进行第2处理及第3处理。在第3处理中变更前后的 mk没有变化时，或进行了大于等于一定次数的重复处理时，结束处理，决 定组k的中心位置mk及属于其的特征向量Vi。
图6是表示将n个特征向量V分组为2组的情况的图。
在图6的例中，特征向量V1、V2、V3、Vn属于中心位置m1的组，特征 向量V4、V5、V6、Vn-1属于中心位置m2的组。
接着，转移到步骤S130，根据指定的检索条件，从检索对象图像登 录DB10中检索图像。作为检索条件，在指定了类似图像检索模式时，从 检索对象图像登录DB10中检索出与检索关键字图像的特征向量V之间的 向量间距离最小的特征向量V所对应的检索对象图像。作为检索条件， 在指定了类似图像群检索模式时，从检索对象图像登录DB10中检索出多 个组之中的检索关键字图像所属的组的全部检索对象图像。作为检索条 件，在指定了多样性检索模式时，从检索对象图像登录DB10中对每个组 检索出指定数量的检索对象图像。
接着，转移到步骤S132，用指定的显示形式将检索出的检索对象图 像显示到显示装置64上，结束一连串的处理，返回到原来的处理。
图7是表示显示了检索结果的显示画面的图。
图7的例是用放大显示模式及清晰显示模式显示了检索对象图像 1～n的情况，因为图像1、2、3、n是作为检索结果检索出来的图像，所 以，放大且清晰地进行了显示，与此相对，其他图像4、5、6、n-1被缩 小且被模糊地显示着。
另一方面，在步骤S126判断为对检索对象图像登录DB10的全部检 索对象图像，步骤S108～S124的处理没有结束时(“否”)，转移到步骤 S134，从检索对象图像登录DB10中读入下面的检索对象图像，转移到步 骤S108。
下面，就本实施方式的动作进行说明。
首先，就根据类似图像检索模式进行图像的类似检索的情况进行说 明。
在根据类似图像检索模式进行图像的类似检索时，利用者输入检索 请求，作为检索模式，指定类似图像检索模式，同时，指定检索关键字 图像。此外，同时指定显示形式。
在图像检索装置100中，在指定类似图像检索模式及检索关键字图 像后，通过步骤S106～S110，从检索对象图像登录DB10中读出开头的检 索对象图像，从读出的检索对象图像中抽出引人注目区域，同时，判断 检索对象图像中是否包含面部区域。接着，通过步骤S118、S120，根据 步骤S110的判断结果，判断检索对象中包含的人物图像的面部的方向、 大小及重心位置，判断检索对象图像中包含的人物图像的面部与检索关 键字图像中包含的人物图像的面部的类似度。在检索对象图像中包含了 多个被拍摄体的人物图像时，通过重复步骤S110～S120，对各面部区域， 进行面部信息及类似度的判断。
接着，在对检索对象图像的全部面部区域进行了面部信息及类似度 的判断之后，通过步骤S124，根据抽出的引人注目区域以及判断出的面 部信息及类似度，生成检索对象图像的特征向量V。
在对检索对象图像登录DB10的全部检索对象图像进行了这样的处理 时，通过步骤S128、S130，由于根据检索对象图像的特征向量V之间的 向量间距离，将各检索对象图像分组为多个组，并指定了类似图像检索 模式，所以，从检索对象图像登录DB10中检索出与检索关键字图像的特 征向量V之间的向量间距离最小的特征向量V所对应的检索对象图像。 然后，通过步骤S132，把检索出来的检索对象图像用指定的显示形式进 行显示。
其次，就根据类似图像群检索模式进行图像的类似检索的情况进行 说明。
在根据类似图像群检索模式进行图像的类似检索时，利用者输入检 索请求，作为检索模式，指定类似图像群检索模式，同时，指定检索关 键字图像。此外，同时指定显示形式。
到将各检索对象图像分组为止，与类似图像检索模式中进行的类似 检索的情况相同。在图像检索装置100中，在对各检索对象图像进行了 分组时，通过步骤S130，由于指定了类似图像群检索模式，所以，从检 索对象图像登录DB10中检索出多个组中的检索关键字图像所属的组的全 部检索对象图像。然后，通过步骤S132，把检索出来的检索对象图像用 指定的显示形式进行显示。
其次，就根据多样性检索模式进行图像的类似检索的情况进行说明。
在根据多样性检索模式进行图像的类似检索时，利用者输入检索请 求，作为检索模式，指定多样性检索模式。此外，同时指定显示形式。
到对各检索对象图像进行分组为止，与类似图像检索模式中进行的 类似检索的情况相同。在图像检索装置100中，在对各检索对象图像进 行了分组时，通过步骤S130，由于指定了多样性检索模式，所以，从检 索对象图像登录DB10中对各组检索出指定数量的检索对象图像。然后， 通过步骤S132，把检索出来的检索对象图像用指定的显示形式进行显示。
这样，在本实施方式中，针对检索关键字图像及各检索对象图像， 从该图像中抽出引人注目区域，针对检索关键字图像及各检索对象图像， 根据抽出的引人注目区域，生成该图像的特征向量V，根据生成的特征向 量V，从检索对象图像登录DB10中检索与检索关键字图像相符的图像。
由此，因为考虑利用者注目的地方来进行检索，所以，利用者的主 观容易反映到检索结果中。因此，与过去相比，可以得到与利用者的希 望比较相符的检索结果。
进而，在本实施方式中，针对检索关键字图像及各检索对象图像， 判断该图像中包含的人物图像的面部的方向、大小及重心位置，针对检 索关键字图像及各检索对象图像，根据判断出的面部的方向、大小或重 心位置，生成该图像的特征向量V。
由此，因为考虑人物图像的面部的方向、大小或重心位置来进行检 索，所以，可以得到与检索关键字图像中包含的人物图像的面部相符的 检索结果。
进而，在本实施方式中，对各检索对象图像，判断该检索对象图像 中包含的人物图像的面部与检索关键字图像中包含的人物图像的面部的 类似度，针对检索关键字图像及各检索对象图像，根据判断出的类似度， 生成该图像的特征向量V。
由此，因为考虑人物图像的面部之间的类似度来进行检索，所以， 可以得到与检索关键字图像中包含的人物图像的面部类似的检索结果。
进而，在本实施方式中，从检索对象图像登录DB10中检索出与检索 关键字图像的特征向量V之间的向量间距离最小的特征向量V所对应的 检索对象图像。
由此，可以得到被认为最符合利用者的希望的检索结果。
进而，在本实施方式中，根据检索对象图像的特征向量V之间的向 量间距离，将各检索对象图像分类为多个组，从检索对象图像登录DB10 中检索出多个组中的检索关键字图像所属的组的全部检索对象图像。
由此，可以得到被认为符合利用者的希望的几个检索结果。
进而，在本实施方式中，根据检索对象图像的特征向量V之间的向 量间距离，将各检索对象图像分类为多个组，从检索对象图像登录DB10 中对各组检索出指定数量的检索对象图像。
由此，因为从不同的组检索出指定数量的检索对象图像，所以，可 以得到多样的检索结果。
在上述实施方式中，检索对象图像对应于发明8至12、15或17的 分类对象图像，检索对象图像登录DB10对应于发明2、5、6、14或16 的检索对象图像存储装置或发明9、12或15的分类对象图像存储装置。 此外，步骤S104及检索关键字图像指定部12对应于发明2或14的检索 关键字图像输入装置或发明16的检索关键字图像输入步骤，步骤S108 及引人注目区域抽出部16对应于发明2、9、14或15的引人注目区域抽 出装置、发明17的引人注目区域抽出步骤、发明16的第1引人注目区 域抽出步骤或发明16的第2引人注目区域抽出步骤。
此外，在上述实施方式中，步骤S118及面部信息判断部36对应于 发明3或10的面部信息判断装置，步骤S120及类似度判断部38对应于 发明4或11的类似度判断装置，步骤S124及特征向量生成部20对应于 发明2至4、9至11、14或15的特征向量生成装置、发明16的第2特征 向量生成步骤或发明16的第1特征向量生成步骤。此外，步骤S128、S130 及图像检索部24对应于发明2、5、6或14的图像检索装置、发明9、12 或15的图像分类装置、发明16的图像检索步骤或发明17的图像分类步 骤。
另外，在上述实施方式中，没有对检索对象图像的纵横比进行特别 说明，但在检索对象图像的纵横比不同时，如下判断图像是否类似。
图8是表示将纵横比不同的检索对象图像A、B重叠在一起的情况的 图。
在判断纵横比不同的检索对象图像A、B是否类似时，如图8所示， 将检索对象图像A、B重叠，针对检索对象图像A之中的重复区域，生成 检索对象图像A的特征向量VA，针对检索对象图像B之中的重复区域， 生成检索对象图像B的特征向量VB，根据生成的特征向量VA、VB，判断检 索对象图像A、B是否类似。
此时，也可以进而以使重复区域有所不同的方式改变检索对象图像 A、B的重叠方法，将检索对象图像A、B重叠，将对各组合计算出的检索 对象图像A的特征向量VAi(i＝1～N，N是组合总数)的平均值作为检索 对象图像A的特征向量VA来生成，将对各组合计算出的检索对象图像B 的特征向量VBi的平均值作为检索对象图像B的特征向量VB来生成。
由此，因为即使是对纵横比不同的检索对象图像之间，也可以比较 正确地判断是否类似，所以，可以得到进一步符合利用者的希望的检索 结果。
此时，步骤S124及特征向量生成部20对应于发明7或13的特征向 量生成装置。
此外，在上述实施方式中，根据上述公式(2)，在各分割区域的吸 引度的平均值eij上分别乘以独立的系数Eij，将这些作为各要素进行罗列， 来生成特征向量V的第1要素群，但是，不限于此，在引人注目区域的 计算中使用吸引度时，因为在分割的区域中吸引度是一定的，所以，在 步骤S108中，也可以如下生成。首先，从检索对象图像中按照吸引度从 高到低的顺序选择H个引人注目区域。接着，根据下述公式(7)，在引 人注目区域h(h＝1～H)的水平方向的中心坐标xh上乘以系数X，在引人 注目区域h的垂直方向的中心坐标yh上乘以系数Y。此外，在引人注目区 域h的吸引度eh上乘以系数E，在引人注目区域h的面积sh上乘以系数S。 然后，将这些Xxh、Yyh、Eeh、Ssh作为各要素进行罗列，来生成作为特征 向量V的第1要素群。
(X·x1，Y·y1，E·e1，S·s1，…X·xh，Y·yh，E·eh，S·sh， …X·xH，Y·yH，E·eH，S·sH)…(7)
此时，抽出的引人注目区域的个数h不满足指定数(例如，10个) 时，将特征向量V的第1要素群都设为“0”。
此外，在上述实施方式中，对在执行图3的流程图所示的处理时， 对执行预先存储在ROM52中的控制程序的情况进行了说明，但是，不限 于此，也可以将该程序从存储了表示这些步骤的程序的存储介质读入到 RAM54，进行运行。
在此，存储介质指的是RAM、ROM等半导体存储介质；FD、HD等磁存 储型存储介质；CD、CDV、LD、DVD等光学读取方式存储介质；MO等磁存 储型/光学读取方式存储介质，与电子、磁、光学等读取方法无关，只要 是计算机可以读取的存储介质，包含所有存储介质。
此外，在上述实施方式中，将本发明所涉及的图像检索系统、图像 分类系统、图像检索程序及图像分类程序、以及图像检索方法及图像分 类方法应用于考虑利用者注目的地方来进行图像的类似检索的情况，但 是，不限于此，在不脱离本发明的主旨的范围内，也可以应用于其他情 况。例如，可以应用于对图像进行分类的情况。