图像处理方法和装置

1.一种图像处理方法，用于通过使用相似值图评价模板图像和输入图像 之间的相匹配，该方法包括步骤：对于模板图像和输入图像的每一个产生一 个评价矢量，其中评价矢量包括一个其中特定图像的边法线方向矢量经过偶 数倍数的角度变换的分量，而且由于输入图像中存在背景亮度的不平衡，相 似值图的分量不正/负倒换。
2.一种图像处理方法，包括：
对模板图像和输入图像的每一个输入特定的图像并计算该特定图像的边 法线方向矢量的步骤；
从边法线方向矢量中产生评价矢量的步骤；
使评价矢量进行正交变换的步骤；
对于从模板图像和输入图像获得的、已经进行正交变换的每个评价矢量 进行相应的频谱数据的积和计算的步骤；以及
使积和计算的结果进行反正交变换并产生相似值的图的步骤；
这其中相似值的公式、正交变换和反正交变换均具有线性。
3.按照权利要求2的图像处理方法，包括步骤：压缩每个已经进行正交 变换的评价矢量以便减少处理量。
4.按照权利要求2的图像处理方法，其中对于模板图像，直到已经进行 了正交变换的评价矢量被压缩时采取的步骤，被在输入图像输入之前执行， 其结果被存储在记录部件中。
5.按照权利要求2的图像处理方法，其中评价矢量被相对于矢量长度正 规化。
6.按照权利要求2的图像处理方法，其中模板图像的评价矢量按照边法 线方向矢量的数量而正规化。
7.按照权利要求2的图像处理方法，其中通过在进行积和计算之前使用 正交变换的复共轭属性来减少数据量，此数据量在执行积和计算之后被恢复。
8.按照权利要求2的图像处理方法，其中模板图像被放大/缩小到各种 尺寸，每个尺寸的评价矢量进行加法处理。
9.按照权利要求2的图像处理方法，其中对于模板图像，评价矢量的加 法处理在执行压缩每个评价矢量的步骤之后被执行，以便减小处理量。
10.按照权利要求2的图像处理方法，其中模板图像是典型的脸的图像。
11.按照权利要求10的图像处理方法，还包括：
基于提取的脸图像从输入的图像切分出脸图像的步骤；
从切分出的脸图像提取出脸内部图像的步骤；
在提取的脸图像的基础上计算用于校正脸图像的特征的步骤；
基于获得的特征确定校正函数的步骤；
至少对已经切分出的脸图像进行基于所确定的校正函数的图像校正。
12.按照权利要求11的图像处理方法，其中所述特征是亮度、平均色度 或平均色调的两个或多个的组合。
13.按照权利要求10的图像处理方法，其中基于提取的脸图像而产生点 双列相关系数的图，并计算脸部的位置。
14.按照权利要求10的图像处理方法，其中投影值在y方向上的分布通 过使用遮蔽图案在提取的脸图像的基础上被计算，从该分布中计算出两个最 大点，在这两个最大点之间的区域被输出作为嘴的范围。
15.按照权利要求10的图像处理方法，其中输入图像被基于提取的脸图 像而仅仅划分成脸图像和非脸图像部分，仅仅在脸图像中嵌入数字水印，嵌 入了数字水印的脸图像和非脸图像部分被结合起来输出。
16.按照权利要求10的图像处理方法，其中输入图像被基于提取的脸图 像而仅仅划分成脸图像和非脸图像部分，仅仅脸图像被编辑，被编辑的脸图 像和非脸图像部分被结合起来输出。
17.按照权利要求2的图像处理方法，其中准备使相似值的峰值陡峭的 峰值图案，通过使此峰值图案的数据进行正交变换而获得的结果被应用到积 和计算中。
18.按照权利要求2的图像处理方法，其中形成依赖于模板图像的遮蔽 图案，通过将此遮蔽图案的数据进行正交变换而获得的结果被应用到积和计 算中。
19.按照权利要求18的图像处理方法，其中遮蔽图案示出模板图像的图 像中的像素数量的平均值。
20.按照权利要求2的图像处理方法，还包括步骤：对于模板图像，处 理原始模板图像的评价矢量的正负符号，并产生与原始模板图像双向对称的 图像的评价矢量，通过如此将产生的评价矢量应用到积和计算中。
21.一种图像处理装置，包括：
模板图像处理部分，用于输入模板图像并计算该模板图像的边法线方向 矢量，从边法线方向矢量中产生评价矢量，使评价矢量进行正交变换，并压 缩已经进行正交变换的评价矢量以便减少处理量；
输入图像处理部分，用于输入输入图像并计算该输入图像的边法线方向 矢量，从边法线方向矢量中产生评价矢量，使评价矢量进行正交变换，并压 缩已经进行正交变换的评价矢量以便减少处理量；
乘法部件，用于对于从模板图像和输入图像获得的、已经进行正交变换 的每个评价矢量进行相应的频谱数据的积和计算；以及
反向正交变换部件，用于使积和计算的结果进行反正交变换并产生相似 值的图；
其中评价矢量包括一个其中特定图像的边法线方向矢量经过偶数倍数的 角度变换的分量，并且相似值的公式、正交变换和反正交变换均具有线性。
22.按照权利要求21的图像处理装置，其中模板图像处理部分被提供有 一个记录部件，用于记录已经被压缩以减少处理量的、和已经进行了正交变 换的评价矢量，通过压缩已经进行了正交变换的评价矢量而获得的结果在输 入图像输入之前被存储在记录部件中。
23.按照权利要求22的图像处理装置，还包括对称矢量产生部件，用于 处理记录在记录部件中的原始模板图像的评价矢量的正负符号，并产生与原 始模板图像双向对称的图像的评价矢量，其中由对称矢量产生部件产生的评 价矢量被应用到乘法部件的积和计算中。
24.按照权利要求21的图像处理装置，还包括：共轭压缩部件，被提供 在记录部件和乘法部件之间，用于利用正交变换的复共轭属性来减少数据量； 以及共轭恢复部件，被提供在乘法部件和反向正交变换部件之间，用于恢复 利用正交变换的复共轭属性而减少的数据量。
25.按照权利要求21的图像处理装置，还包括：放大/缩小部件，用于 将模板图像放大/缩小到各种尺寸；以及加法部件，用于对每个尺寸的评价矢 量进行加法处理。
26.按照权利要求25的图像处理装置，其中加法部件在压缩矢量之后执 行模板图像的评价矢量的加法处理，以便减小处理量。
27.按照权利要求21的图像处理装置，还包括峰值图案处理部分，用于 将使相似值的峰值陡峭的峰值图案进行正交变换，并将已经进行了正交变换 的峰值图案压缩以便减小处理量，其中将此峰值图案的数据进行正交变换而 获得的结果被应用到乘法部件的积和计算中。
28.按照权利要求21的图像处理装置，还包括遮蔽图案处理部分，用于 形成依赖于模板图像的峰值图案，并产生通过将此遮蔽图案的数据进行正交 变换并将其压缩而获得的数据，其中遮蔽图案处理部分的处理结果被应用到 乘法部件的积和计算中。
29.按照权利要求28的图像处理装置，其中遮蔽图案示出模板图像的图 像中的像素数量的平均值。
30.按照权利要求21的图像处理装置，还包括：η图形成部件，用于基 于提取的脸图像而形成点双列相关系数的图；以及提取部件，用于从形成的 图计算脸部分的位置。
31.按照权利要求21的图像处理装置，还包括最大点提取部件，用于在 提取的脸图像的基础上使用遮蔽图案计算投影值在y方向上的分布，并从该 分布中计算出两个最大点，输出在最大点之间的区域，作为脸部一器官的范 围。
32.按照权利要求21的图像处理装置，还包括：脸图像切分部件，用于 基于提取的脸图像仅仅将输入图像划分成脸图像和非脸图像部分；数字水印 嵌入部件，用于仅仅在脸图像中嵌入数字水印；以及图像合成部件，用于将 嵌入了数字水印的脸图像和非脸图像部分结合起来并将其输出。
33.按照权利要求21的图像处理装置，还包括：脸图像切分部件，用于 基于提取的脸图像仅仅将输入图像划分成脸图像和非脸图像部分；图像校正 部件，用于仅仅编辑脸图像；以及图像合成部件，用于将经过编辑的脸图像 和非脸图像部分结合起来并将其输出。
34.按照权利要求21的图像处理装置，还包括：
脸图像切分部件，用于基于提取的脸图像从输入图像切分出脸图像；
脸内部范围提取部件，用于从切分出的脸图像提取脸内部图像；
图像特征提取部件，用于基于提取的脸图像计算用于校正脸图像的特征；
校正函数确定部件，用于基于所获得的特征来确定校正函数；以及
图像校正部件，用于至少对已经切分出的脸图像进行基于所确定的校正 函数的图像校正。
35.按照权利要求34的图像处理装置，其中所述特征是亮度、平均色度 或平均色调的两个或多个的组合。

                          技术领域
本发明涉及一种用于通过利用模板图像从输入图像检测目标的图像处理 方法，并涉及一种相应的图像处理装置。
                          背景技术
有一种传统的公知技术，其中预先注册了一个模板图像，与模板图像类 似的图像在输入图像中的位置，通过输入图像和模板图像之间的图案匹配来 检测。
然而，由于变形的感觉易于按照与模板图像类似的图像的背景的形成方 式而造成，日本公布的未审查的专利申请第Hei-5-28273号公开了一种开发用 于解决此问题的技术。
在此公布中，通过下面的数学公式定义了模板图像与对应于模板图像的 图像之间的相似值。
【公式1】
Cv：相关系数(相似值)
M：在x方向上的模板图像的像素的数量
N：在y方向上的模板图像的像素的数量
Sx：在x方向上的输入图像S的导数(derivative)值
Sy：在y方向上的输入图像S的导数值
Tx：在x方向上的模板图像T的导数值
Ty：在y方向上的模板图像T的导数值
${\sigma }_{S0}=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\Sigma }}\underset{j-1}{\overset{N}{\Sigma }}(S{x}_{\mathrm{ij}}^2+S{y}_{\mathrm{ij}}^2)}$
${\sigma }_{T0}=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}(T{x}_{\mathrm{ij}}^2+T{y}_{\mathrm{ij}}^2)}$
${\rho }_{V0}=\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}(T{x}_{\mathrm{ij}}S{x}_{\mathrm{ij}}+T{y}_{\mathrm{ij}}S{y}_{\mathrm{ij}})$
$\mathrm{Cv}=\frac{{\rho }_{V0}}{{\sigma }_{T0}{\sigma }_{S0}}$
详细而言，在模板图像的边法线方向的矢量和输入图像的边法线方向矢 量之间的角度θ的内积(cosθ)是相似值的一个分量。
然而，存在一个后面将详细说明的问题，如果目标图像的背景周边的亮 度不均匀，则内积的正负被倒换，因此相似值变得不适用于实际的图像，可 以容易地产生变形的感觉，因此使得很难获得期望的识别结果。
另外，相似值公式相对于输入和模板图像的边法线方向矢量是非线性的， 并且对于模板图像的处理和对于输入图像的处理必须同时进行。
而且，模板图像在输入图像上被扫描，输入图像和参考图像的相关计算 必须对每个扫描点执行，因此，在实用中，由此导致的计算量的增加使得实 时的处理变得不可能。
                          发明内容
因此本发明的目的在于提供一种能够获得精确的、清楚的识别效果并能 够进行高速处理的图像处理方法和图像处理装置。
在按照本发明的第一方面的图像处理方法中，模板图像和输入图像之间 的相匹配通过使用相似值图(map)来评价，对于模板图像和输入图像的每 一个产生一个评价矢量(evaluation vector)，评价矢量包括一个其中特定图像 的边法线方向矢量经过偶数倍数的角度变换的分量。
利用此结构，其间的相匹配可以适当的被评价，而即使在由于背景亮度 的不均匀导致输入图像的边法线方向矢量和模板图像的边法线方向矢量之间 的角度θ的内积(cosθ)的正负被倒换的情况下，也不影响相似值。
按照本发明的第二方面的图像处理方法包括步骤：对模板图像和输入图 像的每一个输入特定的图像并计算该特定图像的边法线方向矢量；从边法线 方向矢量中产生评价矢量；使评价矢量进行正交变换；对于从模板图像和输 入图像获得的、已经进行正交变换的每个评价矢量进行相应的频谱数据的积 和计算；使积和计算的结果进行反正交变换并产生相似值的图；这其中相似 值的公式、正交变换和反正交变换均具有线性。
利用此结构，模板图像的傅立叶变换值和输入图像的傅立叶变换值不需 要同时被计算。换句话说，模板图像的傅立叶变换值可以在输入图像的傅立 叶变换值之前获得，因此使得有可能减轻处理负担和提高处理速度。
按照本发明的第三方面的图像处理方法包括步骤：压缩每个已经进行正 交变换的评价矢量以便减少处理量。
利用此结构，所处理的内容仅仅限于有效的分量(如低频分量)，处理速 度得以提高。
在按照本发明的第四方面的图像处理方法中，对于模板图像，直到已经 进行了正交变换的评价矢量被压缩时采取的步骤，被在输入图像输入之前执 行，其结果被存储在记录部件中。
利用此结构，与模板图像相关的处理仅仅通过从记录部件读取而完成， 提高了处理速度。
在按照本发明的第五方面的图像处理方法中，评价矢量被相对于矢量长 度正规化。
利用此结构，虽然输入图像的边的强度改变并且矢量长度按照拍摄的条 件而改变，但是图案(pattern)提取的稳定性可以不需要进行长度变化而提高。
在按照本发明的第六方面的图像处理方法中，模板图像的评价矢量按照 边法线方向矢量的数量而正规化。
因此，不论是否模板图像的边的数量是大还是小，可以通过将其分成n 份并使其正规化来在同样的尺度上评价相似性。
在按照本发明的第七方面的图像处理方法中，通过在进行积和计算之前 使用正交变换的复共轭属性来减少数据量，此数据量在执行积和计算之后被 恢复。
利用此结构，可以大大地减小数据量以提高处理速度，并可以节省存储 容量。
在按照本发明的第八方面的图像处理方法中，模板图像被放大/缩小到各 种尺寸，每个尺寸的评价矢量进行加法处理。
利用此结构，不必对于每个尺寸都重复进行相匹配，可以提高处理速度。
在按照本发明的第九方面的图像处理方法中，对于模板图像，评价矢量 的加法处理在执行压缩每个评价矢量的步骤之后被执行，以便减小处理量。
利用此结构，加法处理的内容可以被减少，可以提高处理的速度。
在按照本发明的第十方面的图像处理方法中，模板图像是典型的脸的图 像。
利用此结构，不仅可以识别脸的总位置，而且可以识别主要脸部分的部 分位置，如眼睛、鼻子或嘴。
在按照本发明的第十一方面的图像处理方法中，准备了使相似值的峰值 (peak)陡峭的峰值图案(peak pattern)，通过使比峰值图案的数据进行正交变换 而获得的结果被应用到积和计算中。
利用此结构，在反映峰值图案的同时，与模板类似的部分可以从输入图 像中更清楚和稳定地检测到。
在按照本发明的第十二方面的图像处理方法中，形成了依赖于模板图像 的遮蔽(mask)图案，通过将此遮蔽图案的数据进行正交变换而获得的结果 被应用到积和计算中。
利用此结构，在添加了除模板图像的形状之外的属性的同时，可以执行 更近的检测。
在按照本发明的第十三方面的图像处理方法中，遮蔽图案示出了模板图 像的图像中的像素数量的平均值。
利用此结构，模板图像的属性可以通过简单的遮蔽图案来反映。
在按照本发明的第十四方面的图像处理方法中，还包括步骤：对于模板 图像，处理原始模板图像的评价矢量的正负符号，并产生与原始模板图像双 向(bilaterally)对称的图像的评价矢量，通过如此将产生的评价矢量应用到 积和计算中。
利用此结构，可以节省模板图像的记录量，已经被双向倒换的模板图像 的评价矢量可以不需要直接计算而产生，因此使得有可能提高处理速度。
在按照本发明的第十五方面的图像处理方法中，基于提取的脸图像而产 生点双列相关系数的图，并计算脸部的位置。
利用此结构，脸部的位置可以更精确地指定。
在按照本发明的第十六方面的图像处理方法中，投影值在y方向上的分 布通过使用遮蔽图案在提取的脸图像的基础上被计算，从该分布中计算出两 个最大点，在这两个最大点之间的区域被输出作为嘴的范围。
利用此结构，嘴范围可以更精确地确定。
在按照本发明的第十七方面的图像处理方法中，输入图像被基于提取的 脸图像而仅仅划分成脸图像和非脸图像部分，仅仅在脸图像中嵌入数字水印， 嵌入了数字水印的脸图像和非脸图像部分被结合起来输出。
利用此结构，水印数据可以被集中地嵌入易于伪造的脸部。
在按照本发明的第十八方面的图像处理方法中，输入图像被基于提取的 脸图像而仅仅划分成脸图像和非脸图像部分，仅仅脸图像被编辑，被编辑的 脸图像和非脸图像部分被结合起来输出。
利用此结构，仅仅脸部图像可以被校正，而不对非脸图像部分产生影响。
在按照本发明的第三十二方面的图像处理方法中，基于提取的脸图像从 输入的图像中切分出脸图像，随后从切分出的脸图像提取出脸内部图像，然 后在提取的脸图像的基础上计算用于校正脸图像的特征，随后基于获得的特 征确定校正函数，至少对已经切分出的脸图像进行基于所确定的校正函数的 图像校正。
利用此结构，脸图像仅仅按照脸内部图像的特征被校正，而不被非脸图 像的图像的反面影响，因此脸图像的可视性可以被有效地提高。
本发明的上述和其他目的、特征和优点通过下面结合附图的说明会变得 更清楚，附图中的相同的参考标记指相同的元件。
                          附图说明
图1是按照本发明的实施例1的图像处理装置的方框图。
图2(a)示出模板图像的视图。
图2(b)示出模板图像的边提取图像(x分量)的视图。
图2(c)示出模板图像的边提取图像(y分量)的视图。
图3是用于解释评价矢量的压缩处理的说明图。
图4(a)示出输入图像的视图。
图4(b)示出输入图像的边提取图像(x分量)的视图。
图4(c)示出输入图像的边提取图像(y分量)的视图。
图5(a )示出相似值的图的视图。
图5(b)示出输入图像的视图。
图6是用于解释内积的正/负倒换的说明图。
图7(a)示出模板图像的视图。
图7(b)示出输入图像的视图。
图8(a)和8(b)示出模板图像的视图。
图9是按照本发明的实施例2的图像处理装置的方框图。
图10(a)和10(b)示出共轭属性的图。
图11(a)是按照本发明的实施例3(第一示例)的模板图像处理部分的 方框图。
图11(b)是按照本发明的实施例3(第二示例)的模板图像处理部分的 方框图。
图12示出输入图像的视图。
图13(a)示出模板图像的视图。
图13(b)示出边提取图像的视图。
图13(c)示出放大/缩小的模板图像的视图。
图13(d)示出模板图像的视图。
图13(e)示出边提取图像的视图。
图13(f)示出放大/缩小的模板图像的视图。
图14示出脸提取结果的视图。
图15是按照本发明的实施例4的图像处理装置的方框图。
图16是示出了峰值图案的视图。
图17是按照本发明的实施例5的图像处理装置的方框图。
图18(a)示出模板图像的装置。
图18(b)示出遮蔽图案的视图。
图19是按照本发明的实施例6的图像处理装置的方框图。
图20(a)示出原始模板图像的视图。
图20(b)示出已经进行双向倒换的模板图像的视图。
图21是按照本发明的实施例6的图像处理装置的部分的方框图。
图22(a)示出输入图像的视图。
图22(b)示出眼睛/眉毛候选范围的视图。
图22(c)示出识别效果的视图。
图23(a)是按照本发明的实施例7的过滤形状的视图。
图23(b)是整个范围遮蔽的说明图。
图23(c)是范围-1遮蔽的说明图。
图23(d)是范围-2遮蔽的说明图。
图24是按照本发明的实施例8的图像处理装置的部分的框图。
图25(a)示出输入图像的视图。
图25(b)是嘴候选范围的说明图。
图25(c)是投影值的图。
图25(d)是遮蔽图案的说明图。
图25(e)示出投影值图的图像的视图。
图25(f)是投影值的图。
图26是按照本发明的实施例9(第一示例)的图像处理装置的部分的方 框图。
图27(a)示出输入图像的视图。
图27(b)示出输出图像的视图。
图28是按照本发明的实施例9(第二示例)的图像处理装置的部分的方 框图。
图29(a)和29(b)示出输入图像的视图。
图30是按照本发明的实施例9(第三示例)的图像处理装置的部分的方 框图。
                        具体实施方式
以下，参照附图来详细说明本发明的实施例。
(实施例1)
参见图1至图8，将说明本发明的图像处理装置的基本形式。
如图1所示，按照实施例1的图像处理装置包括两个不同的处理部分， 即，模板图像处理部分100和输入图像处理部分200，并利用相似值L的图 (map)评价模板图像和输入图像之间的匹配。在此图像处理装置中，模板 图像处理部分100和输入图像处理部分200两者都进行线性的正交变换，然 后执行乘法，并通过反向正交变换计算相似值L。
应当注意到FFT(快速离散傅立叶变换)被用作后面说明的所有实施例 中的正交变换。然而，不仅FFT而且哈特雷变换或数论变换也可以使用，而 且在下面说明中的“傅立叶变换”可以被哈特雷变换或数论变换所替换。
而且，模板图像处理部分100和输入图像处理部分200两者都使用边法 线方向矢量的内积，以便相关性与边法线方向矢量的方向之间的接近程度成 比例地增加。此内积利用偶数倍数角度表达式来评价。为了方便，下面仅仅 说明双倍大小的角度作为偶数倍数角度的示例，但是在其他诸如四倍或六倍 大小的偶数倍数角度中，也可以产生本发明的相同效果。
下面，将说明模板图像处理部分100。边提取单元1对模板图像在x和y 方向上进行微分(differential)处理(边提取)，并输出模板图像的边法线方 向矢量。
在此实施例中，【公式2】 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$
的Sobel过滤器被用于x方向，【公式3】 $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$
的Sobel过滤器被用于y方向。
由下面公式定义的模板图像的边法线方向矢量通过这些过滤器获得。
【公式4】
$\overrightarrow{T}=(T_X,T_Y)$
此实施例选取了一个示例，其中正传过人行交叉路的特定姿势的人的图 像被从从人行交叉路附近的输入图像中提取。
此人的模板图像是例如如图2(a)的图像。如果公式2的过滤处理施加 到图2(a)的模板图像，将获得如图2(b)所示的结果(x分量)，并且如果 公式3的过滤处理施加到图2(a)的模板图像，将获得如图2(c)所示的结 果(y分量)。
评价矢量产生单元2从边提取单元1输入模板图像的边法线方向矢量， 并通过后述的处理向正交变换单元3输出模板图像的评价矢量
首先，评价矢量产生单元2按照下面的公式使模板图像的边法线方向矢 量的长度正规化。
【公式5】
$\overrightarrow{U}=(U_X,U_Y)=\frac{\overrightarrow{T}}{\left|\overrightarrow{T}\right|}$
一般来讲，输入图像的边强度按照摄影条件而变化。然而，在输入和模 板图像的边之间的角差(或，按照角差变化的隶属函数值)与摄影条件无关。
因此，在本发明中，在输入图像处理部分200中输入图像的边法线方向 矢量在长度上被正规化为l，后面将说明。按照如此，在输入图像处理部分 100中模板图像的边法线方向矢量在长度上被正规化为l。
结果，图案提取的稳定性可以得到提高。通常，期望正规化长度为l， 但是其他常数也可以使用。
关于三角函数，有下面公知的倍角公式。
【公式6】
cos(2Θ)＝2cos(Θ)2-1
sin(2Θ)＝2cos(Θ)sin(Θ)
评价矢量产生单元2计算按照下面公式定义的模板图像的评价矢量。
【公式7】
当被假设为阈值(对于细边的去除)时，模板图像的评价矢量 是：
如果 $\left|\overrightarrow{T}\right|\ge a$
$\overrightarrow{V}=(V_X,V_Y)=\frac{1}{n}(\cos \left(2\alpha \right),\sin \left(2\alpha \right))=\frac{1}{n}(2U_X^2-1,2U_X{U}_Y)$
否则
$\overrightarrow{V}=\overrightarrow{0}$
其中n是当 $\left|\overrightarrow{T}\right|\ge a$时的 的数量。
将会说明公式7。将小于常数“a”的矢量设定为0矢量的原因是为了例 如去除噪声。
下面将说明此评价矢量的x和y矢量分别被除以“n”以正规化。
一般来说，模板图像的形状是任意的，边的形状有多种。如，存在一种 情况，其中边的数量小，如图8(a)所示，或边的数量(比图8(a)的)大， 如图8(b)所示。因此，在此实施例中，不管边的数量的大小，而通过将其 除以“n”来正规化以在同样的尺度下评价相似性。
然而，不是必须要进行通过将其除以“n”的正规化处理，正规化处理在 只使用一个模板图像或只使用与边的数量相同的模板图像的情况下可以省 略。
下面，将说明公式7的x和y分量作为双倍的公式5的x和y分量的余 弦/正弦的隶属函数。
如果模板图像的评价矢量T和输入图像的评价矢量I之间的角度θ的内 积cosθ被用作与传统技术相同的相似性尺度，将会产生下面的问题。
如，我们假定图7(a)的模板图像和图7(b)的输入图像。在图7(b) 的背景中，特定目标的图像的左背景部分比特定目标的图像要亮，特定目标 的图像的右背景部分比特定目标的图像要暗。
如果仅从图像考虑，当图7(a)的模板图像的中心与图7(b)输入图像 的中心重合时，特定目标的图像彼此完全重合，因此此时的相似值一定为最 大。这里，如果从目标图像向外方向的边法线方向矢量是正的，则当从该特 定目标的图像得出时，边法线方向矢量一定要在图7(b)的亮背景部分和暗 背景部分中方向相同(向外/向内)。
然而，如果图7(b)的背景的亮度此时在特定目标的左右背景部分中不 均匀，则方向相反，如图7(b)的箭头所示(即在亮背景部分中从特定目标 向外，和在暗背景部分中从特定目标向内)。
原来，可达到最大的相似值，但是在这种情况下相似值不一定高，因此 容易造成变形的感觉。
上述问题的详细说明将参照图6给出。在模板图像的评价矢量T和输入 图像的评价矢量I之间的角度表示为θ的情况下，它的内积，即cosθ，被用 作相似值，输入图像的评价矢量I的方向有两个可能，即，图6的完全相反 的I和T｀，因为如上所述在特定目标的图像的周边存在背景亮度的不均匀。
因此，用作相似性尺度的内积将具有两个积，即cosθ和cosθ｀。本处， θ+θ｀=π，cosθ｀＝cos(π-θ)＝-cosθ。
因此，如果cosθ被用作相似性尺度，则当需要适当地增加相似值时相似 值会相对地减少，当需要适当地减少相似值时相似值会相对地增加。
换而言之，按照现有技术的相似值，在模板图像和输入图像之间的匹配 不能被正确评价。结果，不利的是，通过现有技术容易形成错误的识别，即 使形成了图像，识别结果也不清楚。
因此，在本发明中，θ的两倍的余弦，即cos(2θ)被用于相似值的公式。 因此，即使cosθ｀=-cosθ，公式6的倍角公式得出的cos(2θ｀)＝cos(2θ)。换而言 之，当需要增加相似值时，相似值的增加与背景无关。因此，虽然存在背景 的亮度的不均匀，其间的匹配可以被正确地评价。这可以应用到除了2倍的4 倍或6倍的情况。
而且，相对于角度θ单调地减小的相似值的属性，即使在使用偶数倍数 角度余弦的情况下也不变化。
因此，按照本发明，图案可以通过偶数倍数角度评价而被稳定地提取， 与背景的亮度条件无关。 更具体地说，相似值由本发明的下面公式定义。
【公式8】
相似值
$L(x,y)=\underset{i}{\Sigma }\underset{j}{\Sigma }{K}_X(x+i,y+j)V_X(i,j)+K_Y\left(x\right|i,y\left|j\right)V_Y(i,j)$
$\overrightarrow{K}=(K_X,K_Y):$输入图像的评价矢量
$\overrightarrow{V}=(V_X,V_Y):$模板图像的评价矢量
由于公式8仅包含加法和乘法，对于每个输入和模板图像的评价矢量而 言相似值是线性的。因此，当公式8进行傅立叶变换时，通过傅立叶变换的 离散相关定理(参考：由科学和技术出版的Hiroshi Miyakawa翻译的“快速 傅立叶变换”)而获得公式9。
【公式9】
$\tilde{L}(u,v)={\tilde{K}}_X(u,v){\tilde{V}}_X{(u,v)}^{*}+{\tilde{K}}_Y(u,v){\tilde{V}}_Y{(u,v)}^{*}$
Kx，Ky的傅立叶变换值
Vx，Vy的傅立叶变换复共轭
以下，傅立叶变换值表示为～，复共轭表示为*。
公式8的相似值通过对公式9进行反向傅立叶变换而获得。通过仔细思 考公式9，下面两个方面将变得清楚。
(1)首先，在已经进行了正交变换的变换值中，可以简单地将模板图像 的傅立叶变换值和输入图像的傅立叶变换值相乘。
(2)其次，模板图像的傅立叶变换值和输入图像的傅立叶变换值不需要 同时计算，并且模板图像的傅立叶变换值可以先于输入图像的傅立叶变换值 而计算。
因此，在本实施例中，模板图像处理部分100配置记录单元5，以在输 入图像输入之前记录压缩单元4的输出。因此，在输入图像输入到输入图像 处理部分200之后，模板图像处理部分100没有必要处理模板图像，处理执 行可以集中在输入图像处理部分200和乘法单元10后面的处理上，因此使得 有可能提高处理速度。
下面，将说明评价矢量产生单元2后面的结构。如图1所示，在模板图 像处理部分100中，从评价矢量产生单元2输出的模板图像的评价矢量由正 交变换单元3进行傅立叶变换，并输出到压缩单元4。
压缩单元4压缩已经进行了傅立叶变换的评价矢量，并将其存储在记录 单元5中。如图3所示，进行了傅立叶变换的评价矢量包括在x和y方向上 的各种频率分量。通过由本发明的发明者进行的实验，可知道可以通过处理 低频分量(如x和y各自方向上的低频侧的一半)而不用处理所有的频率分 量来获得足够的精确度。在图3中，没有斜线的范围(-a≤x≤a，-b≤y≤b) 是原始范围，有斜线的范围(-a/2≤x≤a/2，-b/2≤y≤b/2)是压缩的范围。即， 处理量变为以前的1/4。
因此，可以压缩要处理的目标，处理的速度可以得到提高。
当数据量小或不需要高速处理时可以省略压缩单元4和记录单元5。
下面，将说明输入图像处理部分200。输入图像处理部分200执行与模 板图像处理部分100几乎相同的处理。即，按照公式2和公式3，边提取单 元6输出由下面公式定义的输入图像的边法线方向矢量。
【公式10】
输入图像的边法线方向矢量
$\overrightarrow{I}=(I_X,I_Y)$
Ix：在x方向上的输入图像的导数值
Iy：在y方向上的输入图像的导数值
评价矢量产生单元7输入来自边提取单元6的输入图像的边法线方向矢 量，并输出由下面两个公式定义的输入图像的评价矢量。
【公式11】
输入图像的长度正规化矢量
$\overrightarrow{J}=(J_X,J_Y)=\frac{\overrightarrow{I}}{\left|\overrightarrow{I}\right|}$
【公式12】
当被假设为阈值(对于细边的去除)时，输入图像的评价矢量 是：
如果 $\left|\overrightarrow{I}\right|\ge a$
$\overrightarrow{K}=(K_X,K_Y)=(\cos \left(2\beta \right),\sin \left(2\beta \right))=(2J_x^2-\mathrm{1,2}{J}_X{J}_Y)$
否则
$\overrightarrow{K}=\overrightarrow{0}$
输入图像处理部分200与模板图像处理部分100不同之处仅仅在于未进 行除以“n”的正规化处理。换言之，由偶数倍数角度的评价、在长度上处理 到l的正规化处理和噪音去除处理的执行与模板图像处理部分100中的相同。
下面，将说明评价矢量产生单元7后面的结构。如图1所示，在输入图 像处理部分200中，从评价矢量产生单元7输出的输入图像的评价矢量由正 交变换单元8进行傅立叶变换并输出到压缩单元9。
压缩单元9压缩已经进行了傅立叶变换的评价矢量，并将其输出到乘法 单元10。本处，压缩单元9将要处理的目标压缩到与压缩单元4相同的频带 (如，在此实施例中为如x和y各自方向上的低频侧的一半)。
压缩单元9当然可以在数据量小时或不需要高速处理时省略，压缩单元 9当在模板图像处理部分100中省略压缩单元4时也同样可以省略。
下面说明乘法单元10和其后的其他结构。当在模板图像处理部分100 中和输入图像处理部分200中的处理完成时，乘法单元10输入来自记录单元 5和压缩单元9的模板和输入图像的每个评价矢量的傅立叶变换值。
其后，记录单元5按照公式9进行积和计算，并输出结果(即相似值L 的傅立叶变换值)到反向正交变换单元11。
反向正交变换单元11使相似值L的傅立叶变换值进行反向傅立叶变换， 并向图处理单元12输出相似值L的图L(x，y)。图处理单元12从图L(x， y)提取一个高值点(峰值)，并输出其位置和值。图处理单元12和其后的结 构可以在必要时自由安排。
下面参照图4和图5说明图2的模板图像的处理示例。如果输入图像如 图4(a)所示，边提取单元6提取如图4(b)所示的x方向上的边分量，并 提取如图4(c)所示的y方向上的边分量。
作为前述的处理的结果，获得了如图5(a)所示的相似值图L(x，y)。 本处，指示为“最大值”的箭头的前端是本图的峰值，通过与图5(b)的输 入图像相比较很显然，可知可以仅仅通过一个点清楚地识别正确的点。
在传统技术中，必须通过积的倍数，即2AB来进行计算，以便连续地在 输入图像上扫描模板图像并获得每个位置的公式1的ρY0，其中输入图像的大 小为A(＝2γ)，模板图像的大小为B。本处，计算的次数由所述积的倍数计 算，计算量大。
相反，在本实施例中，FFT被正交变换单元3和8执行了两次，然后积 和计算由乘法单元10执行，反向FFT由反向正交变换单元11执行了一次。 计算的次数为仅仅是积的3{(2γ-4)A+4}+2A倍。
在计算次数的比较中，按照本实施例的积的计算次数变为按照传统技术 的积的计算次数的1/00，如果A＝256×256＝216，B＝60×60。结果，可以进行 不寻常的高速处理。
傅立叶变换的离散相关定理不可以被用在传统技术的公式1这样的非线 性公式中。
因此，在传统技术中，对于模板图像的处理不能先于对本实施例中的图 1所示的输入图像的处理而执行。换而言之，在传统技术中，模板图像和输 入图像必须同时处理。也是在这个方面，本实施例的处理速度变得比传统技 术要高。
(实施例2)
在该实施例中，共轭压缩单元13和共轭恢复单元14被添加到图1的元 件中，如图9所示。共轭压缩单元13通过利用傅立叶变换的复共轭属性而进 一步减半已经从记录单元5读取的模板图像的评价矢量的傅立叶变换值。
这一方面将得到说明。下面的公式建立用于通过实数傅立叶变换获得的 频谱。
【公式13】
$\tilde{A}(u,v)=\tilde{A}{(-u,-v)}^{*}$
详细而言，在uv坐标系统中特定点的频谱值与该点相对称的位置的频谱 值的复共轭相等。此特性的使用使得有可能减少uv坐标系统的一半的处理 量，如图10(a)所示。
由于压缩单元4和压缩单元9进一步压缩了数据量，数据量可以减少到 原始数据的1/8，如图10(b)所示。因此，处理速度可以提高，存储容量可 以节省。
结果，在本实施例中，共轭压缩单元13从记录单元5读取的傅立叶变换 值被减半，并被输出到乘法单元10。其后，共轭恢复单元14执行处理，通 过此从乘法单元10的输出被加倍，并将其输出到反向正交变换单元11。
这些构成了本发明的基本原理。下面说明应用这些基本原理的有用技术。
(实施例3)
在本实施例中，将说明第一示例和第二示例。在每个示例中都说明了通 过使用放大的/缩小的模板图像进行脸提取的技术。按照此技术，可以有效高 速地执行利用大小不同的类似模板的处理。本技术的应用不仅限于脸提取。
「第一示例」
图11(a)是按照本发明的实施例3(第一示例)的模板图像处理部分的 框图。如图所示，对图1或图9的模板图像处理部分100作了一些改进。
首先，当模板图像被输入到模板图像处理部分101时，该图像被放大/ 缩小单元15放大/缩小。其后，被放大/缩小的模板图像被输出到边提取单元1。
当评价矢量产生单元2输出模板图像的评价矢量时，加法单元16对此进 行加法处理，由此加法处理获得的数据被输出到正交变换单元3。
加法单元16按照下面的公式执行对每个尺寸范围的加法处理。
【公式14】
模板图像的评价矢量
$\tilde{V}=(V_X(x,y),V_Y(x,y))$
$V_X(x,y)=\underset{i=a}{\overset{b}{\Sigma }}{V}_{\mathrm{xi}}(x,y)$
$V_Y(x,y)=\underset{i=a}{\overset{b}{\Sigma }}{V}_{\mathrm{Yi}}(x,y)$
其中大小范围为a～b。
虽然图像处理通过使用实施例1和2中的模板图像来执行，但是具有多 个尺寸的模板通过使用本实施例中的多个模板来处理。
而且，每个模板的大小被分离到一个特定范围中，模板处理结果被叠加 在其上。
图12示出了包括人的脸图像的输入图像的示例。在此示例中，提供了不 显现表情的脸的模板图像，如图13(a)所示。还提供了以特定角度倾斜的脸 的模板图像，如图13(d)所示。可以适当地选择所提供的脸的倾斜角度。
当图13(a)和图13(d)的模板图像的边被提取时，在本实施例中可分 别获得如图13(b)和图13(e)所示的形状。而且，当输入图13(a)或图 13(d)的图像时，产生了与边图像相对应的评价矢量，如图13(c)或图13 (f)所示。
同实施例1和2相同，有关模板图像的数据被存储在记录单元5中。
当输入输入图像时，在输入图像处理部分200和乘法单元10的处理过程 后面的处理过程以与实施例1和2相同的方式进行。
对于模板图像的所有尺寸范围的被叠加的模板数据计算了相应的相似值 图。
因此获得了如图14所示的检测结果。从图14显然可见，可以识别不仅 脸的整个位置而且其大小和主要脸部分诸如眼、鼻和嘴的的位置。
此时，期望在图处理单元12后续的阶段在显示器上显示如图14所示的 处理结果或将其输出到打印机。
按照第一示例，可以获得下面的效果。
(1)即使在特定尺寸范围中的模板数据被添加，并且图像处理对分层的 模板进行，与模板类似的部分经常显出高的相似值。因此，当计算所有尺寸 的相似值时，积和计算部分的处理和反向正交变换部分的处理必须被重复进 行NM次，其中N是模板的数量，M是所有尺寸的数量。另一方面，利用叠 加的模板使处理的数量达到NM/H，其中H是叠加范围的宽度。因此，可以 实现有效性的改进，图像处理可以对于例如脸提取高速地执行。
(2)此外，眼、鼻和嘴的粗略候选范围不仅可以通过输出脸的位置数据 来提取，也可以通过在如图14所示的脸候选位置上叠加模板来提取。
诸如眼、鼻和嘴的脸部分的位置也可以通过在这些范围中更细地处理图 像而更精确地被提取，如下面的实施例所述。
「第二示例」
在此示例中，模板图像处理部分102的结构如图11(b)所示。即，与 第一示例相比，加法单元16的位置被移动到压缩单元4和记录单元5之间。 因此，加法单元16用来进行按照下面公式的加法处理。
【公式15】
${\tilde{V}}_X(u,v)=\underset{i=a}{\overset{b}{\Sigma }}{\tilde{V}}_{\mathrm{Xi}}(u,v)$
${\tilde{V}}_Y(u,v)=\underset{i=a}{\overset{b}{\Sigma }}{\tilde{V}}_{\mathrm{Yi}}(u,v)$
其中大小范围为a～b。
在进行傅立叶变换之前为线性的相似值公式在变换后仍然为线性。因此， 加法单元16的位置可以例如从第一示例变到第二示例。
因此，由于目标被压缩单元4压缩，因此通过加法单元16处理的目标可 以比第一示例中的有所减少。因此处理速度可以被适当地提高。
(实施例4)
参照图15和16说明实施例4。此实施例公开了用于将实施例1和2中 说明的相似值图的最大点的值变为更强的峰值的一种有效的技术。
一般，在相似值图中，峰值出现在叠加模板图像的部分。在此实施例中， 包括最大点及其周围的峰值图案(peak pattern)“P”被用作相似值图的过滤 器，在相似值图中与峰值图案类似的部分的值被放大。
如图15所示，在此实施例中，峰值图案处理部分300被添加到示出实施 例1的图1中的结构中。
图16示出了峰值图案的遮蔽(mask)。如图16所示，在峰值图案中， 进行了正规化以将平均值设定为0。
在峰值图案处理部分300中，正交变换单元17使此峰值图案进行傅立叶 变换，压缩单元18压缩傅立叶变换值以便将压缩的数据记录到记录单元19 中。
由于使用了遮蔽，相似值公式不是由公式8而是由下面反映遮蔽的公式 建立。
【公式16】
$\tilde{M}(u,v)=\tilde{L}(u,v){\tilde{P}}^{*}$
峰值图案低频谱
L(u，v)：过滤前的相似值
M(u，v)：过滤后的相似值
因此，乘法单元10从记录单元5、记录单元19和压缩单元9读取数据， 然后执行积和计算，并输出由峰值图案校正的相似值的傅立叶变换值。
峰值图案过滤器可以按照下面公式过滤相似值图L，但是，如果如此， 则会低效率地存在大量积和计算。
【公式17】
$M(x,y)=\underset{l}{\Sigma }\underset{m}{\Sigma }p(l,m)L(x+l,y+m)$
相反，在此实施例中，按照公式16执行简单准确的处理，而不用进行象 公式17那样的大量积和计算。
因此，按照此实施例，相似值图的峰值点可以有效地放大。另外，与模 板类似的部分可以在反映峰值图案的同时清楚稳定地从输入图像检测出来。
(实施例5)
在此实施例中，在模板图像范围中的像素平均值以及输入图像的边和模 板图像的边之间的相似值被添加到相似性判断中。
此结构示于图17。与图15一样，遮蔽图案处理部分400被添加到实施 例1的图1的结构中。
然而，图17的结构与图15的不同之处在于，遮蔽图案处理部分400不 是被用于输入峰值图案而是用来输入模板图像，并在于遮蔽图案产生单元20 被提供来产生依赖于此图像的遮蔽图案。
与图15一样，遮蔽图案产生单元20的输出由正交变换单元21进行傅立 叶变换，然后被压缩单元22压缩，并记录到记录单元23中。
而且，由于使用了遮蔽，相似值公式不是表达为公式8，而是下面反映 遮蔽的公式。
【公式18】
$Q(x,y)=L(x,y)+\underset{l}{\Sigma }\underset{m}{\Sigma }q(l,m)I(x+l,y+m)$
Q(x，y)：增加像素平均值的相似值
q(l，m)：遮蔽图案
L(x，y)：过滤前相似值
I(x，y)：输入图像数据
因为实施例4中所述的同样原因，如果乘法也以这种方式执行的话，将 低效率地需要大量积和计算。
公式19通过将此进行傅立叶变换而获得，计算可以非常简单地执行。
【公式19】
$\tilde{Q}(u,v)=\tilde{L}(u,v)+{\tilde{q}}^{*}(u,v)\tilde{I}(u,v)$
因此，乘法单元10按照公式19执行积和计算。
下面，将参照图18说明在模板图像和遮蔽图案之间的关系。本处，为了 向相似性判断添加模板图像范围的像素平均值，遮蔽图案产生单元20产生用 于如图18(a)所示的模板图像的如图18(b)所示的遮蔽图案。
更详细而言，在图18(a)的模板图像中，1/N的值被设定在要计算像素 平均值的内部部分(在圆内)的每个点，其他点被设定为0。本处，N是内 部部分的点的数量，遮蔽图案的所有点的值的相加结果为1。
按照此实施例，图像内的像素值的平均值也可以被添加到相似值，特定 的目标可以从输入图像更精确和有效地提取。
每个像素的平方值的平均值可以被计算以便形成其中由输入图像处理部 分对输入图像的每个像素进行平方的数据，并且进行相同的处理。
因此，在范围中的分布值以及平均值可以有效地被计算。
(实施例6)
此实施例公开了一种技术，通过它可以有效地处理相对于模板图像的双 向对称图像。
此结构如图19所示。即，除了实施例1的图1的结构外，在记录单元5 和乘法单元10之间提供了对称矢量产生单元24。如实施例1一样，公式8 在此实施例中被用作相似值公式。
下面，将说明如何处理双向对称模板图像。例如，如果图20(a)的模 板图像是原始图像，则其中原始模板图像已经双向倒换的模板图像如图20(b) 所示。
这些模板图像的边法线方向矢量之间的关系由下面公式表达。
【公式20】
使原始模板图像双向倒换产生的图像的边法线方向矢量
${\overrightarrow{T}}^{\prime }=({T^{\prime }}_x(x,y),{T^{\prime }}_y(x,y))$
T′x(x，y)＝-Tx(-x，y)
T′v(x，y)=Ty(-x，y)
已经双向倒换的模板图像的评价矢量由下面公式表达。
【公式21】
$\overrightarrow{W}=(W_x(x,y),W_y(x,y)):{\overrightarrow{T}}^{\prime }$的评价矢量
$\overrightarrow{V}=(V_x(x,y),V_y(x,y)):\overrightarrow{T}$的评价矢量
Wx(x，y)＝2T′x 2-1＝2(-Tx(-x，y))2-1＝2Tx(-x，y)2-1＝Vx(-x，y)
Wy(x，y)＝2T′xT′y＝2(-Tx(-x，y))Ty(-x，y)＝-2Tx(-x，y)Ty(x，y)＝-Vy(-x，y)
关于傅立叶变换，因为公式22的关系式，公式23通过将公式22应用到 公式21而得到。
【公式22】
$f\left(x\right)=g(-x)\Rightarrow \tilde{f}\left(u\right)=\tilde{g}(-u)$
【公式23】
${\tilde{W}}_X(u,v)={\tilde{V}}_X(-u,v)$
${\tilde{W}}_Y(u,v)=-{\tilde{V}}_Y(-u,v)$
详细而言，已经进行了双向倒换的模板图像的评价矢量可以容易地通过 例如倒换原始模板图像的评价矢量的正负而产生。
因此，已经进行了双向倒换的模板图像的评价矢量可以仅仅通过使对称 矢量产生单元24将公式23应用到图19的记录单元5中的原始模板图像的评 价矢量来获得。
当简单假设时，没有必要进行复杂的处理，如其中由图20(a)的图像 产生图20(b)的图像的处理过程，评价矢量再一次从图20(b)的图像计算。
因此，可以不需要直接计算来产生已经进行了双向倒换的模板图像的评 价矢量，处理速度得到提高。另外，因为不需要特意存储已经进行了双向倒 换的模板图像。因此可以节省记录容量。
(实施例7)
在此实施例中，眼/眉候选范围可以按照实施例3中说明的处理从图22 (a)的输入图像粗略提取。
图23(a)至23(d)所示的点双列相关系数过滤器被应用到此眼/眉候 选范围的图像的每个点，于是形成点双列相关值的图，图中相关值变高的点 被分别设定为眼中心点3002和眉中心点3003。
点双列相关系数η通过下面公式定义(参考：现代数学，第十七页，多 变量分析手册)。
【公式24】
$\eta =\frac{\overline{x_1}-\overline{x_2}}{S}\sqrt{\frac{n_1}{n}(1-\frac{n_1}{n})}$
全部范围：将第一范围添加到第二范围
n1：第一范围的像素数量
n：全部范围的像素数量
第一范围的平均亮度水平
第二范围的平均亮度水平
S：整个范围的标准偏差
当遮蔽尺寸固定时_内的数值恒定。
参见图23(a)至23(d)，图23(a)示出了所有范围的位置关系，图 23(b)示出了全部范围遮蔽，图23(c)示出了第一范围遮蔽，图23(d) 示出了第二范围遮蔽。
如果过滤器的形状按照此点双列相关系数形成为如图23(a)所示，则 应该可以提取眉中心3002和眼中心3003，如图22(c)所示。
下面，将说明按照点双列相关系数的过滤器处理。
首先，公式24的主要分量由下面公式表达。
【公式25】
$\overline{x_1}=\mathrm{\Sigma I}(x+i,y+j)M1(i,j)$
$\overline{x_2}=\mathrm{\Sigma I}(x+i,y+j)M2(i,j)$
x＝∑I(x+i，y+j)Ma(i，j)
$\overline{x^2}=\mathrm{\Sigma J}(x+i,y+j)\mathrm{Ma}(i,j)$
其中，
J(x，y)＝I2(x，y)
$\overline{x_1}-\overline{x_2}=\mathrm{\Sigma I}(x+i,y+j)(M1(x,y)-M2(x,y))$
M1：第一范围遮蔽
M2：第二范围遮蔽
Ma：全部范围遮蔽
I(x，y)：输入图像的每个像素值
下面的公式通过将每个分量进行傅立叶变换而得到。
【公式26】

【公式27】
$\frac{~}{x}=\tilde{I}\widetilde{{M_a}^{*}}$
【公式28】
$\frac{~}{x^2}=\tilde{J}\widetilde{M_a^{*}}$
其中
J(x，y)=I2(x，y)
为了执行这些处理，形成例如图21的结构。首先，全部范围、第一范围 和第二范围的每个遮蔽由正交变换单元51至53进行傅立叶变换。
输入图像和实施例3中说明的脸提取的结果被通过图处理单元12输入到 眼/眉候选范围提取单元54。基于这些输入，眼/眉候选范围提取单元54从图 22(a)仅仅提取图22(b)所示的眼/眉候选范围。有关此眼/眉候选范围的 数据由正交变换单元55进行傅立叶变换而没有任何变化，并由平方单元56 进行平方，然后由正交变换单元57进行傅立叶变换。
其后，公式27所示的数据通过乘法单元58被输入到η图形成单元65 之前的反向正交变换单元62。同样，公式26所示的数据被通过乘法单元60 输入到反向正交变换单元63，公式28所示的数据被通过乘法单元61输入到 反向正交变换单元64。输入数据由反向正交变换单元62至64进行反向傅立 叶变换并输出到η图形成单元65。
其后，当从反向正交变换单元62至64接收到数据时η图形成单元65 按照公式24进行计算，并输出点双列相关系数的图η(x，y)。
眼/眉中心提取单元66从η图形成单元65输出的点双列相关系数的图η (x，y)提取具有高值的两个点，并将它们分别输出作为眼中心和眉中心。
以此结构，乘法必须被执行大约15×15×N＝225N次，其中“15×15”(像 素)是图23(a)的过滤器大小，N是输入图像的像素数量。
相反，按照此实施例，积计算的次数是大约N+[(2γ-4)N+4]×5+12N+N+N ＝5N(2γ-1)+20次。为了方便，_的计算被假设为与一个乘法处理相同。
即，在γ为22或更小的条件下，(此实施例的计算)＜(传统技术的计算 量)。
通常，不使用N为222或更多的大型图像。因此，可知本实施例的图像 处理在计算次数上小于传统处理，比传统技术执行得要快。
因此，按照本实施例，点双列相关系数过滤器处理可以更有效地执行。
可以通过不同地改变图23(a)至图23(d)所示的遮蔽来计算其他脸部 分的位置，如眼角、嘴边、鼻孔和虹膜。
(实施例8)
此实施例公开了一种技术，用于扩展按照实施例3的脸提取的功能，并 从脸图像提取作为脸部器官的嘴范围。
如参照图14的实施例3中所述，图25(b)中的嘴候选范围可以从图25 (a)的输入图像提取。
当被提取的嘴候选范围被投射到Y轴上时(即当像素值的总和h沿着X 轴绘制时)，可得到如图25(c)所示的粗略的图。
总和h由下面的公式定义。
【公式29】
$h(x,y)=\underset{i=x-w/2}{\overset{x+w/2}{\Sigma }}I(x+i,y)$
I(x，y)：输入图像的每个像素值
w：嘴候选范围的宽度
h(x，y)：投影值
为了有效地利用正交变换获得此总和，提供了如图25(d)所示的遮蔽。 公式29可以重新写为包括此遮蔽的下面的公式。
【公式30】
$h(x,y)=\underset{i=x-w/2}{\overset{x+w/2}{\Sigma }}I(x+i,y)=\underset{i,j}{\Sigma }m(i,j)I(i+x,j+y)$
m：遮蔽
当进行傅立叶变换时，可获得下面的公式。
【公式31】
$\tilde{h}(u,v)=\tilde{m}{(u,v)}^{*}\tilde{I}(u,v)$
即，获得此投影值要求将输入图像和遮蔽图案进行傅立叶变换，因此执 行公式31的计算，并将结果进行反向傅立叶变换。因此，可以获得投影值“h” 的图“h(x，y)”。
从上述结果，可取的是形成例如图24所示的结构。如图24所示，输入 图像和遮蔽图案由正交变换单元25和26分别进行傅立叶变换。
其后，变换值由乘法单元27相乘，并由反向正交变换单元28进行反向 傅立叶变换。作为结果，获得了投影值的图h(x，y)。
所获得的图h(x，y)由投影数据提取单元29处理，最大点提取单元30从 此图计算两个最大点，并输出在此两个最大点之间的范围作为嘴范围。
遮蔽图案当然可以预先进行实施例1中的傅立叶变换，如果是这样，则 处理性能可以集中在输入图像的处理上，处理速度可以得到提高。
按照此实施例，脸部器官嘴的位置(更具体地说，上下嘴唇的位置)可 以被精确地计算。
(实施例9)
此实施例公开了一种技术，用于扩展按照实施例3的脸提取的功能，并 按照本实施例的第一和第二示例将预定的处理施加到脸图像。
「第一示例」
在此示例中，数字水印被嵌入到所提取的脸图像中。即，形成了图26 的结构。结果使用部分600被提供到图11的图处理单元12的后续阶段。
结果使用部分600包括脸图像切分单元31，用于参照输入图像和由图处 理单元12确定的脸位置将输入图像分离成脸图像和非脸图像。脸图像部分从 脸图像切分单元31输出到数字水印嵌入单元32，预定的数字水印被嵌入脸 图像部分。本处，此数字水印可以是公知的。
另一方面，不包括脸图像的部分从脸图像切分单元31直接输出到图像合 成单元33。
图像合成单元33将嵌入了数字水印的脸图像与不包括脸图像的部分结 合起来，并输出嵌入了数字水印的图像。
因此，对于例如图27(a)的输入图像，获得了其脸部分嵌入了数字水 印的图27(b)的输出图像。
要拍摄的模特的姓名或拍摄日期适合于作为数字水印。
按照此示例，水印数据可以集中和容易地嵌入到易于被伪造的脸部分。
「第二示例」
在此示例中，仅对提取的脸图像进行具体的编辑。即，形成图28的结构。 结果使用部分601被提供在图11的图处理单元12的后续阶段。
结果使用部分601包括脸图像切分单元31，用于参照输入图像和由图处 理单元12确定的脸位置将输入图像分离成脸图像和非脸图像。脸图像部分从 脸图像切分单元31输出到图像校正单元34，并对脸图像部分进行预定的编 辑。本处，此编辑可以是公知的。
另一方面，不包括脸图像的部分从脸图像切分单元31直接输出到图像合 成单元33。
图像合成单元33将经过编辑的脸图像与不包括脸图像的部分结合起来， 并输出经过编辑的图像。
因此，对于例如图29(a)的输入图像，获得了其中脸部分已经被提取 如图29(b)、并且仅脸部分已经被编辑如图29(c)的输出图像。
在一个逆光拍摄的人的图像中，脸部分的图像可以被校正以便脸色变得 白，因为脸太黑难于辨认。然而，在由图像校正单元34进行的编辑中，这样 的图像可以任意地校正。
按照本示例，仅仅脸部分的图像可以被容易地和有选择地校正，或换而 言之，可以不影响不包括脸的部分而进行图像校正。
「第三示例」
在此示例中，被提取的脸图像被校正以便容易看出。即，形成图30的结 构。首先，结果使用部分602被提供在图11的图处理单元12之后。
结果使用部分602包括脸图像切分单元31，用于将输入图像分离成脸图 像和非脸图像。切分出的脸图像部分被输出到脸内部范围提取单元35和图像 校正单元34。
按照实施例3中所述的处理过程，脸内部范围提取单元35计算利用模板 所切分出的脸图像的诸如眼、鼻和嘴的主要脸部分的位置，并提取脸内部图 像(即，位于整个脸内的图像)。在此实施例中，脸内部图像是在具有预定大 小并且中心位于脸中心(如鼻中心)的矩形范围内的图像。然而，可以改变 矩形范围的大小，并且中心可以位于稍稍偏离脸中心。
被提取的脸内部图像被输出到图像特征提取单元36。图像特征提取单元 36计算用于校正脸图像的有用特征。在此示例中，图像特征提取单元36计 算脸内部图像的亮度分布，并将其结果以亮度频率曲线的形式输出到校正函 数确定单元37。图像特征提取单元36当然可以将亮度频率曲线中的亮度最 大值和最小值输出到校正函数确定单元37。
参照从图像特征提取单元36输入的特征，校正函数确定单元37确定一 个校正函数，通过它脸内部图像的对比变得更清楚，并向图像校正单元34输 出此校正函数。
在此示例中，图像特征提取单元36输出如上所述的亮度频率曲线，因此 校正函数确定单元37计算校正函数，以便频率曲线中出现的最小亮度达到动 态范围的最小亮度，并且以便最大亮度达到动态范围中的最大亮度。其后， 校正函数确定单元37将校正函数输出到图像校正单元34。
图30的亮度频率曲线的水平轴表示亮度值，可知仅使用了可以表达亮度 的一部分动态范围。因此，校正函数确定单元37确定校正函数以便充分利用 动态范围，因此图像校正单元34可以校正脸图像以便该图像可以容易辨别， 或更具体地说，以便它看起来能够具有足够的灰度。作为校正的结果，脸图 像必然容易观看，虽然可能有其中除脸图像的部分变白或变黑的情况。
本处，由于校正函数基于仅仅脸内部图像被确定，校正从不会被非脸部 分误导。因此，在校正后，可以保证脸的可视性得到改善。
虽然图30示出了仅对切分出的脸图像进行校正的图，但是类似的校正也 可以对整个输入图像进行。
此外，作为要被图像特征提取单元36寻求的特征，表示图像的明/暗的 指数比如亮度可以被如上所述使用。此外，可以使用平均色度或平均色调。
如果使用了平均色度，校正函数确定单元37可以向图像校正单元34输 出例如色度放大系数；并且如果使用了平均色调，校正函数确定单元37可以 向图像校正单元34输出例如色调旋转角。
本处，当使用平均色度作为特征时，苍白的脸图像可以校正得生动，当 使用平均色调时，不太红的脸可以被校正的更红。在任一情况下，脸图像可 以变得更自然。此外，可以使用亮度、平均色度或平均色调的两个或多个的 组合作为特征。
虽然参照附图说明了本发明的优选实施例，应当了解本发明不限于这些 明确的实施例，本领域的技术人员在不脱离在所附权利要求书中公开的本发 明的范围和精神的情况下，可以进行各种改进和变化。