自动聚焦控制方法、自动聚焦控制器和图像处理器

1.一种自动聚焦控制方法，包括：
图像获得步骤，在镜头和对象间的距离中的彼此不同的多个聚焦位置处 获得对象的各个图像数据；
估计值计算步骤，根据所述获得的各个图像数据来为所述多个聚焦位置 中的每一个计算聚焦估计值；
焦点位置计算步骤，计算作为焦点位置的聚焦位置，在此位置处所述聚 焦估计值达到最大值；
移动步骤，相对于所述对象，将所述镜头相对地移动到所述计算出的焦 点位置；
其特点在于，所述自动聚焦控制方法还包括：
图像平滑步骤，平滑所述获得的图像数据；
平均亮度计算步骤，计算所述获得的图像数据的屏幕平均亮度，其中：
所述聚焦估计值是通过根据所述经过平滑的图像数据计算的原始聚焦估 计值除以所述计算的屏幕平均亮度而得到的最终聚焦估计值。
2.根据权利要求1的自动聚焦控制方法，其特点在于：在所述估计值计 算步骤中，根据在所述获得的图像数据中的相邻像素之间的亮度数据差来计 算所述最终聚焦估计值。
3.根据权利要求1的自动聚焦控制方法，其特点在于：在所述焦点位置 计算步骤中，根据所述计算出的最终聚焦估计值的最大值和多个邻近的最终 聚焦估计值来计算所述焦点位置。
4.根据权利要求1的自动聚焦控制方法，其特点在于：在所述图像获得 步骤中，在连续改变所述镜头和对象间的距离时，在所述多个聚焦位置处获 得所述各个图像数据。
5.根据权利要求1的自动聚焦控制方法，其特点在于：并行地进行所述 图像获得步骤和所述估计值计算步骤。
6.根据权利要求1的自动聚焦控制方法，其特点在于：用紫外光作为光 源来照明所述对象。
7.根据权利要求1的自动聚焦控制方法，其特点在于：将所述获得的图 像数据划分成多个区域，并对所述每个划分区计算所述焦点位置。
8.根据权利要求7的自动聚焦控制方法，其特点在于：在所述多个划分 区中，在所述各个划分区的焦点位置处，通过合成图像来获取所述对象的全 焦距图像。
9.根据权利要求7的自动聚焦控制方法，其特点在于：在所述多个聚焦 位置中，在所述各个划分区的焦点位置处，通过合成图像来获取所述对象的 三维图像。
10.一种自动聚焦控制设备，包括：
估计值计算装置，用于根据在镜头到对象之间的距离中的彼此不同的多 个聚焦位置处获得的各个图像数据，计算多个聚焦位置的聚焦估计值；
焦点位置计算装置，用于根据所述计算出的聚焦估计值的最大值来计算 焦点位置；
其特点在于，所述自动聚焦控制装置还包括：
图像平滑装置，用以平滑所述获得的图像数据；和
平均亮度计算装置，用于计算所述获得的图像数据的屏幕平均亮度； 以及
特征在于：所述聚焦估计值是通过根据所述平滑处理过的图像数据计算 的原始聚焦估计值除以所述计算的屏幕平均亮度而得到的最终聚焦估计值。
11.根据权利要求10的自动聚焦控制装置，其特点在于：所述估计值计 算装置包括边缘增强装置，用于计算在所述获得的图像数据中相邻像素之间 的亮度数据差。
12.根据权利要求10的自动聚焦控制装置，其特点在于：所述焦点位置 计算装置根据所述计算出的最终聚焦估计值的最大值和多个相邻的最终聚焦 估计值来计算所述焦点位置；
13.根据权利要求10的自动聚焦控制装置，其特点在于：包括全焦距图 像合成装置，用于使用所述获得的图像数据来合成所述对象的全焦距图像。
14.根据权利要求10的自动聚焦控制装置，其特点在于：包括三维图像 合成装置，用于使用所述获得的图像数据来合成所述对象的三维图像。
15.根据权利要求10的自动聚焦控制装置，其特点在于：用电路板安装结 构来建造，其中，所述估计值计算装置、所述焦点位置计算装置、所述图像 平滑装置，以及计算所述图像数据的屏幕平均亮度的平均亮度计算装置作为 单个或多个装置安装在一个电路板上。
16.根据权利要求15的自动聚焦控制装置，其特点在于：用于控制驱动 装置的驱动控制器件安装在所述电路板上，其调节所述镜头和对象间的距离。
17.根据权利要求15的自动聚焦控制装置，其特点在于：用单个现场可 编程门阵列FPAG来构建所述估计值计算装置、所述图像平滑装置和所述平 均亮度计算装置。
18.一种图像处理设备，包括：图像获得装置，在镜头和对象间的距离中 的彼此不同的多个聚焦位置处获得对象的各个图像数据；估计值计算装置， 根据所述各个获得的图像数据来对所述多个聚焦位置计算聚焦估计值；焦点 位置计算装置，根据所述计算出的聚焦估计值的最大值来计算焦点位置；和 移动装置，相对于所述对象将所述镜头相对地移动到所述计算出的焦点位置；
所述图像处理设备的特征在于包含：
图像平滑装置，用于平滑所述获得的图像数据；和
平均亮度计算装置，用于计算所述获得的图像数据的屏幕平均亮度； 和
特征在于，所述聚焦估计值是通过根据所述经过平滑处理过的图像数据 计算出的最初聚焦估计值除以所述计算的屏幕平均亮度而得到的最终聚焦估 计值。
19.根据权利要求18的图像处理装置，其特征在于：所述估计值计算装 置包括边缘增强装置，用于计算在所述获得的图像数据中相邻像素之间的亮 度数据差。
20.根据权利要求18的图像处理装置，其特征在于：所述焦点位置计算 装置根据所述计算的最终聚焦估计值的最大值和多个相邻的最终聚焦估计值 来计算所述焦点位置；
21.根据权利要求18的图像处理装置，其特征在于：包括全焦距图像合 成装置，用于使用所述获得的图像数据来合成所述对象的全焦距图像。
22.根据权利要求18图像处理装置，其特征在于：包括三维图像合成装 置，用于使用所述获得的图像数据来合成所述对象的三维图像。

技术领域
本发明涉及例如一种自动聚焦控制方法、自动聚焦控制设备和图像处理 设备，它们都适合用在通过视频摄像机来对对象样品进行图像拍摄、观察和 检查的设备中，尤其能够通过消除光学系统的影响而实现稳定的自动聚焦操 作。
背景技术
迄今，已用聚焦估计值来进行图像的自动聚焦控制，该聚焦估计值是通 过根据对象样品(工件)的图像数据来估计和量化聚焦程度而得到的。也就是 说，在镜头与对象之间的不同距离处收集样品的图像数据并计算关于各个图 像数据的聚焦估计值，以便找出适合的聚焦位置。
图21示出了镜头到工件的距离(水平轴)和聚焦估计值(垂直轴)之间的 关系。这个关系是在以恒定的间隔改变镜头到工件的距离时通过加载图像并 计算和标绘各个图像的聚焦估计值而得到的。在曲线图上的最大聚焦估计值 为聚焦的位置，即，最佳的聚焦位置(焦点位置)。下面将聚焦估计值相对镜头 到工件的距离的关系图称之为“聚焦曲线”。
在常规技术中，已经设计了在预定的查找范围内改变镜头到工件的距离 并将图中的聚焦估计值的最大值定为最佳的聚焦位置，或者根据在最大值前 后的聚焦估计值来计算最佳聚焦位置。聚焦估计值使用了亮度的最大值、亮 度的导数、亮度的离差、亮度导数的离差，等等。将爬坡法或类似方法认作 是根据最大聚焦估计值来找到最佳聚焦位置的算法，此外，为了减少查找时 间，将查找操作分为许多步骤的方法也已投入实用(已公开的日本专利申请 书Nos.Hei 6-217180和2002-333571，以及日本专利出版物No.2971892)。
随着目标工件的小型化，对于运用这种聚焦技术的检查设备而言，也要 求更大地改进其分辨率。采用短波长/单波长的照明光源能够改进分辨率。 尽管单波长的结构能够避免色差或类似因素的影响，然而，短波长的结构能 够提高光学分辨率。
然而，存在这样的一个问题，这就是要用在光路上的诸如镜头的光学材 料的种类会受到照明光源的短波长结构的限制，并且，斑点之类的影响会由 于单波长结构而出现。斑点就是这样的状态，即，屏幕的亮度以斑点的形式 分布，并根据光源的波长或光学系统的结构呈现一种独特的灰度级分布模式。
在这些影响之下出现了一种情况，如图22所示，这就是形成了聚焦曲线， 受光学系统影响的部分具有比在最佳聚焦位置的聚焦估计值更大的值。聚焦 曲线的形状和数值范围并非单独由诸如反射率之类的物体表面状态决定。因 此，在上述的情况下，根据聚焦估计值的最大值寻找聚焦位置的常规技术不 能够稳定地找到最佳的聚焦位置。
鉴于上述的问题，提出了本发明，本发明的目的在于，提供一种自动聚 焦方法、自动聚焦控制设备和图像处理设备，它们都能通过消除光学系统的 影响而实现稳定的自动聚焦操作。
发明内容
为了解决上述的问题，根据本发明的自动聚焦控制方法包括：图像获得步 骤，用于在镜头到对象的距离中的彼此不同的多个聚焦位置处获得对象的各 个图像数据；估计值计算步骤，用于根据获得的各个图像数据来对多个聚焦位 置计算聚焦估计值；焦点位置计算步骤，用于计算作为焦点位置的聚焦位置， 在此位置上聚焦估计值之一达到最大值；移动步骤，相对于对象将镜头相对 地移动到计算出的焦点位置。该自动聚焦控制方法对获得的图像数据进行平 滑处理，并根据平滑处理过的图像数据来计算聚焦估计值。
也就是说，亮度的灰度级分布是由于单波长、由光斑(speckle)而引起 的。由于这个缘故，在本发明中，为了减少灰度级分布模式，增加了图像平 滑处理。通过图像平滑处理，能掌握目标样品(对象)的特征，并在减少光斑的 灰度级分布模式的同时，最佳地计算聚焦估计值。
在图像的平滑处理期间，可以根据对其施加处理的光学系统的种类和对 象样品的表面特性等来适当地设置处理条件，譬如，要处理的像素的数量(单 元处理的范围)、滤光(filtering)系数、处理的次数以及是否有加权，等等。
此外，在计算聚焦估计值期间，检查在获得的图像数据中的相邻像素之 间的亮度的差是否合适，并且能使用例如边缘增强技术，该技术提取在特征 和轮廓部分的像素之间的亮度数据的变化。
在计算聚焦估计值期间，在同一目标区中的聚焦位置之间，如果存在亮 度的不均匀性，那么，在相邻像素之间，亮度数据差的绝对值就会起变化， 以致于不能最佳地计算聚焦估计值。由于这个缘故，为了避免这个问题，将 计算出的估计值除以整个屏幕的平均亮度并用屏幕的平均亮度来对聚焦估计 值标准化是合适的。
此外，在上述的自动聚焦控制操作期间，能增加这样的功能，即，根据 在多个聚焦位置上获得的各个样品图像的聚焦估计值来合成对象的全焦距 (omnifocal)图像或三维图像。这个处理将在各个聚焦位置上获得的每个图 像在屏幕上分为多个区域，并根据对于每个分划区上得到的聚焦估计值和聚 焦位置信息来执行。在此情况下，由于消除了光学系统的影响，就能够用超 级分辨率来检查和观测具有三维结构的对象的表面。
根据本发明的自动聚焦控制设备包括估计值计算装置，其根据在镜头到 对象间的距离中的彼此不同的多个聚焦位置上获得的各个图像数据来对多个 聚焦位置计算各个聚焦估计值；还包括焦点位置计算装置，其根据计算出的 聚焦估计值的最大值来计算焦点位置；还有图像平滑装置，其对获得的图像 数据进行平滑处理。该自动聚焦控制装置根据由图像平滑装置平滑处理过的 图像数据来计算各个图像数据的聚焦估计值。
通过与图像获得装置和驱动装置结合，可将根据本发明的自动聚焦设备 建造为单个的图像处理装置，所述图像获得装置在多个聚焦位置上获得对象 的各个图像数据，所述驱动装置调节镜头到对象的距离，或者，也可以将该 自动聚焦设备构造为独立于图像获得装置和驱动装置的分离结构。
根据本发明，由于可能通过消除光学系统的影响来稳定地进行高精度的 自动聚焦，因此，能使用短波长/单波长光学系统来实现样品观测，从而能 实现大规模集成电路上微造的半导体晶片等的高分辨率观测。
附图说明
图1是根据本发明的第一实施例的图像处理设备1的结构示意图。
图2是说明控制器7的结构方块图。
图3是图像处理设备1的操作流程图。
图4是说明图像处理设备1的另一个操作例子的流程图。
图5是说明本发明的一个操作的聚焦曲线的例子，FC1示出了在执行使 用聚焦估计值来进行图像平滑处理和亮度标准化时得到的例子，FC2示出了 在只进行图像平滑处理时得到的例子，FC3示出了常规的例子。
图6是说明了在聚焦估计值的最大值附近用曲线近似法来计算焦点位置 的方法的图。
图7是示出了施加到镜头驱动部分4的电压和镜头的实际移动电压之间 的关系的示意图。
图8是说明了加载样品图像和计算聚焦估计值的并行处理方法的图。
图9示出了本发明的第二实施例，并说明了将屏幕分成为多个区域并在 各个划分区中检查焦点位置的方法。
图10是本发明的第三实施例的程序流程图。
图11是用在本发明的第三实施例的存储器的结构图。
图12是说明全焦距图像获得步骤的流程图。
图13示出了本发明的第四实施例，并说明通过在聚焦轴方向上组合样品 图像的焦点位置来获得三维图像的方法。
图14是说明合成三维图像的方法的流程图。
图15是功能方块图，该图示出了根据本发明的第五实施例的自动聚焦控 制设备的第一结构例。
图16是功能方块图，该图示出了根据本发明的第五实施例自动聚焦控制 设备的第二结构例。
图17是功能方块图，该图示出了根据本发明的第五实施例自动聚焦控制 设备的第三结构例。
图18是功能方块图，该图示出了根据本发明的第五实施例自动聚焦控制 设备的第四结构例。
图19是示意图，该图示出了根据本发明的第五实施例的自动聚焦控制设 备的第五结构例。
图20A和20B是方块图，它们分别示出了对图像处理设备1的驱动系统 的结构的修改。
图21示出了聚焦曲线的例子，该聚焦曲线示出了在镜头到工件的距离 (聚焦位置)和聚焦估计值之间的关系。
图22是用于说明常规技术中的问题的视图。
具体实施方式
以下，参照附图来详细说明本发明的实施例。
(第一实施例)
图1是图像处理设备的结构示意图，在此设备上采用了根据本发明的实 施例的自动聚焦控制方法和自动聚焦控制设备。用图像处理设备1来进行对 象样品(工件)的表面观测，该图像处理设备是作为用以进行如像半导体晶片之 类的器件结构的缺陷检验的显微镜而专门建造的，其是通过在其表面上进行 微机械加工而制成的。
在图像处理设备1上装有测量平台2、物镜3、镜头驱动部分4、镜头筒 5、CCD(电荷耦合器件)摄像机6、控制器7、驱动器8、监视器9和照明光 源10。
测量台2是建造来支托对象样品(例如，半导体晶片)W并在X-Y方向 上(在图1中，在左右方向上并在垂直于图页面的方向上)移动。
在预定的聚焦位置查找范围内、在聚焦轴的方向上(图1中的垂直方向 上)，镜头驱动器4相对于对象样品W在测量平台2上通过相对地移动物镜3 而对镜头到工件的距离进行可变的调节。在本发明中，镜头驱动部分4对应 于“驱动装置”。
在本实施例中，用压电器件来建造镜头驱动部分4，但是也能采用其它 器件，例如，脉冲电动机之类的精密馈送装置。可以在聚焦轴的方向上合适 地移动物镜3以便调节镜头到工件的距离，另外，也可以在聚焦轴的方向上 合适地移动测量平台2。
CCD摄像机6起着视频摄像机的作用，它通过在聚焦位置查找范围内移 动的物镜3来捕获在测量平台2上的对象样品W表面的特定区域的图像，并 将获得的图像数据输出到控制器7中。CCD摄像机6和物镜3、镜头驱动部 分4以及镜头筒5一起构成了本发明中的“图像获得装置”。除了CCD，也 可能应用固态图像时取装置，例如CMOS成像器。
控制器7是由计算机构成的，它控制图像处理设备1的全部操作，并装 备有自动聚焦(AF)控制部分11，用以检查对象样品W表面的特定区域上的 最佳聚焦位置(焦点位置)。在本发明中，自动聚焦(AF)控制部分11对应于 “自动聚焦控制设备”。
驱动器8接收来自自动聚焦(AF)控制部分11的控制信号并产生驱动信 号，用以驱动镜头的驱动部分4。在本实施例中，用具有磁滞补偿功能的压电 驱动器来构成驱动器8。也能将驱动器8组合到自动聚焦控制部分11中。
自动聚焦控制部分11通过驱动器8来驱动镜头驱动部分4，并通过CCD 摄像机6在多个聚焦位置上获得对象样品W的图像数据，所述聚焦位置是通 过以恒定的间隔来改变在物镜3和对象样品W之间的距离(镜头到工件的距 离)而得到的，该自动聚焦控制部分11还进行以下将要说明的各种处理，以 便检测在对象样品W的图像捕获区中的最佳聚焦位置，即，焦点位置。
监视器9显示由控制器7处理的内容，并显示由CCD摄像机6捕获的对 象样品W的图像等。
在本实施例中，用连续的激光器或波长为196nm的脉冲激光光源作为照 明光源10。照明光源的波长范围不限于上述的紫外范围，当然，根据用途也 能使用其它不同的紫外光波长范围的光源或在可见光波长范围的光源。
图2是图像处理设备1的结构的方块图。用A/D转换器13将从CCD摄 像机6输出的模拟图像信号转化为数字图像信号。将A/D转换器13的输出 信号提供给存储器14并保存于其中。控制器7的自动聚焦控制部分11读取 来自存储器14的、经过转换的数字图像信号，并进行下面将要说明的自动聚 焦控制。然后，驱动器8根据由控制器7通过D/A转换器17提供的控制信 号来产生镜头驱动部分4的驱动信号。
自动聚焦控制部分11装有平滑电路11A、平均亮度计算电路11B、估 计值计算电路11C和焦点位置计算电器11D。
平滑电路11A是这样的电路，它对在多个聚焦位置上分别获得的对象样 品W的每个图像信号(样品图像)的自动聚焦目标区域(整个屏幕或屏幕中的部 分区域)进行平滑处理，在本发明中对应于“图像平滑处理装置”。自动聚焦 控制部分11减少了由平滑电路11A所获得的每个样品图像的亮度的点状分布 (光斑)。在公式1中示出了平滑处理的例子。
[公式1]
$\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)/16$
此外，在一定的范围内可以任意设置图像平滑化处理的条件，所述范围 是指不会让由CCD摄像机6捕获的对象W表面的特征或轮廓部分的原始细 节受到损失的范围，所述处理条件包括要处理的像素的数量(在上面的例子中 为3×3)、滤光系数、处理次数、是否存在加权、如何选择加权系数，等等。 这些处理条件可以通过诸如键盘、鼠标或触摸板之类的输入设备来设置。
平均亮度计算电路11B是这样的电路，它计算每个样品图像的自动聚焦 目标区的屏幕平均亮度，在本发明中对应于“平均亮度计算装置”。由平均亮 度计算电路11B在每个聚焦位置上得到的屏幕平均亮度用于计算在下面要说 明的估计值计算电路11C中的每个聚焦位置上的聚焦估计值Pv。
估计值计算电路11C是这样的电路，它计算每个样品图像的聚焦估计值 Pv，在本发明中对应于“估计值计算装置”。在本实施例中，在估计值计算电 路11C的结构中包含边缘增强电路。
在本实施例中，“聚焦估计值”一词是指代表清楚可见图像的特征部分和 轮廓(contour)部分的状态的数值估计指数。如像特征部分的像素和轮廓部 分的像素之间的亮度数据的变化看出的那样，清晰的图像呈现明显的变化， 而模糊的图像则呈现缓和的变化。由于这个缘故，在本实施例中，通过使用 边缘增强来故居在相邻像素间的亮度数据的差别而计算聚焦估计值Pv，或者， 也可以根据亮度的导数、亮度的离差等来计算聚焦估计值。
在实际处理的例子中，对所获得的图像的所有像素进行公式2所示的运 算，从而发现在每个像素和周围像素之间的亮度数据的差。在此公式中，前 项检测在垂直方向上的亮度的变化，而后项检测在水平方向上的亮度的变化。 因此，能够只提取在估计点与其周围各点之间的亮度变化，而不管要处理的 像素的亮度。
[公式2]
$\left\{\left|\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right|+\left|\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right|\right\}\times 1/2$
在此例子中，要处理的像素区是3×3，但是也可以设为5×5，7×7等。 此外，尽管该系数被加权，但是，系数设置方式是随意的，并且，不用加权 也能进行处理。
在计算聚焦估计值Pv时，在计算了上述的边缘增强公式之后，用屏幕平 均亮度来进行除法处理，该平均亮度是由平均亮度计算电路11B在相应的聚 焦位置上计算的。具体地说，每个样品图像的聚焦估计值Pv是边缘增强电路 获得的聚焦估计值Pvo除以在相应的聚焦位置上得到的屏幕平均亮度Pave而 求出的值，如[公式3]所示。
[公式3]
Pv(i)＝Pvo(i)/Pave(i)
在[公式3]中，Pv(i)是根据在第i个聚焦位置上的标准化亮度的聚焦估计 值，Pvo(i)是在第i个聚焦位置上的聚焦估计值，Pave(i)是在第i个聚焦位置 上的屏幕平均亮度。
此外，如[公式4]所示，也可以通过将在[公式3]中得到的计算值乘以屏 幕的平均亮度的最大值Pavemax来计算聚焦估计值Pv。照此方式，补偿了由 于根据平均亮度的相除而减少(在数量上减少)的聚焦估计值，因而，能够参照 后面的聚焦曲线容易地看到聚焦估计值的定量变化。此外，用于相乘的屏幕 平均亮度并不限于最大值，以及也可以是最小值等。
[公式4]
Pv(i)＝[Pvo(i)/Pave(i)]×Pavemax
相应地，通过将在边缘增强期间计算出的估计值除以屏幕平均亮度而求 出的值用作为聚焦估计值(Pv)的原因在于，聚焦估计值与估计点(像素)和它周 围像素之间的亮度的差的大小相关，因此，如果在所得到的图像之间亮度存 在不均匀性，屏幕平均亮度(将构成屏幕的各个像素的亮度的总和除以屏幕像 素的总数而得到的亮度值)就会出现变化，所以，必须避免最后得到的计算出 的指数的绝对值的变化。
假设，来自周围像素的亮度的差例如为20％。对于50的平均亮度，20％ 的亮度差变为10，对于100的平均亮度，则变为20。相应地，即使在相同变 化比率的情况下，该绝对值根据原始的屏幕平均亮度发生极大的变化。在诸 如普通的可视显微镜之类的光学系统中，这个问题并不会变得十分严重，但 是，在诸如紫外光显微镜的光学系统中，这个问题就变得很明显了。
由于这个原因，在本实施例中，为了对付这样的屏幕亮度的变化，用屏 幕平均亮度(Pave)来对在边缘增强期间计算的每个聚焦估计值进行标准化，以 便能够防止屏幕亮度的变化对聚焦估计值的影响。也就是说，通过将聚焦估 计值除以相应的屏幕平均亮度而得到的每个值用作为聚焦估计值，以使得在 屏幕平均亮度为50和亮度差为20％的情况下，聚焦估计值变为0.2(10/50)，并 且，在屏幕平均亮度为100和亮度差为20％的情况下，聚焦估计值也变为 0.2(20/100)，即，两个聚焦估计值彼此相符。因此，可以消除在聚焦位置之 间亮度的变化对聚焦估计值的影响。
焦点位置电路11D是这样的电路，其根据在估计值计算电路11C中计算 出的聚焦估计值的最大值来计算聚焦位置，并且在本发明中对应于“焦点位 置计算装置”。
通常，图像自动聚焦控制装置通过在镜头到工件的距离中的彼此不同的 多个聚焦位置上获得样品图像，并通过检查在得到最大聚焦估计值的样品图 像的聚焦位置来确定聚焦位置。相应地，样品图像的数量越大(样品间的焦点 位移量越小)，自动聚焦控制就能越精确。另一方面，样品数量的增加会导致 处理所需的时间的增加，以致难于保证自动聚焦控制的高速性能。
由于这个缘故，在本实施例中，如图6所示，根据计算出的聚焦估计值 的最大值Pv(m)和多个相邻的聚焦估计值[Pv(m-1)、Pv(m+1)、Pv(m-2)、 Pv(m+2)、Pv(m-3)和Pv(m+3)]来检测最佳聚焦位置(焦点位置)。
如图6所示，焦点位置的邻近区域近似于一个向上凸起的二次方程曲线。 因而，可以按照最小平方法并利用焦点附近的点来计算近似的二次方程曲线， 从而找到作为焦点位置的顶点。在图6中，实线是根据三个点(Pv(m)、Pv(m-1)、 Pv(m+1))近似计算出的曲线，虚线是根据五个点(Pv(m)、Pv(m-1)、Pv(m+1)、 Pv(m-2)和Pv(m+2))近似计算出的曲线，锁线是根据七个点(Pv(m)、Pv(m-1)、 Pv(m+1)、Pv(m-2)、Pv(m+2)、Pv(m-3)和Pv(m+3))近似计算出的曲线。鉴 于这个事实：曲线以不同的程度展开，但是，各个顶点的位置是大致相同的， 由此可知，图6所示的方法尽管是简单的处理，但是，它是有效的近似法。
上述的曲线近似法并非是限制性的，也可用另一种方法(共线近似法)来 检测焦点位置，此法是通过计算两条直线的交叉点的方法来找到焦点位置的， 这两条直线是通过Pv(m)和Pv(m+1)两个点的一条直线和通过另外Pv(m-1) 和Pv(m-2)两个点连成的一条直线，还可用其它的近似方法，例如，正态分 布曲线近似法。
再回到图2，对于控制器7的CPU的各种操作使用了存储器15。具体地 说，将存储器15的存储空间分配给第一存储部分15A和第二存储部分15B， 以供自动聚焦控制部分11中的各种操作之用。
在本实施例中，为了保证自动聚焦控制的高速性能，在连续改变镜头到 工件间距离的同时，在多个聚焦位置上分别获得样品图像。因此，与在每个 聚焦位置上停止镜头是获得图像的情况相比，有可能增加自动聚焦控制的速 度。
图7示出了由驱动器8引导到镜头驱动部分4的电压和镜头驱动部分4 的实际位移电压之间的关系。在由压电器件构成的镜头驱动部分4上装配有 用于位置控制的移动量检测传感器。在图7中示出的实际移动电压是该传感 器的监测信号。在镜头移动到自动聚焦控制起始位置之后，以CCD摄像器6 的一个视频信号帧的周期、根据预定量来改变引导电压(directed voltage)，引 导电压和实际移动电压的比较显示，尽管观察到了响应延迟，但是，镜头的 移动是平滑的，并且，在逐渐增加的范围内，随着引导电压梯级(step)的平 坦，两个曲线的倾斜度是大致相同的。从这个事实可以看出，，相对于与相 同速度对应的引导电压，镜头以相同的速度操作。因此，如果按照与图像同 步信号同步的方式来获得样品图像，就能在聚焦轴坐标上按照恒定的间隔来 计算并获得聚焦估计值。
此外，在本实施例中，为了增加自动聚焦操作的速度，并行地进行样品 图像获得处理和聚焦估计值计算处理。
在将图像数据加载到第一存储部分15A中时，能够通过双缓冲以前加载 在第二存储部分15B中的处理图像数据并计算聚焦估计值Pv来实现这些处 理。在本例子的情况下，在第一存储部分15A中处理在每个偶数帧期间加载 的图像数据，同时在第二存储部分15B中处理在每个奇数帧期间加载的图像 数据。
下面将参照图3并来说明按上述方式构成的本实施例的图像处理设备1 的操作。图3是自动聚焦控制部分11的处理流程图。
首先，输入初始设置，例如，对象样品W的自动聚焦处理区、对象样品 W的聚焦位置查找范围、要获得的图像样品之间的聚焦移动量(聚焦轴步进长 度)、图像平滑处理条件，和边缘增强条件(步骤S1)，然后，执行自动聚焦控 制。
在镜头驱动部分4的驱动下，物镜3从自动聚焦控制起始位置开始沿着 聚焦轴的方向(在本实施例中是朝向对象样品W的方向)移动，并与图像同 步信号同步地获得对象样品W的样品图像(步骤S2和S3)。然后，获取所获 得的样品图像的聚焦轴坐标(镜头到工件的距离坐标)(步骤S4)。
之后，进行聚焦估计处理(步骤S5到S8)，该处理是由获得的样品图像的 屏幕平均亮度计算、图像平滑处理、边缘增强和亮度标准化构成的。
由平均亮度计算电路11B来进行屏幕平均亮度计算步骤(步骤S5)。在下 面的步骤中，用计算出的屏幕平均亮度来计算聚焦估计值。也可以在平滑处 理步骤(步骤S6)之后进行屏幕平均亮度计算步骤。
在平滑处理电路11A中处理图像平滑步骤(步骤S6)。例如，在图像平滑 处理步骤中，可用[公式1]所示的运算公式来进行图像平滑。在此步骤中，从 所获得的样品图像中消除由于光源的单波长模式而引起的光斑的影响。
用估计值计算电路11C来执行边缘增强步骤(步骤S7)。在此步骤中，根 据在前面的平滑步骤(步骤S6)中平滑处理过的样品图像，并用上述的[公式 2]所示的边缘增强公式来计算在特征部分和轮廓部分的像素之间的亮度数 据的差，并获得计算出的差值作为聚焦估计值的基本数据。
然后进行亮度标准化步骤(步骤S8)，以便根据屏幕平均亮度来对在步骤 S7中计算出的聚焦估计值实行标准化。用估计值计算电路11C来执行这个步 骤。在图3所示的例子中，通过在前的边缘增强步骤(步骤S7)得到的聚焦估 计值(Pvo(i))除以在屏幕平均亮度计算步骤(步骤S5)中得到的屏幕平均亮度(P ave(i))来计算[公式3]中的、根据标准化的亮度的聚焦估计值Pv(i)。
上述的步骤S2到S8构成了自动聚焦循环(AF循环)。在AF循环中，对 在每个聚焦位置上获得的样品图像执行与上述的处理类似的处理。
在本实施例中，如上所述，CCD摄像机6按照预定的取样周期、用由镜 头驱动部分4连续驱动的物镜3来捕获对象样品W的图像，并且，并行地处 理图像获得步骤(步骤S3)和聚焦估计值计算步骤(步骤S8)(图6和图7)。因此， 在计算在前获得的样品图像的聚焦估计值的同时，能够获得下一个样品图像， 从而，可以用视频信号的一个帧作为周期来计算聚焦估计值，并且能够提高 自动聚焦操作的速度。
在物镜3的总移动长度达到满查找范围时，就结束AF循环，并执行每 个获得的样品图像的聚焦估计值乘以屏幕平均亮度的最大值(Pavemax)的处 理(步骤S9和S10)。结果，每个样品图像的聚焦估计值Pv就变成为相当于由 上述的[公式4]所示的运算公式求出的情况。
注意的是，如图4的流程图所示，在边缘增强步骤中计算了聚焦估计值 之后，可以完成AF循环，并且，如图4中的步骤S10A所示，在完成AF循 环之后，通过使用[公式4]所示的运算处理，可以用屏幕平均亮度来对所有的 样品图像进行聚焦估计值的标准化。结果，在此情况下，也能实现与图3所 示的例子相似的处理。
在图5中，实线表示通过平滑处理(图3中的步骤S6)和亮度标准化(图3 中的步骤S8)而得到的聚焦曲线(FC1)，锁线表示只进行平滑处理而不进行使 用屏幕平均亮度的标准化而得到的聚焦曲线(FC2)。为了比较起见，用虚线表 示图22所示的常规聚焦曲线(FC3)。
由图5可见，根据本实施例，能极大地改善受光学系统影响的区域并产 生将作为最佳的聚焦位置(焦点位置)检测的明显的聚焦估计值的峰值。因 此，即使在短波长和单波长的光学系统中，也能实现稳定又准确的自动聚焦 操作。
此外，由于只通过平滑处理样品图像就能够改善受光学系统影响的区域， 因此，若有必要，可以省略亮度标准化的步骤(在图3中的步骤S3)。然而， 通过进行亮度标准化步骤，可以进一步地改善受光学系统影响的区域，从而 能够实现非常准确的聚焦位置的检测。
然后，进行焦点位置计算步骤(步骤S11)。用焦点位置计算电路11D来 进行焦点位置计算处理。在聚焦位置计算中，如参照图6所述，找到了一些 近似曲线，这些曲线通过了包含聚焦估计值的最大值和多个邻近的聚焦估计 值在内的一些点，以便检测顶点，并将该顶点定为聚焦位置。
因此，与至今广泛应用的爬坡法相比，能够有效地、高度准确地检测焦 点位置，从而能极大地提高自动聚焦操作的速度。
另一方面，在沿着图6的水平轴的镜头到工件的距离被设置为全部的查 找范围时，如果操作期间能够确定物镜3已通过聚焦位置，那么，在Pv(m+3) 之后的任何一个点上获得图像就成为不必要的了，因此，可以大大地缩短操 作时间。作为确定物镜是否通过了焦点位置的技术，存在让物镜通过超过某 个聚焦估计值的坡而获取近似计算法所必须的样品数量的方法，(所述聚焦估 计值是作为参数给出的或者是从过去的聚焦操作的结果中学习的)。
最后，进行将物镜3移到聚焦位置的步骤(步骤S12)，并完成本实施例 的自动聚焦控制。
如上所述，根据本实施例，通过消除短波长和单波长光学系统的影响， 有可能稳定地进行高度准确的自动聚焦控制，因此，能够以高分辨率来观察 和检查在半导体晶片的表面上形成的微结构。
(第二实施例)
下面将要说明本发明的第二实施例。
当进行最小模式宽度的微小型化(处理规则)时，新近的半导体晶片开始 在其高度方向上采用更多的三维结构。具有较短波长的光源需要较浅的聚焦 深度，并且不利于减少具有大的高度差的物体的可聚焦部分的数量。如果在 屏幕中存在高度差，并且不同的表面可在不同的高度上聚焦，就必须进行有 效的聚焦操作，以确定“要聚焦在什么地方”，例如，要用样品的哪一个表面 来作为基准表面。然而，根据聚焦估计值来求得最佳聚焦位置的常规的自动 聚焦控制方法有一个缺点，这就是不能对所想要的部分聚焦。
为了解决这个问题，下面将说明一个方法，该方法采用本发明的自动聚 焦控制方法，并能允许屏幕中存在高度差的样品的任意表面上进行聚焦。在 上述的第一实施例的说明中，用了一个例子作为参照，其中，在获得的样品 图像的全部区域(或部分区域)上计算聚焦估计值。在本实施例中，如图9所示 的例子，将获得的样品图像分成为多个区域并计算聚焦估计值，以便计算出 各个划分区Wij(i，j＝1到3)的焦点位置。
在计算各个划分区Wij的聚焦估计值时，执行用与上述的第一实施例相 似的屏幕平均亮度来执行图像平滑和标准化。因而，能够高度准确地检测聚 焦位置而不受光学系统的影响。
通过上述处理，得到了与各个划分区Wij对应的聚焦曲线。此时，在一 个划分区的焦点位置与另一个划分区的焦点位置不同的情况下，将会变得明 显的是，在两个区域之间存在焦点平面的高度差，从而能通过指定参数来进 行有效聚焦操作，在确定聚焦位置时对这个参数赋予优先级。
参数的例子如下。
1.在最短的镜头到样品的距离的目标(样品的最高位置)。
2.在最长的镜头到样品的距离的目标(样品的最低位置)。
3.屏幕上的特定位置。
4.根据屏幕划分结果、按照多数决定的最佳聚焦位置(比较有特征的部 分)。
此外，尽管已参照图9说明了屏幕划分的数量为3×3(即，9)的例子， 但是，该屏幕划分的数量并非是限制性的。当屏幕划分的数量增加是，能够 得到更为详细的信息。此外，所划分的屏幕可以彼此重叠，也可以根据使用 条件动态地改变屏幕划分的数量。
如上所述，根据本实施例，在确定目标样品的聚焦位置时，通过指定什 么要赋予优先级，能满意地处理有效的聚焦操作，该操作能够确定“要聚焦 在什么地方”。
(第三实施例)
下面将要说明本发明的第三实施例。在说明此实施例时，引用了一个方 法，这就是根据获得的图像数据并用根据本发明的自动聚焦控制方法，来合 成对象样品的全焦距图像。
在正常的光学系统的情况下，如果通过其观察超过光学系统的聚焦深度 的三维物体，则不能看到整体的聚焦图像，因此，不能达来检查或观测的目 的。试图用以下两个方法来解决这个问题，方法之一是使用诸如共焦光学系 统之类的特殊光学系统来得到整体聚焦的全焦距图像，方法之二是根据三角 学从不同角度的图像得到整体聚焦的图像，但是，由于需要使用特殊的光学 系统，因而都不能便宜地实现以上两个方法。
另一方面，提出了在分级地获得图像之后合成物体的图像的方法(已公开 的日本专利申请No.2003-281501)。然而，仍然存在一些问题，例如，要用于 合成的图像信息的容量、合成处理的时间，以及在获得多个图像之后才能够 得到结果，等等。
为了解决这些问题，在本实施例中，在执行上面的第一实施例所描述的 自动聚焦控制方法的处理中，获取对象样品W的全焦距图像。在图10中示 出了控制流程。在用相应的屏幕平均亮度对获得的图像的聚焦估计值(取样点) 进行标准化的步骤(步骤8)之后，增加图像合成步骤(步骤S8M)。
其它的步骤与在上述的第一实施例的描述中提到的处理流程(图3)的对 应步骤相似，并用相同的附图标记标出相应的步骤，在此不再对其加以说明。
在图像合成时，如在上述的第二实施例中所提及的，将获得的样品图像 划分成多个区域(图9)，并合成与各个划分区Wij相应的图像。注意的是，屏 幕划分的数量并不是特意限定的，并且，当屏幕划分数量增加时，能够进行 更加细致的处理。将每个划分区的大小能够定标到一个像素单位。此外，每 个划分区的形状并不只限于方形，也可改为环形等。
如图11所示，作为存储器15(图2)，除了用于处理在偶数帧期间加载的 图像数据的第一存部分15A以及处理在奇数帧期间加载的图像数据的第二存 部分15B外，还准备了用于全焦距处理的第三存部分15C，。第三存部分15C 上设置有合成图像数据的存储区15C1、15C2和15C3，存储区15C2用于存 储构成合成图像的每个划分区Wij上的高度(镜头到工件的距离)信息，存储区 15C3则用于存储在每个划分区Wij上的聚焦估计值信息。
在合成对象样品的全焦距图像时，在镜头到工件的距离中的彼此不同的 多个聚焦位置上获得样品图像，并且在每个样品图像上计算各个划分区Wij 的聚焦估计值，以及在从划分区Wij中提取相对独立并具有最高聚焦估计值 的图像之后，就进行合成整个图像的处理。
按照上述的方式构建本发明的“全焦聚图像合成设备”。参照图10所示 的处理流程图，通过与使用在上述的第一实施例中类似的技术，在每个划分 区Wij的单元中，对所获得的样品图像执行步骤S1到S8的处理，然后处理 进行步骤S8M的图像合成步骤。
图12示出了步骤S8M的细节。在开始自动聚焦操作之后，用第一获得 的图像来初始化第三存部分15C(步骤a和b)。也就是说，在步骤b中，将第 一图像复制到合成图像数据存储区15C1中，并在高度信息存储区15C2中填 上第一数据，以及将聚焦估计值复制到存储区15C3，以便存储划分区Wij的 聚焦估计值信息，从而初始化第三存部分15C。
在第二个和其后的每个处理中，对每个划分区Wij，相互比较获得的图 像的聚焦估计值和合成图像的聚焦估计值(步骤c)。如果获得的图像的聚焦估 计值较大的情况下，复制该图像，并更新与复制图像相应的高度信息和聚焦 估计值信息(步骤d)。反之，在获得的图像的聚焦估计值较小的情况下，不进 行更新。根据屏幕划分的数量来重复这个操作(步骤e)。照此方式，完成了一 个帧(33.3msec)的处理。
在自动聚焦控制序列的操作流程中，例如，在将偶数帧的图像数据加载 到第一存部分15A中时，对已经加载到第二存部分15B中的在前的奇数帧的 图像数据的每个划分区Wij进行上述的处理，并在第三存部分15C的相应的 存储区中复制或更新必要的数据和信息。
在本实施例中，上述的处理可以和第一实施例中说明的对象样品W的自 动聚焦控制一起进行，但是，也能独立地进行这个处理。
根据自动聚焦所必须的图像数量进行上述的程序，因此，在完成自动聚 焦操作时，能够为每个划分区Wij获取最佳的聚焦部分、在这部分上的高度 信息和其聚焦估计值。相应地，对于每个划分区Wij而言，不仅能够在线和 实时地得到对象样品W的聚焦位置坐标，而且还能够得到对象样品W的全 焦距图像和形状。
具体地说，如果在监视器9上显示复制到合成图像数据存储区15C1的 合成图像(图1)，那么，在全部的检索范围内，在物镜3的移动过程中，就能 够观察到每个划分区中的聚焦方式，因此，在自动聚焦操作中就能够容易地 掌握所显示的对象样品W的高度分布的状态。
进而，由于对象样品的全焦距图像是用本发明的自动聚焦控制方法来合 成的，因此，能通过消除短波长和单波长的光学系统的影响，来保证高度准 确的自动聚焦控制，从而，能够以高分辨率获得诸如半导体晶片的分级展开 的(hierarchically developed)结构的表面的全焦距图像。
(第四实施例)
作为本发明的第四实施例，以下将说明根据在自动聚焦操作期间获得的 图像数据来合成对象样品的三维图像的方法。
如上所述，图像自动聚焦操作在多个聚焦位置上获得样品图像并进行聚 估计。相应地，在本实施例中，能通过从获得的样品图像中提取多个聚焦部 分并将这些聚焦部分和与高度方向相关的信息相组合来合成三维图像。
如图13中的例子所示，对在自动聚焦操作中所获得的每个样品图像Ra、 Rb、Rc和Rd进行聚焦位置检测之后，提取聚焦的部分并将它们在高度方向 (聚焦轴方向)上彼此组合，从而能够合成结构R的三维图像。
根据本实施例的合成三维图像的方法的一个例子在图14的流程图中示 出。在图14中，用相同的附图标记标明与上述的第一实施例(图3)相应的 步骤，因此不再对其加以说明。
在本实施例中，在初始化步骤(步骤S1)之后，提供三维图像缓冲器清 空步骤(步骤S1A)。在步骤S1A中，在存储过去获得的三维图像的存储区上 进行初始化。然后，如同在上述的第一实施例中的情况那样，在多个聚焦位 置上获得对象样品的样品图像，以及对每个图像执行平滑处理，并通过边缘 增强计算聚焦估计值，根据相应的屏幕平均亮度来进行计算的聚焦估计值的 标准化(步骤S2到S8)。
在计算聚焦估计值之后，在屏幕中的每个点上，比较以往的数据和获得 的数据，以确定以往的数据和获得的数据中哪一个在聚焦位置中，如果获得 的数据在聚焦位置处理，就执行更新数据的处理(步骤S8A)。对每个样品图 像执行这个处理。
按照上述的方式来构成本发明中的“三维图像的合成装置”。注意的是， 在本实施例中，如像在上述的第二实施例中那样，将屏幕分为多个区域Wij， 以便对每个划分区执行上述的处理，但是，屏幕划分的数量并不是特地限定 的，也可以以像素单元执行该处理。
因此，根据本实施例，不仅能容易地获得有关对象样品W的最佳聚焦位 置信息，而且在完成自动聚焦控制之后，通过将多个聚焦样品的图像在高度 方向上彼此组合，也可能得到对象样品的表面的三维图像。
此外，由于是用根据本发明的自动聚焦方法来合成对象样品的三维图像， 因此，能通过消除短波长和单波长的光学系统的影响来确保高度准确的自动 聚焦控制，从而能以高分辨率获得诸如半导体晶片的分级展开结构的表面的 三维图像。
(第五实施例)
下面将说明本发明的第五实施例。
在上述的每个实施例的说明中，都引用了由用计算机作为核心的图像处 理设备1来实现根据本发明的自动聚焦控制方法的例子。这个结构多少有些 复杂，可能不满足简易聚焦的需要。这就是说，对于不需要后聚焦处理的各 种情况下，如果能够实现能用简单的硬件来执行根据本发明的自动聚焦控制 方法的算法，这样，就可以在很宽的应用范围内使用本发明，并且可将本发 明认为是对工业自动化的极大贡献。
相应地，在本实施例的说明中，引用了这样的自动聚焦控制设备的结构， 其能够实现上述的根据本发明的自动聚焦方法而不必使用计算机。如下面将 要提到的那样，可用视频信号解码器、由FPGA(Field programmable Gate Array) 代表的运算元件、设置存储存储器(setting storing memory)等来构成自动聚 焦控制设备，并且，如有必要，还使用诸如CPU(中央处理器)、PMC(脉冲 电动机控制器)和外部存储器之类的集成电路。这些部件安装在普通线路板 上，并用作单个电路板单元或含有电路板单元的封装组件。
(第一结构例)
图15是根据本发明的自动聚焦控制设备的第一结构示例的功能方块图。 所示出的自动聚焦控制设备31是由视频信号解码器41、FPGA 42、场存储器 43、CPU 44、ROM/RAM 45、PMC 46、I/F电路47构成的。
用于自动聚焦操作的视频信号是以NTSC格式编码的模拟图像信号，并 且该模拟图像信号由视频信号解码器41转化为数字图像信号，其包括水平/ 垂直同步信号、EVEN(偶数的)/ODD(奇数的)场信息和亮度信息。
FPGA 42是由若干运算元件构成的，用于在根据本发明的自动聚焦控制 流程(图3)中执行预定的计算处理，这些处理在上面的第一实施例中已经提 到过，在本发明中其与“图像平滑设备”、“边缘增强设备”、“估计值计算设 备”相对应。
FPGA 42从同步信号中提取屏幕中有效部分的信息以及由视频信号解码 器41数字化了的场信息，并将在有效部分上的亮度信息存储到场存储器43 中。与此同时，从场存储器43中依次读取数据，并对这些数据进行计算处理， 诸如滤光(图像平滑)处理、平均亮度计算、和聚焦估计值计算等。此外，还 可以根据FPGA 42的集成度将场存储器43、CPU 44和PMC 46的功能合并 到FPGA 42中。
场存储器43用于暂时存储场信息，以便处理以隔行形式输出的视频信 号，该场存储器43包含若干个帧，每个帧都是由偶数帧和奇数帧构成的。
CPU 44管理整个系统的操作，例如，通过使PMC 46和I/F电路47移动 用于支持对象样品的平台来改变镜头到工件的距离，并根据样品图像的聚焦 估计值来计算最佳聚焦位置(焦点位置)，在此，样品图像的聚焦估计值是在多 个聚焦位置上分别获得并由FPGA 42计算出来的。在该例子中，CPU44对应 于本发明中的“焦点位置计算装置”。
ROM/RAM 45用于存储供CPU 44用的操作软件(程序)和计算焦点位 置所必须的参数。ROM/RAM 45也可以包含于CPU中。
PMC 46是控制装置，用于驱动移动平台(stage)的脉冲电动机(未示出)， 并通过接口(I/F)电路47来控制平台。此外，通过I/F电路47将检测平台位 置的传感器的输出提供到PCM 46。
在按上述方式构成的自动聚焦控制设备31中，由CCD摄像机(未示出) 提供样品图像的视频信号。通过视频信号解码器41将该视频信号输入到 FPGA 42，并对输入的图像进行平滑处理、平均亮度计算、聚焦估计值计算。 在表示场结束(the end of a field)的同步信号的定时上，FPGA 42将聚焦估计 数据发送到CPU 44。
在场结束定时上，CPU 44获取聚焦平台的坐标，并用该坐标作为镜头到 工件间的距离。在按照本发明的自动聚焦操作所必须的次数来重复上述的处 理之后，CPU 44进行聚焦位置的计算。然后，CPU 44使平台移动到最佳聚 焦位置，并完成自动聚焦操作。此外，如有必要，执行屏幕划分功能、对象 样品的全焦距图像合成和/或三维图像合成等。
如果将按照上述的方式构成的本发明的自动聚焦控制设备有机地连接到 现有的聚焦轴移动设备(例如CCD摄像机、监视器和脉冲电动机)上，就可 能实现与上述的图像处理设备1相同的功能，因而，可能用简易的结构来实 行根据本发明的自动聚焦控制方法。相应地，在成本和安装空间方面，本发 明的自动聚焦控制设备也是极有优越性的。
(第二结构例)
图16是根据本发明的自动聚焦控制设备的第二结构例的功能图。用相同 的标号来标明与第一结构例子(图15)中相同的那些部分，不再对其进行详细 的说明。在本结构示例中，自动聚焦控制设备32是由视频信号解码器41、 FPGA 42、CPU 44、ROM/RAM 45、PMC 46和I/F电路47构成的。
上述的第一结构例的自动聚焦控制设备31适合于使用场存储器43并用 帧信息来进行控制，以便处理与电视机上的图像相似的隔行扫描图像。然而， 如果只考虑自动聚焦操作，就不需要使用帧信息，并且，还有一种只要求在 场单元中进行所需要的处理的情况。此外，这个事实提供了一些优点。
由于这个缘故，根据本发明的自动聚焦控制设备32具有这样的结构，其 中，取消了在第一结构例中的场存储器43。根据此结构，将信息传送到场存 储器的定时处理就成为不必要的了，因此，与上述的第一结构例相比，就能 在物理上和逻辑上实现简单的结构。此外，由于在场单元中能够进行聚焦测 定处理，因而也能提供各种其它的优点，例如，与在帧单元中进行处理的第 一结构示例相比，能够减少聚焦估计值的取样间隔。
(第三结构例)
图17是根据本实施例的自动聚焦控制设备的第三结构例的功能方块图。 用相同的附图标记标明与第一结构例子(图15)中相同的那些部分，在此不 再对其详加说明。在此结构例子中，自动聚焦控制设备是由视频信号解码器 41、FPGA 42、CPU 44、ROM/RAM 45、PMC 46、I/F电路47构成的。
在本结构例中的自动聚焦控制设备33配备有这样的结构，在此结构中， PMC 46的逻辑块含于FPGA42之中，并且，与上述的结构示例相比，PMC 46 的独立的逻辑电路是不必要的。根据该结构，PMC 46的独立的IC芯片也是 不必要的，因此能够减少电路板的尺寸和安装费用。
(第四结构例)
图18是根据本实施例的自动聚焦控制设备的第四结构例的功能方块图。 用相同的附图标记表示与第一结构例(图15)中相同的那些部分，在此不再 对其详加说明。在本结构示例中，自动聚焦控制设备34是由视频信号解码器 41、FPGA 42、CPU 44、ROM/RAM 45、AD(模拟到数字)/DA(数字到模拟) 电路48和I/F电路47构成的。
该结构例中的自动聚焦控制设备34是这样的一个例子，其中，聚焦平台 的驱动源是由模拟信号控制的压电平台构成的，而不是用脉冲电动机构成的， 并用AD/DA电路48来代替上述的第二结构例中的PMC 46。此外，可将 AD/DA电路48合并到CPU44中，在此情况下，就不需要提供作为外部电路 的AD/DA电路48。
在AD/DA电路48中，DA电路部分是将来自CPU44的引导电压(directed voltage)转换为模拟信号，而AD电路部分将来自用于检测压电平台移动位 置的传感器(未示出)的信号转变为数字信号，并将此数字信号反馈到CPU44 中。如果不需要进行这样的反馈控制，就可以省略AD电路部分。
(第五结构例)
图19示出了自动聚焦控制设备33的一个具体结构例，并以此作为本发 明的第五结构例，在此，该自动聚焦控制设备33构成了上述的第三结构例(图 17)。用相同的附图标记表示与图17所示的那些部分相应的部分，在此不再 对其详加说明。
在此结构示例中，自动聚焦控制设备34是由视频信号解码器41、FPGA 42、CPU 44、闪存45A、SRAM(静态随机存取存储器)45B、RS驱动器47A、 电源监视器电路51、FPGA初始化ROM 52以及多个连接器53A、53B、53C 和53D构成的，所有这些部件都安装在普通线路板50上。
闪存45A和SRAM 45B对应于上述的ROM/RAM 45，闪存45A存储CPU 44的运算问题以及自动聚焦操作初始化信息(例如聚焦移动速度和平滑处理 条件)，而SRAM 45B用于暂时存储在CPU 44中计算聚焦位置所必须的各种 参数。
RS驱动器47A是接口电路，它是与由连接器53A到53D连接的外部设 备通信所必须的。在该例子中，CCD摄像机与连接器53A相连，较高级别的 控制器或CPU与连接器53B相连。电源电路与连接器53C相连，聚焦平台 与连接器53D相连。在聚焦平台上装配有作为驱动源的脉冲电动机，在FPGA 42中合并了作为脉冲电动机的控制器的PMC。
如上所述，根据本结构例的自动聚焦控制设备35能够建造成为一种安装 在线路板上的结构，例如，在尺寸为100毫米的正方形板上，在该结构中， 将各种设备安装在单独的线路板50上，这些设备能够执行算法，以实现根据 本发明的自动聚焦方法。这个结构可能减少设备的成本并简化设备的结构。 此外，由于能够提高设备安装的自由度，因此，在没有用过自动聚焦控制设 备的工业现场，该设备能易于满足自动聚焦操作的现场需要。
虽然，上面已经说明了本发明的一些具体实施例，但是，本发明并不限 于任何具体实施例，并且能够根据本发明的技术概念以各种方式进行修改。
例如，在上述的第一实施例中，引用了在聚焦轴方向上移动物镜3以改 变镜头到样品的距离的结构。或者，支托样品的平台2是适合于移动的。
在上述的第一实施例中，由镜头驱动部分4来构建用于改变镜头到样品 的距离的驱动系统，而镜头驱动部分4是由压电器件及其驱动器8构成的。 该驱动系统并非是限制性的，也可以使用能够高度准确而又平稳地改变镜头 -样品间距离的其它各种驱动系统。
作为例子，图20A示出了用脉冲电动机20作为驱动源的例子。在此情 况下，驱动器21根据由脉冲电动机控制器22提供的控制信号来给脉冲电动 机20产生驱动信号。
此外，尽管镜头驱动部分4和脉冲电动机20都适合于由所谓的前馈控制 来驱动，但是，也可能使用另一个结构，在该结构中，提供了检测镜头位置 或平台位置的传感器，用于驱动源的反馈控制。
图20B示出了一个用反馈控制来控制驱动源的驱动系统的结构例。驱动 器24根据输出引导电路25提供的控制信号来产生驱动系统23的驱动信号。 在此情况下，可将圆筒单元(cylinder unit)、电动机或类似装置加到驱动系统 23上。可以用应变仪、电位计等来构成位置传感器26，并将其输出提供给加 载电路27。加载电路27根据位置传感器26的输出将位置补偿信号提供给输 出引导电路25，以便进行驱动系统23的位置校正。
在上述的每个实施例的说明中，都引用了一些例子，在这些例子中，由 CCD摄像机提供的视频信号是NTSC格式的，但是，也能用PAL(逐行倒相 彩色电视制)格式来处理视频信号。也能更换视频信号解码器部分来处理其 它的格式，例如，IEEE 1394和Camera Link(摄像机链接)。在此情况下，也 能将视频信号解码器电路的功能合并到FPGA 42中。
进而，也能将样品图像的聚焦估计值和聚焦位置连同样品图像一起显示 在监视器9(图1)上，在此，所述样品图像是通过执行根据本发明的自动聚 焦控制而得到的。在此情况下，可以分离地安装编码器电路，以便将这样的 信息转换为NTSC或类似制式并显示NTSC图像。该编码器电路也可以作为 自动聚焦控制设备的电路板安装组件之一来构成，在此，所述自动聚焦控制 设备具有上述的第五实施例中说明的结构。