图像处理设备和方法

1.一种图像处理设备，其特征在于包括：
缩小图像生成装置，用于从输入图像生成缩小图像；
校正信息获取装置，用于基于该缩小图像而获取输入图像的校正信息； 以及
灰度色标转换装置，用于转换输入图像的灰度色标；
其中，灰度色标转换装置使用校正信息来校正输入图像的对比度，作为 将在转换灰度色标之前和/或之后进行的处理。
2.根据权利要求1的图像处理设备，其特征在于还包括：
平滑装置，用于生成具有像素亮度Lc的平滑后的图像，所述像素构成 基于使用构成缩小图像的像素的内插计算而平滑化的输入图像，
其中，灰度色标转换装置基于构成图像的像素的亮度Lc、构成平滑后的 图像的像素的亮度L1、以及预定的增益值g而生成对比度校正后的图像。
3.根据权利要求1的图像处理设备，其特征在于还包括：
平滑装置，用于生成具有像素亮度Lc的平滑后的图像，所述像素构成 基于使用构成缩小图像的像素的内插计算而平滑化的输入图像；以及
增益值设置装置，用于设置用来校正对比度的增益值g；
其中，灰度色标转换装置基于构成输入图像的像素的亮度Lc、构成平滑 后的图像的像素的亮度L1、以及预定的增益值g而生成对比度校正后的图 像；以及
可以配置增益值设置装置，使得基于输入的初始增益值g0、基准增益值 1、以及使用第一亮度阈值Th1、第二亮度阈值Th2和构成输入图像的像素的 亮度Lc计算的衰减值attn(Th1，Th2，Lc)来设置增益值g。
4.根据权利要求1的图像处理设备，其特征在于还包括：
转换装置，用于通过基于转换函数而转换构成输入图像的像素的亮度 L，来生成色调转换后的图像；
平滑装置，用于通过使构成色调转换后的图像的像素的亮度Lc平滑化 而生成平滑后的图像；以及
增益值设置装置，用于基于表示转换函数的斜率γ的倒数1/γ的初始增 益值g0，来设置用于校正对比度的增益值g；
其中，对比度校正装置基于构成色调转换后的图像的像素的亮度Lc、构 成平滑后的图像的像素的亮度L1、以及增益值g，来生成对比度校正后的图 像；以及
增益值设置装置基于输入的初始增益值g0、基准增益值1、以及使用第 一亮度阈值Th1、第二亮度阈值Th2和构成色调转换后的图像的像素的亮度 Lc计算的衰减值attn(Th1，Th2，Lc)，来设置增益值g。
5.根据权利要求1的图像处理设备，其特征在于：
缩小图像生成装置通过将输入图像基于转换函数而转换成色调转换后 的图像、并缩小该色调转换后的图像的大小，来生成缩小图像；
校正信息获取装置获取包括转换函数的斜率的校正信息；以及
灰度色标转换装置基于缩小图像和转换函数的斜率，来校正色调转换后 的图像的对比度。
6.根据权利要求5的图像处理设备，其特征在于还包括：
保持装置，用于保持由缩小图像生成装置生成的缩小图像和由校正装置 获取的校正信息；
其中，保持装置保持对应于先前帧的图像的缩小图像和施加到先前帧的 图像上的转换函数的斜率，以及
灰度色标转换装置基于均保存在保持装置中的先前帧的缩小图像和转 换函数的斜率，来校正色调转换后的图像的对比度。
7.一种图像处理方法，其特征在于包括：
缩小图像生成步骤，用于从输入图像生成缩小图像；
校正信息获取步骤，用于基于该缩小图像而获取输入图像的校正信息； 以及
灰度色标转换步骤，用于转换输入图像的灰度色标；
其中，灰度色标转换步骤使用校正信息来校正输入图像的对比度，作为 将在转换灰度色标之前和/或之后进行的处理。

技术领域
本发明涉及一种图像处理设备和方法，特别涉及一种优选地适用于将具 有比常规动态范围更宽的像素值动态范围的宽动态范围图像转换为具有较窄 的像素值动态范围的窄动态范围图像，并增强对比度的图像处理设备和方法。
背景技术
传统地，诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)等 的固态成像元件已经广泛地用于诸如摄像机和静止照相机的成像仪器、以及 诸如FA(工厂自动化)中使用的元件检查设备的光测量设备、以及诸如ME(医 疗电子学)中使用的电子内窥镜的光测量设备。
近年来，提出了大量的技术，用于获得与使用这些固态成像元件的光学 胶卷照片相比具有宽像素值动态范围的图像(以下称为“宽DR图像”)。
另一方面，目前，诸如CRT(阴极射线管)和LCD(液晶显示器)的用于显 示运动图像和静止图像的显示设备、诸如投影仪的投影设备以及各种打印设 备尚未展宽其可支持的像素值的动态范围，并且仅有有限范围的可支持的亮 度灰度色标。因此，当前状态是：即使应该已经成功地拍摄了宽DE图像， 也没有能够如其所获得的来显示、投影或打印该图像的设备。
因此，有对这样的技术(以下称为“灰度色标压缩技术”)的需求：利用该技 术，使宽DR图像的像素值的动态范围变窄，或者换句话说，压缩亮度灰度 色标，使得产生适于显示设备等的动态范围的图像(以下称为“窄DR图像”)。
下面的段落将解释通常提出的灰度色标压缩技术。灰度色标压缩技术可 以通过重新分配宽DR图像的像素值的灰度色标，使得适合于可由显示设备 等支持的较窄的动态范围的灰度色标来简单地实现。
然而，如上所述，简单地将宽DR图像的像素值的灰度色标均等地重新 分配给窄动态范围，只造成图像整体的亮度变化减小，从而转换成对比度降 低的外观很差的图像。通常，提出了一些能够抑制对比度损失的灰度色标压 缩技术。以下将解释曾经提出的三种灰度色标压缩技术。
可作为第一灰度色标压缩技术来例示的技术涉及基于输入的宽DR图像 的亮度的直方图而自适应地确定灰度色标的重新分布规则(更具体地说，基于 输入图像的直方图而计算灰度色标转换曲线)。第一灰度色标压缩技术以图像 中的主要对象具有大比率的占用面积为前提，并用来确定灰度色标转换曲线， 使得将尽可能多的灰度色标分配给直方图中的峰值周边的亮度值，从而抑制 至少主要对象的对比度降低。
然而，仅凭基于灰度色标分配的努力难以在每种状况中都获得满意的结 果。在图像具有多个主要对象，并且具有相同亮度的背景以及比较宽的面积 的示例情况(例如蓝天)中，所述对象常常无法获得足够的分配到该处的灰度色 标。
可作为第二灰度色标压缩技术来例示的技术涉及在灰度色标转换前或后 加强图像的高频成分。第二灰度色标压缩技术用来估计通过灰度色标转换而 损失(或被认为损失)的对比度的部分，并使用例如用于模糊遮盖的高频滤波器 来补偿所损失的部分。
第二灰度色标压缩技术的优点在于：它不像第一灰度色标压缩技术那样 产生依赖于图像的构成的问题。然而，高频滤波器引起对象的轮廓部分处的 过冲(overshoot)和平坦部分处的噪声加重，因此被理解为不能总是保证所期望 的图像。
可作为第三灰度色标压缩技术来例示的技术涉及将宽DR图像分为低频 成分图像和高频成分图像，其中仅低频成分图像受到适当的灰度色标转换处 理而保留高频成分图像不改动，最后两者相加以产生一个合成图像。
因为在第三灰度色标转换技术中保留高频成分图像不改动，所以成功地 避免了由于灰度色标转换造成的对比度降低。然而，与第二灰度色标转换技 术类似，第三灰度色标转换技术仍然遭遇这样的问题：在对象的轮廓部分处 过冲，并且在平坦部分处的噪声加重，所以还提出了一种通过在划分为低频 成分图像和高频成分图像的过程中使用非线性滤波器(例如中值滤波器)来解 决该问题的方法。
下面总结上述的第一至第三灰度色标压缩技术，它们可被分类为通过使 用相邻像素的相对局部的处理来实现灰度色标压缩的技术(第一和第二灰度 色标压缩技术)，以及使用图像的全部或相对大的面积来实现灰度色标压缩的 技术(第三灰度色标压缩技术)。前者导致了仅其高频成分被增强的不自然的图 像，并且完全没有成功地获得有效的灰度色标压缩结果。后者因为其可以与 加强高频成分同时调整相对低的频率成分，所以成功地获得了比由前者获得 的更自然的图像，可以说灰度色标压缩更有效。
然而，后者遭遇的问题是：该过程因此需要主要用于延迟线或帧存储器 的大容量存储器，使得它不适于硬件构造。例如，第三灰度色标压缩技术需 要空间滤波器，用于将亮度分为多个频率成分，其中因为只有当使用相对于 图像较大的空间滤波器时方可提供非人为的、有效的灰度色标压缩，所以为 了允许安装大的空间滤波器，有必要将大量的延迟线合并入电路。
同时，对于意欲在诸如数字摄像机和数字静止照相机的成像设备的输出 部件上安装用于使宽DR图像受到灰度色标压缩处理的功能的示例情况，因 为必需高速信号处理以便在保证预定帧速率的同时输出图像信号，所以对于 例如将被合并入硬件的数字静止照相机的灰度色标压缩处理的功能有大的需 求。甚至对于例如用于拍摄静止图像的数字静止照相机，因为有必要将所监 控的图像输出到取景器以便确定图像的构成，所以有对高速灰度色标压缩处 理的需求。
如上所述，有对这样的灰度色标压缩技术的强烈需求：其仅需要小的将 消耗的存储器容量和轻的计算工作量，允许容易的硬件构造，并保证大的灰 度色标压缩效果。然而，尚未提出这种灰度色标压缩技术。
在上述的第一至第三灰度色标压缩技术中还共同存在如下所述的其它问 题。
第一问题涉及与加强高频成分同时在对象的轮廓部分处的亮度中产生过 冲。
为了抑制此过冲，有必要使用相对大尺寸(20×20个像素)的二维非线性滤 波器，然而，期望在软件基础上实现的这一尺寸的二维非线性滤波器引起了 用于计算的费用将变得极高的问题，而期望在硬件基础上实现的这一尺寸的 二维非线性滤波器则由于必需大量延迟线而引起电路规模将变大的问题。
第二问题涉及高亮度区和低亮度区中高频成分的对比度加强量的控制。 上述第二和第三灰度色标压缩技术共同之处在于亮度被分为低频成分和高频 成分，并且通过在保持相对抑制低频成分的同时增强高频成分来实现灰度色 标压缩。
然而，加强高频成分导致在显示设备等可接受的最大亮度和最小亮度的 周边产生亮度限幅(clipping)，从而导致图像细节损失，使得灰度色标转换不 能说是适当的，这产生了对某些对策的需要：通过这些对策，亮度限幅是可 以避免的。
另一问题在于：即使在不引起亮度限幅的情形下，过分加强对比度导致 了具有被不自然地增强的对象的轮廓部分的图像。
发明内容
本发明是考虑到前述状况而构思的，并且其目的是实现这样的灰度色标 压缩技术：其只需要小的将消耗的存储器容量和较少的计算工作量，允许容 易的硬件构造，并保证大的灰度色标压缩效果。
另一目的是使得有可能使用较小的存储器容量、基于较少的计算量、以 及基于简单的硬件构造来适当地增强图像的对比度。
本发明的图像处理设备特征在于：其包括缩小图像生成装置，用于从输 入图像生成缩小图像；校正信息获取装置，用于基于缩小图像获取输入图像 的校正信息；以及灰度色标转换装置，用于转换输入图像的灰度色标；其中， 灰度色标转换装置使用校正信息来校正输入图像的对比度，作为将在转换灰 度色标之前和/或之后进行的处理。
该图像处理设备还可以包括平滑装置，用于生成具有像素亮度Lc的平滑 后的图像，所述像素构成基于使用构成缩小图像的像素的内插计算而平滑化 的输入图像，其中可以配置灰度色标转换装置，使得基于构成图像的像素的 亮度Lc、构成平滑后的图像的像素的亮度L1以及预定的增益值g而生成对比 度校正后的图像。
可以配置灰度色标转换装置，使得根据下式计算构成对比度校正后的图 像的像素的亮度Lu：
Lu＝g·(Lc-L1)+L1
可以配置缩小装置，使得将输入的图像分为多个块，计算属于单个块的 像素的亮度的平均值，并产生由与块相同数量的、并具有所述平均值作为像 素亮度的像素构成的缩小图像。
可以配置平滑装置，使得精确定出对应于内插位置(其为将被内插的像素 的位置)的缩小图像上的位置，并使用存在于所定出的位置附近的像素，从而 计算平滑后的图像的像素亮度L1。
还可以配置平滑装置，使得精确定出对应于内插位置(其为将被内插的像 素的位置)的缩小图像上的位置，并使用存在于所定出的位置附近的4×4个像 素，从而基于双三次内插来计算平滑后的图像的像素亮度L1。
本发明的图像处理设备还可以包括：对数转换装置，用于使构成输入到 平滑装置之前的图像的像素亮度Lc受到对数转换；以及对数逆转换装置，用 于支配构成对比度校正后的图像的像素的亮度。
本发明的图像处理设备还可以包括：平滑装置，用于生成具有像素亮度 Lc的平滑后的图像，所述像素构成基于使用构成缩小图像的像素的内插计算 而平滑化的输入图像；以及增益值设置装置，用于设置用来校正对比度的增 益值g；其中，可以配置灰度色标转换装置，使得基于构成输入图像的像素 的亮度Lc、构成平滑后的图像的像素的亮度L1以及预定的增益值g来生成对 比度校正后的图像；并且，可以配置增益值设置装置，使得基于输入初始增 益值g0、基准增益值1以及使用第一亮度阈值Th1、第二亮度阈值Th2和构成 输入图像的像素的亮度Lc计算出的衰减值attn(Th1，Th2，Lc)来设置增益值g。
本发明的图像处理设备还可以包括转换装置，用于通过基于转换函数转 换构成输入图像的像素的亮度L来生成色调转换后的图像；平滑装置，用于 通过使构成色调转换后的图像的像素的亮度Lc平滑化而生成平滑后的图像； 以及增益值设置装置，用于基于表示转换函数的斜率γ的倒数1/γ的初始增益 值g0而设置用来校正对比度的增益值g；其中，可以配置对比度校正装置， 使得基于构成色调转换后的图像的像素的亮度Lc、构成平滑后的图像的像素 的亮度L1和增益值g而生成对比度校正后的图像；并且，可以配置增益值设 置装置，使得基于输入初始增益值g0、基准增益值1以及使用第一亮度阈值 Th1、第二亮度阈值Th2和构成色调转换后的图像的像素的亮度Lc计算出的衰 减值attn(Th1，Th2，Lc)而设置增益值g。
可以配置增益值设置装置，使得根据下式来设置增益值g：
g＝1+(g0-1)·attn(Th1，Th2，Lc)
可以配置增益值设置装置，使得根据下式来计算衰减值attn(Th1，Th2， Lc)：
attn(Th1，Th2，Lc)＝|(Lc-Th1)/(Th2-Th1)|    (2Th1-Th2≤Lc≤Th2)
attn(Th1，Th2，Lc)＝1    (Lc＜2Th1-Th2，Th2＜Lc)
可以配置灰度色标转换装置，使得根据下式来计算构成对比度校正后的 图像的像素的亮度Lu：
Lu＝g·(Lc-L1)+L1
第一亮度阈值Th1可定义为中等的灰度级别(level)，而第二亮度阈值Th2 可定义为最大白色级别。
可以配置缩小图像生成装置，使得通过基于转换函数而将输入图像转换 成色调转换后的图像，然后缩小色调转换后的图像的尺寸，来生成缩小图像， 并且可以配置校正信息获取装置，以便获取包括转换函数的斜率的校正信息， 以及，可以配置灰度色标转换装置，使得基于缩小图像和转换函数的斜率来 校正色调转换后的图像的对比度。
本发明的图像处理设备还可以包括保持装置，用于保持对应于先前帧的 图像的缩小图像和施加到该先前帧的图像上的转换函数的斜率。
可以配置缩小图像生成装置，使得使用一种或更多转换函数逐步转换当 前帧的图像的像素值，并且可以配置灰度色标转换装置，使得通过基于由保 持装置保持的缩小图像和单独对应于一种或更多转换函数的斜率的乘积而校 正色调校正后的图像的对比度，来生成对比度校正后的图像。
在一种或更多转换函数中，至少一种转换函数可配置为单调增加函数。
本发明的图像处理设备还可以包括平均值计算装置，用于计算色调转换 后的图像的像素值的平均值，并且，在一种或更多转换函数中，可以配置至 少一种转换函数，使得具有与由平均值计算装置计算出的平均值的倒数成比 例的斜率。
可以配置平均值计算装置，使得将色调校正后的图像分为多个块，以及 通过加权相加单个块的像素值的平均而计算值，作为平均值。
可以配置缩小图像生成装置，使得通过缩小色调转换后的图像的大小而 生成第一缩小图像，并且将第一缩小图像的单个像素值乘以与第一缩小图像 的像素值的平均值的倒数成比例的值，从而生成第二缩小图像。
本发明的图像处理设备还可以包括对数转换装置，用于使当前帧中的图 像的像素值受到对数转换，以及对数逆转换装置，用于使对比度校正后的图 像的像素值受到对数逆转换。
本发明的图像处理设备还可以包括：γ转换装置，用于使对比度校正后 的图像的像素值受到γ转换；亮度范围信息计算装置，用于计算亮度范围信 息，该亮度范围信息指示经过γ转换装置γ转换之后的对比度校正后的图像 的亮度成分的分布范围；以及正规化(normalization)装置，用于基于由亮度范 围信息计算装置计算的亮度范围信息，将经过γ转换装置γ转换之后的对比 度校正后的图像的像素值的分布正规化到预定范围。
可以配置亮度范围计算装置，使得计算经过γ转换装置γ转换之后的对 比度校正后的图像的亮度成分的上限值和下限值作为亮度范围信息，并且可 以配置正规化装置，以便转换对比度校正后的图像的像素值，使得由亮度范 围信息计算装置计算的对比度校正后的图像的亮度成分的上限值和下限值分 别与假设的再现设备可再现的亮度成分的范围的上限值和下限值一致。
可以配置保持装置，使得保持由亮度范围信息计算装置计算的先前帧的 亮度范围信息。
所述图像可以是由具有亮度成分的像素构成的单色图像。
所述图像可以是由具有多个颜色成分的像素构成的彩色图像。
可以配置缩小图像生成装置，使得基于彩色图像而生成由具有亮度成分 的像素构成的第一亮度图像，将第一亮度图像转换为色调转换后的亮度图像， 并基于色调转换后的亮度图像而生成由具有多个颜色成分的像素构成的彩色 的色调转换后的图像。
可以配置缩小图像生成装置，使得通过计算彩色图像的单个颜色成分的 值和亮度成分的值之间的差值，然后计算该差值和转换函数的斜率的乘积， 并将该乘积加到色调转换后的亮度图像的单个颜色成分的值上，来计算色调 转换后的图像的单个颜色成分。
可以配置缩小图像生成装置，使得通过计算第一亮度图像的亮度成分的 平均值，然后计算与平均值的倒数成比例的系数，并将彩色图像的单个颜色 成分的值乘以该系数，来计算色调转换后的图像的单个颜色成分。
可以配置灰度色标转换装置，使得通过基于彩色的色调转换后的图像而 生成由具有亮度成分的像素构成的第二亮度图像，然后基于第二亮度图像、 由保持装置保持的缩小图像以及转换函数的斜率而校正由转换装置生成的彩 色的色调转换后的图像的对比度，来生成彩色的对比度校正后的图像。
本发明的图像处理设备还可以包括γ转换装置，用于使彩色的对比度校 正后的图像的像素值受到γ转换；亮度范围信息计算装置，用于基于经过γ 转换装置γ转换之后的彩色的对比度校正后的图像而生成由具有亮度成分的 像素构成的第三亮度图像，并用于计算指示第三亮度图像的亮度成分的分布 范围的亮度范围信息；以及正规化装置，用于基于由亮度范围信息计算装置 计算的亮度范围信息，将经过γ转换装置γ转换之后的彩色的对比度校正后 的图像的像素值的分布正规化到预定范围。
本发明的图像处理方法由以下步骤构成：缩小图像生成步骤，用于从输 入图像生成缩小图像；校正信息获取步骤，用于基于缩小图像而获取输入图 像的校正信息；以及灰度色标转换步骤，用于转换输入图像的灰度色标；其 中，灰度色标转换步骤使用校正信息来校正输入图像的对比度，作为将在转 换灰度色标转换之前和/或之后进行的处理。
根据本发明的图像处理设备和方法，使得有可能从输入图像生成缩小图 像，基于所生成的缩小图像而获取校正信息，并转换输入图像的灰度色标。 在灰度色标转换的处理中，使用校正信息来校正输入图像的对比度，作为将 在灰度色标转换之前和/或之后进行的处理。
附图说明
图1是示出了根据本发明的一个实施例的数字摄像机的示例结构的方框 图；
图2是示出了图1中示出的DSP的第一示例结构的方框图；
图3是示出了图2中示出的色调曲线校正部件的第一示例结构的方框图；
图4是示出了示例色调曲线的图；
图5是示出了图2中示出的色调曲线校正部件的第二示例结构的方框图；
图6是示出了图2中示出的色调曲线校正部件的第三示例结构的方框图；
图7是示出了图2中示出的缩小图像生成部件的示例结构的方框图；
图8是示出了图7中示出的平均值计算部件的示例结构的方框图；
图9是示出了图2中示出的对比度校正部件的示例结构的方框图；
图10是示出了图9中示出的内插部件的示例结构的方框图；
图11是用于解释图9中示出的内插部件的处理的图；
图12是示出了图9中示出的增益值设置部件的示例结构的方框图；
图13是示出了图9中示出的对比度加强部件的示例结构的方框图；
图14是用于解释图2中示出的亮度范围正规化部件中的处理的图；
图15是示出了图2中示出的亮度范围信息计算部件的示例结构的方框 图；
图16是示出了图2中示出的亮度范围正规化部件的示例结构的方框图；
图17是示出了可取代图2中示出的范围为从色调曲线校正部件到对比度 校正部件的部分的复合部件的示例结构的方框图；
图18是用于解释由DSP的第一示例结构进行的灰度色标压缩处理的流 程图；
图19是用于解释图18中示出的步骤S1中的处理细节的流程图；
图20是用于解释图18中示出的步骤S2中的处理细节的流程图；
图21是示出了图1中示出的DSP的第二示例结构的方框图；
图22是示出了图21中示出的色调曲线校正部件的第一示例结构的方框 图；
图23是示出了图21中示出的色调曲线校正部件的第二示例结构的方框 图；
图24是示出了图21中示出的色调曲线校正部件的第三示例结构的方框 图；
图25是示出了图21中示出的缩小图像生成部件的示例结构的方框图；
图26是示出了图21中示出的对比度校正部件的示例结构的方框图；
图27是示出了可取代图21中示出的范围为从色调曲线校正部件到对比 度校正部件的部分的复合部件的示例结构的方框图；
图28是示出了图21中示出的亮度范围信息计算部件的示例结构的方框 图；
图29是用于解释由DSP的第二示例结构进行的灰度色标压缩处理的流 程图；
图30是用于解释图29中示出的步骤S43中的处理细节的流程图；
图31是用于解释图29中示出的步骤S44中的处理细节的流程图；
图32是示出了施加了本发明的图像处理系统的示例结构的方框图；
图33是用于解释图32中示出的图像处理系统的操作的流程图；
图34是示出了图32中示出的图像处理设备的第一示例结构的方框图；
图35是示出了图34中示出的色调曲线校正部件的示例结构的方框图；
图36是示出了在图像处理设备的第一示例结构中使用的示例色调曲线 的图；
图37是示出了图34中示出的平滑亮度生成部件的示例结构的方框图；
图38是示出了图37中示出的缩小图像生成部件的示例结构的方框图；
图39是示出了图38中示出的平均值计算部件的示例结构的方框图；
图40是示出了图37中示出的内插部件的示例结构的方框图；
图41是示出了图34中示出的增益值设置部件的示例结构的方框图；
图42是示出了图34中示出的对比度校正部件的示例结构的方框图；
图43是用于解释由图像处理设备的第一示例结构进行的灰度色标压缩 图像生成处理的流程图；
图44是示出了图32中示出的图像处理设备的第二示例结构的方框图；
图45是用于解释由图像处理设备的第二示例结构进行的灰度色标压缩 图像生成处理的流程图；以及
图46是示出了通用个人计算机的示例结构的方框图。
具体实施方式
下面将参考附图解释作为本发明的一个实施例的数字摄像机。
图1示出了作为本发明的一个实施例的数字摄像机的示例结构。数字摄 像机1拍摄对象的画面，生成具有比通常的宽的像素值动态范围的宽DR图 像，将该图像保存入预定的存储介质，并在将该宽DR图像转换为具有比通 常的窄的像素值动态范围的窄DR图像之后，将其输出到还用作成分确定取 景器或图像监视器的内置显示器或者外部设备。
数字摄像机1大致由光学系统、信号处理系统、记录系统、显示系统和 控制系统构成。
光学系统由用于会聚对象的光图像的透镜2、用于控制光图像的光能量 的光圈3、以及用于以预定的帧速率通过所会聚的光图像的光电转换而生成 宽DR图像的CCD图像传感器4构成。应注意的是，下面的描述将涉及由 CCD图像传感器4生成的宽DR图像是由一路亮度信号构成的单色图像、以 及是由多路(例如3路)亮度信号构成的彩色图像两种情况。
信号处理系统由下列部件构成：相互关联的双重采样电路(CDS)5，用于 通过采样从CCD图像传感器4输出的宽DR图像而减小噪声；A/D转换器6， 用于对利用相互关联的双重采样电路5除去了噪声的宽DR图像实行AD转 换，从而获得具有例如14至16位左右的位宽的值；以及DSP(数字信号处理 器)7，用于对由A/D转换器6输出的宽DR图像实行灰度色标压缩处理。
正如从A/D转换器6输出的并具有14至16位的位宽的宽DR图像那样， 具有大量灰度色标的图像信号不能完全由包括亮度Y和色差信号Cr、Cb的一 般视频信号再现，而是由DSP 7进行的灰度色标压缩处理将其灰度色标压缩 到允许由包括亮度Y和色差信号Cr、Cb的一般视频信号再现的范围内。将参 考图2及后续附图而详述DSP 7。
数字摄像机1的记录系统由下列部件构成：CODEC(压缩/解压缩)12，其 参与对从DSP 7接收的宽DR图像或窄DR图像进行编码并将其记录在存储 器13内，并且读取和编码存储在存储器13内的码数据，并将其提供给DSP 7； 以及存储器13，用于存储编码后的宽DR图像或窄DR图像，由磁盘、光盘、 磁光盘、半导体等构成。
显示系统由下列部件构成：D/A转换器9，其参与从DSP 7提供的窄DR 图像的DA转换；视频解码器，用于在将从D/A转换器9输出的模拟窄DR 图像转换成包括亮度Y和色差信号Cr，Cb的一般视频信号之后，将其输出到 显示器11；以及显示器11，其通常由通过显示对应于视频信号的图像而充当 取景器或视频监视器的LCD(液晶显示器)等构成。
控制系统由用于控制从CCD图像传感器4至DSP 7的元件的操作定时 的定时发生器(TG)8、用于接受用户的各种操作的输入设备15、以及用于控 制数字摄像机1的全部的CPU(中央处理单元)14构成。
接下来，将解释数字摄像机的操作概要。对象的光学图像(入射光)经过 透镜2和光圈3到达CCD图像传感器4，受到CCD图像传感器4的光电转 换，并且所获得的表示宽DR图像的像素的电信号由相互关联的双重采样电 路5除去噪声，由A/D转换器6数字化，并被提供给DSP 7。
DSP 7参与从A/D转换器6接收的宽DR图像的灰度色标压缩处理，从 而生成窄DR图像，并将其输出到D/A转换器9或CODEC 12或二者。提供 给D/A转换器9的窄DR图像受到DA转换，然后由视频编码器10转换为常 规的视频信号，并在显示器11上显示所得到的图像。另一方面，提供给 CODEC 12的窄DR图像被编码并记录在存储器13内。
此处是关于数字摄像机1的全部操作概要的描述的结尾。
接下来，将描述DSP 7，其为本发明的关键。
图2示出了适于宽DR图像的DSP 7的第一示例结构，该宽DR图像是 单色图像。以下将输入到DSP 7的单色宽DR图像称为宽DR亮度图像L。 宽DR亮度图像的像素值(即亮度值)表示为L(p)。在此上下文中，p是表示图 像上的像素位置的向量或坐标，例如p＝(x，y)。因此，确定使用L(p)，其包 含像素位置和亮度值的信息，与表示宽DR亮度图像的L区分开。相同的内 容也将施加到稍后描述的其它图像及其像素值上。
设计DSP 7，使得根据光栅的顺序将宽DR亮度图像L的亮度L(p)输入 到其上。
在DSP 7的第一示例结构中，对数转换部件21使输入的亮度L(p)受到 对数转换，并将所获得的对数亮度logL(p)输出到色调曲线校正部件22。色调 曲线校正部件22将预先获得的色调曲线施加到输入的对数亮度logL(p)，将 其朝着压缩灰度色标的方向转换，并将所获得的对数亮度logLc(p)输出到缩小 图像生成部件23和对比度校正部件25。色调曲线校正部件22将表示所施加 的色调曲线的斜率的代表值γ输出到对比度校正部件25。以下将表示所施加 的色调曲线的斜率的代表值γ简称为代表值γ。
缩小图像生成部件23基于从色调曲线校正部件22接收的、对应于单个 帧的对数亮度logLc(p)，来生成缩小图像logLc1，并使缩小图像存储器24保 存之。
对比度校正部件25基于代表值γ和缩小图像存储器24中保持的先前帧 的缩小图像logLc1，来校正从色调曲线校正部件22接收的当前帧的对数亮度 logLc(p)的、被色调曲线校正减弱的对比度，并将所获得的对数亮度logLu(p) 输出到对数逆转换部件26。对数逆转换部件26使具有校正后的对比度的对 数亮度logLu(p)受到对数逆转换，并将所获得的由常规轴表示的亮度Lu(p)输 出到γ校正部件27。
γ校正部件27使从对数逆转换部件26接收的亮度Lu(p)受到考虑到再现 设备(例如显示器11)的γ特性的γ校正，然后在γ校正之后将所获得的亮度 Y(p)输出到亮度信息计算部件28和亮度范围正规化部件30。亮度信息计算部 件28对于从γ校正部件27接收的、对应于单个帧的每个亮度Y(p)，计算指 示亮度分布的亮度范围信息，并允许其由亮度范围信息存储器29保持。在此 应注意的是，亮度范围信息是指指示在一帧内亮度的分布范围的信息，利用 其来计算最接近黑暗的亮度Yd和最接近明亮的亮度Yb，作为亮度范围信息 [Yd，Yb]。
亮度范围正规化部件30基于由亮度范围信息存储器29保持的先前帧的 亮度范围信息[Yd，Yb]，转换从γ校正部件27接收的当前帧的亮度Y(b)，使 得其分布范围符合可由再现设备(例如显示器11)表示的范围，并将所获得的 亮度Yn(p)作为窄DR图像的像素值输出到后续步骤。
如上面已经描述的，在根据DSP 7的第一示例结构的灰度色标压缩处理 的过程中，由缩小图像生成部件23生成缩小图像logLc1，并由亮度范围信息 计算部件28计算亮度范围信息[Yd，Yb]。下文中将缩小图像logLc1和亮度范 围信息[Yd，Yb]称为中间信息。
利用DSP 7，对输入的宽DR图像的单个帧计算中间信息，并且所计算 的中间信息被用来处理一帧以后到来的宽DR图像。
尽管为了执行有效的灰度色标压缩，通常有必要使用基于图像的全部或 宽范围的亮度值而计算的信息，但是在安装中产生了在计算该信息之前时延 将增大的问题。因此，DSP 7通过选择极小可能随时间变化的信息，将先前 帧的中间信息用于对当前帧的灰度色标压缩。这种结构使得即使在安装之后 也有可能避免存储器消耗和电路规模的膨胀。
接下来，将参考附图描述DSP 7的第一示例结构的细节。
图3示出了色调曲线校正部件22的第一示例结构。在第一示例结构中， LUT存储器41预先保持与如图4所示的单调增加的色调曲线对应的查找表 (以下称为LUT)，以及表示色调曲线斜率的代表值γ。可能代替LUT而保持 等同于色调曲线的函数也是允许的。表参考部件42基于在LUT存储器41中 保持的LUT而将对数亮度logL(p)校正为对数亮度logLc(p)。
图4示出了色调曲线的示例，其中在[0，1]范围内正规化的对数轴上， 分别由横坐标标绘输入亮度L(p)，纵坐标标绘色调曲线校正后的亮度Lc(p)。 如本示例所示的单调增加的、平缓的反S形曲线的应用将不会在高亮度区和 低亮度区内引起很强的灰度色标压缩效果，使得即使在灰度色标压缩之后也 有可能获得所希望的具有较小程度的白盲(whiteout)或黑盲(blackout)的色调。 反之，灰度色标压缩将强烈影响中间亮度区，而这意味着稍后描述的对比度 校正可以完全施加到中间亮度区上，并导致所希望的在中间亮度范围内也具 有较小程度的对比度校正的窄DR图像。
应注意的是，通常可以通过在整个亮度范围内寻找斜率值，并将这些值 的平均值确定为代表值γ来确定表示色调曲线斜率的代表值γ。图4中示出的 色调曲线具有值为0.67的代表值γ。
图5示出了色调曲线校正部件22的第二示例结构。不像第一示例结构， 第二示例结构不使用预先获得的LUT，而是对每个帧计算代表值γ，并将对 数亮度logL(p)校正为对数亮度logLc(p)。在第二示例结构中，平均亮度计算 部件51计算一帧的对数亮度logL(p)的平均值μ。除法器52将预定的常数 logLT除以平均值μ，从而计算出代表值γ。γ存储器53保持从除法器52接收 的代表值。乘法器54将当前帧的对数亮度logL(p)乘以由γ存储器53保持的 先前帧的代表值γ，从而计算出色调曲线校正之后的对数亮度logLc(p)。
下面假设预定的常数logLT定义为中等级别的对数亮度，则一帧的对数 亮度logL(p)的平均值被转换成具有与logLT相同的值的色调曲线校正后的对 数亮度logLc(p)。
尽管代表值γ是对每个帧计算的，但是因为该值事实上是基于对数亮度 logL(p)的平均值μ而计算的，所以该值应该在先前帧和后续帧之间相差不大。 因此，与上述缩小图像logLc1和亮度范围信息[Yd，Yb]类似，还设计代表值γ， 以将前一帧用于当前帧的色调曲线校正。因此，定义代表值γ也包括在中间 信息内。
图6是色调曲线校正部件22的第三示例结构。该第三示例结构可以说是 第一示例结构和第二示例结构的组合。在第三示例结构中，LUT存储器61 预先保持与如图4所示的色调曲线对应的LUT，以及表示色调曲线斜率的代 表值γ1。表参考部件62基于LUT存储器61k中保持的LUT而将对数亮度 logL(p)校正为对数亮度logLc’(p)，并将其输出到平均亮度计算部件63和乘法 器66。
平均亮度计算部件63计算一帧的对数亮度logLc’(p)的平均值μ，并将其 输出到除法器64。除法器64将预定的常数logLT除以平均值μ，从而计算代 表值γ2，并允许γ2存储器65保存之。乘法器66将当前帧的对数亮度logLc’(p) 乘以由γ存储器65保持的先前帧的代表值γ2，从而计算色调曲线校正后的对 数亮度logLc(p)。乘法器67将代表值γ1、γ2的乘积作为代表值γ(＝γ1·γ2)输出 到后级中的对比度校正部件25。
接下来的图7示出了缩小图像生成部件23的示例结构。缩小图像生成部 件23的分类部件71根据当整个图像被分为m×n个块、然后被提供给平均值 计算部件72-1至72-N(＝m×n)时亮度所属的块，对从前级中的色调曲线校 正部件22接收的一帧的对数亮度logLc(p)分类。例如，被分类到第一块的那 些被提供给平均值计算部件72-1，而被分类到第二块的那些被提供给平均 值计算部件72-2。相同的做法也将施加到后续块上，并且分类到第N块的 那些被提供给平均值计算部件72-N。当没有必要区分单个平均值计算部件 72-1至72-N时，下列描述采用平均值计算部件72的简单记号。
平均值计算部件72-i(i＝1，2，...，N)从一帧的对数亮度值logLc(p)里面计 算被分类到第i块的对数亮度logLc(p)的平均值，并将其输出到复合部件73。 复合部件73生成m×n个像素的缩小图像logLc1，并使得后级中的缩小图像存 储器24存储之，其中所述缩小图像logLc1具有分别从平均值计算装置72-i 接收的对数亮度logLc(p)的平均值作为像素值，。
图8示出了平均值计算部件72的示例结构。平均值计算部件72的加法 器81将由寄存器(r)82保持的值加到从前级中的分类部件71接收的对数亮度 logLc(p)，从而更新由寄存器(r)82保持的值。除法器83将由寄存器82最终保 持的值除以构成一个块的像素的数目Q，从而计算被分类到一个块的Q个对 数亮度logLc(p)的平均值。
接下来的图9示出了对比度校正部件25的示例结构。内插位置指定部件 91获取从前级中的色调曲线校正部件22接收的对数亮度logLc(p)的像素位置 p(以下也称为内插位置p)，并将其输出到内插部件92。内插部件92使用由缩 小图像存储器24保持的先前帧的缩小图像logLc1，通过内插来计算对应于内 插位置p的像素logLc1(p)，并将其输出到对比度增强部件94。
增益值设置部件93基于从色调曲线校正部件22接收的先前帧的代表值 γ以及基于当前帧的对数亮度logLc(p)，来计算确定当前帧的对数亮度logLc(p) 的对比度增强量的增益值g(p)。对比度增强部件94基于当前帧的对数亮度 logLc(p)、增益值g(p)和缩小图像的内插值logLc1(p)，来计算具有除了低频成 分以外的频率成分的增强的对比度的对数亮度logLu(p)。
图10示出了内插部件92的示例结构。内插部件92基于双三次内插，使 用先前帧的缩小图像logLc1的内插位置p附近的4×4个像素，来内插对应于 内插位置p的像素logLc1(p)。
附近选择部件101在接收内插位置p时，基于由缩小图像存储器24保持 的先前帧的m×n个像素的缩小图像logLc1而获取内插位置p附近的4×4像素 的像素值a[4][4]，并将其输出到乘积求和部件104。这里a[i][j]的记号意思是 像素值a是i×j的二维排列数据。附近选择部件101将所获取的像素值a[4][4] 和内插位置p之间的水平位移dx和垂直位移dy分别输出到水平系数计算部 件102或垂直系数计算部件103。
在此将参考图11来描述内插位置p、相邻的像素值a[4][4]和位移dx、dy 的关系。
图11中示出的m×n个栅格表示m×n个像素的缩小图像logLc1。下面假 设给出内插位置p＝(px，py)，则对应于内插位置p的缩小图像logLc1上的位 置q给出为q＝(qx，qy)＝(px/bx-0.5，py/by-0.5)，其中(bx，by)＝(图像log Lc的水平像素数/m，图像logLc的垂直像素数/n)。
为了获取对应于内插位置p的缩小图像上的位置q周边的相邻像素，推 荐获取落入如图11的阴影所示的qx-2＜x＜qx+2和qy-2＜y＜qy+2范围 内的缩小图像logLc1的像素。在由阴影所示的区域内，标以“+”的4×4个位 置是将要获取的像素的位置。相邻像素和内插位置p之间的位移(dx，dy)定义 成相对于左下方的最近像素的差。也就是说，可以将位移给出为(dx，dy)＝(qx 的小数部分，qy的小数部分)。
下面参考回图10，水平系数计算部件102基于从附近选择部件101接收 的水平位移dx而计算水平三次内插系数kx[4]。类似地，垂直系数计算部件 103以基于从附近选择部件101接收的垂直位移dy的垂直系数为基础来计算 垂直三次内插系数ky[4]。
例如，水平三次内插系数kx[4]可使用下式(1)来计算：
z＝|dx-i+2|

此外，垂直三次内插系数ky[4]通常可以使用下式(2)来计算：
z＝|dy-j+2|

应注意的是，只要可以获得足够平滑的内插，可以使用除了上面示出的 式(1)、(2)之外的任何任意计算公式来计算三次内插系数kx[4]和ky[4]。
乘积求和部件104通过使用相邻像素值a[4][4]、水平内插系数kx[4]和垂 直内插系数ky[4]的乘积求和计算，使用下式(3)来计算缩小图像logLc1的内插 位置p的内插值Lc1(p)。
log L cl ( p ) = Σ i = 1 4 Σ j = 1 4 α [ i ] [ j ] · k x [ i ] · k y [ j ] . . . ( 3 )
接下来将解释增益值设置部件93。如上所述，增益值设置部件93被用 来设置增益值g(p)，增益值g(p)用于通过后级中的对比度增强部件94来调整 除低频区以外的区域的增强程度。对于g(p)＝1的增益值，对比度增强部件 94既不增强也不抑制对比度。对于g(p)＞1的增益值，对应于该值而增强对 比度。对于g(p)＜1的增益值，对应于该值而抑制对比度。
将描述增益值的设置。图像的对比度已经通过灰度色标压缩抑制，其中 抑制量取决于色调曲线的斜率。例如，考虑到实现强灰度色标压缩而应用具 有小斜率的色调曲线意味着强烈抑制对比度。另一方面，应用具有斜率为1 的直线作为色调曲线意味着图像不变化，或者不抑制对比度。
因此，对于色调曲线的代表值γ小于1的情况，增益值设置部件93采用 色调曲线的代表值γ的倒数1/γ，使得增益值超过1。
在输入的对数亮度logLc(p)接近白级别或黑级别的另一情况中，类似于 施加到中间亮度区的对比度增强可能由于限幅而不希望地导致图像细节损 失，因此当输入的对数亮度logLc(p)更接近于白级别或黑级别时，调整增益值 使得更接近于1。
也就是说，假设代表的γ的倒数为1/γ＝g0，使用下式(4)来计算增益值 g(p)：
g(p)＝1+(g0-1)×attn(p)    ...(4)
其中，attn(p)是衰减系数，并由下式(5)计算：
attn ( p ) = attn ( log L gray , log L white , log L c ( p ) )

...(5)
应注意的是，在式(5)中，logLgray代表表示中等灰度级别的对数亮度，而 logLwhite代表表示白限幅级别(最大的白级别)的对数亮度，其中，两者都是预 先设置的常数。
图12示出了增益值设置部件93的示例结构。除法器111计算从前级接 收的代表值γ的倒数1/γ＝g0，并将其输出到减法器112。减法器112计算(g0 -1)并将其输出到乘法器118。
减法器113计算对数亮度logLc(p)和具有中等灰度级别的对数亮度 logLgray之间的差(logLc(p)-logLgray)，并将其输出到除法器115。减法器114 计算具有白限幅级别的对数亮度logLwhite与对数亮度logLgray之间的差 (logLwhite-logLgray)，并将其输出到除法器115。除法器115将减法器113的输 出(logLc(p)-logLgray)除以减法器114的输出(logLwhite-logLgray)，并将商输出 到绝对值计算器116。绝对值计算器116计算除法器115的输出的绝对值，并 将其输出到限幅器(clipper)117。限幅器117对绝对值计算器116的输出进行 限幅，使得当输出超过1时将其调整到1，而当该输出不超过1时则保留其 不变，并将结果作为attn(p)输出到乘法器118。
乘法器118将减法器112的输出乘以限幅器117的输出，并将乘积输出 到加法器119。加法器119将乘法器118的输出加1，并将结果作为增益值g(p) 输出到后级。
接下来的图13示出了对比度增强部件94的示例结构。减法器121计算 对数亮度logLc(p)和缩小图像的内插值logLc1(p)之间的差，并将其输出到乘法 器122。乘法器122计算减法器121的输出和增益值g(p)的乘积，并将其输出 到加法器123。加法器123将缩小图像的内插值logLc1(p)加到乘法器122的输 出上，并将如此对比度校正后的对数亮度logLu(p)输出到后级。
下面应注意的是，缩小图像的内插值logLc1(p)是基于m×n个像素的缩小 图像的内插后的值，因此仅具有缩小前的图像logLc的极低频成分。
也就是说，减法器121的输出(logLc(p)-logLc1(p))等同于通过从原对数 亮度logLc(p)只减去极低频成分所获得的差。如上所述，对比度校正后的对数 亮度logLu(p)是通过这样获得的：将亮度信号分为极低频成分和其它成分两 类，并且在这些成分中，通过乘以增益值g(p)而增强除了低频成分之外的成 分，并使用加法器123将两者再度合成。
如从上面所知，设计对比度增强部件94，使得在排除极低频区的同时， 使用相同的增益值g(p)来增强从低中频区到高频区的成分。因此，对比度校 正后的对数亮度logLu(p)不会在边缘部分处发生在仅增强高频区时可能很明 显的局部过冲，并设计其以获得具有对眼睛来说很自然地增强的对比度的图 像。
接下来，将解释亮度范围信息计算部件28和亮度范围正规化部件30。
首先，将解释亮度范围正规化处理的概要。由DSP 7进行的灰度色标压 缩的目的在于将宽DR亮度图像转换为适合于诸如显示器11的再现设备的动 态范围的窄DR图像，为此目的，在色调曲线校正部件22中预先准备了适合 于再现设备的动态范围的色调曲线。这使得有可能使大多数所拍摄的宽DR 亮度图像适当地受到灰度色标压缩。
然而，入射光的动态范围可能本质上不那么大地依赖于将拍摄的对象， 并且这样的图像的灰度色标压缩处理可能导致过度的灰度色标压缩，从而亮 度被限制在比可由再现设备再现的动态范围更窄的范围内。
为了避免这一点，亮度范围正规化部件30将γ校正后的亮度信号Y(p) 正规化，作为灰度色标压缩处理的最后阶段中的处理，使得γ校正后的亮度 信号Y(p)的动态范围符合可由再现设备再现的动态范围。
图14示出了由亮度范围正规化部件30进行的亮度范围正规化处理的模 式。在此图的线图中，横坐标标绘亮度范围正规化之前γ校正后的亮度Y，纵 坐标标绘亮度范围正规化之后的亮度Yn，并且灰度色标转换曲线α表示用于 将亮度Y转换为Yn的转换表。
下面将描述确定灰度色标转换曲线α的方法。在线图下示出的阴影图形 131是亮度范围正规化之前亮度图像Y的示例直方图。在此示例中，在γ校正 之后而在亮度范围正规化之前的阶段中，获得了这样的亮度图像：其灰度色 标已经被压缩，使得具有比从数字摄像机1可能生成的最小亮度Ymin到最大 亮度Ymax的动态范围更窄的动态范围。
因为当保留其动态范围不变时，输出到再现设备的亮度图像的输出导致 仅仅低效利用可由再现设备再现的动态范围，所以随后执行正规化，使得亮 度范围正规化之前的亮度图像Y的亮度分布扩展到再现设备的动态范围的全 部。
出于此目的，首先，计算亮度范围正规化前的亮度图像Y的直方图131 分布的范围[Yd，Yb]，作为亮度范围正规化前的亮度图像Y的亮度范围信息。 然后，设置落在从再现设备的亮度范围[Ynb，Ync]的顶端和低端略微向内的亮 度值Yna和Yns，并且，确定灰度色标转换曲线α，使得将横坐标上的亮度{Ymin， Yd，Yb，Ymax}与纵坐标上的亮度值{Ynb，Yna，Yns，Ync}相对应。
使用此灰度色标转换曲线α的灰度色标转换成功地获得了亮度图像Yn， 其具有诸如线图左手侧示出的阴影图形132的直方图形式。
确定灰度色标转换曲线α，使得亮度范围正规化前的亮度范围[Yd，Yb] 映射到比再现设备的亮度范围[Ynb，Ync]略窄的亮度范围[Yna，Yns]的原因是： 防止亮度Ynb和Ync周围的尖锐亮度限幅出现在图像上。
在这里应注意的是，亮度值Yna和Yns是基于亮度值Ynb和Ync而以适当的 值预先设置的。
亮度范围正规化前的亮度范围[Yd，Yb]的获取是由亮度范围信息计算部 件28进行的，而灰度色标转换曲线α和亮度Yn(p)的计算是由亮度范围正规化 部件30执行的。
图15示出了亮度范围信息计算部件28的示例结构。在亮度范围信息计 算部件28中，抽选部件141基于像素位置p而选择从γ校正部件27接收的 亮度Y(p)。也就是说，仅将预先设置的像素位置处的图像的亮度值提供给后 级中的MIN分类部件142和MAX分类部件145。
配置MIN分类部件142，使得k对比较部件143和寄存器144的组合串 联排列，并使得由寄存器144-1至144-k以递增的顺序保持输入的亮度Y(p) 值。
例如，比较部件143-1比较来自抽选部件141的亮度Y(p)和寄存器144 -1中的值，并且当来自抽选部件141的亮度Y(p)小于寄存器144-1中的值 时，使用来自抽选部件141的亮度Y(p)来更新寄存器144-1中的值。反之， 当来自抽选部件141的亮度Y(p)不小于寄存器144-1中的值时，将来自抽选 部件141的亮度Y(p)提供给后级中的比较部件143-2。
比较部件143-2比较来自比较部件143-1的亮度Y(p)和寄存器144-2 中的值，并且当来自比较部件143-1的亮度Y(p)小于寄存器144-2中的值 时，使用来自比较部件143-1的亮度Y(p)来更新寄存器144-2中的值。反 之，当来自比较部件143-1的亮度Y(p)不小于寄存器144-2中的值时，将 来自比较部件143-1的亮度Y(p)提供给后级中的比较部件143-3。
相同的内容也将施加到比较部件143-3以及其后，其中，在一帧的亮度 Y(p)输入完成后，寄存器144-1将具有保持在其中的亮度Y(p)的最小值Ymin， 并且寄存器144-2至144-k将具有以递增的顺序保持在其中的亮度Y(p)值， 并且将保持在寄存器144-k中的亮度Y(p)作为亮度范围信息的亮度Yd输出到 后级。
配置MAX分类部件145，使得k对比较部件146和寄存器147的组合 串联排列，并使得由寄存器147-1至144-k以递减的顺序保持输入的亮度 Y(p)值。
例如，比较部件146-1比较来自抽选部件141的亮度Y(p)和寄存器147 -1中的值，并且当来自抽选部件141的亮度Y(p)大于寄存器144-1中的值 时，使用来自抽选部件141的亮度Y(p)来更新寄存器147-1中的值。反之， 当来自抽选部件141的亮度Y(p)不大于寄存器147-1中的值时，将来自抽选 部件141的亮度Y(p)提供给后级中的比较部件146-2。
比较部件146-2比较来自比较部件146-1的亮度Y(p)和寄存器147-2 中的值，并且当来自比较部件146-1的亮度Y(p)大于寄存器147-2中的值 时，使用来自比较部件146-1的亮度Y(p)来更新寄存器147-2中的值。反 之，当来自比较部件146-1的亮度Y(p)不大于寄存器147-2中的值时，将 来自比较部件146-1的亮度Y(p)提供给后级中的比较部件146-3。
相同的内容也将施加到比较部件146-3以及其后，其中，在一帧的亮度 Y(p)输入完成后，寄存器147-1将具有保持在其中的亮度Y(p)的最大值Ymax， 并且寄存器147-2至147-k将具有以递减的顺序保持在其中的亮度Y(p)， 并且将保持在寄存器147-k中的亮度Y(p)作为亮度范围信息的亮度Yb输出到 后级。
因为由抽选部件141抽选输入到MIN分类部件142和MAX分类部件145 的亮度Y(p)，所以适当地调整抽选间隔以及MIN分类部件142和MAX分类 部件145的级数k，使得有可能获得分别与例如一帧中的全部像素的上端和 下端的1％对应的亮度值Yd、Yb。
图16示出了亮度范围正规化部件30的示例结构。如上所述，亮度范围 正规化部件30确定灰度色标转换曲线α，并使用灰度色标转换曲线α将γ校 正后的亮度Y(p)转换为亮度范围正规化后的亮度Yn(p)。
因为如图14所示的灰度色标转换曲线α由5条线段构成，所以亮度范围 正规化部件30判别输入的亮度Y(p)属于哪条线段，并将构成灰度色标转换曲 线α的5条线段之一施加到输入的亮度Y(p)上，从而将其转换为亮度范围正 规化后的亮度Yn(p)。
亮度范围正规化部件30的选择器151基于输入到输入端i的亮度Y(p)， 将分别输入到输入端a至h的亮度值Ymax、Yb、Yd、Ymin、Ync、Yns、Yna和Ynb 中的四个亮度值从输出端j至m输出。其中的相互关系由下式(6)表示：
[ j , k , l , m ] = [ h , h , c , d ] i < d [ h , g , c , d ] d ≤ i < c [ g , f , b , c ] c ≤ i < b [ f , e , a , b ] b ≤ i < a [ e , e , a , b ] a ≤ i . . . ( 6 )
减法器152计算输出端k的输出和输出端j的输出之间的差，并将结果 输出到除法器155。减法器153计算输出端l的输出和减法器154的输出之间 的差，并将结果输出到除法器155。减法器154计算亮度Y(p)和输出端m的 输出之间的差，并将结果输出到乘法器156。除法器155计算减法器152的 输出和减法器153的输出的比，并将结果输出到乘法器156。乘法器156计 算除法器155的输出和减法器154的输出的乘积，并将结果输出到加法器157。 加法器157将输出端j的输出和乘法器156的输出相加，并输出结果。
加法器157的输出Yn(p)由下式(7)表示，其指示基于γ校正后的亮度Y(p) 而判别的灰度色标转换曲线α的线段。
Y n ( p ) = k - j l - m ( Y ( p ) - m ) + j . . . ( 7 )
此处是关于构成图2中示出的DSP 7的单个部分的描述的结尾。
同时，注意到图6中示出的色调曲线校正部件22的平均亮度计算部件 63和缩小图像生成部件23的平均亮度计算部件72执行相似的计算，还可能 通过更简单的电路结构来减少计算量。更具体地说，可以组合在图2中全部 示出的色调曲线校正部件22、缩小图像生成部件23、缩小图像存储器24和 对比度校正部件25，以作为如图17所示的复合部件来提供。
复合部件160可取代图2中示出的色调曲线校正部件22、缩小图像生成 部件23、缩小图像存储器24和对比度校正部件25。
复合部件160的LUT存储器161具有对应于如图4所示的色调曲线的 LUT，以及表示预先保持在其中的色调曲线的斜率的代表值γ1。表参考部件 162基于由LUT存储器161保持的LUT而校正从前级接收的对数亮度 logL(p)，从而给出对数亮度logLc’(p)，并将其输出到缩小图像生成部件163 和乘法器172。
缩小图像生成部件163将对数亮度图像logLc’分为m×n个块，计算属于 单个块的像素的对数亮度logLc’(p)的平均值，从而生成m×n个像素的第一缩 小图像，并使第一缩小图像存储器164保存之。
平均亮度计算部件63计算由第一缩小图像存储器164保持的先前帧的第 一缩小图像的像素值的平均值μ，并将其输出到除法器166。除法器166将预 定的常数logLT除以平均值μ，从而计算代表值γ2，并使γ2存储器167保存之。 乘法器168将由第一缩小图像存储器164保持的第一缩小图像的单个像素乘 以由γ2存储器65保持的代表值γ2，从而生成第二缩小图像logLc1，并使第二 缩小图像存储器169保存之。
乘法器170将从表参考部件162接收的当前帧的对数亮度logLc’(p)乘以 由γ2存储器167保持的先前帧的代表值γ2，从而计算色调曲线校正后的对数 亮度logLc(p)。乘法器171将代表值γ1和γ2的乘积作为代表值γ(＝γ1·γ2)输出 到增益值设置部件172。
增益值设置部件172基于从乘法器171接收的先前帧的代表值γ和从乘 法器170接收的当前帧的对数亮度logLc(p)，计算增益值g(p)，该增益值g(p) 确定当前帧的对数亮度logLc(p)的对比度增强量。
内插位置指定部件173获取从乘法器170接收的当前帧的对数亮度 logLc(p)的像素位置p(以下也称为内插位置p)，并将其输出到内插部件174。 内插部件174使用由第二缩小图像存储器169保持的先前帧的第二缩小图像 logLc1通过内插来计算对应于内插位置p的像素logLc1(p)，并将其输出到对比 度增强部件175。
对比度增强部件175基于增益值g(p)和缩小图像的内插值logLc1(p)，对 于从乘法器170接收的当前帧的对数亮度logLc(p)，计算具有除低频成分以外 的成分的增强的对比度的对数亮度logLu(p)。
复合部件160的使用允许平均亮度计算部件165计算m×n个像素的第一 缩小图像的平均值，与图6中示出的利用其来计算原始大小的对数亮度图像 的像素的平均值的平均亮度计算部件63相比，这成功地减小了计算量。因此， 有可能减少由于计算引起的延迟时间。
接下来，将参考图18的流程图来描述使用施加了图17中示出的复合部 件160的DSP 7的第一示例结构的一般的灰度色标压缩处理。
在步骤S1中，DSP 7基于关于先前帧的宽DR亮度图像的已经计算并保 持的中间信息(第二缩小图像logLc(p)、代表值γ、亮度范围信息[Yd，Yb])，将 输入的当前帧的宽DR亮度图像L转换为窄DR亮度图像Yn。DSP 7还计算 关于当前帧的宽DR亮度图像L的中间信息。
在步骤S2中，DSP 7使用关于所计算的当前帧的宽DR亮度图像L的中 间信息来更新关于所存储的先前帧的宽DR亮度图像的中间信息。
在步骤S3中，DSP 7判别在输入的当前帧的宽DR亮度图像之后是否存 在后续帧，并且当判定存在时，该过程返回步骤S1并重复其后的过程。反之， 当判定不存在任何后续帧时，灰度色标压缩处理结束。
将参考图19的流程图来解释步骤S1中的、在像素基础上的处理的细节。 下面描述的单个步骤的处理是相对于根据光栅顺序输入的目标像素(像素位 置p)而执行的。
在步骤S11中，将目标像素(像素位置p)的亮度L(p)输入到DSP 7。在步 骤S12中，对数转换部件21使输入的亮度L(p)受到对数转换，并将所获得的 对数亮度logL(p)输出到复合部件160。在步骤S13中，复合部件160的表参 考部件162基于由LUT存储器161保持的LUT而校正从对数转换部件21接 收的对数亮度logL(p)，从而获得对数亮度logLc’(p)，并将其输出到缩小图像 生成部件163和乘法器172。与此同时，LUT存储器161将色调曲线的代表 值γ1输出到乘法器171。乘法器171将代表值γ1和基于由γ2存储器167保持 的先前帧的第一缩小图像计算出的γ2的乘积作为代表值γ输出到增益值设置 部件172。
在步骤S14中，缩小图像生成部件163基于色调曲线校正后的一帧的对 数亮度logLc’(p)而生成第一缩小图像。基于在此生成的第一缩小图像，计算 代表值γ2。还将生成的第一缩小图像乘以所计算的代表值γ2，从而生成第二 缩小图像logLc1。
在步骤S15中，乘法器170将从表参考部件162接收的当前帧的对数亮 度logLc’(p)乘以由γ2存储器167保持的先前帧的代表值γ2，从而计算色调曲 线校正后的对数亮度logLc(p)。
在步骤S16中，增益值设置部件172基于关于从乘法器171接收的先前 帧的代表值γ和从乘法器170接收的当前帧的对数亮度logLc(p)，计算增益值 g(p)，其确定当前帧的对数亮度logLc(p)的对比度增强量。
在步骤S17中，内插部件174使用由第二缩小图像存储器169保持的先 前帧的第二缩小图像logLc1，通过内插来计算对应于内插位置p的像素 logLc1(p)，并将其输出到对比度增强部件175。在步骤S18中，对比度增强部 件175基于第二缩小图像的内插值logLc1(p)和增益值g(p)，增强除了色调曲 线校正后的对数亮度logLc(p)的低频成分以外的成分，并将所获得的对比度校 正后的对数亮度logLu(p)输出到后级中的对数逆转换部件26。
在步骤S19中，对数逆转换部件26将对比度校正后的对数亮度logLu(p) 转换成以常规轴表示的亮度Lu(p)，并将其输出到γ校正部件27。在步骤S20 中，γ校正部件27进行预定的γ校正，并将所获得的亮度Y(p)输出到亮度范 围信息计算部件28和亮度范围正规化部件30。
在步骤S21中，亮度范围信息计算部件28基于一帧的亮度Y(p)而生成亮 度范围信息[Yd，Yb]。在步骤S22中，亮度范围正规化部件30基于由亮度范 围信息存储器29保持的先前帧的亮度范围信息[Yd，Yb]而将从γ校正部件27 接收的亮度Y(p)正规化，从而计算亮度Yn(p)。在步骤S23中，亮度范围正规 化部件30将亮度Yn(p)作为灰度色标压缩后的窄DR亮度图像的像素值输出。 此处是图18中示出的步骤S1中的处理的详细解释的结尾。
接下来，将参考图20中的流程图来解释图18中的步骤S2中的处理细节。
在步骤S31中，缩小图像生成部件163使用基于色调曲线校正后的一帧的对 数亮度logLc’(p)而生成的第一缩小图像，来更新由第一缩小图像存储器164 保持的第一缩小图像。
在步骤S32中，除法器166将预定的常数logLT除以从平均亮度计算部 件165接收的平均值μ，从而计算代表值γ2，并使用所计算的代表值γ2来更 新由γ2存储器167保持的代表值γ2。
在步骤S33中，乘法器168将由步骤S31中的处理更新的、并由第一缩 小图像存储器164保持的第一缩小图像的单个像素乘以由步骤S32中的处理 更新的、并由γ2存储器65保持的代表值γ2，从而生成第二缩小图像logLc1， 并更新由第一缩小图像存储器169保持的第二缩小图像logLc1。
在步骤S34中，亮度范围信息计算部件28使用基于一帧的亮度Y(p)而计 算的亮度范围信息[Yd，Yb]，来更新由亮度范围信息存储器29保持的先前帧 的亮度范围信息[Yd，Yb]。此处是图18中的步骤S2的处理的详细解释的结 尾。
接下来，图21示出了适于宽DR图像的DSP 7的示例结构，该宽DR图 像为彩色图像。应注意的是，根据光栅顺序输入到DSP 7的宽DR图像未配 置成使得其全部像素单独具有R、G和B成分的全部成分，而是配置成使得 具有R、G和B成分的任意一个。下文中，将输入到DSP 7的第二示例结构 的宽DR图像(其为彩色图像)称为宽DR彩色马赛克(mosaic)图像。宽DR彩 色马赛克图像的单个像素具有R、G和B成分的哪一个由像素的位置来确定。
下面将按照光栅顺序输入到DSP 7的宽DR彩色马赛克图像的像素值表 示为L(p)。
在DSP 7的第二示例结构中，去马赛克(demosaic)部件201对其中每个像 素具有不同颜色的一帧的像素值L(p)去马赛克，以便使全部像素都具有R、G 和B成分的全部，从而生成颜色信号[R(p)，G(p)，B(p)]，并将其输出到彩色 平衡调整部件202。下文中，将由从去马赛克部件201输出的颜色信号构成 的图像称为宽DR彩色图像。
彩色平衡调整部件202调整R、G和B成分的每一个，以便使整个图像 的彩色平衡适当，从而生成颜色信号[Rb(p)，Gb(p)，Bb(p)]。应注意的是，去 马赛克部件201和彩色平衡调整部件202是象安装在配有单盘型CCD图像传 感器的一般的数字录像机上的那些部件那样的。
对数转换部件203使从彩色平衡调整部件202接收的颜色信号[Rb(p)， Gb(p)，Bb(p)]受到对数转换，并将所获得的对数颜色信号[logRb(p)，logGb(p)， logBb(p)]输出到色调曲线校正部件204。色调曲线校正部件204将预先获得的 色调曲线施加到输入的对数颜色信号[logRb(p)，logGb(p)，logBb(p)]上，将其 朝着压缩灰度色标的方向转换，并将所获得的对数颜色信号[logRb(p)， logGb(p)，logBb(p)]输出到缩小图像生成部件205和对比度校正部件207。色 调曲线校正部件204还将表示所施加的色调曲线的斜率的代表值γ输出到对 比度校正部件207。
缩小图像生成部件205基于与从色调曲线校正部件204接收的一帧的对 数颜色信号[logRc(p)，logGc(p)，logBc(p)]而生成缩小图像logLc1，并使缩小图 像存储器206保存之。
对比度校正部件207基于代表值γ和由缩小图像存储器206保持的先前 帧的缩小图像logLc1来校正由色调曲线校正减弱的、从色调曲线校正部件204 接收的当前帧的对数颜色信号[logRc(p)，logGc(p)，logBc(p)]的对比度，并将 所获得的对数颜色信号[logRu(p)，logGu(p)，logBu(p)]输出到对数逆转换部件 208。对数逆转换部件208使对比度校正后的对数颜色信号[logRu(p)，logGu(p)， logBu(p)]受到对数逆转换，并将所获得的由常规轴表示的颜色信号[Ru(p)， Gu(p)，Bu(p)]输出到γ校正部件209。
γ校正部件209使从对数逆转换部件208接收的颜色信号[Ru(p)，Gu(p)， Bu(p)]受到考虑到再现设备(例如显示器11)的γ特性的γ校正，并将所获得的 γ校正后的颜色信号[Rg(p)，Gg(p)，Bg(p)]输出到亮度信息计算部件210和亮 度范围正规化部件212。亮度信息计算部件210将从γ校正部件209接收的对 于一帧的[Rg(p)，Gg(p)，Bg(p)]转换为亮度Y(p)，计算用于指示亮度Y(p)的分 布的亮度范围信息，并使亮度范围信息存储器211保存之。在此描述的亮度 范围信息是指指示一帧的亮度Y(p)的分布范围的信息，并通常使用最接近于 黑暗的亮度Yd和最接近于明亮的亮度Yb而计算为亮度范围信息[Yd，Yb]。
亮度范围正规化部件212基于由亮度范围信息存储器211保持的先前帧 的亮度范围信息[Yd，Yb]，转换从γ校正部件209接收的当前帧的颜色信号 [Rg(p)，Gu(p)，Bg(p)]，使得其分布范围可以符合可由再现设备(例如显示器 11)表示的范围，并将所获得的颜色信号[Rn(p)，Gn(p)，Bn(p)]作为窄DR图像 (其为彩色图像)输出到后级。
如下面将描述的，适于彩色图像的DSP 7的第二示例结构除了添加去马 赛克部件201和彩色平衡调整部件202以外，与图2中示出的适于单色图像 的第一示例结构几乎类似，但是略微修改了个别部件的内部结构，使得适合 于彩色图像。
图22示出了色调曲线校正部件204的第一示例结构。在第一示例结构中， 亮度生成部件221通过计算输入的对数颜色信号[logRb(p)，logGb(p)，logBb(p)] 的线性和而生成对数亮度logLb(p)，并将其输出到减法器222-R至222-B 以及表参考部件224。
减法器222-R从对数颜色信号logRb(p)减去对数亮度logLb(p)，并将结 果输出到乘法器225-R。LUT存储器223具有对应于与如图4所示的色调曲 线的LUT和指示先前保持在其中的色调曲线的斜率的代表值γ。表参考部件 224使用由LUT存储器223保持的LUT而将对数亮度logL(p)校正为对数亮 度logLc(p)，并将其输出到加法器226-R至226-B。
乘法器225-R将减法器222-R的输出乘以从LUT存储器223接收的 代表值γ，并将其输出到加法器226-R。加法器226-R计算乘法器225-R 的输出和对数亮度logLc(p)的和，并将结果作为色调曲线校正后的对数颜色信 号logRc(p)而输出到后级。
下面应注意的是，用于处理G和B成分的任意组件与用于处理上述的R 成分的那些类似，因此将省略解释。
图23示出了色调曲线校正部件204的第二示例结构。在第二示例结构中， 亮度生成部件231计算输入的对数颜色信号[logRb(p)，logGb(p)，logBb(p)]的 线性和，从而生成对数亮度logLb(p)，并将其输出到平均亮度计算部件232。 平均亮度计算部件232计算一帧的对数亮度logL(p)的平均值μ，并将其输出 到除法器233。除法器233将预定的常数除以平均值μ，从而计算代表值γ， 并使得γ存储器234保存之。
乘法器235-R将当前帧的对数颜色信号logRb(p)乘以由γ存储器234保 持的先前帧的代表值γ，从而计算色调曲线校正后的对数颜色信号logRc(p)。
下面应注意的是，用于处理G和B成分的任意组件与用于处理上述的R 成分的那些类似，因此将省略解释。
图24示出了色调曲线校正部件204的第三示例结构。该第三示例结构可 以说是第一示例结构和第二示例结构的组合。在第三示例结构中，亮度生成 部件241计算对数颜色信号[logRb(p)，logGb(p)，logBb(p)]的线性和，从而生 成对数亮度logLb(p)，并将其输出到减法器242-R至242-B，以及表参考部 件244。
减法器242-R从对数颜色信号logRb(p)减去对数亮度logLb(p)，并将结 果输出到乘法器250-R。LUT存储器243具有对应于如图4所示的色调曲线 的LUT和指示先前保持在其中的色调曲线的斜率的代表值γ。表参考部件244 使用由LUT存储器243保持的LUT而将对数亮度logL(p)校正为对数亮度 logLc’(p)，并将其输出到平均亮度计算部件245和乘法器249。
平均亮度计算部件245计算一帧的对数亮度logLc’(p)的平均值μ，并将 其输出到除法器246。除法器246将预定的常数logLT除以平均值μ，从而计 算代表值γ2，并使γ2存储器247存储之。乘法器248将代表值γ1和γ2的乘积 作为代表值γ(＝γ1·γ2)输出到后级中的对比度校正部件207。
乘法器249将当前帧的对数亮度logLc’(p)乘以由γ2存储器247保持的先 前帧的代表值γ2，从而计算色调曲线校正后的对数亮度logLc(p)，并将其输出 到加法器251-R至251-B。
乘法器250-R将减法器242-R的输出乘以从乘法器248接收的代表值 γ，并将结果输出到加法器251-R。加法器251-R计算乘法器250-R的输 出和乘法器249的输出的乘积，并将结果作为色调曲线校正后的对数颜色信 号logRc(p)输出到后级。
应注意的是，用于处理G和B成分的任意组件与用于处理上述的R成分 的那些类似，因此将省略解释。
接下来的图25示出了缩小图像生成部件205的示例结构。缩小图像生成 部件205的亮度生成部件261计算输入的色调曲线校正后的对数颜色信号 [logRc(p)，logGc(p)，logBc(p)]的线性和，从而生成对数亮度logLc(p)，并将其 输出到分类部件262。
当整个图像被分为m×n个块时，分类部件262根据亮度所属的块而将对 数亮度logLc(p)值分类，然后将其提供给平均值计算部件263-1至263-N(＝ m×n)。例如，分类到第一块的那些被提供给平均值计算部件263-1，并且分 类到第二块的那些被提供给平均值计算部件263-2。相同的内容也施加到后 续的对数亮度logLc(p)值，分类到第N块的那些被提供给平均值计算部件263 -N。
平均值计算装置263-i(i＝1，2，...，N)从一帧的对数亮度logLc(p)里面计 算被分类到第i块的对数亮度logLc(p)的平均值，并将其输出到复合部件264。 复合部件264生成m×n个像素的缩小图像logLc1，其具有分别从平均值计算 部件263-i接收的对数亮度logLc(p)的平均值作为像素值，并使得后级中的 缩小图像存储器206保存之。
接下来的图26示出了对比度校正部件207的示例结构。对比度校正部件 25的亮度生成部件270计算输入的色调曲线校正后的对数颜色信号[logRc(p)， logGc(p)，logBc(p)]的线性和，从而生成对数亮度logLc(p)，并将其输出到内 插位置指定部件271和增益值设置部件273。
内插位置指定部件271获取对数亮度logLc(p)的像素位置p(以下也称为 内插位置p)，并将其输出到内插部件272。内插部件272使用由缩小图像存 储器206保持的先前帧的第二缩小图像logLc1，通过内插来计算对应于内插 位置p的像素logLc1(p)，并将其输出到减法器274-R至274-B、以及加法 器276-R至276-B。
增益值设置部件273基于关于从色调曲线校正部件22接收的先前帧的代 表值γ和当前帧的对数亮度logLc(p)，计算确定当前帧的对数亮度logLc(p)的 对比度增强量的增益值g(p)，并将其输出到乘法器275-R至275-B。
减法器274-R从对数颜色信号logRc(p)减去内插值logLc1(p)，并将结果 输出到乘法器275-R。乘法器275-R将减法器274-R的输出乘以增益值 g(p)，并将结果输出到加法器276-R。加法器276-R将内插值logLc1(p)加到 乘法器275-R的输出上，并将所获得的对比度校正后的对数颜色信号logRu(p) 输出到后级。
下面应注意的是，用于处理G和B成分的任意组件与用于处理上述R 成分的那些类似，因此将省略解释。
接下来的图27示出了可取代图21中示出的色调曲线校正部件204、缩 小图像生成部件205、缩小图像存储器206和对比度校正部件207的复合部 件300的示例结构。
复合部件300的亮度生成部件301计算输入的对数颜色信号[logRb(p)， logGb(p)，logBb(p)]的线性和，从而生成对数亮度logLb(p)，并将其输出到减 法器302-R至302-B以及表参考部件304。减法器302-R从对数颜色信 号logRb(p)减去对数亮度logLb(p)，并将结果输出到乘法器316-R。
复合部件300的LUT存储器303具有对应于如图4所示的色调曲线的 LUT和表示预先保持在其中的色调曲线的斜率的代表值γ1。表参考部件304 基于由LUT存储器303保持的LUT而校正从亮度生成部件301接收的对数 亮度logL(p)，从而给出对数亮度logLc’(p)，并将其输出到乘法器305和缩小 图像生成部件306。
乘法器305将从表参考部件304接收的当前帧的对数亮度logLc’(p)乘以 由γ2存储器167保持的先前帧的代表值γ2，从而计算色调曲线校正后的对数 亮度logLc(p)，并将其输出到加法器317-R至317-B。
缩小图像生成部件306将对数亮度图像logLc’分为m×n个块，计算属于 单个块的像素的对数亮度logLc’(p)值的平均值，从而生成m×n个像素的第一 缩小图像，并使第一缩小图像存储器307保存之。
平均亮度计算部件308计算由第一缩小图像存储器307保持的先前帧的 第一缩小图像的像素值的平均值μ，并将其输出到除法器309。除法器309将 预定的常数logLT除以平均值μ，从而计算代表值γ2，并使γ2存储器310保存 之。乘法器311计算代表值γ1和γ2的乘积作为代表值γ(＝γ1·γ2)，并将其输出 到增益值设置部件315以及乘法器316-R至316-B。
乘法器312将由第一缩小图像存储器164保持的第一缩小图像的单个像 素乘以由γ2存储器310保持的代表值γ2，从而生成第二缩小图像logLc1，并 使第二缩小图像存储器313保存之。
内插部件314使用由缩小图像存储器169保持的先前帧的第二缩小图像 logLc1，通过内插来计算对应于从乘法器170接收的当前帧的对数亮度logLc(p) 的内插位置p(以下也称为内插位置p)的像素logLc1(p)，并将其输出到减法器 318-R至318-B、以及加法器320-R至320-B。
增益值设置部件315基于关于从乘法器311接收的先前帧的代表值γ和 从乘法器305接收的当前帧的对数亮度logLc(p)，计算确定当前帧的对数亮度 logLc(p)的对比度增强量的增益值g(p)，并将其输出到乘法器319-R至319 -B。
乘法器316-R计算减法器302-R的输出与代表值γ的乘积，并将其输 出到加法器317-R。加法器317-R计算乘法器316-R的输出和乘法器305 的输出的和，并将其输出到减法器318-R。减法器318-R从加法器317-R 的输出减去内插值logLc1(p)，并将结果输出到乘法器319-R。乘法器319- R将减法器318-R的输出乘以增益值g(p)，并将结果输出到加法器320-R。 加法器320-R计算乘法器319-R的输出与内插值logLc1(p)的和，并将所获 得的对比度校正后的对数颜色信号logRu(p)输出到后级。
下面应注意的是，用于处理G和B成分的任意组件与用于处理上述R 成分的那些类似，因此将省略解释。
复合部件300的使用允许平均亮度计算部件308计算m×n个像素的第一 缩小图像的平均值，与图24中示出的被利用来计算对于原始大小的对数亮度 图像logLc的像素的平均值的平均亮度计算部件245相比，这成功地减小了计 算量。因此，有可能减少由计算引起的延迟时间。
接下来的图28示出了亮度范围信息计算部件210的示例结构。在亮度范 围信息计算部件210中，亮度生成部件331计算γ校正后的颜色信号[Rg(p)， Gg(p)，Bg(p)]的线性和，从而生成亮度Y(p)，并将其输出到抽选部件332。抽 选部件332基于像素位置p而选择从亮度生成部件331接收的亮度Y(p)。也 就是说，仅将预先设置的像素位置处的像素的亮度值提供给后级中的MIN分 类部件333和MAX分类部件336。
配置MIN分类部件333，使得k对比较部件334和寄存器335的组合串 联排列，并使得由寄存器335-1至335-k以递增顺序保持输入的亮度Y(p) 值。
例如，比较部件334-1比较来自抽选部件332的亮度Y(p)和寄存器335 -1中的值，并且当来自抽选部件332的亮度Y(p)小于寄存器335-1中的值 时，使用来自抽选部件332的亮度Y(p)来更新寄存器335-1中的值。反之， 当来自抽选部件332的亮度Y(p)不小于寄存器335-1中的值时，将来自抽选 部件332的亮度Y(p)提供给后级中的比较部件334-2。
相同的内容也将施加到比较部件334-2以及其后，其中，在一帧的亮度 Y(p)输入完成后，寄存器335-1将具有保持在其中的亮度Y(p)的最大值Ymin， 并且寄存器335-2至335-k将具有以递增顺序保持在其中的亮度Y(p)值， 并且将保持在寄存器335-k中的亮度Y(p)作为亮度范围信息的亮度Yd输出到 后级。
配置MAX分类部件336，使得k对比较部件337和寄存器338的组合 串联排列，并使得由寄存器338-1至338-k以递减的顺序保持输入的亮度 Y(p)值。
例如，比较部件337-1比较来自抽选部件332的亮度Y(p)和寄存器338 -1中的值，并且当来自抽选部件332的亮度Y(p)大于寄存器338-1中的值 时，使用来自抽选部件332的亮度Y(p)来更新寄存器338-1中的值。反之， 当来自抽选部件332的亮度Y(p)不大于寄存器338-1中的值时，将来自抽选 部件332的亮度Y(p)提供给后级中的比较部件337-2。
相同内容也将施加到比较部件337-2以及其后，其中，在一帧的亮度 Y(p)输入完成后，寄存器338-1将具有保持在其中的亮度Y(p)的最大值Ymax， 而寄存器338-2至338-k将具有以递减顺序保持在其中的亮度Y(p)值，并 且将保持在寄存器338-k中的亮度Y(p)作为亮度范围信息的亮度Yb输出到后 级。
因为输入到MIN分类部件333和MAX分类部件336的亮度Y(p)值被抽 选部件332抽选，所以抽选间隔以及MIN分类部件333和MAX分类部件336 的级数k的适当调整，使得有可能获得与例如一帧中的全部像素的上端和下 端的1％或0.1％对应的亮度Yd、Yb值。
接下来，将参考图29的流程图来描述使用施加了图27中示出的复合部 件300的DSP 7的第二示例结构的一般灰度色标压缩处理。
在步骤S41中，DSP 7(去马赛克部件201)对宽DR彩色马赛克图像去马 赛克，从而生成宽DR彩色图像，并将其像素值即颜色信号[R(p)，G(p)，B(p)] 以光栅的顺序输出到彩色平衡调整部件202。在步骤S42中，DSP 7(彩色平 衡调整部件202)分别调整R、G和B成分，使得整个图像的彩色平衡将变得 适当，从而生成颜色信号[Rb(p)，Gb(p)，Bb(p)]。
在步骤S43中，DSP 7基于相对于先前帧的宽DR彩色图像而已经计算 并保持的中间信息(第二缩小图像logLc(p)、代表值γ、亮度范围信息[Yd，Yb])， 将输入的当前帧的宽DR彩色图像L的颜色信号转换成窄DR彩色图像Yn。 DSP 7还计算关于当前帧的宽DR彩色图像L的中间信息。
在步骤S44中，DSP 7使用相对于所计算的当前帧的宽DR彩色图像L 的中间信息，来更新关于所存储的先前帧的宽DR彩色图像的中间信息。
在步骤S45中，DSP 7判别在输入的当前帧的宽DR亮度图像之后是否 存在后续帧，并且当判定存在时，该过程返回步骤S41并重复其后的过程。 反之，当判定不存在任何后续帧时，灰度色标压缩处理结束。
将参考图30中的流程图来解释步骤S42中的、在像素基础上的处理的细 节。下面描述的单个步骤的处理是相对于根据光栅顺序输入的目标像素(像素 位置p)而执行的。
在步骤S51中，彩色平衡调整部件202将生成的颜色信号[Rb(p)，Gb(p)， Bb(p)]输出到对数转换部件203。在步骤S52中，对数转换部件203使输入的 颜色信号[Rb(p)，Gb(p)，Bb(p)]受到对数转换，并将所获得的对数颜色信号 [logRb(p)，logGb(p)，logBb(p)]输出到复合部件300。
在步骤S53中，复合部件300的亮度生成部件301计算输入的对数颜色 信号[logRb(p)，logGb(p)，logBb(p)]的线性和，从而生成对数亮度logLb(p)，并 将其输出到减法器302-R至302-B，以及表参考部件304。在步骤S54中， 表参考部件304基于由LUT存储器303保持的LUT而将输入的对数亮度 logL(p)校正为对数亮度logLc’(p)，并将其输出到乘法器305和缩小图像生成 部件306。
在步骤S55中，缩小图像生成部件306基于色调曲线校正后的一帧的对 数亮度logLc’(p)而生成第一缩小图像。在这里，基于生成的第一缩小图像而 计算代表值γ2。在这里还通过将生成的第一缩小图像乘以这样计算出的代表 值γ2而生成第二缩小图像logLc1。
在步骤S56中，乘法器305将从表参考部件304接收的当前帧的对数亮 度logLc’(p)乘以由γ2存储器310保持的先前帧的代表值γ2，从而计算色调曲 线校正后的对数亮度logLc(p)。
在步骤S57中，对于R成分，由减法器302-R、乘法器316-R和加法 器317-R进行计算，以生成色调曲线校正后的对数颜色信号logRc(p)。对于 G成分，由减法器302-G、乘法器316-G和加法器317-G进行计算，以 生成色调曲线校正后的对数颜色信号logGc(p)。对于B成分，由减法器302 -B、乘法器316-B和加法器317-B进行计算，以生成色调曲线校正后的 对数颜色信号logBc(p)。
在步骤S58中，增益值设置部件315基于关于从乘法器311接收的先前 帧的代表值γ和从乘法器305接收的当前帧的对数亮度logLc(p)，计算确定当 前帧的对数亮度logLc(p)的对比度增强量增的益值g(p)。在步骤S59中，内插 部件314使用由第二缩小图像存储器313保持的先前帧的第二缩小图像 logLc1，通过内插来计算对应于内插位置p的像素logLc1(p)。
在步骤S60中，对于R成分，由减法器318-R、乘法器319-R和加法 器320-R进行计算，以生成色调曲线校正后的对数颜色信号logRu(p)。对于 G成分，由减法器318-G、乘法器319-G和加法器320-G进行计算，以 生成色调曲线校正后的对数颜色信号logGu(p)。对于B成分，由减法器318 -B、乘法器319-B和加法器320-B进行计算，以生成色调曲线校正后的 对数颜色信号logBu(p)。
在步骤S61中，对数逆转换部件208使对比度校正后的对数颜色信号 [logRu(p)，logGu(p)，logBu(p)]受到对数逆转换，从而生成由常规轴表示的颜 色信号[Ru(p)，Gu(p)，Bu(p)]，并将其输出到γ校正部件209。在步骤S62中， γ校正部件209进行预定的γ校正，并将所获得的γ校正后的颜色信号[Rg(p)， Gg(p)，Bg(p)]输出到亮度信息计算部件210和亮度范围正规化部件212。
在步骤S63中，亮度范围信息计算部件210的亮度生成部件331基于γ 校正后的颜色信号[Rg(p)，Gg(p)，Bg(p)]而生成亮度Y(p)。在步骤S64中，亮 度范围信息计算部件210的MIN分类部件333和MAX分类部件336基于一 帧的亮度Y(p)而计算亮度范围信息[Yd，Yb]。
在步骤S65中，亮度范围正规化部件212基于由亮度范围信息存储器211 保持的先前帧的亮度范围信息[Yd，Yb]，将从γ校正部件209接收的颜色信号 [Rg(p)，Gg(p)，Bg(p)]正规化，从而计算[Rn(p)，Gn(p)，Bn(p)]。在步骤S66中， 亮度范围正规化部件212将这样计算的颜色信号[Rn(p)，Gn(p)，Bn(p)]作为灰 度色标压缩后的窄DR彩色图像的像素值输出。此处是图29中的步骤S43的 处理的详细解释的结尾。
接下来，将参考图31中的流程图来解释图29中的步骤S44中的处理的 细节。在步骤S71中，缩小图像生成部件306使用基于色调曲线校正后的一 帧的对数亮度logLc’(p)而生成的第一缩小图像，来更新由第一缩小图像存储 器307保持的第一缩小图像。
在步骤S72中，除法器309将预定的常数logLT除以从平均亮度计算部 件165接收的平均值μ，从而计算代表值γ2，并使用这样计算的代表值γ2来 更新由γ2存储器310保持的代表值γ2。
在步骤S73中，乘法器312将由步骤S71的处理更新的、由第一缩小图 像存储器307保持的第一缩小图像的单个像素乘以由步骤S72的处理更新的、 由γ2存储器310保持的代表值γ2，从而生成第二缩小图像logLc1，并更新由 第一缩小图像存储器313保持的第二缩小图像logLc1。
在步骤S74中，亮度范围信息计算部件210使用基于一帧的[Rg(p)，Gg(p)， Bg(p)]而生成的亮度范围信息[Yd，Yb]，来更新由亮度范围信息存储器211保 持的先前帧的亮度范围信息[Yd，Yb]。此处是图29中的步骤S44的处理的详 细解释的结尾。
这里是DSP 7的第二示例结构的详细解释的结尾。
例如，应注意的是，配置图5中示出的平均亮度计算部件51、图6中示 出的平均亮度计算部件63、图17中示出的平均亮度算出部件165、图23中 示出的平均亮度计算部件232以及图24中示出的平均亮度计算部件245的每 一个，使得计算出亮度值的平均值，其中用于找到平均值的计算可采用加权 平均。例如，给予图像的中央部分的权比给周边部分的权更大，使得在将重 点放在存在于图像中央部分的对象的反射率时能进行亮度校正。
图17中示出的复合部件160和图27中示出的复合部件300具有用于保 持所生成的第一缩小图像的存储器、以及用于保持通过将这样生成的第一缩 小图像乘以代表值γ2而生成的第二缩小图像的存储器，其中，因为一旦生成 了第二缩小图像就不再有必要保持第一缩小图像，所以这两个存储器可以合 并为一个。
如果本发明被施加到如本实施例中的这样的数字摄像机：其拍摄宽DR 图像的画面、压缩灰度色标并将其作为具有窄动态范围的可在显示器上显示 的图像而输出，则使得有可能通过这样的结构来实现灰度色标压缩处理：其 仅具有大量减少的对传统的灰度色标压缩技术中不可或缺的存储器容量(用 于帧存储器或像素串行数据的延迟线)，并且，还使得有可能获得这样的输出 图像：其决不逊色于通过通常使用大规模滤波实现的灰度色标压缩处理而获 得的输出图像。
这使得有可能实现从未实现过的高品质和廉价的数字摄像机。
本实施例中的宽DR图像是假设显示器11为再现设备而受到灰度色标压 缩处理的，其中，例如，也有可能进行灰度色标压缩处理，使得适合于可由 外接到数字摄像机1的监视器或打印机表示的动态范围。
接下来的图32示出了施加了本发明的图像处理系统的示例结构。图像处 理系统501由以下部件构成：摄像机502，用于拍摄对象的画面，并产生由 具有比通常更宽的动态范围的像素值(亮度)的像素构成的宽DR图像L；图像 处理设备510，用于将由摄像机502生成的宽DR图像L的灰度色标压缩到 可由显示器511显示的灰度色标范围；以及显示器11，用于显示由图像处理 设备510生成的灰度色标压缩后的图像Lu。
摄像机502由用于使对象的光图像会聚的透镜503、用于调整光图像的 光能量的量的光圈、用于通过会聚的光图像的光电转换而生成亮度信号的 CCD图像传感器、用于从所生成的亮度信号除去噪声成分的前置放大器 (Pre-amp.)506、用于通常将除去噪声成分的亮度信号转换成具有14至16位 左右的位宽的数字数据的AD转换器(A/D)507、以及用于将由具有数字化亮 度的像素构成的宽DR图像输出到图像处理设备510的I/O接口(I/O)508构成。
图32示出了图像处理设备1的全部操作。在步骤S101中，摄像机502 拍摄对象的画面，生成对应的宽DR图像L，并将其输出到图像处理设备510。 在步骤S102中，图像处理设备510使宽DR图像L受到灰度色标压缩处理， 从而生成灰度色标压缩后的图像Lu，并将其输出到显示器511。在步骤S103 中，显示器511显示灰度色标压缩后的图像Lu。
接下来的图34示出了图像处理设备510的第一示例结构。图像处理设备 510的色调曲线校正部件521基于预先获得的色调曲线，朝着压缩灰度色标 的方向校正从摄像机502接收的宽DR图像L，并将所得的色调曲线校正后 的图像Lc输出到平滑亮度生成部件522、增益值设置部件523和对比度校正 部件524。应注意的是，色调曲线校正后的图像Lc具有压缩了的灰度色标， 以及由于压缩了的灰度色标引起的减弱的对比度。色调曲线校正部件521还 将表示用于校正的色调曲线的斜率的代表值γ输出到增益值设置部件523。
图35示出了色调曲线校正部件521的示例结构。色调曲线校正部件521 的LUT存储器531预先保持与如图36所示的单调增加的色调曲线对应的查 找表(以下称为LUT)，以及表示色调曲线斜率的代表值γ。代替LUT，保持 对应于色调曲线的函数也是允许的。表参考部件532基于由LUT存储器531 保持的LUT而校正宽DR图像L，从而获得色调曲线校正后的图像Lc。
图36示出了色调曲线的示例，其中在[0，1]范围内正规化的对数轴上， 分别由横坐标标绘宽DR图像L，纵坐标标绘校正之后的色调曲线校正后的 图像Lc的亮度。图36中示出的色调曲线在正规化的宽DR图像的亮度值超过 0.5时不校正该值，而在正规化的宽DR图像值的亮度值小于0.5时校正该值， 使得通过较大的校正量来校正较小的值。也就是说，进行校正，使得当出现 在显示器511上时避免最大的图像中的暗区域的阴影。表示色调曲线斜率的 代表值γ可以由在亮度的整个区域上分别得到的斜率的平均值来定义。例如， 图36中示出的色调曲线的代表值是γ＝0.94。
下面参考回图34，平滑亮度生成部件522使色调曲线校正后的图像Lc 的亮度平滑化，并将所获得的平滑后的图像的亮度Lc1(p)输出到对比度校正部 件24。图37示出了平滑亮度生成部件22的示例结构。
平滑亮度生成部件522的缩小图像生成部件541依据像素位置而将从色 调曲线校正部件521接收的色调曲线校正后的图像Lc的像素分类成m×n个 块，并生成缩小图像Lc1，其具有分类到单个块的像素亮度的平均值作为它自 己的像素。缩小图像存储器542保持这样生成的m×n个像素的缩小图像Lc1。 内插部件543使用由缩小图像存储器542保持的缩小图像的像素，通过内插 来计算顺次指定的像素位置的亮度，并将所获得的内插值Lc1(p)作为平滑后的 图像的像素亮度输出到对比度校正部件524。在这里应注意的是，p＝(x，y) 是表示像素位置的坐标或向量。从内插部件543输出的平滑后的图像的大小 等于色调曲线校正后的图像Lc的大小。
也就是说，在平滑亮度生成部件522中，缩小色调曲线校正后的图像Lc， 以生成缩小图像Lc1，并且通过使用所保持的缩小图像Lc1，通过以逐个像素 的方式的内插运算来计算平滑后的图像的亮度。
尽管通常有必要采用用于有效灰度色标压缩处理的相对大规模的滤波， 但平滑亮度生成部件522仅需要用于保持m×n个像素的缩小图像的缩小图像 存储器542。
图38示出了图37中示出的缩小图像生成部件541的示例结构。缩小图 像生成部件541的分类部件551将色调曲线校正部件521接收的色调曲线校 正后的图像Lc的像素依据像素位置而分类成m×n个块，然后将其提供给平均 值计算部件552-1至552-N(＝m×n)。例如，分类到第一块的那些被提供给 平均值计算部件552-1，而分类到第二块的那些被提供给平均值计算部件 552-2。当没有必要区分单个平均值计算部件552-1至552-N时，下面的 描述采用平均值计算部件552的简单记号。
平均值计算部件552-i(i＝1，2，...，N)计算分类到第i块的色调曲线校正 后的图像Lc的像素亮度的平均值，并将其输出到复合部件553。复合部件553 生成m×n个像素的缩小图像logLc1，其具有分别从平均值计算部件552-i接 收的亮度的平均值作为像素值。
图39示出了图38中示出的平均值计算部件552的示例结构。平均值计 算部件552的加法器561将从前级中的分类部件551接收的色调曲线校正后 的图像Lc的亮度加到由寄存器(r)562保持的值上，从而更新由寄存器(r)562 保持的值。除法器563将由寄存器562最终保持的值除以构成一个块的像素 数Q，从而计算分类到一个块的Q个像素的亮度的平均值。
图40示出了图37中示出的内插部件543的示例结构。内插部件543的 附近选择部件571基于由缩小图像存储器542保持的m×n个像素的缩小图像 Lc1，在接收到内插位置p时获取内插位置p附近的4×4个像素的亮度a[4][4]， 并将其输出到乘积求和部件574。
在这里，记号a[i][j]意思是像素值a是i×j的二维排列数据。附近选择部 件571将所获取的亮度a[4][4]和内插位置p之间的水平位移dx和垂直位移 dy分别输出到水平系数计算部件572或垂直系数计算部件573。
应注意的是，内插位置p、相邻亮度a[4][4]和位移dx、dy的量之间的关 系类似于上面参考图11描述的那些，因此将省略该解释。
水平系数计算部件572基于从附近选择部件71接收的水平位移dx而计 算水平方向上的三次内插系数kx[4]。类似地，垂直系数计算部件573基于从 附近选择部件571接收的垂直位移dy而计算垂直方向上的三次内插系数 ky[4]。
水平方向上的三次内插系数kx[4]通常通过使用上述的式(1)来计算。
垂直方向上的三次内插系数ky[4]通常通过使用上述的式(2)来计算。
应注意的是，只要能够获得足够平滑的内插，可以使用除了上面示出的 式(1)、(2)以外的任何任意计算公式来计算三次内插系数Kx[4]和Ky[4]。
乘积求和部件574使用上述的式(3)，通过使用相邻像素值a[4][4]、水平 内插系数kx[4]和垂直内插系数ky[4]的乘积求和计算，来计算缩小图像Lc1的 内插位置p的内插值Lc1(p)。
下面参考回图34，增益值设置部件523基于从色调曲线校正部件521接 收的代表值γ，对于单个像素位置，计算用于在对比度校正部件524中调整平 滑后的图像的亮度logLc(p)的对比度校正量的增益值g(p)，并将其输出到对比 度校正部件524。
下面将解释增益值g(p)。对于g(p)＝1的增益值，对比度增强部件524 既不增强也不抑制对比度。对于g(p)＞1的增益值，对应于该值而增强对比度。 反之，对于g(p)＜1的增益值，对应于该值而抑制对比度。
由增益设置部件523进行的增益值设置的概要类似于由上述的增益设置 部件93进行的增益值设置，因此将省略该解释。
图41示出了增益值设置部件523的示例结构。除法器581计算从前级接 收的代表值γ的倒数1/γ＝g0，并将其输出到减法器582。减法器582计算(g0 -1)，并将其输出到乘法器588。
减法器583计算色调曲线校正后的图像Lc的单个亮度和具有中等灰度级 别的亮度Lgray之间的差(Lc-Lgray)，并将其输出到除法器585。减法器584计 算具有白限幅级别的亮度Lwhite和亮度Lgray之间的差(Lwhite-Lgray)，并将其输 出到除法器585。除法器585将减法器583的输出(Lc-Lgray)除以减法器584 的输出(Lwhite-Lgray)，并将其输出到绝对值计算器586。绝对值计算器586计 算减法器585的输出的绝对值，并将其输出到限幅器587。限幅器587对绝 对值计算器586的输出进行限幅，使得在该输出超过1时将其调整为1，而 在该输出不超过1时保留其不变，并将结果作为attn(p)而输出到乘法器588。
乘法器588将减法器582的输出乘以限幅器587的输出，并将乘积输出 到加法器589。加法器589将乘法器588的输出加1，并将结果作为增益值 g(p)输出到后级。
下面参考回图34，对比度校正部件524基于从增益值设置部件523接收 的对于单个像素位置p的增益值g(p)、以及从平滑亮度生成部件522接收的 平滑后的图像的亮度Lc1(p)，来增强先前减弱的对比度的色调曲线校正后的图 像Lc的对比度，从而生成灰度色标压缩后的图像Lu。
图42示出了对比度校正部件524的示例结构。对比度校正部件524的减 法器591计算色调曲线校正后的图像Lc的单个像素的亮度Lc(p)与平滑后的图 像的对应像素的亮度(即，缩小图像的内插值Lc1(p))之间的差(Lc(p)-Lc1(p))， 并将其输出到乘法器592。乘法器592计算减法器591的输出和从增益值设 置部件523接收的增益值g(p)的乘积，并将结果输出到加法器593。加法器 593将平滑后的图像的亮度(缩小图像的内插值Lc1(p))加到乘法器592的输出 上，并将所获得的亮度Lu(p)作为构成对比度校正后的、灰度色标压缩了的图 像Lu的像素的亮度而输出到后级。
下面应注意的是，平滑后的图像的像素亮度(缩小图像的内插值Lc1(p)) 是基于m×n个像素的内插值，并因此仅具有缩小前的图像Lc的极低频成分。
因而，减法器591的输出(Lc(p)-Lc1(p))等于通过从原来的色调曲线校正 后的图像logLc仅减去极低频成分所获得的差。如上所述，对比度校正后的、 灰度色标压缩了的图像的亮度Lu(p)是通过这样获得的：将亮度信号分为极低 频成分和其它成分，并且在这些成分中，除了低频成分以外的成分通过乘以 增益值g(p)而增强了对比度，并且，使用加法器593将两者再度合成。
如上所述，配置对比度校正部件524，使得使用相同的增益值g(p)来增 强除了极低频区以外的低中频区和高频区内的成分。因此，使得有可能获得 具有对眼睛来说增强得非常自然的图像，而不生成当仅增强高频成分时会很 明显的边缘部分的局部过冲。
接下来，将参考图43中的流程图来解释由根据第一示例结构的图像处理 设备510进行的灰度色标压缩图像生成处理(即，在上面参考图33中的流程 图而描述的步骤S102中的处理)的细节。
在步骤S111中，色调曲线校正部件521基于预先获得的LUT来校正从 摄像机502接收的宽DR图像L的亮度，并将所获得的色调曲线校正后的图 像Lc输出到平滑亮度生成部件522、增益值设置部件523和对比度校正部件 524。色调曲线校正部件521还将表示用于校正的色调曲线的斜率的代表值γ 输出到增益值设置部件523。
在步骤S112中，平滑亮度生成部件522缩小色调曲线校正后的图像Lc， 从而生成缩小图像Lc1，并进一步使用缩小图像Lc1的像素，基于内插运算而 计算平滑后的图像的像素亮度Lc1(p)，并将结果输出到对比度校正部件524。
在步骤S113中，增益设置部件523基于从色调曲线校正部件521接收的 代表值γ，对于单个像素位置，计算用于在对比度校正部件524中调整平滑后 的图像的亮度Lc(p)的对比度校正量的增益值g(p)，并将其输出到对比度校正 部件524。
应注意的是，步骤S112和步骤S113中的处理可并行实施。
在步骤S114中，对比度校正部件524基于从增益值设置部件523接收的 对于单个像素位置p的增益值g(p)以及从平滑亮度生成部件522接收的平滑 后的图像的亮度Lc1(p)，来校正色调曲线校正后的图像Lc的亮度，从而计算 灰度色标压缩后的图像Lu的像素亮度Lu(p)。因此，如上所述获得的对比度校 正后的、灰度色标压缩后的图像Lu作为具有对眼睛来说增强得非常自然的对 比度的图像来获得，而不生成当仅增强高频成分时可能很明显的边缘部分的 局部过冲。此处是对由图像处理设备510的第一示例结构进行的灰度色标压 缩图像生成处理的解释的结尾。
接下来的图44示出了图像处理设备510的第二示例结构。第二示例结构 按照这样来配置，使得在图34中示出的第一示例结构中的色调曲线校正部件 521的前级中提供对数转换部件601，用于实现从摄像机501接收的宽DR图 像L的亮度的对数转换，并在第一示例结构中的对比度校正部件524的后级 中提供对数逆转换部件602，用于实现从对比度校正部件524的输出的对数 逆转换。
构成图像处理设备510的第二示例结构的除了对数转换部件601和对数 逆转换部件602以外的任何组件等同于图34中示出的第一示例结构的那些， 并被赋予相同的标号，因而将省略该解释。在此应注意的是，在第二示例结 构中，从色调曲线校正部件521到对比度校正部件524的部件单独处理对数 转换后的亮度。
例如，第二示例结构中的色调曲线校正部件521采用如图4所示的色调 曲线。如图4所示的单调增加的、平缓的反S形色调曲线的应用将不会在高 亮度区和低亮度区中引起很强的灰度色标压缩效果，使得即使在灰度色标压 缩之后也有可能获得所希望的具有较少程度的白盲或黑盲的色调。反之，灰 度色标压缩将强烈影响中间亮度区，而这意味着对比度校正可以充分施加到 中间亮度区，并导致在中间亮度区也获得所希望的具有较小程度的对比度校 正的灰度色标压缩的图像Lu。在这里，色调曲线具有值为0.67的代表值γ。
接下来，将参考图45中的流程图来解释根据图像处理设备510的第二示 例结构的灰度色标压缩图像生成处理的细节。
在步骤S121中，对数转换部件601使从摄像机5022接收的宽DR图像 L的亮度受到对数转换，并将所获得的对数宽DR图像logL输出到色调曲线 校正部件521。
在步骤S122中，色调曲线校正部件521通常基于预先获得的、对应于图 4中示出的色调曲线的LUT，来校正对数宽DR图像logL的亮度，并将所获 得的对数色调曲线校正后的图像logLc输出到平滑亮度生成部件522、增益值 设置部件523和对比度校正部件524。色调曲线校正部件521还将表示用于 校正的色调曲线的斜率的代表值γ输出到增益值设置部件523。
在步骤S123中，平滑亮度生成部件522缩小对数色调曲线校正后的图像 logLc，从而生成对数缩小图像logLc1，并进一步使用对数缩小图像logLc1的 像素，通过内插运算来计算对数平滑后的图像的像素亮度logLc1(p)，并将结 果输出到对比度校正部件524。
在步骤S124中，增益值设置部件523基于从色调曲线校正部件521接收 的代表值γ，对于单个像素位置，计算用于在对比度校正部件524中调整对数 平滑后的图像的亮度logLc(p)的对比度校正量的增益值g(p)，并将其输出到对 比度校正部件524。
应注意的是，步骤S123和步骤S124中的处理可并行实施。
在步骤S125中，对比度校正部件524基于从增益值设置部件523接收的 对于单个像素位置p的增益值g(p)、以及从平滑亮度生成部件522接收的对 数平滑后的图像的亮度Lc1(p)，来校正对数色调曲线校正后的图像logLc的亮 度，从而计算对数灰度色标压缩后的图像logLu的像素亮度logLu(p)，并将其 输出到对数逆转换部件602。
在步骤S126中，对数逆转换部件602使对数灰度色标压缩后的图像logLu 的像素亮度logLu(p)受到对数逆转换，并将所获得的Lu(p)作为灰度色标压缩 后的图像Lu的像素亮度输出。
因为如上所述获得的对比度校正后的、灰度色标压缩后的图像Lu将不会 在高亮度区和低亮度区中引起很强的灰度色标压缩效果，使得即使在灰度色 标压缩之后也有可能获得所希望的、具有较少程度的白盲或黑盲的色调。反 之，灰度色标压缩将强烈影响中间亮度区，而这意味着对比度校正可完全施 加到中间亮度区，并导致在中间亮度区也得到所希望的、具有较少程度的对 比度校正的灰度色标压缩后的图像Lu。此处是根据图像处理设备510的第二 示例结构的灰度色标压缩图像生成处理的解释的结尾。
如上面已经描述的，根据本发明的一个实施例的图像处理设备510使得 有可能基于大大减少了对于传统的灰度色标压缩技术不可或缺的大存储器容 量(用作帧存储器和数据延迟线)的结构，来将具有比通常更宽的亮度的动态范 围的宽DR图像转换成可在仅具有可显示亮度的窄动态范围的显示器111上 显示的灰度色标压缩后的图像，而不损坏外观良好的特性。还使得有可能获 得这样的灰度色标压缩后的图像：其绝不逊色于通过通常使用大规模滤波实 现的灰度色标压缩处理而获得的灰度色标压缩后的图像。
当然，图像处理设备510可以在适合于可在除了显示器511之外的打印 机和投影仪上表现的动态范围的同时，将宽DR图像转换成灰度色标压缩后 的图像。
本发明通常适用于这样的图像信号处理电路：其不仅内置于诸如数字摄 像机和数字静止相机的拍摄设备，还内置于诸如显示器、打印机、投影仪等 的表现设备。
上述的一系列处理可在硬件基础上执行，也可在软件基础上执行。对于 在软件基础上执行该系列处理的情况，将构成此软件的程序从记录介质安装 在内置于专用硬件的计算机上，或者，例如安装到安装各种程序后可执行各 种功能的通用个人计算机上。
图46示出了通用个人计算机的示例结构。个人计算机620具有内置于其 中的CPU(中央处理单元)621。CPU 621经由总线624与输入/输出接口625连 接。总线624与ROM(只读存储器)622和RAM(随机存取存储器)623连接。
输入/输出接口625与以下部件连接：输入部件626，其由诸如用户通过 其输入操作命令的键盘、鼠标等的输入设备构成；输出部件627，用于在显 示设备上输出处理操作屏幕或处理的所得图像；存储部件628，其由用于存 储各种数据的程序的硬盘驱动器等构成；以及I/O接口629，用于与摄像机 502等进行图像数据通信。其还与用于向诸如磁盘631(包括软盘)、光盘632(包 括CD-ROM(高密度盘只读存储器)和DVD(数字多用途盘))、磁光盘633(包 括MD(迷你盘))、或半导体存储器634的记录介质写入或从其读取数据的驱 动器630连接。
CPU 621根据存储在ROM 622中的程序，或者从磁盘631至半导体存储 器634的任意一种读出并安装在存储部件628上、并从存储部件628加载到 来自存储部件628的RAM 623的程序，来执行各种处理。RAM 623还具有 适当地存储在其中的对于CPU 621进行各种处理所必需的数据。
应当理解的是，在本专利说明书中，用于描述记录介质中记录的程序的 步骤不仅包括在时间序列的基础上根据给定顺序进行的处理，还可以包含代 替那些总是在时间序列的基础上处理的那些处理而并行或单独进行的处理。
应当理解的是，在本说明书中，参考了日本专利申请第2002-003134 号(2003年1月9日提交)和第2003-003135号(2003年1月9日提交)的权利 要求书、说明书、附图和摘要的全部内容，并将其合并于此。
工业适用范围
如上面已经描述的，本发明使得有可能实现这样的灰度色标压缩技术： 其仅需要将消耗的小存储器容量和轻计算工作量，允许容易的硬件构造，并 保证大的灰度色标压缩效果。
还使得有可能使用较小的存储器容量，基于较少的计算量，并基于简单 的硬件构造而适当地增强图像的对比度。