用于处理待显示在显示装置上的数字图像的方法及装置

1.一种用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，包含：
产生一数字图像的一亮度统计；
依据该亮度统计决定一特定背光工作强度；
将该背光模块设定为该特定背光工作强度；
依据该特定背光工作强度和该亮度统计建构一色调映射函数；以及
在该数字图像显示在该显示装置之前，藉由该色调映射函数转映该数字图像，
其中该数字图像内每一像素的亮度值以一特定位分辨率编码，并且
其中上述的色调映射函数建构步骤包含：
决定一线性上限映射函数，该线性上限映射函数具有一依据该特定背光工作强度决定的特定斜率R1，该线性上限映射函数将编码值0转映至0；
依据该特定斜率R1决定一第一亮度值X1；
依据该第一亮度值X1和该特定位分辨率所产生的最大编码值Cmax决定一第二亮度值X2；
决定一下限系数R2，该下限系数R2大于或等于1，且小于该特定斜率R1；以及
建构该色调映射函数，其使得该第二亮度值X2被转映至一特定转映值(W*R1+(1-W)*R2)*X2，其中的W是依据该亮度统计决定的一介于0和1间的权重，且任何小于该第一亮度值X1的亮度值均透过该线性上限映射函数转映。
2.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中上述的色调映射函数更将该最大编码值Cmax转映至其本身。
3.如权利要求2所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中上述的色调映射函数更将任何介于该第一亮度值X1和该第二亮度值X2间的亮度值经由通过(X1，R1*X1)和(X2，(W*R1+(1-W)*R2)*X2)的直线所代表的一第一线性映射函数转映，且更将任何大于该第二亮度值X2的亮度值经由通过(X2，(W*R1+(1-W)*R2)*X2)和(Cmax，Cmax)的另一直线所代表的一第二线性映射函数转映。
4.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中上述的第一亮度值X1透过该线性上限映射函数转映至一小于该最大编码值Cmax的数值。
5.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中上述的下限系数R2等于1。
6.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中上述的权重W大致等于该数字图像中亮度值介于该第一亮度值X1和该第二亮度值X2间的像素数目相对于亮度值介于该第一亮度值X1和该最大编码值Cmax间的像素数目的比率。
7.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中该第一亮度值X1和该第二亮度值X2分别等于Cmax/2和(Cmax+X1)/2。
8.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中上述的亮度统计是一记录该数字图像像素的所有可能亮度值发生频率的直方图。
9.如权利要求1所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的方法，其中该显示装置是一液晶显示面板。
10.一种用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，包含：
一图像分析单元，用以产生一数字图像的亮度统计，并依据该亮度统计决定一特定背光工作强度；
一背光设定单元，用以将该背光模块设定为该特定背光工作强度；
一色调映射函数产生器，用以依据该特定背光工作强度和该亮度统计建构一色调映射函数；以及
一色调转映单元，用以在该数字图像显示在该显示装置之前，藉由该色调映射函数转映该数字图像，
其中该数字图像内每一像素的亮度值以一特定位分辨率编码，并且
其中上述的色调映射函数产生器包含：
一第一装置，用以决定一线性上限映射函数，该线性上限映射函数具有一依据该特定背光工作强度决定的特定斜率R1，该线性上限映射函数将编码值0转映至0；
一第二装置，用以依据该特定斜率R1决定一第一亮度值X1；
一第三装置，用以依据该第一亮度值X1和该特定位分辨率所产生的最大编码值Cmax决定一第二亮度值X2；以及
一第四装置，用以决定一下限系数R2，该下限系数R2大于或等于1，且小于该特定斜率R1，
其中该第一、第二、第三和第四装置共同建构该色调映射函数，其使得该第二亮度值X2被转映至一特定转映值(W*R1+(1-W)*R2)*X2，其中的W是依据该亮度统计决定的一介于0和1间的权重，且任何小于该第一亮度值X1的亮度值均透过该线性上限映射函数转映。
11.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中上述的色调映射函数更将该最大编码值Cmax转映至其本身。
12.如权利要求11所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中上述的色调映射函数更将任何介于该第一亮度值X1和该第二亮度值X2间的亮度值经由通过(X1，R1*X1)和(X2，(W*R1+(1-W)*R2)*X2)的直线所代表的一第一线性映射函数转映，且更将任何大于该第二亮度值X2的亮度值经由通过(X2，(W*R1+(1-W)*R2)*X2)和(Cmax，Cmax)的另一直线所代表的一第二线性映射函数转映。
13.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中上述的第一亮度值X1透过该线性上限映射函数转映至一小于该最大编码值Cmax的数值。
14.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中该下限系数R2等于1。
15.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中上述的权重W大致等于该数字图像中亮度值介于该第一亮度值X1和该第二亮度值X2间的像素数目相对于亮度值介于该第一亮度值X1和该最大编码值Cmax间的像素数目的比率。
16.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中该第一亮度值X1和该第二亮度值X2分别等于Cmax/2和(Cmax+X1)/2。
17.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中上述的亮度统计是一记录该数字图像像素的所有可能亮度值发生频率的直方图。
18.如权利要求10所述的用于处理待显示在以背光模块照亮的显示装置上的数字图像的装置，其中该显示装置是一液晶显示面板。

技术领域\n本发明有关于数字图像处理，特别是关于用于处理显示在具有背光模块的显示装置的数字图像的方法及装置。\n背景技术\n对于将图像显示在以背光模块照亮的显示装置，诸如液晶显示器(liquidcrystal display；LCD)，其背光模块的工作强度(duty，意即其照明强度)最好能依据待显示的内容适应性地调整。其目的之一在于对每一待显示的图像提供恰如其分的照明，从而节省电力。因此，在动态控制的背光系统，不同图像倾向于以不同的背光工作强度显示。\n然而，固定式背光工作强度和适应式控制背光对同一图像的显示结果通常会有显著的差异。此等显著差异一般导因于较小的背光照明而产生的对比减损。若此问题未做妥善处理，则常易造成较差的视觉观感。\n为了克服此问题，其可以调整显示器数字转模拟模块(D/A module)的Gamma校正系数(Gamma correction factor)，以产生接近固定式背光的视觉效果。然其效果通常有限，特别是图像的高亮度区域仍会受制于亮度或对比的明显降低。\n其亦可以在待显示的图像抵达数字转模拟模块之前均匀放大(scale up)其亮度成分。所谓均匀放大，指成比例地增加图像的所有像素(图像元素，pixels)的亮度值，以补偿源自背光动态控制的亮度损失。此法产生范围广于上述直接调整Gamma校正系数的方法且更接近固定式背光的等效Gamma校正。但这种作法易于在待显示图像的高亮度部份造成饱和，因此减损较亮场景的动态范围(dynamic range)。\n鉴于前述问题，其有必要提出改良的方法及装置，以有效解决对比减损的问题而使得适应性背光控制模式和令人满意的视觉感受可以并存。\n发明内容\n本发明的一目的因此在于提出一种数字图像处理方法，以改善显示在以动态控制式背光模块照亮的显示装置上的数字图像对比。\n本发明同时亦提出一种实现前述改善对比的数字图像处理方法的装置。\n在一较佳实施例中，本发明提出一种针对待显示在以背光模块照亮的显示面板上的数字图像的图像处理方法。此方法包含产生一数字图像的亮度统计；依据此亮度统计决定一特定背光工作强度；将背光模块设定为前述的特定背光工作强度；依据此特定背光工作强度和亮度统计建构一色调映射函数(tone mapping function)；在前述的数字图像显示在显示面板之前以此色调映射函数转映(remap)该数字图像。\n本发明亦提出一种实现前述方法的装置。此装置包含一图像分析单元、一背光设定单元、一色调映射函数产生器和一色调转映单元。图像分析单元用以产生一数字图像的亮度统计并依据此亮度统计决定一特定背光工作强度；背光设定单元用以将背光模块设定为该特定背光工作强度；色调映射函数产生器用以依据特定背光工作强度和亮度统计建构一色调映射函数；而色调转映单元则以此色调映射函数对该数字图像进行转映。\n附图说明\n配合下列图式可以更完整地理解本发明的原理及其精神，各图式中相同的编号代表相同的组件。\n图1例示依据本发明一实施例的数字图像处理方法。\n图2显示依据本发明一实施例的一关系图，其用以例示图1的说明提及的色调映射函数T(x)。\n图3依据本发明一实施例进一步例示图1的色调映射函数建构步骤的细节。\n图4显示依据本发明一实施例的数字图像处理装置的方块图。\n图5显示图4的色调映射函数产生器的方块图。\n【主要组件符号说明】\n120-160本发明的数字图像处理方法的步骤\n310-350色调映射函数建构步骤\n400依据本发明的数字图像处理装置\n410图像分析单元\n420色调映射函数产生器\n422第一装置\n424第二装置\n426第三装置\n428第四装置\n430色调转映单元\n440背光设定单元\n500图像显示系统\n510 D/A模块\n520源极驱动器\n530 LCD面板\n540背光模块\n545背光控制器\nCmax最大编码值\nP0-P3/P2L特定坐标点\nR1上限映射函数的斜率\nR2下限映射函数的斜率/下限系数\nSL左侧线段\nSM中央线段\nSR右侧线段\nT(x)待决定的色调映射函数\nTU(x)上限映射函数\nTL(x)下限映射函数\nT1(x)单位映射函数\nW权重\nX1第一亮度值\nX2第二亮度值\n具体实施方式\n以下将配合图式透过示范性实施例的说明例示本发明各种可能的实施方式。其应理解，其它实施例亦可能适用，且架构上或运作上的修改均可能在未脱离本发明的范畴下达成。此外，在以下说明和权利要求的用语中，星号(asterisk sign)″*″用以表示乘法运算。例如，″R1*X1″即表示数值R1和数值X1的乘积。此外，本文以下对于可以表示为具有特定斜率的直线的线性映射函数有时称其为具有该特定斜率的线性映射函数。\n图1例示依据本发明一实施例的数字图像处理方法。此数字图像处理方法可以在一数字图像显示在以背光模块照亮的显示装置上之前，用以处理该数字图像。举例而言，此显示装置可以是内置背光模块的液晶显示器(liquidcrystal display；LCD)面板。如前所述，背光模块的工作强度最好能依据显示的内容适应式地加以调整。依据本发明的原创性数字图像处理方法因此着眼于分析该数字图像以提供背光控制的信息，以及在该数字图像显示在显示装置之前先对数字图像进行必要的处理。\n上述的数字图像可以是一静态数字图像。或者，该数字图像亦可以是一视频数据流(video stream)内的一图像帧(frame)。通常，前述的视频数据流是以特定的图像压缩规格压缩的数据，而该数字图像则是解译自该视频数据流的图像帧。其应能理解，数字图像可以表示为由像素构成的数组，其中每一像素包含一个或多个定义该像素光学特性的数值成分，诸如亮度及/或色彩信息。\n步骤120撷取一待处理的数字图像内所有像素的亮度成分以产生通常称为统计直方图(以下称histogram)的亮度统计。此数字图像的histogram记录数字图像像素的所有可能亮度数值的发生频率。该待处理的数字图像可以是单色图像或彩色图像。对于单色的情况，像素的灰度值本身可用以做为亮度成分。对于彩色的情况，待处理数字图像的每一像素包含定义颜色的数值成分。许多颜色空间以三个成分，或称为三个原色(primary colors)，即足以定义一颜色。举例而言，在RGB颜色空间的情况，此等原色是红色、绿色和蓝色，而每一像素的亮度成分均可以表示为像素资料的红色、绿色和蓝色成分的加权总合(例如0.33R+0.57G+0.11B)。取决于数字图像编码所使用的位分辨率(bit resolution，即表示各个成分的位数目，通常一数字颜色图像中三个成分具有相同的位分辨率)，所导出的亮度的最大编码值可能不同。例如，当位分辨率是8时(意即分别以8个位对每一颜色和导出的亮度进行编码)，亮度的可能编码值将介于0至255(28-1)之间，而最大编码值为255。此种情况下，产生的histogram将包含介于0和255间每一编码值的像素数目。本文以下将待处理数字图像在特定位分辨率下的最大编码值将表示为Cmax。\n依据本发明的另一实施例，步骤120产生的亮度统计可以仅是待处理的数字图像中所有像素的平均亮度值。\n依据步骤120产生的histogram，步骤130决定一特定背光工作强度。此特定背光工作强度可以表示为一相对于背光模块最高亮度的百分比(诸如90％、80％、75％等等)。例如，当其决定将背光模块设定至其最高亮度时，该特定背光工作强度即为100％。依据经验或实验，各种不同的准则可用以自待处理数字图像的亮度特性(其又可自histogram导出)决定前述的特定背光工作强度。原则上，较小的背光工作强度将用于较暗的图像。\n在步骤140，背光模块透过诸如背光控制器被设定至前述特定背光工作强度。诚如本领域的技术人员所应理解，背光控制器可以由一PWM(pulsewidth modulation；脉宽调制)信号或其它适用的信号所驱动。例如，藉由控制PWM信号的有效工作周期，即可调整背光模块的亮度。\n产生的histogram随不同的待处理数字图像而异，而施加至背光模块的背光工作强度则随待显示的数字图像内容改变而不同，藉此达成基于内容的适应式背光控制的目的。\n为了产生对一般观众均能满意的输出图像，依据本发明的数字图像处理方法在待处理的数字图像显示在诸如LCD面板之前先进行转映。步骤150基于决定如上的亮度统计和特定背光工作强度建构一色调映射函数T(x)。步骤160，待处理数字图像在显示之前以构建在步骤150的色调映射函数T(x)转映。\n以上提及的步骤不一定以图1所示的顺序执行。例如，控制背光模块的步骤(例如，步骤140)可以和建构色调映射函数的步骤(例如，步骤150)同时执行。一般而言，数个步骤可以在实施本发明揭示方法的系统以特定设计的时序机制决定其顺序。\n图2显示依据本发明一实施例的一关系图，其用以例示图1的说明提及的色调映射函数T(x)的特性。如图2所示，新产生的色调映射函数T(x)表示为位于一上限映射函数TU(x)和一下限映射函数TL(x)间的较粗线段。上限映射函数TU(x)可以表示为一具有特定斜率R1的直线，此可由位于其上的点P1(X1，R1*X1)推知。使用先前提及的惯例，上限映射函数TU(x)于本文或称为具有特定斜率R1的线性映射函数。同样地，下限映射函数TL(x)是一具有特定斜率R2的线性映射函数，此可由位于其上的点P2L(X2，R2*X2)推知。图2亦显示将输入值转映至其本身的单位映射函数T1(x)，换言之，代表单位映射函数T1(x)的转换″曲线″是一斜率等于1的直线。\n分别称为第一和第二亮度值的编码值X1和X2依据TU(x)的特定斜率R1所决定。请参见图3的说明以了解决定特定亮度值X1和X2的原则的进一步细节。\n由图2所示可知，代表色调映射函数T(x)的转换″曲线″由三个线段组成，意即，左侧线段SL、中央线段SM以及右侧线段SR。首先，任何小于第一亮度值X1的亮度值经由左侧线段SL转映，此左侧线段SL重迭于代表上限映射函数TU(x)的直线。换言之，色调映射函数T(x)透过上限映射函数TU(x)转映任何小于第一亮度值X1的亮度值。\n另外，第二亮度值X2被转映至一特定值(W*R1+(1-W)*R2)*X2，其中W是一介于0和1之间的权重，其可以依据产生的histogram而决定。关于权重W的进一步细节请参见图3的说明。请注意转映值(W*R1+(1-W)*R2)*X2是一介于R1*X2(X2透过TU(x)的转映值)和R2*X2(X2透过TL(x)的转映值)的数值，其意味新产生的色调映射函数T(x)将第二亮度值X2转映至介于X2分别透过上限映射函数TU(x)和下限映射函数TL(x)的转映值间的数值。此外，由图2可知，新产生的色调映射函数T(x)将最大编码值Cmax转映至其本身，意即Cmax。\n由图2亦可知，任何介于第一亮度值X1和第二亮度值X2间的亮度值透过中央线段SM转映，而中央线段SM是连结P1(X1，R1*X1)和P2(X2，(W*R1+(1-W)*R2)*X2)二点的线段。换言之，色调映射函数T(x)将任何介于第一亮度值X1和第二亮度值X2间的亮度值经由通过P1(X1，R1*X1)和P2(X2，(W*R1+(1-W)*R2)*X2)二点的直线所代表的映射函数转映。\n最后，任何大于第二亮度值X2的亮度值透过右侧线段SR转映，而右侧线段SR是连结P2(X2，(W*R1+(1-W)*R2)*X2)和P3(Cmax，Cmax)二点的线段。如前所述，Cmax是以亮度成分目前的位分辨率可以产生的最大编码值。同样地，此表示色调映射函数T(x)将任何大于第二亮度值X2的亮度值经由通过P2(X2，(W*R1+(1-W)*R2)*X2)和P3(Cmax，Cmax)二点的直线所代表的映射函数转映。\n色调映射函数T(x)的行为由SL、SM和SR三线段完全定义。不同数字图像的色调映射函数T(x)可以不同。由于背光工作强度适应式地调整，因此色调映射函数T(x)亦适应性地改变，以针对动态调整背光强度造成的潜在对比减损或亮度失真进行补偿。\n图3依据本发明一实施例进一步例示图1的色调映射函数T(x)建构步骤的细节。\n步骤310依据前述的特定背光工作强度决定前述的线性上限映射函数TU(x)。具体而言，线性上限映射函数TU(x)的特定斜率R1可以由该特定背光工作强度导出。举例而言，在显示装置的系统Gamma校正系数关闭的最极端情况下，上限映射函数TU(x)的特定斜率R1可以设定为此特定背光工作强度的倒数，以直接补偿漏失的对比。一般情况下，TU(x)的特定斜率R1随该特定背光工作强度的减少而递增。基于不同观众层的各种不同喜好，TU(x)的特定斜率R1可以随特定背光工作强度的不同范围依经验决定。\n步骤320依据特定斜率R1决定第一亮度值X1。在此实施例中，其预先决定一组候选亮度值的列表，例如，{Cmax/2、Cmax/4、Cmax/8、...、2}。而后，自该组列表中，使得转映值TU(Cx)小于Cmax的最大候选值Cx将被选定为第一亮度值X1。举例而言，当特定斜率R1小于2时(多数情况是如此)，则Cmax/2将被选定为第一亮度值X1。\n第二亮度值X2决定在步骤330。第二亮度值X2可以选择自第一亮度值X1和最大编码值Cmax间的任何适当数值。在一较佳实施例中，第二亮度值X2被选定为恰居于第一亮度值X1和最大编码值Cmax中间的编码值，意即，(Cmax+X1)/2。\n步骤340决定一下限系数，以做为第二亮度值X2的转映值的下限。此下限系数可以依经验决定为一略大于1或等于1的数值。此下限系数是图2所述的下限映射函数TL(x)的斜率R2。在一依据本发明的较佳实施例中，此下限系数被选定为1，换言之，前述的下限映射函数TL(x)是具有单位斜率的单位映射函数T1(x)。\n在步骤350，前述的色调映射函数T(x)被定义为：\n(1)T(0)＝0，\n(2)T(x)＝TU(x)当x小于X1时，\n(3)T(X1)＝R1*X1，\n(4)T(X2)＝(W*R1+(1-W)*R2)*X2，\n(5)T(Cmax)＝Cmax，\n(6)T(x)＝TA(x)，当x介于X1和X2之间时，且\n(7)T(x)＝TB(x)，当x介于X2和Cmax之间时，\n其中TA(x)是通过P1(X1，R1*X1)和P2(X2，(W*R1+(1-W)*R2)*X2)二点的直线代表的映射函数，而TB(x)则是通过P2(X2，(W*R1+(1-W)*R2)*X2)和P3(Cmax，Cmax)二点的直线代表的映射函数。相对于图2，列于上述(1)至(7)点的项目分别对应至图2中所示的P0点、线段SL、P1点、P2点、P3点、线段SM和线段SR。\n在一依据本发明的较佳实施例中，基于产生的histogram，上述的权重W可以设定为大致等于待处理的数字图像中亮度值介于第一亮度值X1和第二亮度值X2间的像素数目相对于亮度值介于第一亮度值X1和最大编码值Cmax间的像素数目的比率。\n参见图4，其显示依据本发明一实施例的数字图像处理装置400的方块图。数字图像处理装置400可以位于一诸如LCD的图像显示系统500内。数字图像处理装置400包含图像分析单元410、色调映射函数产生器420、色调转映单元430和背光设定单元440。图像分析单元410连接色调映射函数产生器420，色调映射函数产生器420又连接色调转映单元430。图像分析单元410同时亦通信背光设定单元440。前述的连接意指二单元可以透过诸如，但不限于，总线或共享内存互相通信。\n色调转映单元430可以连接至一用以进行数字至模拟转换相关运作(例如Gamma校正)的D/A模块(数字转模拟模块)510。D/A模块510又可连接至LCD 500的源极驱动器(source driver)520。源极驱动器520通常连接至LCD面板530。另一方面，背光设定单元440可以连接至背光模块540内的背光控制器545，背光模块540又连接至LCD面板530。\n图像分析单元410可以执行步骤120和130描述的动作。具体而言，图像分析单元410可用以自待处理的数字图像撷取预定的信息以建立一亮度histogram，而后，依据此histogram，决定背光模块540的一特定背光工作强度。背光设定单元440于是可以将背光模块540设定为图像分析单元产生的特定背光工作强度。在一较佳实施例的中，数字图像处理装置是LCD 500内的数字视频处理模块。为了正确地设定背光模块，其所需进行的工作可能仅是设定背光控制器545内的缓存器。在另一实施例中，背光设定单元440可能仅是设定用以驱动背光模块540的PWM产生器。\n色调映射函数产生器420用以执行前述的步骤150，以依据之前决定的亮度统计和特定背光工作强度产生一色调映射函数T(x)。色调转映单元430可以执行步骤160以透过色调映射函数产生器420建立的色调映射函数T(x)对待处理的数字图像进行转映动作。\n图5显示色调映射函数产生器420的方块图。色调映射函数产生器420可以包含一第一装置422、一第二装置424、一第三装置426和一第四装置428。第一装置422可用以执行步骤310以依据前述的特定背光工作强度决定具有特定斜率R1的线性上限映射函数TU(x)。第二装置424可用以执行步骤320以依据该特定斜率R1决定第一亮度值X1。第三装置426可用以执行步骤330以决定第二亮度值X2，而第四装置428可以执行步骤340以决定前述的下限系数R2。装置422、424、426和428彼此互相配合以构建色调映射函数T(x)。\n在一较佳实施例中，图4和图5中所有的单元和装置均实作为一ASIC(Application Specific Integrated Circuit；特定用途集成电路)内的逻辑组件。依据本发明的其它实施例，图4和图5描述的单元和装置亦可以实作为DSP(Digital Signal Processing；数字信号处理)系统或微处理器系统内的软件或硬件模块。\n以上所举实施例的目的仅在于说明和示范，并非表示本发明即限定于所揭示的形式。基于上述教示，可以衍生许多修改和变异。本发明的范畴不限于实施例的说明内容，而应以后附的权利要求为准。