数字图像处理中基于HVS的自然图像抠图方法

1.一种数字图像处理中基于HVS的自然图像抠图方法，其特征在于：其步 骤为：
1)手工对图像进行区域划分，把它划分成三个部分：前景区域，未知区域 和背景区域；
2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出 其初始的前景和背景颜色分量F和B；
3)据估计出的初始前景和背景颜色分量F和B，基于HVS的原理，对颜色 的亮度和色度做不同处理，最后估计出c点的alpha值。
2.根据权利要求1所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的区域划分是：手工在图像的前景边缘画两条轮廓线，一 条是前景轮廓线，处于这条轮廓线内部的点都是前景区域的点，另一条轮廓线 为背景轮廓线，处于这条轮廓线之外的点都是背景区域的点，位于这两条轮廓 线之内的点为未知区域的点。手工画轮廓线时，尽量使未知区域内不包含前景 区域或背景区域的点。
3.根据权利要求1所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的前景和背景颜色分量F和B的计算是：对于未知区域中的 任意一点c，找出前景轮廓线和背景轮廓线上离c点距离最近的点f′和b′。假设 点f′和b′离c点的距离分别为d1和d2，给定一个正实数θ，1.0＜θ≤10.0，以点c为 圆心，分别以θd1和θd2长为半径，做两个同心圆C1和C2。设在圆C1内部且位于前 景轮廓线上的所有点为f1、f2、……、fk，这些点离c点的距离为d11、d12、……、 d1k，在圆C2内部且位于背景轮廓线上的所有点为b1、b2、……、bl，这些点离c 点的距离为d21、d22、……、d2l，计算出f1、f2、……、fk这些点颜色的加权平 均值 $\bar{F}=\underset{i=1}{\overset{k}{\Sigma }}{w}_{1i}{f}_i,$ b1、b2、……、b1这些点颜色的加权平均值 $\bar{B}=\underset{j=1}{\overset{l}{\Sigma }}{w}_{2j}{b}_j,$ 其中 $w_{\mathrm{li}}=\frac{\theta }{\theta -1}-\frac{1}{\theta -1}·\frac{d_{\mathrm{li}}}{d_1},$ i＝1，2，...，k， $w_{2j}=\frac{\theta }{\theta -1}-\frac{1}{\theta -1}·\frac{d_{2j}}{d_2},$ j＝1，2，...，l，在本发明中， F 和 B就是所估计的前景和背景颜色分量F和B。
4.根据权利要求1所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的alpha值估计是：其步骤为：
1)计算给定点颜色C、前景和背景颜色F和B的色度C′、F′和B′，以及它 们的亮度LC、LF和LB；
2)分别计算色度的灰度值αCH和亮度的灰度值αIN；
3)计算αCH和αIN的权重WCH和WIN；
4)以αCH和αIN的加权平均做为c点的alpha值α。
5.根据权利要求4所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的色度C′、F′和B′及亮度LC、LF和LB的求值为：设给定的 未知区域点的颜色C＝(RC，GC，BC)，前景颜色F＝(RF，GF，BF)，背景颜色 B＝(RB，GB，BB)，C的色度C′＝(rC，gC，bC)，前景色度F′＝(rF，gF，bF)，背景色度 B′＝(rB，gB，bB)，则它们的三个分量为：ri＝Ri/(Ri+Gi+Bi)，gi＝Gi/(Ri+Gi+Bi)， bi＝Bi/(Ri+Gi+Bi)，亮度 $L_i=\sqrt{R_i^2+G_i^2+B_i^2},$ 其中i＝C，F，B。
6.根据权利要求4所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的色度的灰度值 ${\alpha }_{\mathrm{CH}}=\frac{(C^{\prime }-B^{\prime })·(F^{\prime }-B^{\prime })}{{\left|\right|F^{\prime }-B^{\prime }\left|\right|}^2},$ 亮度的灰度值 ${\alpha }_{\mathrm{IN}}=\frac{L_C-L_B}{L_F-L_B},$ αCH∈[0，1]，αIN ∈[0，1]。
7.根据权利要求4所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的αCH和αIN的权重WCH和WIN求值过程为：令ρ∈(0，1]为LB和 LF中较短者与较长者的比值，令 $\delta \in [0,\sqrt{2}]$ 为F′和B′在颜色空间中的距离，则 WCH＝sδ3+tρ3，WIN＝u/δ3+v/ρ3，其中u，v，s，t为常数。
8.根据权利要求4所述的一种数字图像处理中基于HVS的自然图像抠图方 法，其特征在于所说的alpha值估计是：根据αCH和αIN和它们的权重WCH和WIN， 可以计算出 $\alpha =\frac{W_{\mathrm{CH}}{\alpha }_{\mathrm{CH}}+W_{\mathrm{IN}}{\alpha }_{\mathrm{IN}}}{W_{\mathrm{CH}}+W_{\mathrm{IN}}}.$

                      技术领域\n本发明涉及一种数字图像处理中基于HVS的自然图像抠图方法。\n                      背景技术\n抠图技术是一种把任意图像中的前景部分从背景中分离出来的一种图像处 理技术。它在电影电视特效特技制作等方面有着广泛而深入的应用。根据对图 像背景的有无限制，抠图技术大致可以分为两大类：\n对图像前景或背景有限制一类又可分为蓝屏抠图(blue screen matting)和差 异抠图(difference matting)。蓝屏抠图技术对图像的背景有一定限制，背景通常 是固定颜色，一般为蓝色或者绿色，或者是准备多张有相同前景的图像，利用 这些图像中的背景颜色的不同，来达到准确抠取前景的目的。差异抠图技术需 要另外准备一张背景图像，通过比较背景图像和原图中相应点的颜色差异来估 计alpha值。\n对图像背景无限制一类自然图像抠图(natural image matting)。它对图像的 背景不做要求，且只需一张图像。\n抠图问题可以定义为：对给定图像上任一点c，求c点的颜色C所含的前景 色F和alpha值α。抠图问题的困难在于对图像上的任一点c，它的F和α的解并 不是唯一的，我们要从无数对的解中找出最合理的解。\n蓝屏抠图技术简单，计算量小，且抠图效果好。但是它有其致命的弱点， 就是它对图像的背景的颜色有一定限制。一般情况下背景要求是蓝色或者绿色， 应用该技术时需要一个人拿着块蓝色的背景到处跑，同时它一般还要求前景的 颜色的RGB分量按某种比例分布，这些使蓝屏抠图技术在具体应用当中带来了 很大的不便。\n自然图像抠图技术有Knockout方法、Ruzon&Tomasi方法、Hillman方法和 Chuang方法。自然图像抠图一般可以分为三个步骤：\n1.区域分割。一般情况下以手工分割为主。由于区域分割的精确程度对抠 图效果有很大的影响。手工分割区域可以有更好的精确度，一般一张图像的区 域分割耗时2-3分钟左右。\n2.前景和背景颜色估计。Knockout方法利用邻近区域的点的加权平均来估 计，方法简单，计算量较小；Ruzon&Tomasi方法、Hillman方法和Chuang方法 都利用了统计学的规律，方法复杂，计算量大。\n3.Alpha值估计。利用估计出的前景和背景颜色来估计alpha值。根据HVS 原理，把一个颜色矢量分为对应于颜色矢量的方向的色度和对应于颜色矢量长 度的亮度，并根据不同情况下，色度和亮度对alpha估计的重要性的不同，通过 施加不同的权值对它们区别对待，最后把求得的色度alpha和亮度alpha做加权 平均，做为最终的alpha。\n                          发明内容\n本发明的目的是提供一种数字图像处理中基于HVS的自然图像抠图方法。 其步骤为：\n1)手工对图像进行区域划分，把它划分成三个部分：前景区域，未知区域和 背景区域；\n2)根据分割的区域，对未知区域中的任意一点c，设其颜色为C，计算出其 前景和背景颜色分量F和B；\n3)根据估计出的前景和背景颜色分量F和B，基于HVS的原理，对颜色的 亮度和色度做不同处理，最后估计出c点的alpha值。\n区域分割是：手工在图像的前景边缘画两条轮廓线，一条是前景轮廓线， 处于这条轮廓线内部的点都是前景区域的点，另一条轮廓线为背景轮廓线，处 于这条轮廓线之外的点都是背景区域的点，位于这两条轮廓线之内的点为未知 区域的点。手工画轮廓线时，尽量使未知区域内不包含前景区域或背景区域的点。\n前景和背景颜色分量F和B的计算是：对于未知区域中的任意一点c，找出 前景轮廓线和背景轮廓线上离c点距离最近的点f′和b′。假设点f′和b′离c点的 距离分别为d1和d2，给定一个正实数θ，1.0＜θ≤10.0，以点c为圆心，分别以θd1和 θd2长为半径，做两个同心圆C1和C2。设在圆C1内部且位于前景轮廓线上的所有 点为f1、f2、……、fk，这些点离c点的距离为d11、d12、……、d1k，在圆C2内 部且位于背景轮廓线上的所有点为b1、b2、……、bl，这些点离c点的距离为d21、 d22、……、d2l，计算出f1、f2、……、fk这些点颜色的加权平均值 $\bar{F}=\underset{i=1}{\overset{k}{\Sigma }}{w}_{1i}{f}_i,$ b1、b2、……、dl这些点颜色的加权平均值 $\bar{B}=\underset{j=1}{\overset{l}{\Sigma }}{w}_{2j}{b}_j,$ 其中 $w_{1i}=\frac{\theta }{\theta -1}-\frac{1}{\theta -1}·\frac{d_{1i}}{d_1},$ i＝1，2，...，k， $w_{2j}=\frac{\theta }{\theta -1}-\frac{1}{\theta -1}·\frac{d_{2j}}{d_2},$ j＝1，2，...，l。在本发明中， F和 B就是所估计的前 景和背景颜色分量F和B。本发明具有速度快，效果好的优点。以前的自然图像 抠图技术都把大部分的精力放在了第二个步骤，也即如何估计前景和背景颜色， 而忽略了第三个步骤，也即alpha的估计。关注步骤2忽略步骤3的结果导致出 现了各种复杂的颜色估计模型，虽然在一定程度上改进了抠图效果，但同时也 大大增加了计算量，这使得自然图像抠图技术在实际中的应用受到了很大的限 制。\n色度C′、F′和B′及亮度LC、LF和LB的求值为：设给定的未知区域点的颜色 C＝(RC，GC，BC)，前景颜色F＝(RF，GF，BF)，背景颜色B＝(RB，GB，BB)，C的色度 C′＝(rC，gC，bC)，前景色度F′＝(rF，gF，bF)，背景色度B′＝(rB，gB，bB)，则它们的三个分 量为：ri＝Ri/(Ri+Gi+Bi)，gi＝Gi/(Ri+Gi+Bi)，bi＝Bi/(Ri+Gi+Bi)，亮度 $L_i=\sqrt{R_i^2+G_i^2+B_i^2},$ 其中i＝C，F，B。\n本发明突破了这个框架，设计了一种计算量小，抠图效果好的抠图技术来满 足实际的需要。它的颜色估计模型非常简单，alpha值的估计方案则利用了HVS 的原理。\n表1列出了不同抠图例子在不同的机器上所需的处理时间。与当今国际上 抠图效果最好的Chuang方法相比，本发明的速度比它提高了10～12倍，而抠 图效果却没有降低。Chuang方法在CPU为P31.0G，RAM为512M的环境下， 处理Syringe图像需要120秒左右。使用本发明的方法在机器条件比Chuang方 法略差的条件下，速度是Chuang方法的11倍左右。\n            表格1不同抠图例子在不同环境下的抠图时间   CPU：Celeron 400   RAM：320M   CPU：P3600   RAM：512M   CPU：P41.8G   RAM：256M Syringe   16.734秒   10.656秒   5.578秒 Feathere_dge   26.188秒   16.633秒   8.813秒 Galadriel   4.306秒   2.734秒   1.406秒\n  Gandalf   5.758秒   3.645秒   1.891秒   Tiger   5.728秒   3.635秒   1.902秒   Water   9.804秒   6.129秒   3.265秒\n应用本发明可以快速有效地抠出任意图像中的前景部分。大量的例子证明， 本发明很好地解决了抠图中存在的速度和效果之间的矛盾，充分利用颜色的不 同信息，具有很好的普遍实用价值。\n                            附图说明\n图1是本发明流程示意图；\n图2(a)(b)描述的是区域划分和前景背景颜色分量的估计示意图；\n图3(a)(b)是颜色F、B和C在颜色空间中的两种相对位置示意图；\n图4(a)(b)是颜色F、B和C的色度F′、B′和C′和亮度LF、LB和LC，以及δ的 示意图；\n图5是本发明与其他抠图方法的关于例子Syringe图像的效果比较示意图；\n图6是本发明与Chuang方法的关于例子Feather_edge图像的效果比较示意 图；\n图7是本发明的其他一些效果示意图。\n                          具体实施方式\n数字图像处理中基于HVS的自然图像抠图方法的原理是：对于前景和背景 之间的过渡区域(也即区域分割中的未知区域)中的任意一点c，以图像空间中 离该点最近的一些前景点和背景点的颜色加权平均值 F和 B做为c点颜色的前 景和背景颜色分量，然后基于HVS的原理，对颜色的色度和亮度分开并分别求 得色度alpha和亮度alpha，以色度alpha和亮度alpha的加权平均值做为c点最 终的alpha值α。本方法无需建立复杂的模型来求前景和背景颜色，alpha估计 方法简单实用，因此，本方法是一种快速的抠图方法。\n首先，在本抠图方法的第二个步骤中，计算前景颜色分量F和背景颜色分量 B的模型简单实用。本方法只计算包含在两个圆区域内部的轮廓线上的点，且权 重的计算和这些点与c点的距离成线性关系，距离最近的点的权重最大，随着距 离的增大权重线性减小。本发明的抠图方法在第二步的颜色估计模型尽可能地 做了简化。\n其次，在第三个步骤中，本方法的颜色调整方案简单直观。该方案保持颜色 的RGB分量的比例不变，利用人眼对颜色亮度的微小变化不甚敏感的特点，在 最小程度上调整前景和背景颜色的亮度，最后利用调整后的前景和背景颜色估 计出C点的alpha值。该方案具体如下：\n在三维RGB颜色空间中，一点的颜色可以表示为一个点或者一个向量。在 颜色三维坐标中，点O为坐标原点，它表示黑色。给定颜色空间中的任意两点 P1，P2，|P1P2|表示线段P1P2的长度。设未知区域内任一点c，其颜色为C＝(RC，GC，BC)， 估计出来的初始前景和背景颜色分量为F＝(RF，GF，BF)、B＝(RB，GB，BB)。在颜色空 间中，它们的色度分别为C′＝(rC，gC，bC)、F′＝(rF，gF，bF)和B′＝(rB，gB，bB)，并用颜色 矢量的长度LC、LF和LB代表它们的亮度。分别计算出色度alpha值αCH和亮度 alpha值αIN为：\n${\alpha }_{\mathrm{CH}}=\frac{(C^{\prime }-B^{\prime })·(F^{\prime }-B^{\prime })}{{\left|\right|F^{\prime }-B^{\prime }\left|\right|}^2}$ 和 ${\alpha }_{\mathrm{IN}}=\frac{L_C-L_B}{L_F-L_B},$\n其中αCH∈[0，1]，αIN∈[0，1]。\n现在分析αCH和αIN的权值WCH和WIN推导。考虑颜色空间中颜色F′和B′的距 离δ，易知 $\delta \in [0,\sqrt{2}].$ 当δ趋向于0时，也就是说颜色F、B的色度越来越接近 时，此时颜色F、B和C的亮度的差异在alpha求值中占的比重越大；当δ趋向 于 时，也就是说颜色F、B的色度相差越来越大时，此时颜色F、B和C的色 度差异在alpha求值中占的比重越来越大。同时，考虑颜色F、B的亮度LF和LB 对alpha求值的影响。令ρ为LF和LB中较小者与较大者的比值，易知ρ∈(0，1]， 当ρ趋向于0时，颜色F、B和C的亮度的差异在alpha求值中占的比重越大； 当ρ趋向于1时，颜色F、B和C的色度的差异在alpha求值中占的比重将越来 越大。根据以上的分析，我们用三次方来强调这种变化趋势，可以推导出WCH和 WIN与δ和ρ的关系：\nWCH＝sδ3+tρ3，WIN＝u/δ3+v/ρ3，\n其中u，v，s，t为常数。\n最后，C点的alpha值α为αCH和αIN的加权平均：\n$\alpha =\frac{W_{\mathrm{CH}}{\alpha }_{\mathrm{CH}}+W_{\mathrm{IN}}{\alpha }_{\mathrm{IN}}}{W_{\mathrm{CH}}+W_{\mathrm{IN}}}.$\nHVS的主要特点就是对结果施加不同影响的因素加以区别对待。在抠图中， 颜色的色度和亮度在不同情况下对最终的α的求值的影响是不同的。RGB颜色 表示法把颜色的色度和亮度紧紧的捆绑在一齐。直接使用RGB颜色求alpha值， 并不能保证正确地抠图。本发明首次把HVS的原理应用到抠图领域当中，对颜 色的色度和亮度加以区别对待，根据图像中色度和亮度对抠图的影响的不同， 通过调节常数u，v，s，t对αCH和αIN的权值WCH和WIN进行调整，从而得到准确 的抠图结果。\n图1是本发明的详细流程图。首先，对输入图像进行区域划分，共分为三 个部分：前景区域、背景区域和未知区域；其次，根据划分的区域，对未知区 域中的每一点，初步估计出它的前景和背景颜色分量；最后，本发明根据HVS 原理，估计出它的alpha值。\n图2(a)是本发明中区域划分的一个例子；图2(b)描述了在本发明中如何估计 未知区域中的点的前景和背景颜色分量。其中较小的圆C1内部包含的那段红色 的前景轮廓线上的点就是计算前景分量所需的所有点，较大的圆C2内部所包含 的那段绿色的背景轮廓线上的点就是计算背景分量所需的所有点。\n图3(a)中点C恰好在线段BF上；图3(b)中点C在线段BF之外。\n图4是颜色F、B和C的色度F′、B′和C′和亮度LF、LB和LC，以及δ的示意 图。\n本说明书共举了6个实施例子。图5，图6为实施例子1、2，图7包含实施 例子3～6。在图5中u＝1/8000，v＝1，s＝8000，t＝1，其余图中u＝1/8000，v＝3， s＝8000，t＝3。\n实施例1\n图5中放大图1是由三部分组合而成，其中左边是原图，中间是灰度图， 右边是背景为黑色的合成图。Knockout方法在放大图1中没有把一些头发丝抠 出来，另外放大图1上有一些点的结果失真。Ruzon&Tomasi方法则有一些头发 丝出现比较严重的断裂现象，另外合成图中有明显的不连续的现象。Chuang方 法的效果较好，但仔细观察，可以发现放大图2的底部有轻微的不连续现象， 在放大图1中也有些微的不连续。本发明的方法在本例子中则没有上述的缺点， 总体效果比Chuang方法略好。\n实施例2\n图6中Chuang方法在放大图1中的两个椭圆内部的区域中抠图结果错误或 者出现杂质。在上部的小椭圆内部，一部分发丝被强行割掉，这里的抠图结果 是错误的，而在下面的大椭圆内部，则出现了一片杂质。本发明的方法很好的 处理了这两个椭圆内Chuang方法存在的问题，但是在放大图1的右边，本方法 的一些地方则不如Chuang方法。\n实施例3～6\n图7中(a)图是Gandalf例子，(b)图是Galadriel例子，(c)图是Tiger例子，(d) 图是Water例子。\n数字图像处理中以任意图像为背景的快速抠图方法的要点是：\n1.手工进行区域划分，确保轮廓线经过合适的区域，并具有足够的精度；\n2.颜色估计中用到的样本点为圆内部的轮廓线上的点，两个圆的半径的长 度一般为最短距离的1.5～3.0倍；\n3.根据HVS原理，对颜色的色度和亮度分开进行不同处理；\n区域划分的精确与否对自然图像抠图的精度有很大的影响。抠图时应注意以 下几点：①保证前景轮廓线内的点全部为前景点，背景轮廓线外的点全部为背 景点，不能允许有交叉，否则将大大影响交叉区域的抠图精确度；②由于光照 和空气的影响，人眼中物体的边界处总是有一点模糊。前景和背景轮廓线不要 太靠近物体的边界，要留有一定的余地，保证过渡区域不划入前景或者背景区 域。边界到两条轮廓线的距离大致相等；③尽量使轮廓线不穿过颜色突变剧烈 的区域。\n本发明中前景和背景颜色的估计用到的样本点仅为轮廓线上的点，这使样本 点的个数大大减小，提高了计算速度。\n本发明中alpha求值方法是其中的重点。它的核心就是把颜色的色度和亮度分开 考虑，根据在不同图像中的它们的影响的不同，给色度alpha分量和亮度alpha 分量以不同的权重来求得更合理的alpha值。