以运动补偿时间内插图像的方法及设备

1.一种时间内插方法，借助了对位于图像n-1和图像n之间的图像j 进行的运动补偿，包括步骤：
-对图像n-1和图像n之间的运动进行估计，以提供运动矢量场 V(n-1，n)，
-检测缺陷运动矢量，其根据用于测量运动矢量局部空间非相干性的方 差信息来确定，
-根据该运动矢量场内插该图像j，
-对与这些缺陷矢量对应的内插图像区域进行低通滤波，所述低通滤波 适应于与所述缺陷矢量相关联的方差。
2.如权利要求1所述的方法，其特征在于，在所述缺陷运动矢量的检 测之后是形态学消蚀和扩展操作。
3.如权利要求2所述的方法，其特征在于，所述形态学消蚀操作所用 的结构单元是3×3像素大小的窗口。
4.如权利要求2所述的方法，其特征在于，对于扩展操作之后标记的 像素进行所述低通滤波所采用的滤波窗口比对于消蚀操作之后得到标记的 像素进行所述低通滤波所采用的滤波窗口要小。
5.如权利要求4所述的方法，其特征在于，对于消蚀之后得到的像素 所采用的滤波窗口的大小是5×5像素，对于扩展之后得到的像素所采用的 滤波窗口的大小是3×3像素。
6.如权利要求1所述的方法，其特征在于，内插和滤波应用于色度信 号。

技术领域\n本发明涉及一种在处理连续电视图像序列中采用的，以运动补偿时间内 插图像的方法及设备。本发明具体涉及递归PEL类型的运动估计器，即基于 像素级而不是图像块级来计算运动的递归PEL类型运动估计器。\n背景技术\n能够在像素级计算运动，可大大改善内插系统的质量。然而，却不能在 图像中所有点上测量运动：当在一场景中有多个目标的不同运动时，例如在 第一平面相对于背景平面运动时，像素会从一个图像到另一个图像显现或消 失，这使得不可能测量它们的运动。这些区域的存在干扰运动估计器，产生 的缺陷问题严重。所以，需要对这些区域特别处理来抑制或至少掩盖所述缺 陷。\n法国专利第8904256号描述了一种已知的采用一种低效技术方案的具 有运动补偿的内插方法。该方法通过方差型的局部算子来检测缺陷运动矢 量。然后，通过迫使缺陷运动矢量为零来修改运动矢量场。之后，对这个新 的运动矢量场实施采用运动补偿的内插处理。\n从法国专利第9104164号还可得知一种像素标记方法，该方法将像素分 类为正常、显现、消失或隐藏的像素，然后根据像素的标记情况来针对性处 理。内插基于运动矢量场的时间投影并适于这种像素分类。\n虽然第一种方法便于使用，但得到的图像质量常常不令人满意。第二种 方法过于复杂，并需要对输入图像的运动矢量场进行估计。所得到的改进效 果不足以补偿它带来的复杂程度。\n发明内容\n本发明的目的就是要克服上述缺点。\n本发明涉及一种时间内插方法，借助了对位于图像n-1和图像n之间的 图像j进行的运动补偿，包括步骤：对图像n-1和图像n之间的运动进行估 计，以提供运动矢量场V(n-1，n)，检测缺陷运动矢量，其根据用于测量运动 矢量局部空间非相干性的方差信息来确定，根据该运动矢量场内插该图像j， 对与这些缺陷矢量对应的内插图像区域进行低通滤波，所述低通滤波适应于 与所述缺陷矢量相关联的方差。\n本发明还涉及一种执行时间内插的设备，包括：运动估计器，它接收图 像n-1和图像n，以计算运动矢量场V(n-1，n)；检测电路，检测缺陷运动矢 量的电路，其根据方差信息来接收运动矢量场；内插电路，它根据这两个图 像n-1、n和该运动矢量场，计算内插图像Y(j)，低通滤波电路，用于根据 检测电路传送的信息对所述内插图像进行滤波，所述滤波适应于与所述缺陷 矢量相关联的方差。\n附图说明\n通过以下参照附图对本发明实施例的说明，将清楚地理解本发明及其优 点和其它特征，附图中：\n图1是本发明设备的示意图；\n图2a至图2c表示在标出有缺陷矢量点的图像上进行的形态学运算。\n具体实施方式\n利用本发明，运动补偿内插有缺陷的区域可以得到令人满意的处理。该 方法简单易用。与相同复杂度的现有技术相比，本发明给出了更好的结果。 比较而言，它改善了图像质量。\n图1表示一种实现本发明方法的设备。\n该设备的两个输入端并联连接到运动估计器1和内插电路2。运动估计 器1的输出端并联连接到缺陷检测电路3的输入端、内插电路2的第三输入 端以及低通滤波器4的第一输入端。内插电路2的输出端连接低通滤波器4 的第二输入端。缺陷检测电路3连接到低通滤波器4的第三输入端。该滤波 器的输出端就是所述设备的输出端。\n数字编码的前一图像n-1的亮度信息Yn-1，当前图像n的亮度信息Yn 同时出现在所述设备的第一输入端和第二输入端。在这两个图像之间进行运 动估计。该运动估计可以是递归PEL类型的。然后，在每个像素的电平上指 定一个运动矢量，从而产生位于图像n-1和n之间的要内插的图像j的运动 矢量场V(n-1，n)。其中将该矢量场传送到内插电路2的第三输入端。内插电 路2的第一、第二输入接收所述亮度信息Yn-1和Yn。在运动矢量场V(n-1，n) 的运动信息的基础上，计算内插亮度图像Y(j)，并将其传送给低通滤波器4， 而不考虑运动矢量的可能缺陷，该缺陷将在下面说明。\n该矢量场也传送给缺陷检测电路3。该电路的功能是检测缺陷运动矢量。 这一检测利用对该矢量场的水平和垂直分量的空间非相干性的测量。\n通过对当前矢量场的每个矢量的每一分量(时间指标t)的方差计算， 来进行这一测量。\n在一个示范性实施例中，对于一给定像素，在以该像素为中心的5×5 像素窗口上执行所述计算。下面给出该方差计算的数学方程：\n$\mathrm{moy}\_\mathrm{vx}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\Sigma }}\underset{l=-2}{\overset{l=2}{\Sigma }}\mathrm{vx}(i+k,j+l,t)$\n$\mathrm{moy}\_\mathrm{vy}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\Sigma }}\underset{l=-2}{\overset{l=2}{\Sigma }}\mathrm{vy}(i+k,j+l,t)$\n$\mathrm{var}\_\mathrm{vx}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\Sigma }}\underset{l=-2}{\overset{l=2}{\Sigma }}{(\mathrm{vx}(i+k,j+l,t)-\mathrm{moy}\_\mathrm{vx}(i,j,t))}^2$\n$\mathrm{var}\_\mathrm{vy}(i,j,t)=\frac{1}{25}\underset{k=-2}{\overset{k=2}{\Sigma }}\underset{l=-2}{\overset{l=2}{\Sigma }}{(\mathrm{vy}(i+k,j+l,t)-\mathrm{moy}\_\mathrm{vy}(i,j,t))}^2$\nv(i，j，t)表示指定给图像t的i行j列上像素的运动矢量，\nvx(i，j，t)和vy(i，j，t)是运动矢量v(i，j，t)的水平和垂直分量。\nmoy_v(i，j，t)是图像t的以像素i，j为中心的窗口上的v的平均值。\n然后，将结果var_vx(i，j，t)和var_vy(i，j，t)与一阈值相比较。如果 两个方差中的一个超过该阈值，则标出该矢量为有缺陷的。例如，取该阈值 等于10。随后获得所处理的运动矢量场的二值图像，其中二值值“1”表示 缺陷矢量，二值值“0”表示非缺陷矢量。\n然后，用数学形态滤波器对该二值图像进行处理，以便去除所析出的标 记并扩展缺陷矢量的区域。这一处理将在下面说明，它也由缺陷检测器3来 执行。图2a、2b、2c表示对图像像素进行的各种运算。\n第一处理操作是在覆盖前面得到的二值图像的滑动构造单元基础上的 消蚀(erosion)类型滤波。该构造单元是一预定大小的窗口或图像块，在本 例中，为3×3像素大小的块。对于在图像中被标记为“1”的一个像素，如 果至少有四个属于该构造单元的相邻像素被标记为“1”，则保留这个标记 (“1”)，否则，将其设为“0”。\n图2a表示在矢量场处理之后获得的二值图像部分的例子。出现在格子 中的星号，代表着经所述方差阈值比较而被标记为缺陷的矢量所对应的像 素。图2b表示在利用3×3像素的构造单元消蚀滤波后得到的二值图像。被 画叉的星号对应于在形态学消蚀操作后其标记被删掉的像素。它们对应于值 “0”，并且所保留的星号对应值“1”。\n在该新图像上进行的第二处理操作是扩展类型滤波。采用的构造单元， 例如为3×3像素大小的块。对于一个被标记为“0”像素，如果至少有一个 属于该构造单元的相邻像素被标记为“1”，则迫使这个像素的标记为“2”。\n图2c表示对消蚀的图像执行扩展处理之后得到的三值(ternary)图像。 配置单元具有3×3像素的大小。在没有从前面图像中被删去的星号的边界 上出现的画圈星号对应于在扩展后得到的像素，从而对应于标记值“2”。\n以这种方法得到的三值遮蔽图像在缺陷检测电路输出端获得，并传送给 低通滤波器4。\n如上所示，内插图像被传送到低通滤波器4的第二输入端，低通滤波器 4的第一输入端接收运动矢量场，第三输入端接收三值遮蔽图像。\n以下述方式，在缺陷区域执行低通滤波：\n-如果当前像素被标记为“0”，则对作为输入所接收的内插图像的相应 像素，不进行滤波；\n-如果当前像素被标记为“1”，则在所接收图像内相应缺陷像素周围5 ×5像素大小的区域上，对这个像素进行低通滤波；\n-如果当前像素被标记为“2”，则对所接收图像内相应缺陷像素周围3 ×3像素大小的区域，进行低通滤波。\n所给出的滤波窗口的大小只是示例性的。在缺陷区域(标记为“2”的 像素)外围进行较轻度的低通滤波，允许图像在缺陷像素区和其余图像区域 之间的平缓过渡。\n这种滤波可用于与运动矢量有关的并且测量其局部空间相干性的方差 值。采用此方差值确定低通滤波器的系数，从而根据当前矢量的置信度来更 改低通滤波器的响应。\n这种滤波可应用于亮度值，也可应用于色度值。这样，内插电路计算内 插的色度图像，在这些图像上执行这些滤波运算。\n本发明的应用领域涉及，例如，频率变换、标准间变换或涉及在运动补 偿基础上的时间图像内插的任何应用。