校正图像运动的装置和方法

暂无

技术领域\n本发明涉及一种用于压缩输入图像信号的图像处理系统，特别涉及一种 用于校正图像运动的装置和方法，从而增加了压缩图像信号的效率，其中图 像运动是因为手的摇动或系统的振动而出现的。\n背景技术\n用户可随身携带以收集图像信号的图像处理系统需要用于校正图像运动 的功能，其中图像运动是因为手的摇动或系统的振动而出现的。这是因为在 使用便携式图像捡拾装置收集图像信号时，非常有可能出现手的摇动或系统 的振动。如果在收集图像信号时出现手的摇动或系统的振动，那么图像被认 为有运动，即使该图像没有运动。因此，图像处理系统需要校正图像运动的 功能。例如，摄影机可以包括这样的图像处理系统。\n为传统摄影机提供的运动校正功能使用振动传感器检测摄影机振动量， 并基于振动量向上、下、左、或右运动透镜上的图像，从而校正图像运动。 摄影机可以压缩运动校正图像信号，并储存压缩图像信号或将其传送到另一 个装置。大多数摄影机使用帧内编码方法压缩图像信号。在帧内编码方法中， 不考虑输入图像信号与另一个图像的相关性而压缩图像信号。\n如上所述，当校正因为手的摇动或系统的振动而出现的运动时，以及当 压缩图像信号时，传统摄影机不考虑多个帧之间的相关性。因此传统摄影机 对收集大量图像，如电影，有局限性。\n为克服这一问题，已尝试将既使用帧内编码方法又使用帧间(inter)编码方 法的压缩方法，如运动图像专家组(MPEG，moving picture experts group)-2或 MPEG-4，应用于图像处理系统，如摄影机。在使用MPEG-2或MPEG-4作 为压缩方法的情况下，如果用上文所描述的方法校正图像信号中因为手的摇 动或系统的振动而出现的运动，那么在帧间编码模式中，该图像信号的压缩 效率将减小。这是因为没有考虑图像信号和另一个图像的相关性，而以镜头 为单位执行运动校正，而在帧间编码模式中，估计运动，并考虑当前帧和先 前帧之间的相关性校正运动，从而压缩由运动估计和校正产生的差异图像。\n发明内容\n为解决上述问题，本发明的第一个目的是提供一种用于校正图像运动的 装置和方法，其中所述运动是因为手的摇动或系统的振动而出现的，从而增 加了图像处理系统压缩图像信号的效率，所述图像处理系统对输入图像信号 执行运动估计和压缩。\n本发明的第二个目的是提供一种考虑到多个帧之间的相关性，校正图像 运动的装置和方法，其中所述运动是因为手的摇动或系统的振动而出现的。\n用本发明的第三个目的是提供一种于考虑到多个帧之间的相关性，以两 个步骤校正图像运动的装置和方法，其中所述运动是因为手的摇动或系统的 振动而出现的，从而增加了压缩图像信号的效率。\n为实现本发明的一个或多个目的，在一个实施例中，提供了一种用于在 图像处理系统种校正图像运动的装置。该装置包括：帧存储器，用于存储输 入图像信号作为当前帧图像；以及运动估计器/校正器，用于以先前帧图像为 基础，估计当前帧图像中预定运动估计范围内的图像的运动，从当前帧图像 区域检测将被压缩的图像区域，并提供检测到的将被压缩的图像区域作为当 前帧图像区域，作正常运动估计，以便可以校正输入图像信号的运动。\n最好，输入到帧存储器中的图像信号是已以镜头为单位校正了运动的信 号，所述运动是因为手的摇动或系统的振动而出现的。最好，预定运动估计 范围设置为不把输入图像信号中的真实运动视为因为手的摇动或系统的振动 而出现的运动。\n最好，运动估计器/校正器检测多个单元的预定块中的运动矢量，使用检 测到的运动矢量计算预定运动估计范围的平均运动矢量，并使用平均运动矢 量检测将被压缩的图像区域。\n最好，运动估计器/校正器使用检测到的运动矢量中多个块的运动矢量作 正常运动估计，其中所述多个块中先前帧图像和当前帧图像之间差异微小。\n在另一个实施例中，提供了一种用于在图像处理系统中校正图像运动的 装置。该装置包括：运动校正器，用于校正多个单元的镜头中的输入图像信 号中因为振动而出现的运动；帧存储器，用于存储从运动校正器输出的图像 信号作为当前帧图像；以及运动估计器/校正器，用于以先前帧图像为基础， 估计当前帧图像中预定运动估计范围内的图像的运动，从预定运动估计范围 中估计将被压缩的图像区域，并提供检测到的将被压缩的图像区域作为当前 帧图像区域，作正常运动估计，以便可以校正输入图像信号的运动。\n为实现本发明的一个或多个目的，在一个实施例中，还提供了一种在图 像处理系统中校正图像运动的方法。该方法包括：存储输入图像信号作为当 前帧图像；以先前帧图像为基础，估计当前帧图像中预定运动估计范围内的 图像的运动，并从当前帧图像检测将被压缩的图像区域；以及提供检测到的 将被压缩的图像区域作为当前帧图像区域，作正常运动估计。\n最好，以帧间编码模式执行检测和提供将被压缩的图像区域，并且预定 运动估计范围设置为不把输入图像信号中的真实运动视为因为手的摇动或系 统的振动而出现的运动。\n最好，检测将被压缩的图像区域包括：估计多个单元的预定块中的运动 以检测运动矢量；使用检测到的运动矢量计算预定运动估计范围的平均运动 矢量；以及使用平均运动矢量检测将被压缩的图像区域。最好，输入图像信 号是已以镜头为单位校正了运动的信号，所述运动是因为手的摇动或系统的 振动而出现的。\n在另一个实施例中，提供了一种在图像处理系统中校正图像运动的方法。 该方法包括：校正以镜头为单位的输入图像信号中因为振动而出现的运动； 存储已校正图像信号作为当前帧图像；当图像处理系统在帧间编码模式中时， 以先前帧图像为基础，估计当前帧图像中预定运动估计范围内的图像的运动， 并从预定运动估计范围检测将被压缩的图像区域；以及提供检测到的将被压 缩的图像区域作为当前帧图像区域，作正常运动估计。\n附图说明\n通过参考附图详细描述本发明的优选实施例，本发明的上述目的和优点 将变得更加明显，其中：\n图1是一个图像处理系统的方框图，其中所述图像处理系统具有根据本 发明的优选实施例的用于校正图像运动的装置；\n图2展示了帧图像镜头的多个例子，用于解释图1中的用于校正图像运 动的装置的操作；以及\n图3是根据本发明的优选实施例的校正图像运动的方法的流程图。\n具体实施方式\n在下文中，将参考附图详细描述本发明的优选实施例。\n图1是一个图像处理系统的方框图，其中所述图像处理系统具有根据本 发明的优选实施例的用于校正图像运动的装置。参考图1，该图像处理系统 包括运动校正器101、第一帧存储器102、编码器103、解码器104、第二帧 存储器105、运动估计/校正单元110、以及加法器130。\n运动校正器101根据手的摇动或系统的振动，校正包括以镜头为单位的 输入图像信号中的运动。如传统摄影机所使用，可以将根据检测到的振动量 向上、下、左、或右运动透镜上的图像的校正方法应用于运动校正器101。 此外，任何通过机械或电子控制校正运动的传统技术都可以应用于该运动校 正器101。将该图像信号传送到第一帧存储器102，所述图像信号的运动已被 运动校正器101以镜头为单位校正过。\n第一帧存储器102储存来自运动校正器101的首先运动校正的图像信号 作为当前帧图像。当前帧图像包括整体分辨率。换句话说，图2中由 ((N+x)×(M+y))个像素表示的帧图像201展示储存在第一帧存储器102中的镜 头的例子。\n如果图像处理系统的压缩模式是帧内编码模式，那么只向编码器103传 送储存在第一帧存储器102中的当前帧图像中，包括在将被压缩的图像区域 内的图像信号。在这里，将被压缩的图像区域是图2中由(N×M)个像素表示 的分辨率区域202。图像区域202依照输入图像信号实际显示的图像区域预 先确定。\n然而，如果图像处理系统的压缩模式是帧间编码模式，那么只向加法器 130提供包括在从运动估计/校正单元110提供的图像区域内的图像信号。如 在帧内编码模式中一样，该图像区域是将被压缩的图像区域，其分辨率为 (N×M)个像素。然而，由于该图像区域从运动校正获得，所述运动校正根据 本发明考虑了多个帧之间的相关性，故而该图像区域的位置可变。因此，将 被压缩的图像区域可能是图2中的区域202和204。\n在帧间编码模式中，加法器130向编码器103传送从第一帧存储器102 输出的图像信号和从运动估计/校正单元110输出的图像信号之间的差异图 像。\n在帧内编码模式中，编码器103对从第一帧存储器102输出的图像信号 执行离散余弦变换(DCT，discrete cosine transform)和数字化，以输出编码比 特流。在帧间编码模式中，编码器103对从加法器130传送来的差异图像执 行离散余弦变换和数字化，以输出编码比特流。将从编码器103输出的比特 流传送到下一终端(未示出)作如可变长度编码的处理，并传送到解码器104。\n解码器104将该比特流还原为编码前的形式。为此还原，解码器104被 设计为以编码器103的颠倒次序执行信号处理。换句话说，解码器104对比 特流执行去数字化(dequantization)和逆离散傅立叶变换。\n将还原图像信号存储在第二帧存储器105中。因为在图像信号中的一帧 图像信号中，实际被压缩的图像区域为(N×M)像素区域，所以存储在第二帧 存储器105中的图像信号具有图2中大小为(N×M)个像素的分辨率。\n运动估计/校正单元110由第一运动估计器/校正器111和第二运动估计器 /校正器112组成。提供第一运动估计器/校正器111用于校正在图像信号中， 因为手的摇动或系统的振动而出现的运动。更明确地，第一运动估计器/校正 器111基于运动估计范围信息，从图2中所示的图像区域201读取区域203 中包括的图像信号，其中图像区域201的分辨率为(N+x)×(M+y))像素，其存 储于第一帧存储器102中。区域203是运动估计范围。第一运动估计器/校正 器111以存储在第二帧存储器105中的先前帧图像为基础，估计区域203中 的图像信号的运动。可以以MPEG-2或MPEG-4中使用的相同方式，以预定 块为单位执行运动估计。从而，以预定块为单位检测运动矢量。\n然后，第一运动估计器/校正器111使用在多个预定块单元中检测到的运 动矢量，计算区域203的平均运动矢量V(x，y)，如下面的公式所示。\n$V(x,y)=\frac{1}{M}\underset{m=0}{\overset{M-1}{\Sigma }}\mathrm{Vm}(x,y)$\n这里，M表示预定块数，而Vm(x，y)表示第m块的运动矢量。\n其次，第一运动估计器/校正器111使用所计算平均运动矢量，从预定运 动估计范围203中检测将被压缩的图像区域。在图2中，区域204是通过运 动估计检测出的将被压缩的图像区域。\n在图2中，区域201是存储在第一帧存储器102中的图像的分辨率；区 域202是将被编码器103压缩的图像的分辨率；区域203是预定运动估计范 围；而区域204是将被压缩的图像区域，其中已校正了在输入图像中包括的、 因为手的摇动或系统的振动而出现的运动。\n设置了运动估计范围，以便不将实际运动作为因为手的摇动或系统的振 动而出现的运动。运动估计范围可以由用户或厂商预先设置，或者可以根据 振动量设置，其中振动量由用于校正输入图像信号的运动校正器101检测出。 当运动估计范围根据振动量设置时，其是可变的。\n如上所述，使用检测到的将被压缩的图像区域，执行已在帧间编码模式 中执行的运动估计和校正，以便可以对，已考虑多个帧之间的相关性而补偿 了因为手的摇动或系统的振动而出现的运动的图像信号，执行正常运动估计 和校正。\n关于检测到的图像区域的信息被提供给第一帧存储器102，并控制从加 法器130输出的图像信号的区域。第一运动估计器/校正器111还向第二运动 估计器/校正器112提供相应于当前帧的图像信号。这里，第一运动估计器/ 校正器111可以向第二运动估计器/校正器112提供在多个预定块单元检测出 的运动矢量中的一些运动矢量。提供给第二运动估计器/校正器112的运动矢 量的值可以是(0，0)或当前帧和先前帧之间的差异被视为微小的块的运动矢 量。例如，可以向第二运动估计器/校正器112提供图像信号边缘的块的运动 矢量。从而，第二运动估计器/校正器112可以不需要对提供了运动矢量的块 执行运动估计和校正。\n第二运动估计器/校正器112对输入图像信号执行真实运动估计和校正， 如在现有MPEG-2和MPEG-4中一样。换句话说，第二运动估计器/校正器 112，考虑已根据本发明执行了运动校正的当前帧和存储在第二帧存储器105 中的图像信号之间的相关性，对输入图像信号执行运动估计和校正。第二运 动估计器/校正器112向加法器130提供已校正图像信号。如上所述，第二运 动估计器/校正器112对已校正因为手的摇动或系统的振动而出现的运动的图 像信号执行运动估计和校正。\n图3是根据本发明的优选实施例的校正图像运动的方法的流程图。\n在步骤301，如果图像信号被输入，具有根据本发明的装置的一种系统， 以与运动校正器101中相同的方式，以镜头为单位校正因为手的摇动或系统 的振动而出现的运动。\n在步骤302，系统在第一帧存储器102中存储图像作为当前帧图像，其 已以镜头为单位校正了运动。所存储的图像的分辨率为((N+x)×(M+y))像素。\n在步骤303确定系统的当前编码模式。\n如果在步骤303确定当前编码模式为帧内编码模式，那么在步骤304， 系统以与编码器103中相同的方式，对图像信号编码，所述图像信号包括在 分辨率为((N+x)×(M+y))像素的图像内的分辨率为(N×M)像素的图像区域中。 预先确定该(N×M)像素的图像区域为将被压缩的图像区域。\n在步骤305，将编码产生的比特流传送到下一终端(例如，可变长度编码 器)，并且同时解码以还原原始图像信号。还原图像信号存储在第二帧存储器 105中作为先前帧图像。\n在步骤306，确定是否已输入图像信号。如果在步骤306确定输入了图 像信号，则程序返回步骤301。然而，如果确定没有输入图像，则程序结束。\n如果在步骤303确定当前编码模式为帧间编码模式，那么在步骤307， 以先前帧图像为基础，估计包括在运动估计范围中的当前帧图像的运动。运 动估计范围可以如图1所述设置。从而，图2中展示的分辨率为 ((N+x′)×(M+y′))像素的区域203为运动估计范围。先前帧图像是存储在第二 帧存储器105中的图像。以预定块为单位执行运动估计。从而，为每个块获 取运动矢量。如图1所述，可以使用MPEG-2或MPEG-4中使用的方法作运 动估计。\n在步骤308，以上述公式计算有((N+x′)×(M+y′))像素的运动估计范围203 的平均运动矢量。\n在步骤309，使用平均运动矢量检测运动校正的图像区域。检测到的图 像区域是将被压缩的图像区域。从而，检测到的图像区域的分辨率为(N×M)像 素。检测到的图像区域的位置在图2中展示的分辨率为((N+x′)×(M+y′))像素 的区域203内可变。\n在步骤310，以与第二运动估计器/校正器112中相同的方式，使用包括 在检测到的图像区域中的图像和先前帧图像，执行正常运动估计和校正。换 句话说，估计和校正输入图像信号中存在的真实运动。\n在步骤311，检测当前帧图像与由正常运动估计和校正产生的图像之间 的差异图像，其中当前帧图像包括在存储在第一帧存储器102中的图像信号 内的检测到的区域。以与编码器103中相同的方式对检测到的差异图像编码。 然后，系统的操作返回步骤305，并重复上述程序。\n根据本发明，以镜头为单位校正了图像因为手的摇动或系统的振动而出 现的运动之后，考虑多个帧之间的相关性，细致地校正了图像的真实运动， 从而增加了图像处理系统的压缩效率，所述图像处理系统估计输入图像信号 的运动，并使用帧内和帧间编码模式压缩输入图像。具体地说，在帧间编码 模式中，通过使从运动估计和校正获取的差异图像最小化，可以期望减小压 缩率。\n本发明不限于上述实施例，并且本领域的技术人员应该明白，在不脱离 本发明的精神的情况下，可以进行对其各种修改。因此，本发明的范围不限 于本发明的详细描述，而由所附权利要求限定。