一种运动估计的装置和方法

1.一种运动估计装置，其特征在于，其包括：
图像采集单元，采集帧图像；
降采样单元，对所述帧图像进行降采样；
运动检测和跟踪单元，对降采样后的当前帧进行运动检测和跟踪以获得运动目标，确定原始的当前帧的当前宏块在降采样后的当前帧上对应的运动目标以及该对应的运动目标的运动矢量，将该对应的运动目标的运动矢量上采样；和
运动搜索单元，根据上采样后的对应的运动目标的运动矢量和原始的当前帧的当前宏块的位置在原始的参考帧中确定一初始位置并基于所述初始位置在所述原始的参考帧中设置一个搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量，所述初始位置为原始的当前帧的当前宏块的中心位置经过上采样后的对应的运动目标的运动矢量的相反矢量后在原始的参考帧中得到的一中心位置。
2.根据权利要求1所述的运动估计的装置，其特征在于：所述参考帧为时间在先的帧，所述当前帧为时间在后的帧。
3.根据权利要求2所述的运动估计的装置，其特征在于：所述原始的当前帧和原始的参考帧分别为未降采样之前的当前帧和参考帧。
4.根据权利要求3所述的运动估计的装置，其特征在于：所述运动目标的运动矢量为降采样后参考帧的运动目标外接矩形的中心位置与降采样后当前帧的运动目标外接矩形的中心位置的差。
5.一种运动估计的方法，其特征在于，其包括：
采集帧图像，对所述帧图像进行降采样；
对降采样后的当前帧进行运动检测和跟踪以获得运动目标，确定原始的当前帧的当前宏块在降采样后的当前帧上对应的运动目标以及该对应的运动目标的运动矢量，将该对应的运动目标的运动矢量上采样；和
根据上采样后的对应的运动目标的运动矢量和原始的当前帧的当前宏块的位置在原始的参考帧中确定一初始位置并基于所述初始位置在所述原始的参考帧中设置一个搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量，其中计算降采样后参考帧的当前宏块的中心位置与降采样后当前帧的当前宏块的中心位置的差以得到所述运动目标的运动矢量，对原始的当前帧的当前宏块的中心位置经过上采样后的对应的运动目标的运动矢量的相反矢量后在原始的参考帧中得到所述初始位置。
6.根据权利要求5所述的运动估计的方法，其特征在于：所述参考帧和所述当前帧为时间连续的两个帧，其中，所述参考帧为时间在先的帧，所述当前帧为时间在后的帧。
7.根据权利要求6所述的运动估计的方法，其特征在于：所述原始的当前帧和原始的参考帧分别为未降采样之前的当前帧和参考帧。

一种运动估计的装置和方法\n【技术领域】\n[0001] 本发明涉及视频图像传输领域，尤其是关于视频图像中运动估计的装置和方法。\n【背景技术】\n[0002] 随着数码技术应用的普及，视频的应用也越来越广泛，尤其是视频监控。在视频监控的过程中，要将摄取到的视频数据实时地传输给监控端，所以在摄像端一般会先将视频数据进行编码压缩以有利于传输，如果视频数据太大则在视频传输过程会增加信道的负担，因此在进行视频编码的过程中要充分考虑到如何将视频数据进行最大化压缩编码。\n[0003] 目前视频编码中通常需要块基运动估计和运动补偿来对当前视频图像进行压缩。\n所述块基运动估计以块为单位，在当前帧中找出对应于参考帧中宏块的位置，并以所述位置为中心进行匹配以找到最佳匹配位置块，根据参考帧中宏块的位置以及上述得到的最佳匹配的位置计算所述宏块的运动矢量。也就是说，对于参考帧中的每个宏块都要在当前帧中找到对应的位置，然后在当前帧中以对应的位置为中心进行运动搜索，搜索得到的位置与参考帧中的位置差则为对应宏块的运动矢量。在进行视频编码的过程中，只需要知道参考帧中各宏块的位置以及每个宏块的运动矢量就可以获得每个宏块在当前帧中的位置。\n[0004] 然而在物体运动中，属于同一个物体的块通常具有相同或相似的运动规律，当该物体运动速度快时，若搜索窗口有限则很难找到匹配块。请参见图1所示，图1为现有技术运动估计在搜索框内进行搜索的示意图，其中假设左图为参考帧图像，右图为当前帧图像，运动人物进行移动，其中左图中虚线以内的方框为搜索窗口，此时能够在搜索窗口内对运动人物进行搜索，然而由于运动人物运动过快，在时间相邻的下一帧，也就是当前帧时，所述运动人物已经移动到对应的所述搜索窗口外面，如果仍在原预定的搜索窗口内进行搜索则无法搜索到运动人物。\n[0005] 因此，需要提供一种新的技术方案来克服上述问题。\n【发明内容】\n[0006] 本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。\n[0007] 本发明提供一种运动估计的装置，其在物体运动速度比较快时，也能够很精确地找到匹配块以进行运动估计。\n[0008] 本发明提供一种运动估计的方法，其在物体运动速度比较快时，也能够很精确地找到匹配块以进行运动估计。\n[0009] 根据本发明的一方面，本发明提供一种运动估计的装置，其包括图像采集单元，采集帧图像；降采样单元，对所述帧图像进行降采样；运动检测和跟踪单元，对降采样后的当前帧进行运动检测和跟踪以获得运动目标，确定原始的当前帧的当前宏块在降采样后的当前帧上对应的运动目标以及该对应的运动目标的运动矢量，将该对应的运动目标的运动矢量上采样；运动搜索单元，根据上采样后的对应的运动目标的运动矢量和原始的当前帧的当前宏块的位置在原始的参考帧中确定一初始位置并基于所述初始位置在所述原始的参考帧中设置一个搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量。\n[0010] 进一步的，所述参考帧为时间在先的帧，所述当前帧为时间在后的帧。\n[0011] 更进一步的，所述原始的当前帧和原始的参考帧分别为未降采样之前的当前帧和参考帧。\n[0012] 更进一步的，所述运动目标的运动矢量为降采样后参考帧的运动目标外接矩形的中心位置与降采样后当前帧的运动目标外接矩形的中心位置的差。\n[0013] 更进一步的，所述初始位置为原始的当前帧的当前宏块的中心位置经过上采样后的对应的运动目标的运动矢量的相反矢量后在原始的参考帧中得到的一中心位置。\n[0014] 根据本发明的另一方面，本发明提供一种运动估计的方法，其包括：采集帧图像，对所述帧图像进行降采样；对降采样后的当前帧进行运动检测和跟踪以获得运动目标，确定原始的当前帧的当前宏块在降采样后的当前帧上对应的运动目标以及该对应的运动目标的运动矢量，将该对应的运动目标的运动矢量上采样；根据上采样后的对应的运动目标的运动矢量和原始的当前帧的当前宏块的位置在原始的参考帧中确定一初始位置并基于所述初始位置在所述原始的参考帧中设置一个搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量。\n[0015] 进一步的，所述参考帧和所述当前帧为时间连续的两个帧，其中，所述参考帧为时间在先的帧，所述当前帧为时间在后的帧。\n[0016] 更进一步的，所述原始的当前帧和原始的参考帧分别为未降采样之前的当前帧和参考帧。\n[0017] 更进一步的，计算降采样后参考帧的当前宏块的中心位置与降采样后当前帧的当前宏块的中心位置的差以得到所述运动目标的运动矢量。\n[0018] 更进一步的，对原始的当前帧的当前宏块的中心位置经过上采样后的对应的运动目标的运动矢量的相反矢量后在原始的参考帧中得到所述初始位置。\n[0019] 与现有技术相比，本发明利用降采样后的图像进行运动检测和跟踪来获取运动目标，并确定所述运动目标的运动矢量，根据对所述运动矢量上采样后得到的运动矢量和原始图像中当前帧的当前宏块的位置得到原始图像的参考帧中的一初始位置，并以所述初始位置为中心设置一搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量。这样根据降采样后获取的运动矢量，使得在原始的参考中匹配当前帧中当前宏块时可以确定在一个较小的范围内进行搜索，从而使得计算量比较小，且实现了通过参考帧中匹配的宏块以及对应的运动矢量来编码当前帧中的对应宏块。\n【附图说明】\n[0020] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：\n[0021] 图1为现有技术运动估计在搜索框内进行搜索的示意图；\n[0022] 图2为本发明中的运动估计的装置结构图；\n[0023] 图3为本发明的一个实施例中相邻两帧中运动物体的匹配示意图；\n[0024] 图4为本发明的计算运动矢量的示意图；和\n[0025] 图5为本发明运动估计的流程图。\n【具体实施方式】\n[0026] 本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被详细描述。\n[0027] 此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。\n[0028] 本发明的运动估计装置利用对降采样后运动目标的运动检测和跟踪以获取运动目标，并确定所述运动目标的运动矢量，根据对所述运动矢量上采样后得到的运动矢量和原始图像中当前帧的当前宏块的位置得到原始图像的参考帧中的一初始位置，并以所述初始位置为中心设置一搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量。本发明中的运动估计的具体装置见图2所示。\n[0029] 图2为本发明中的运动估计装置200的结构图，请参阅图2所示，所述运动估计装置200包括图像采集单元210、降采样单元220、运动检测和跟踪单元230和运动搜索单元\n240。\n[0030] 在进行运动估计之前，我们需要了解的是：进行运动估计是由时间在前的帧估计时间在后的帧，一般的，将时间在前的一帧称为参考帧，时间在后的一帧称为当前帧，在进行运动估计时，根据参考帧的数据和参考帧与当前帧中图像的关系来估计当前帧中的数据。现在根据运动估计装置200的各个单元来描述如何获取参考帧与当前帧中图像的关系。\n[0031] 所述图像采集单元210采集帧图像。在实际应用中，可以采用摄像头进行帧图像的采集。\n[0032] 所述降采样单元220，对所述图像采集单元210采集到的帧图像进行降采样，即降低所述帧图像的分辨率，如可以抽取其中部分像素点以形成较低分辨率的图像。\n[0033] 在一个实施例中，原有帧图像的分辨率为600×600像素，对其降采样后可以得到一60×60像素的帧图像，其具体可以先对原有帧图像中每10列像素选取一列，然后对选取的每列组成的图像中每行中的每10个像素点中选取一个像素点，所有选取的像素点形成降采样后的一60×60像素的帧图像。其具体降低到多少分辨率可以根据实际的运动检测和跟踪的计算量而调整。\n[0034] 所述运动检测和跟踪单元230对降采样后的当前帧进行运动检测和跟踪以获得运动目标，确定原始的当前帧的当前宏块在降采样后的当前帧上对应的运动目标以及该对应的运动目标的运动矢量，将该对应的运动目标的运动矢量上采样。这里讲的原始的当前帧为未降采样之前的帧图像的当前帧；下面的原始的参考帧也为未降采样之前的参考帧。\n[0035] 一般的，帧图像由不相互叠加的16×16像素的宏块组成，通常在进行运动估计和检测时是以宏块为单位进行的。\n[0036] 这里的运动目标指的是帧图像中运动目标所占的各个宏块的和，这里跟踪获取的相邻两帧中运动物体的匹配可参见图3所示，图3为本发明的一个实施例中相邻两帧中运动物体的匹配示意图，左图为时间在先的一帧(即参考帧)的运动目标，中间图为时间在后一帧(即当前帧)的相匹配的运动目标，右图中的箭头则为两帧中相匹配的运动目标的移动的示意，此时的图均为降采样后跟踪的图像。所述运动检测和跟踪的技术均是所属技术领域的普通技术人员都能够实现了，所以这里就一一不再详述了。\n[0037] 对降采样后参考帧和当前帧中检测到的同一个运动目标的中心位置做差得到所述运动目标的运动矢量。\n[0038] 在一个实施例中，可参见图4所示，图4为本发明中计算运动矢量的示意图，在参考帧(左图)中选取一个位于运动目标中心位置的宏块，这里的宏块选择可以先通过定位运动目标的中心点，然后判断所述中心点所在的宏块，左图中为带有交叉斜线的宏块。之后根据跟踪获取在时间相邻的当前帧(右图)中相匹配的宏块，这里右图中为带有交叉斜线的宏块。计算两个宏块所在位置的差，即为整个运动目标的运动矢量，所述运动矢量由图中箭头所表示。值得注意的是，在进行定位中心点时，只需要通过所述运动目标所占的宏块进行计算就可以了。如，图中是四行四列的图像，其中右下角的三个宏块(黑色区域表示)是背景而非运动目标前景。所述定位运动目标的中心点的技术是所属领域的普通技术人员都能够实现的，这里就不再详述。\n[0039] 需要说明的是，由于在降采样后的图像上的运动目标中某些宏块的移动可能没有太大的差别，则在进行搜索的过程中这种小的偏移很有可能被忽略掉，从而只计算运动目标整体的移动而忽略了某些宏块的偏移，使得在视频解码还原出的图像失真。举例来说，在降低分辨率的图像中，整个目标运动目标偏移(30，30)，即向右向下均移动30个像素，而其中一个宏块偏移(32，32)，即向右向下均移动32个像素，也就是说，所述的一个宏块相对于整体运动目标相对偏移为(2，2)。由于相对偏移很小，在搜索的过程中这种小的偏移很有可能被忽略掉。若降采样后的图像进行放大(即上采样)后，在放大后的图像上计算整个运动目标偏移为(300，300)，即向右向下均移动300个像素，而其中一个宏块偏移为(320，\n320)，此时，所述宏块相对于整体运动目标偏移为(20，20)。由此，则可以看出放大后的图像中运动目标上宏块的移动比较大，在考虑整体移动的同时也需要考虑各个宏块的相对移动，并在此基础上进行视频压缩编码，则解码还原出来的图像会更加精确。所以本发明将跟踪到的运动目标放大到原始图像上，在放大后的原始图像上进行各个宏块的搜索，即需要将所述获取的运动目标的运动矢量进行上采样，以在原始图像中进行运动估计。\n[0040] 在实际应用中，由于运动目标中的各宏块的变化是不确定的，有些宏块可能变化比较大，而有些宏块可能变化比较小，所以一般会选用整个运动目标的中心位置来确定整体的运动矢量，这样计算得到的运动矢量则代表着整个运动目标的移动，对运动目标上的各个宏块具有较稳定的代表性。随后在进行运动搜索的过程中，则可以在运动目标的中心位置的周围精确地找到每个宏块，否则利用变化比较大的宏块进行搜索，则最后根据宏块得到的运动矢量可能在下一帧上找不到其它宏块。\n[0041] 所述运动搜索单元240根据上采样后的对应的运动目标的运动矢量和原始的当前帧的当前宏块的位置在原始的参考帧中确定一初始位置并基于所述初始位置在所述原始的参考帧中设置一个搜索框，在所述搜索框内搜索与原始的当前帧的当前宏块相匹配的块，将搜索到的匹配块与原始的当前帧的当前宏块的位置差作为原始的当前帧的当前宏块的运动矢量。\n[0042] 通常，在编码时通过原始的参考帧来估计当前帧中宏块时，需要先获取当前帧中各个宏块在参考帧中的对应宏块，然后根据参考帧中的宏块以及通过上述方法计算得到的各个宏块对应的运动矢量来表示当前帧中的各个宏块。\n[0043] 一般的，运动目标的运动矢量是从参考帧指向当前帧，而现已知所述运动矢量和当前帧中的宏块，则需要经所述运动矢量的相反矢量以在参考帧中得到对应的宏块。\n[0044] 这里在原始的参考帧中搜索相匹配的宏块具体为：计算所述搜索框内任一宏块与当前帧中对应的宏块之间各个像素点的差值的绝对值的和，然后获取搜索框内所述差值的绝对值的和最小的宏块，并将所述宏块做为与当前帧中对应的宏块最相匹配的宏块。当然，在实际应用中，也可以通过其他方式实现匹配过程，由于计算匹配宏块的技术是所属领域的普通技术人员都能够实现的，所以只描述上述一种方法，其他的方法就不再详细描述。\n[0045] 通过所述运动检测和跟踪单元230得到一运动目标的运动矢量，这个运动矢量只能代表整个运动目标的整体移动趋势，而对于运动目标上的每个宏块的运动矢量可能会和上述中心运动矢量有所差别。如，一个人在走动的过程中，手也在摆动，这时人走动的运动矢量和手的运动矢量是不完全相同的，所以还需确定每个宏块的运动矢量。由于对于同一个目标运动物体的每个宏块，其运动具有相同或相近的运动规律，这也就使得运动目标上的每个宏块的运动矢量不会偏移太大，那么在运动目标的运动矢量下且以运动目标的中心所在的一个范围进行搜索就会大大减少搜索的计算量。也就是说，在运动目标的运动矢量的帮助下，当前帧中的每个宏块很容易就可以在参考帧中一个小的窗口内搜索到对应的宏块，精确度比较高，且由于减小了搜索范围，使得计算量比较小，搜索速度比较快。\n[0046] 由上可知，对于现有技术中直接对图像进行运动检测和跟踪的技术来讲，由于本发明首先利用降采样后运动检测和跟踪获取运动目标，从而避免了运动目标运动过快时在现有技术中出现的缺陷；且根据降采样后获取的运动矢量，使得在原始的参考中匹配当前帧中当前宏块时可以确定在一个较小的范围内进行搜索，从而避免在运动速度过快时，对每一帧运动估计时在窗口中找不到运动目标的宏块的情形，同时实现了通过参考帧中匹配的宏块以及对应的运动矢量来编码当前帧中的对应宏块的技术。\n[0047] 在进行视频编码时，得知参考帧中每个宏块的信息和位置，然后可以根据上述各个宏块的运动矢量来判定每个宏块在当前帧中的信息和位置，即在视频编码时，只需要保存参考帧的每个宏块的信息和位置以及各个宏块的运动矢量即可。在进行视频解码时，只需要通过参考帧的每个宏块的信息和位置以及对应宏块的运动矢量，就可以将当前帧的每个宏块还原出来。\n[0048] 图5为本发明中运动估计的方法流程图，请参阅图5所示，所述运动估计的方法包括：\n[0049] 步骤510，采集帧图像，其可以通过摄像头进行所述帧图像的采集。\n[0050] 步骤520，对所述帧图像进行降采样。\n[0051] 降采样即降低所述采集到的帧图像的分辨率，如可以抽取其中部分像素点以形成分辨率较低的图像。在一个实施例中，原有帧图像的分辨率为600×600像素，对其降采样后可以得到一60×60像素的帧图像，其具体可以先对原有帧图像中每10列像素选取一列，然后对选取的每列组成的图像中每行中的每10个像素点中选取一个像素点，所有选取的像素点形成降采样后的一60×60像素的帧图像。其具体降低到多少分辨率可以根据实际的运动检测和跟踪的计算量而调整。\n[0052] 步骤530，运动检测和跟踪。\n[0053] 对降采样后的参考帧和当前帧进行运动检测和跟踪以获取运动目标，这里所述参考帧和所述当前帧可以为时间连续的两个帧，其中，所述参考帧为时间在先的帧，所述当前帧为时间在后的帧。\n[0054] 步骤540，计算运动目标的运动矢量。\n[0055] 选取降采样后参考帧图像和当前帧图像中同一个运动目标的中心位置，并对所述中心位置做差得到运动目标的运动矢量。\n[0056] 步骤550，设定初始位置。\n[0057] 将上述运动矢量进行上采样后，在原始的当前帧中所述运动目标的中心所在的宏块经所述运动矢量的相反矢量后在原始参考帧中所得的宏块作为初始位置。\n[0058] 一般的，运动目标的运动矢量是从参考帧指向当前帧，而现已知所述运动矢量和当前帧中的宏块，则需要经所述运动矢量的相反矢量以在参考帧中得到对应的宏块。\n[0059] 步骤560，运动搜索。\n[0060] 在原始参考帧中设定一个以所述初始位置为中心的搜索框，在所述搜索框内进行运动搜索以得到与当前帧中最相匹配的对应宏块，这里的搜索框的大小要设置得合适，范围太小则有部分宏块搜索不到，范围太大则计算量就会变大。\n[0061] 在一个实施例中，计算所述搜索框内任一宏块与当前帧中对应的宏块之间各个像素点的差值的绝对值的和，然后获取搜索框内所述差值的绝对值的和最小的宏块，并将所述宏块做为与当前帧中对应的宏块最相匹配的宏块。当然，在实际应用中，也可以通过其他方式实现匹配过程，由于计算匹配宏块的技术是所属领域的普通技术人员都能够实现的，所以只描述上述一种方法，其他的方法就不再详细描述。\n[0062] 步骤570，计算宏块运动矢量。\n[0063] 计算原始的参考帧中搜索到的与当前帧中各宏块最相匹配的对应各个宏块与当前帧中对应的各个宏块之间的位置的差以作为各个宏块对应的运动矢量。这样在得知参考帧中各个宏块的编码信息时，则可以根据所述各个宏块的信息以及其对应的各个运动矢量得知当前帧中对应的各个宏块的信息。\n[0064] 在进行视频编码时，得知参考帧中每个宏块的信息，可以根据每个宏块的运动矢量来判定每个宏块在当前帧中的信息，也就是说，在视频编码时，只需要保存参考帧的每个宏块的信息以及对应的各个运动矢量。在进行视频解码时，只需要通过参考帧的每个宏块的信息以及对应的各个运动矢量，就可以将当前帧的每个宏块还原出来。\n[0065] 综上所述，在进行视频编码过程中，则可以根据所述运动估计的装置或方法，计算出每个宏块的相对运动矢量，结合参考帧上的各个宏块来编码下一帧的各个宏块，从而大大地压缩了编码量。\n[0066] 上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。\n相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。