在嵌入式设备中提供较高分辨率图像的方法和装置

1.一种用于使用视频压缩技术来在嵌入式设备中使能超分辨率的方法，包括：
使用视频压缩技术来压缩图像序列，其中，所述图像序列包括多个较低分辨率的图像，并且每个低分辨率的图像被划分成多个像素块；以及
逐块地对经过压缩的图像序列进行解码，并且在各个块被解码时对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。
2.根据权利要求1所述的方法，其中，压缩所述图像序列还包括：
在传感器处捕获所述多个较低分辨率的图像；以及
使用所述传感器的硬件组件来压缩所述多个较低分辨率的图像，所述硬件组件实现所述视频压缩技术。
3.根据权利要求1所述的方法，其中，压缩所述图像序列还包括：
存储所述多个较低分辨率的图像；以及
对所存储的所述多个较低分辨率的图像应用所述视频压缩技术。
4.根据权利要求1所述的方法，其中，压缩所述图像序列还包括：确定所述图像序列中的参考图像与至少一个另外的图像之间的运动向量。
5.根据权利要求4所述的方法，其中，压缩所述图像序列还包括：对所述参考图像应用所述运动向量以预测所述至少一个另外的图像。
6.根据权利要求5所述的方法，其中，压缩所述图像序列还包括：分别计算所述至少一个另外的图像与所述至少一个另外的图像的预测之间的差分图像。
7.根据权利要求6所述的方法，其中，压缩所述图像序列还包括：使用无损视频压缩技术来压缩所述差分图像。
8.根据权利要求6所述的方法，其中，压缩所述图像序列还包括：使用近无损视频压缩技术来压缩所述差分图像。
9.根据权利要求1至8中任何一项所述的方法，其中，应用所述超分辨率技术还包括：
将形成所述多个较低分辨率的图像中的至少一部分的像素数据映射成形成所述较高分辨率的图像的像素数据。
10.根据权利要求1至8中任何一项所述的方法，其中，应用所述超分辨率技术还包括：
使用所述经过压缩的图像序列和至少一个运动向量对用于所述较高分辨率的图像的像素数据进行内插，其中，所述经过压缩的图像序列包括参考图像和至少一个差分图像；以及
将所述参考图像与所确定的像素数据进行合成来形成所述较高分辨率的图像。
11.一种用于使用压缩技术来在嵌入式设备中使能超分辨率的装置，包括：
控制模块，所述控制模块用于对包括多个较低分辨率的图像的图像序列应用压缩技术，并且每个低分辨率的图像被划分成多个像素块；以及
分辨率增强模块，所述分辨率增强模块用于逐块地对经过压缩的图像序列进行解码并且在各个块被解码时对经过压缩的图像序列执行超分辨率技术来产生较高分辨率的图像。
12.根据权利要求11所述的装置，还包括无损编解码器，所述无损编解码器用于使用无损压缩技术来压缩所述多个较低分辨率的图像。
13.根据权利要求12所述的装置，其中，所述无损编解码器应用运动估计技术来以子像素精度生成至少一个运动向量。
14.根据权利要求11所述的装置，还包括近无损编解码器，所述近无损编解码器用于使用近无损压缩技术来压缩所述多个较低分辨率的图像。
15.根据权利要求11至14中的任何一项所述的装置，还包括：
相机单元，所述相机单元捕获所述多个较低分辨率的图像。

在嵌入式设备中提供较高分辨率图像的方法和装置\n技术领域\n[0001] 本发明总地涉及嵌入式设备，并且更具体而言，涉及用于利用超分辨率技术在嵌入式设备中提供较高分辨率图像的方法和装置。\n背景技术\n[0002] 相机设备的用户可以通过以特定的图像分辨率生成对象的数字图像来给对象“照相”。一般，数字图像包括表示该对象的像素数据，而图像分辨率是指该数字图像的细节量。\n有时，由相机设备生成的数字图像可能畸变。例如，晃动(handshaking)(例如，相机抖动)可能引起数字图像中的畸变(例如，模糊)。\n[0003] 有时，超分辨率技术可以用来减轻晃动的效果。超分辨率技术被配置来从一个或多个较低分辨率的图像产生较高分辨率的图像。超分辨率技术使用运动估计和去模糊技术预测从较低分辨率的图像中丢失的细节(例如，像素数据)。丢失的细节被应用于这一个或多个较低分辨率的图像来产生较高分辨率的图像。\n[0004] 当前，由于处理器和存储器局限性，不在嵌入式设备上执行超分辨率技术。嵌入式设备可以是具有内建相机的设备，例如移动电话、个人数字助理(PDA)、“智能手机”等。由于尺寸限制，嵌入式设备被限于特定数量的存储设备和/或处理器资源。原始的未经压缩的图像尺寸相当大并且消耗大量的存储器。因此，在嵌入式设备被使用的同时，存在太多要由处理器来执行超分辨率技术的图像。\n[0005] 当前，超分辨率技术是在较低分辨率的图像被保存到设备存储器中的同步之前在嵌入式设备上被离线执行的。处理是在将较低分辨率的图像从嵌入式设备转送到另一设备(例如，计算机)之前被离线完成的。然而，用户不能在较低分辨率的屏幕上观看高分辨率的图像。\n[0006] 因此，在本技术领域中存在对在嵌入式设备中提供较高分辨率的图像的需求。\n发明内容\n[0007] 本发明的实施例包括一种用于通过使用一个或多个运动向量对经过压缩的图像序列执行超分辨率技术来提供较高分辨率的图像的方法、装置和嵌入式设备。在一个实施例中，一种使用视频压缩技术来在嵌入式设备中使能超分辨率的方法包括：使用视频压缩技术来压缩包括多个较低分辨率的图像的图像序列，并且对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。\n附图说明\n[0008] 为了本发明的上述特征可以被详细理解，对以上简要总结的本发明的更具体的描述可以参考实施例，实施例中的一些被示出在附图中。然而，应当注意，附图仅示出本发明的典型实施例并且因此不被认为是对其范围的限制，因为，本发明可以容许其它同等有效的实施例。\n[0009] 图1是根据一个或多个实施例的、用于对经过压缩的图像序列执行超分辨率技术来产生较高分辨率图像的嵌入式设备的框图；\n[0010] 图2是根据一个或多个实施例的、用于使用视频压缩技术来在嵌入式设备中使能超分辨率的方法的流程图；\n[0011] 图3是根据一个或多个实施例的、用于压缩多个较低分辨率的图像来在嵌入式设备中使能超分辨率的方法的流程图；\n[0012] 图4是根据一个或多个实施例的、用于生成差分图像(differenceimage)的方法的流程图；以及\n[0013] 图5是根据一个或多个实施例的、用于在嵌入式设备的传感器处压缩图像序列的方法的流程图；\n具体实施方式\n[0014] 图1是根据本发明一个或多个实施例的、用于对经过压缩的图像序列执行超分辨率技术来产生较高分辨率的图像的嵌入式设备100的框图。经过压缩的图像序列可以是使用无损或近无损视频压缩技术被压缩的。\n[0015] 嵌入式设备100可以是移动电话、照相手机、智能手机、个人数字助理(PDA)，例如本技术领域中公知的那些。嵌入式设备100包括微处理器102、各种支持电路104、存储器\n106、相机单元108和超分辨率单元110。微处理器102方便数据处理和存储。各种支持电路104方便微处理器102的操作并且包括时钟电路、电源、缓存、输入/输出电路等中的至少一种。存储器106包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘驱动器存储装置、光学存储装置、可移除存储装置等中的至少一种。存储器106包括控制模块115、软件编解码器116和较低分辨率的图像118。一般，软件编解码器116包括使用无损视频压缩技术(例如，经过Huffman压缩的YUV、CorePNG等)或近无损视频压缩技术(例如，DV压缩、FastCodec等)来压缩图像序列的软件代码。在一个实施例中，软件编解码器116采用帧间预测技术来处理原始图像的序列。软件编解码器116可以使用运动向量估计技术来估计连续的图像之间的运动向量。在本技术领域已知各种可以由软件编解码器116使用的运动估计技术。在一个实施例中，软件编解码器116将较低分辨率的图像118的较低分辨率的图像划分成多个像素块，并且逐块地执行帧间预测和压缩。在某些实施例中，相机单元108可以包括以硬件执行软件编解码器116的功能的硬件编解码器114。\n[0016] 在一个实施例中，相机单元108包括可在市场上买到的嵌入式图像生成设备(例如，内建相机)。作为示例而非限制，相机单元108被用来捕获多个原始图像作为图像序列(例如，未经压缩的图像序列)。相机单元108包括传感器112(即，图像传感器)。在一个实施例中，传感器112将所捕获的图像序列存储到存储器106中，作为较低分辨率的图像\n118。在另一实施例中，传感器112将所捕获的图像序列转换成电信号，该电信号可以经由微处理器102被传送到嵌入式设备100的各个部分。例如，传感器112可以与超分辨率单元110进行传送。\n[0017] 一般，超分辨率单元110是嵌入式设备100的组件，包括分辨率增强模块120和本地存储器122。本地存储器122包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘驱动器存储装置、光学存储装置、可移除存储装置等中的至少一种。本地存储器122包括经过压缩的图像序列124、运动向量信息126和较高分辨率的图像128。在本发明的一个或多个实施例中，超分辨率单元110在经过压缩的图像序列124和运动向量信息126通过硬件编解码器114或软件编解码器116的使用被创建时存储它们。如以下进一步所述，分辨率增强模块120对经过压缩的图像序列124和运动向量信息126应用一种或多种超分辨率技术以生成较高分辨率的图像128。本技术领域公知的各种超分辨率技术都可以用于本发明。注意，分辨率增强模块120在没有从经过压缩的图像序列124完全恢复出较低分辨率的图像\n118的情况下，应用(一种或多种)超分辨率技术。\n[0018] 根据本发明各种实施例，控制模块115包括用于对从较低分辨率的图像的原始的未经压缩的图像序列创建高分辨率的图像128进行管理的软件代码。在操作中，控制模块\n115对原始数据的压缩和超分辨率技术对于经过压缩的图像序列124的应用进行协调。在一个实施例中，控制模块115执行软件编解码器116来压缩较低分辨率的图像118并且将经过压缩的图像序列124存储到本地存储器122中。相应地，较低分辨率的图像118可以被移除以释放存储器资源。在一个实施例中，经过压缩的图像序列124包括参考图像(例如，图像序列的第一图像)、一个或多个运动向量以及一个或多个差分图像(例如，表示原始图像与以参考图像为基础的该原始图像的预测版之间的差异的像素数据)。可以使用无损压缩技术来压缩该参考图像和/或这一个或多个差分图像。可以采用运动向量估计技术来确定一个或多个向量。为了示例清楚的目的，在此将经过压缩的图像序列124描述为具有单个参考图像。本领域技术人员将明白，经过压缩的图像序列124可以包括多个参考图像。\n[0019] 在某些实施例中，原始图像是未经压缩的图像序列中的任何图像。参考图像是原始图像之一。对于差分图像，所预测的图像是通过关于参考图像来计算运动向量，并且之后使用运动向量来对该参考图像的重构版进行运动补偿而形成的。差分图像是通过从被编码的原始图像中减去所预测的图像而形成的。可以针对序列中参考图像之后的每一个原始图像逐块地执行帧间预测。以这种方式，产生经过压缩的图像序列124和运动向量信息126。\n尽管在此描述了帧间预测的特定实施例，然而，本领域技术人员将明白，软件编解码器116和/或硬件编解码器114可以执行与在此所述的相似的其它帧间预测处理，例如，在本领域中公知的运动图像专家组(MPEG)标准中使用的帧间预测。\n[0020] 根据一个实施例，嵌入式设备100的晃动可能引起形成未经压缩的图像序列的较低分辨率的图像之间的一个或多个差异。较低分辨率的图像可能是从相同场景生成的但是由于嵌入式设备100的移动(即，摇动)而包括用于表示相同场景的不同像素数据。由于像素数据可能不同，一个较低分辨率的图像可能包括在另一较低分辨率的图像中未被捕获的另外的细节。因此，可以对来自两个或更多较低分辨率的图像的细节进行合成以产生高分辨率的图像。\n[0021] 根据本发明的各种实施例，分辨率增强模块120对经过压缩的图像序列124执行一种或多种超分辨率技术来生成较高分辨率的图像128。根据一个实施例，这(一种或多种)超分辨率技术包括对参考图像和差分图像的时间内插和空间内插。例如，这(一种或多种)超分辨率技术对来自参考图像、运动向量和差分图像的场景的丢失的细节进行内插。\n随后，分辨率增强模块120使用丢失的细节来提高参考图像的分辨率。\n[0022] 在一个实施例中，经过压缩的图像序列在由分辨率增强模块120进行的超分辨率技术的应用之前不被完全解码来恢复所有较低分辨率的图像118。换而言之，不对经过解码的图像序列(例如，根据本发明一个或多个实施例的较低分辨率的图像118)执行超分辨率技术。可以直接对经过压缩的图像序列124执行超分辨率技术。在一个实施例中，分辨率增强模块120在块级(即，每次以像素块)对经过压缩的图像序列124执行超分辨率技术。\n即，给定参考图像、运动向量和差分图像，分辨率增强模块120可以开始逐块地对经过压缩的图像序列124进行解码。然后，可以在各个块被解码时应用超分辨率技术来产生较高分辨率的图像128。通过逐块地执行超分辨率，分辨率增强模块120不必等到所有的原始图像都被解码并且不必将所有的原始图像存储在存储器中。\n[0023] 在一个实施例中，运动向量信息126包括与序列中的参考图像和后续图像之间的运动向量(例如，二维运动向量)有关的数据。每个运动向量提供从参考图像的坐标到下一个图像的坐标的偏移。在一个或多个实施例中，运动向量是由软件编解码器116或硬件编解码器114以子像素精度(例如，像素的百分之一)来确定的。根据一个实施例，分辨率增强模块120在块级使用子像素精度的运动向量来从参考图像和差分图像生成较高分辨率的图像128。\n[0024] 根据一个实施例，相机单元108和超分辨率单元110进行协作，以从较低分辨率的图像118生成较高分辨率的图像128。作为示例而非限制，相机单元108的传感器112捕获被存储作为较低分辨率的图像118的多个较低分辨率的图像。软件编解码器116使用无损或近无损视频压缩技术来压缩较低分辨率的图像118。在压缩阶段期间，软件编解码器116还以子像素精度计算图像序列中连续的较低分辨率的图像之间的运动向量。\n[0025] 可选地，传感器112包括硬件编解码器114。在本发明的一个或多个实施例中，硬件编解码器114是实现无损或近无损视频压缩技术的组件。在一个实施例中，硬件编解码器114将较低分辨率的图像118的较低分辨率的图像划分成多个像素块。在操作中，在原始图像被传感器112捕获时，硬件编解码器114利用帧间预测、使用无损或近无损视频压缩技术来压缩图像序列，如以上关于软件编解码器116所述。结果，经过压缩的图像序列124被生成并且被存储在超分辨率单元110中。根据一个实施例，分辨率增强模块120对经过压缩的图像序列124应用超分辨率技术并且生成高分辨率的图像128。在一个实施例中，硬件编解码器114使得能够在图像序列被存储到存储器106中之前对其执行无损或近无损视频压缩技术。结果，由于不必存储较低分辨率的图像118以产生高分辨率的图像128，所以节省了存储空间。\n[0026] 图2是根据一个实施例的用于使用视频压缩技术来在嵌入式设备中使能超分辨率并且生成较高分辨率的图像的方法200的流程图。方法200在步骤202开始，并且进行到步骤204，在步骤204中图像序列(例如，多个较低分辨率的图像)被存储在本地存储器(例如，图1的本地存储器122)中。\n[0027] 在步骤206，利用帧间预测、使用无损视频压缩技术来压缩图像序列。在另一实施例中，使用近无损视频压缩技术来压缩图像序列。在步骤208，对经过压缩的图像序列(例如，图1的经过压缩的图像序列124)应用超分辨率技术。在步骤210，生成较高分辨率的图像(例如，图1的较高分辨率的图像128)。在步骤212，方法200结束。在一个实施例中，分辨率增强模块(例如，图1的分辨率增强模块120)如上所述对参考图像、一个或多个运动向量和一个或多个差分图像应用一种或多种超分辨率技术。\n[0028] 图3是根据一个实施例的、用于压缩多个较低分辨率的图像以在嵌入式设备上使能超分辨率的方法300的流程图。方法300在步骤302开始，并且进行到步骤304，在步骤\n304中从存储器(例如，图1的存储器106)访问多个较低分辨率的图像。\n[0029] 在步骤306，处理(例如使用无损或近无损算法来压缩)参考图像(即，较低分辨率的图像中的第一图像)。在步骤308，获得下一图像(即，下一较低分辨率的图像)。在步骤310，确定下一图像与参考图像之间的运动向量。在一个实施例中，运动向量估计技术以子像素精度确定运动向量。在步骤312，生成差分图像。差分图像表示下一图像和如上所述从参考图像得到的下一图像的预测之间的一个或多个差异(即，误差)。\n[0030] 在步骤314，关于在图像序列中是否存在要被处理的下一图像进行判定。如果判定图像序列中存在要被处理的下一图像(选项“是”)，则方法300进行到步骤308。在步骤\n314，如果判定图像序列中不存在要被处理的下一图像(选项“否”)，则方法300进行到步骤316。在步骤316，存储参考图像、运动向量和差分图像。在一个实施例中，参考图像、运动向量和差分图像构成被发送给嵌入式设备的超分辨率单元(例如，图1的超分辨率单元\n110)的经过压缩的图像序列。在另一实施例中，参考图像和/或差分图像在存储前利用无损压缩技术被压缩。在步骤318，方法300结束。\n[0031] 图4是根据一个实施例的、用于生成差分图像的方法400的流程图。方法400在步骤402开始，并且进行到步骤404，在步骤404中处理参考图像和运动向量。在步骤406，从参考图像和运动向量生成对正被编码的图像的预测。在一个实施例中，编解码器通过将运动向量应用于第一图像(例如，之前被编码并且被重构的图像)来预测正被编码的图像。\n在步骤408，从正被编码的图像(例如，被观察的或实际的图像)中减去所预测的图像。在步骤410，计算差分图像。在步骤412，压缩差分图像。在步骤414，方法400结束。\n[0032] 图5是根据一个实施例的、用于在嵌入式设备的传感器处压缩图像序列的方法\n500的流程图。方法500在步骤502开始，并且进行到步骤504，在步骤504中捕获多个较低分辨率的图像。较低分辨率的图像被存储到存储器(例如，图1的存储器106)中作为未经压缩的原始的图像序列。在步骤506，使用硬件编解码器压缩多个较低分辨率的图像。在一个或多个实施例中，硬件编解码器可以如上所述利用帧间预测来实现无损或近无损硬件编解码器。在步骤508，经过压缩的多个较低分辨率的图像被转换成电信号。在步骤510，电信号被发送给超分辨率单元(例如，图1的超分辨率单元110)并且被存储。方法500在步骤512结束。\n[0033] 因此，已经提供了本发明的各种实施例。本发明的各种实施例可以有利地在嵌入式设备中使能超分辨率。此外，可以利用本发明方法和装置来直接对经过压缩的较低分辨率的图像序列进行操作。此外，各种实施例可以减少最优或有效使用嵌入式设备所需要的存储器或处理器资源的量。\n[0034] 尽管以上所述是针对本发明实施例的，但是，可以设想到本发明的其它和另外的实施例，而不偏离本发明的基本范围，并且本发明的范围是由所附权利要求来确定的。