基于存储器的用于图象压缩VLSI结构

暂无

本发明一般涉及图象处理和计算机图形学领域。特别说，本发明 涉及执行图象处理和压缩的结构和方法。
在小型或者便携设备诸如数字照相机中，图象压缩的目标是减少 数据的存储器和处理需求而仍能保持可接受的画面质量。当存储器和 处理需求减少时，照相机的总功率消耗也减少，因为执行处理的VLSI (超大规模集成)芯片更紧密。用于传输或存储静止图象或运动视频 的位速率的减少也加快摄取图象的过程，然后下载它们到PC(个人 计算机)或其它更复杂的数据处理系统。
不论是由诸如VLSI等硬件还是由软件执行的图象压缩技术都可 以归类到“有损失”或“无损失”中的一类。对于无损失压缩，压缩 前的原来图象可以在压缩图象被解压缩时精确恢复。因此，压缩比依 赖于图象的平均信息量的无损失技术达不到高压缩比，而且因为它们 保存原来图象信息的高百分比，所以计算开销昂贵。与此相反，有损 失压缩只提供原来图象的近似。这样，对于有损失压缩，可以达到较 大压缩比，但是与无损失技术相比，图象质量有损失。一种这样的有 损失技术称为“预测编码”(也称为数字脉冲编码调制(DPCM)，其在 该技术中公知)，该技术通过线性结合已经处理的相邻象素的属性而 预测后继象素的值。把原来图象象素和相应预测的象素之间的差定义 为误差象素。该误差象素被量化，然后二进制编码。常规做法是，与 编码截然不同执行量化，这使得处理电路或软件算法复杂。
实现这种计算上强化的技术与适用于希望图象压缩的数字照相 机和便携、小型设备的电路数目相比要求更多的VLSI电路。这样， 需要较简单的结构来执行这些技术，同时节省工耗及保持该种压缩技 术的准确性。
公开了一种图象压缩装置，它包括提供量化代码的第一查阅表、 提供代码长度的第二查阅表、和为索引这些查阅表而产生地址的预测 编码电路。
本发明的方法和装置的目的、特征和优点从下述说明中可明显看 出，其中：
图1是本发明的一个实施例的方框图；
图2是根据本发明的第二实施例的方框图；
图3是根据本发明的第三实施例的图；
图4是本发明的一个实施例的系统图。
现在参考附图说明本发明的示范性实施例。提供示范性实施例来 说明本发明的方面，而不应该理解为限制本发明的范围。示范性实施 例的说明主要参考方框图或流程图进行。至于流程图，在流程图中的 每一框既表示一个方法步骤，也表示执行该方法步骤的装置元件。根 据实施情况，相应装置元件可以以硬件、软件、固件或其组合配置。
图1是本发明的一个实施例的方框图。
图1表示基于表查阅的图象压缩系统。图1可以几种方式与现有 技术图象压缩系统区别。首先，使用一个特殊的预测编码或自适应去 相关电路，第二，使用查阅表以集成方式执行量化和二进制编码。现 有技术系统不使用集成的量化和编码查阅表，也不使用基于查阅表的 预测编码，其在后面说明。图1的装置在下述一点极具优点，即可以 使用RAM(随机存取存储器)实现查阅表，这样比使用电路的现有技 术系统较便宜和较少功耗。虽然图1表示查阅表压缩的一种实现，但 它仅是一个例子。熟悉本技术领域的人可以容易地使查阅表的结构适 应任何图象或数据压缩系统。
图1表示作为输入的象素数据Pi，它起源于图象摄取设备的缩放 设备或其它部件或为传递图象信息而配置的端口。象素数据Pi表示 与定义在执行压缩的图象中的一个象素相关的一个或多个数值。它可 能是表示颜色诸如R(红)、G(绿)和B(兰)色级(color plane) 分量的单一值或一组这样的值。通常，每一Pi是一个象素“分量”(R， G或B)，并与相邻分量插在一起而形成单一屏幕可表示的RGB混合象 素。当图象最后输出到显示器或打印机时通常实现象素分量的混合。
表示为8位无符号数值的每一Pi输入到差分电路100。差分电路 100计算在前一预测象素分量P’i-1和原来象素分量Pi之间的差。差 分电路100产生和提供一个9位的带符号数值Δ＝Pi-P’i-1作为输 出，它在预测编码和图象压缩技术中称为“误差”或Δ(delta)值。 下面将要讨论到，每一象素分量Pi具有由预测编码电路提供的前一 预测象素分量P’i-1。前一预测象素分量P’i-1供给差分电路为将来 下一象素分量Pi使用。
通过以线性组合关联先前访问的相邻象素分量来产生预测象素 分量Pi’。在预测编码中，可以使用任何数目的相邻象素分量来预测 象素分量值。例如，一维预测编码或者取北邻(同一列，前一行)， 或者取西邻(同一行，前一列)。二维预测编码包括例如既有北邻也 有西邻的象素。图1的实施例表示基于西邻象素的一维预测编码。
预测编码电路10如下操作。差分电路100产生Δ，它为表示Pi 和P’i-1之间差的一个9位带符号数值。这一“误差”值Δ用作对查 阅表(LUT)110的一个地址。LUT110是一个计算逆量化值的查阅表。 LUT110既可存储量化值，也可存储对给定Δ或误差的逆量化值。 LUT110输出一个“恢复的”误差值Δ’，用于图1所示误差恢复电路。
由LUT110输出的恢复误差值Δ’是量化和逆量化两者的结果。 例如，误差值Δ＝96可以具有12的量化值。该量化值12在逆量化 时将产生例如为98的恢复误差Δ’。正是该量化损失便利了压缩。 用以编辑查阅表的量化公式可以产生许多值，诸如96以及98，它们 都映射到一个量化值12。当逆量化时，值12在上面的例子里总产生 逆量化值98，而不管“12”是从量化误差值96还是98得出。
这一误差由于量化误差值到一个较小的数值集合，有可能传播到 象素的整行，除非应用恢复机构。误差恢复电路15寻求减少误差的 传播，这通过为未来预测的象素分量反馈和相加前一预测象素分量值 与将来恢复误差值Δ’而实现。
求和电路160把恢复的误差Δ’与前一预测象素P’i-1相加在一 起。该和输入到寄存器组170，它存储和保持值Δ’+P’i-1，直到下 一Δ’准备好被相加。前一预测象素分量P’i-1也输入到差分电路100 以便从实际象素分量Pi中减去。由求和电路160和寄存器组组成的 误差恢复电路15基本上是解压缩或正向图象压缩处理的逆。因此， 代替取原来输入象素分量值用于预测计算，而使用解压缩的(逆量化 的)象素分量计算下一后继预测值。这模拟发生在接收机侧的(亦即 在解压缩期间)预测。作为其结果，使每一分量的量化误差保持局部 化在该特定象素上。
如前所述，预测编码电路10为每一象素分量Pi产生一个误差值 Δ。使用第二LUT120以集成方式执行量化和编码。例如，再次假定 Δ＝96可以具有量化值12。LUT120将存储全范围的可能的Δ值作为 地址，以索引量化的值及其键字(编码的)。
第三LUT130存储长度信息，并在假定8位象素分量下使用4位 提供每一码字的大小。由LUT120提供的码字是为一个特定误差值Δ 的量化值的一个二进制编码的等值。通过使用来自LUT130的大小信 息和由LUT120提供的二进制码字，打包电路150可以为把数据传输 给其它部件或设备而安排和排序码字。由打包器电路发出的码字包含 表示一个压缩图象的足够信息，并可以在后来被解压缩以恢复作为为 整个图象的Pi值集合被送往预测编码电路的原来摄取的图象的稍微 修改后的版本。
在图1的例子中，利用使用西邻象素分量的一维预测编码。这 样，一个特定行j的正好是第一的象素分量P1没有前一预测象素分 量P0′，因为对于P1没有西邻。因此，应该把每行的第一象素P1直接 提供给打包电路不加改变地编码。为便利这一操作，多路转换器140 为一行中P1后的所有象素选择由LUT120提供的码字，而在正好是第 一的象素分量要被编码时选择P1。由多路转换器140选择的值，无论 是来自LUT120的码字，还是P1，都由打包电路150打包。下面的表 1表示为一行作为例子的头4个象素分量P1、P2、P3和P4的值。
                             表1     i＝1     i＝2     i＝3   i＝4     Pi     96     13     9   104     Δ     96     -83     -3   96     Δ’     96     -84     -4   98     P’i     96     12     8   106
第一象素分量P1具有值96。把0值从寄存组170供给差分电路 100，寄存器组170在操作一个新象素行时清除。这样，对于第一象 素的每一值，Δ、Δ′和P’i-1也是96。P′在i＝2之前实际不输 出。
下一象素分量P2具有值13。Δ是P2-P′1＝13-96＝-83。Δ′ 是逆量化值，它将值-83估计为例如-84。P′2是Δ′+P′1＝-84 +96＝12。以类似方式，可以得到对于i＝3，4等等的所示值。
在另一可选的实施例中，可以使用二维预测编码代替一维编码。 二维预测编码既使用北邻象素，也使用西邻象素，虽然查阅表方法类 似，但是反馈电路将变化。这样的二维预测编码系统表示在下面的图 5中。
执行上述计算的预测编码电路10的优点在于使用查阅表，亦即 LUT110。这样的查阅表通过与ASICs和其它专门的更为复杂的电路 功能组合而大大简化了预测编码电路。LUT110可以由两列组成，如 下表2所示：
            表2 Δ Δ’ 97 96 95 · · · 0 · · · -83 -84 98 98 98 · · · 0 · · · -84 -84
因此LUT110可以是一个简单的可寻址存储器，诸如RAM，其使 用值Δ作为查阅相应值Δ′的一个地址。这样的RAM查阅表与量化和 逆量化电路相比不贵，传统上使用后者来执行同样的功能。在诸如使 用便携数字照相机摄取静止图象的应用中，可以预先编辑好量化和逆 量化，而且为所有摄取的图象使用同样的数值表。
另外，图1所示图象压缩装置进一步的优点在于，避免了复杂的 二进制/码字编码过程。在二进制/码字编码中，数值以某一二进制形 式表示，诸如1的补，还被进一步使用一种编码方案诸如著名的 Huffman编码加以编码。这样的编码逐位执行，于是可能使用用CMOS 实现的锁存器和逻辑门。甚至比二进制/码字编码更复杂的是量化过 程。量化包括映射第一组数值到一个较小数值组。在图象压缩中，按 照各种公式实现量化，这些公式尽管可以很容易由数据处理系统计 算，但是对于小型、便携成像系统过于复杂。成像系统，诸如数字照 相机，需要能够计算表示视觉响应等的公式，它们可能在数学上相当 严格的。照相机不仅必须计算涉及误差或者Δ值x和量化值y这样的 公式，而且它应该以迅速而有效的方式即时(on-the-fly)这样做，使 得压缩要快。快速压缩允许数字照相机快拍下一照片，亦即摄取下一 图象，不至延迟太多。重复一遍，尽管计算机系统可能以其处理能力 和或许专用视频压缩芯片在短时间内压缩图象，但是数字照相机，如 果它要便携且成本高效的话，则不太可能这样做。于是，图象压缩静 止照相机的焦点应该减少处理步骤的数目和复杂性。根据本发明的各 种实施例及其修改方案，一个预编辑的查阅表可以实现这一目的。
图2是根据本发明的第二实施例的方框图。
图2表示执行图象压缩的流水线结构。图1所示预测编码电路10 优选有目的地对象素的一个“分量”(R，G或B)工作。在这一方面， 图2表示一个第一预测编码电路210，它类似于图1的预测编码电路 10，并在象素的R或者红颜色级分量上操作。类似地，所示第二预测 编码电路220在G或者绿颜色级分量上操作，所示第三预测编码电路 230在象素的B或者兰颜色级分量上操作。在该实施例中，提供多路 转换器205选择在其上放置输入象素分量的3条输出线中的一条。使 用两条选择线，TAG1和TAG0，来使用两位标签信息，相应确定分量 路由。下面将会讨论，象素分量的排序将允许它们在解压缩期间恰当 混合。另外，该实施例保证为每一颜色分量分别执行预测编码。从红 误差值预测红误差值，从绿误差值预测绿误差值，等等。这在预测时 通过匹配“颜色”帮助预测编码发生。如果有单独的R、G和B传感 器用于检测不同的象素分量，则可以避免多路转换器。优点是，这样 的系统能够同时处理多于一个的分量。每一预测编码电路210、220 和230都能够访问单一组LUT，第一LUT″f″240和第二LUT″长度″ 250。如在图1中所述，LUT240是一个RAM或其它存储器查阅表，它 接受由预测编码电路产生的误差值作为索引地址。使用该地址，预编 辑的LUT240能够提供码字等值，它隐含一个两步骤的量化和编码过 程。LUT250为每一索引地址提供为打包电路指示每一码字总位数的 长度信息。索引地址是由预测编码电路提供的一个误差值。
另一可选的方案是，每一预测编码电路可以配置为同时索引 LUT240以及LUT250，使得对单一象素的颜色级分量的处理不需要流 水线处理，而可以以真正并行方式发生。这一点是可能的，因为在大 多数传统的图象感测中，当感测时给R、G和B分量分配一个偶数位 数。在不是这种情况的系统中，可以修改该并行结构，使之包括具有 3个单独子表的LUT，每一分量一个，或者这些分量可以转变为具有 相等位数。然而，例如对于产生8位R、8位G和8位B分量的成象 系统，长度为2N+1-1的单一表足以为所有可能的误差值(在范围-255 到+255内)提供码字。对长度LUT，同样的原则适用。
虽然每一颜色级分量不需单独的表，但是重要的是为每一分量误 差值确定该值是表示传感器摄取还是输入的R、G或B分量。希望知 道这一点，以便在再现该象素和给显示器、打印机或其它输出设备光 栅输出，以及为在摄取设备自身上存储时，可以把R、G和B分量正 确混合而组成该象素的最终颜色强度。例如，如果使用兰色(B)分 量值来预测红色(R)，则在解压缩时得到的混合颜色或许不正确地表 示图象的原来颜色。为保证恰当组合，打包器可以使用伴随由每一预 测编码电路提供的误差值的“TAG(标签)”信息，以任意希望的顺序 排列R、G和B码字。这些TAG信息(TAG0和TAG1)只是标识R、G 或B的两位序列，在LUT的输出端不加改变通过。TAG信息最初可以 被剥离并沿单独的信号线通过，以便不使索引处理复杂化。
在一个实施例中，当象素从图象传感器前向送出时，这些象素的 排序遵照一种特定的模式，诸如拜尔(Bayer)模式，其在该技术中 公知，表示如下：     行0     R     G1     R     G1     R     G1     行1     G2     B     G2     B     G2     B     行2     R     G1     R     G1     R     G1     行3     G2     B     G2     B     G2     B
上面作为示例的拜尔模式表示每一偶数行仅由交替的红象素 (R)和绿象素(G1-偶数行绿)组成，它们分别加00(R)和01(G) 标签，以便由打包器识别。类似地，奇数行仅由交替的G2和B象素 组成，它们类似地分别加10(G2-奇数行绿)和11(B)标签。打包 单元交替地打包偶数行中的R和G1象素的码字，奇数行中的G2和B 的码字。标签用以标识码字的颜色。该标签实际上不包括在打包的位 流中。注意在奇数行和偶数行中的绿象素被不同处理，因此，它们分 别标识为G1和G2，所加标签为01和10。
图2的并行结构通过仅使用两张一组的表来处理所有3种颜色级 分量而充分地使用基于LUT的图象压缩的优点。这种预测编码图象压 缩方案的一个特征是无颜色变换。该方案不依赖于某个特定颜色空 间。由于数字照相机的成像传感器在R、G、B分量原理上工作，因此， 图象压缩可以对R、G、B执行，不变换为任何其它颜色分量格式，例 如像YUV(Y-亮度，U-颜色，V-色度)或CMYK(青，洋红，黄， 黑)。
图3是根据本发明的第三实施例的图。
图3是一个图象摄取设备的内部图象处理和压缩部件的方框 图。传感器300，诸如CMOS或CCD传感器，产生象素分量，它们是 来自某些图象源的颜色/强度值。由传感器300产生的10位象素值送 往摄取接口310。在数字照相机应用中的传感器300通常检测来自一 个区域或者位置的一次“感测”的R、G或B分量中的一个。这些分 量当为显示或输出而再现时可以插在一起，形成高阶(16位，24位 等)组合象素。摄取接口310摄取由CMOS传感器产生的图象并为带 有单个象素的象素添加标识颜色分量的标签。这些标签每一个为两 位，例如对R(红)、G1(偶数行绿)、G2(奇数行绿)、B(兰)象素 分别为00、01、10和11。
象素的排序和G1和G2的关联性已在上面相对于图2和相关说明 部分说明。通常在任何CMOS(互补硅金属氧化物)或CCD(电荷耦合 器件)传感器中，在传感器平面中的某些象素单元或许对发光条件不 能恰当响应。其结果，从这些单元产生的象素值可能有缺点。这些象 素称为“死象素”。“象素代替”单元315使用在该行中紧接各死象素 前的一个有效象素代替各死象素。
RAM表316包括死象素的行和列索引，它们是由传感器供给的。 RAM表316帮助确定死象素相对于所摄取的图象的位置。缩展和灰度 系数校正模块325是基于表查阅的变换器，用以例如通过插值变换来 自传感器的每一原来的10位(标以10b)象素为一个8位象素值。 在这一结构中，缩展和灰度系数校正被集成到单一表查阅操作中。需 要灰度系数校正来获得在输出显示设备中正确的颜色亮度和对比 度。RAM表326伴随缩展和灰度系数校正模块325，并包含缩展表的 项。对于每一颜色级，有(210＝)1024个8位的项。
接着，使用空间缩放单元327缩小原来图象。如果原来图象大小 是M×N，则2∶1的缩放操作把图象大小缩小为M/2×N/2，而4∶1 的缩放操作缩小为M/4×N/4。这允许压缩过大的图象。RAM328伴随 空间缩放单元327，用于在缩放操作期间中间存储。例如，4∶1缩放 可以通过连续两次2∶1缩放操作而实现。
象素分量数据一旦被缩放，它便被送到DPCM单元330和平均信 息量(entropy)编码器335。DPCM单元330和平均信息量编码器335 比现有技术成像系统中的要简单得多，因为RAM332和RAM334包含4 种信息，足够执行量化和二进制编码。缩放的象素数据被送往DPCM 单元330和平均信息量编码器335以产生误差值，然后被打包为码字 (参考图1的详细说明)。平均信息量编码器335虽然以一个单独的 方块表示，但是实际上不与DPCM单元330分开，相反由于表查阅而 集成在一起。使用具有量化和码字信息的RAM332和具有码字长度的 RAM334以允许数据打包单元340正确地安排可能为可变长(3-16 位)的码字数据到字节单元中。数据打包单元340类似图1中的打包 电路150。数据打包单元340产生16位码字数据并将其送往DMA控 制器。DMA控制器可为各种目的诸如统计、或传感器对准等而接收来 自缩展和灰度系数校正模块325的缩展数据、来自象素代替单元315 的象素代替数据和来自DPCM单元330的9位量化数据。这一数据应 该具有一致的长度，以便总线360可以传输其它通过该总线连接的单 元、模块和设备请求的数据。重要的是，DMA控制器350还以正确的 内部地址恰当准备要通过总线360传递的来自数据打包单元340的打 包的码字数据，以使正确的数据到达正确的目的地。总线技术、寻址 协议和DMA控制器在系统设计中公知，可以容易地修改/特制以适应 希望的应用。
每一RAM表316、326、328、332和334可以直接与总线360通 信，以便能够加载它们的数据，然后如果希望的话加以修改。通过预 加载数据到这些表中，特别是为量化和编码，极大减少用于数学计算 的内部电路，并可以用较低成本的存储器单元代替。
图4是本发明的一个实施例的系统图。
图示的是一个计算机系统410，它可以是任何连接在照相机430 上的通用或专用计算或数据处理机器，诸如PC(个人计算机)。照相 机430可以是数字照相机、数字视频摄像机、或任何图象摄取设备或 成像系统，用于摄取物体440的传感器图象。基本上，被摄取的图象 由图象压缩电路432压缩，以便它们可以高效存储在图象存储器单元 434中，图象存储器单元434可以是ROM、RAM或其它存储设备例如 固定盘。在大多数数字照相机中，图象首先被存储，然后被下载。这 允许照相机430很快摄取下一物体而无附加延迟。
本发明的该实施例的图象处理操作如下。首先，图象压缩表，如 果尚未编辑，使用计算机系统410进行编辑。使用诸如PentiumTM (Intel公司的一种产品)的处理器412和用于存储/加载指令地址和 结果数据的诸如RAM的存储器411实现按照希望的量化公式或方法的 图象压缩表的编辑。用于编辑图象压缩表的应用可以是从一个以诸如 C++的语言书写的源程序编译的可执行文件。该可执行文件的指令 与计算量化的误差值、码字等值和索引这些和其它值到一张表的指令 对，它们可以存储到磁盘418或者存储器411中。十分明显，具有本 技术领域普通技能的人能编程一个计算机器来编辑该图象压缩表。
计算机系统410具有系统总线413，它便利从处理器和存储器到 连接到I/O总线415的桥414或反方向的信息传输。I/O总线415连 接各种I/O设备，诸如显示适配器416、磁盘418和I/O端口417， 例如串行端口。本发明可以使用I/O设备、总线和桥的多种组合，所 示组合仅仅表示这些可能组合中的一种。
图象压缩表一旦被编辑，则可通过I/O端口417发送，并加载到 图象压缩电路432中，作为由图象压缩电路432使用的RAM或存储 器。该表一旦加载，则在其后可由图象压缩电路432使用。
当一个图象，例如物体440的一个图象，被传感器摄取时，传感 器为每一象素摄取R、G和B分量中的一个分量，然后把这些象素值 发送到图象压缩电路432。图象压缩电路432包括IC和其它部件， 它们执行诸如预测编码的图象压缩方案。图象压缩电路432根据预测 编码公式计算初始误差值，然后为该误差值查阅相应的量化误差值和 码字等值，并将其存储到图象存储器单元434中。通过查阅图象压缩 表中的数值，计算量化和逐位编码的步骤不需要由照相机执行。由于 避免了用于执行量化和编码误差值的附加电路，照相机的总成本减 少。一旦所有象素分量被处理，则照相机430可以摄取下一图象。当 用户或应用希望/请求下载图象时，作为打包数据(码字)存储在图 象存储器单元中的压缩图象从图象存储器单元434传输到I/O端口 417。I/O端口417使用所示总线桥层次结构(I/O总线415到桥414 到系统总线413)临时存储码字象素到存储器411或者可选地存储到 磁盘418。
压缩图象由合适的应用软件(或硬件)解压缩，它可以使用处理 器为其执行。由于图象压缩表在计算机系统上编辑，因此它可以被反 过来重新应用来“查阅”相应于码字的实际误差值。该误差值用于逆 预测编码(或其它相应图象解压缩方案)来产生解压缩的图象450。 然后使用显示适配器416把解压缩的图象450可见地描绘在计算机可 能连接的监视器420上。如前所述，解压缩的图象可以具有使用插值 方法组合R、G和B值在一起的象素，从而可以产生较高位分辨率图 象。
提供在这里说明的示范性实施例仅为表示本发明的原理，而不应 该理解为限制本发明的范围。更确切说，本发明的原理可以应用于一 个广阔范围的系统以获得这里叙述的优点和其它优点，以及满足其它 目的。