基于存储器的用于图象压缩VLSI结构

暂无

本发明一般涉及图象处理和计算机图形学领域。特别说，本发明 涉及执行图象处理和压缩的结构和方法。\n在小型或者便携设备诸如数字照相机中，图象压缩的目标是减少 数据的存储器和处理需求而仍能保持可接受的画面质量。当存储器和 处理需求减少时，照相机的总功率消耗也减少，因为执行处理的VLSI (超大规模集成)芯片更紧密。用于传输或存储静止图象或运动视频 的位速率的减少也加快摄取图象的过程，然后下载它们到PC(个人 计算机)或其它更复杂的数据处理系统。\n不论是由诸如VLSI等硬件还是由软件执行的图象压缩技术都可 以归类到“有损失”或“无损失”中的一类。对于无损失压缩，压缩 前的原来图象可以在压缩图象被解压缩时精确恢复。因此，压缩比依 赖于图象的平均信息量的无损失技术达不到高压缩比，而且因为它们 保存原来图象信息的高百分比，所以计算开销昂贵。与此相反，有损 失压缩只提供原来图象的近似。这样，对于有损失压缩，可以达到较 大压缩比，但是与无损失技术相比，图象质量有损失。一种这样的有 损失技术称为“预测编码”(也称为数字脉冲编码调制(DPCM)，其在 该技术中公知)，该技术通过线性结合已经处理的相邻象素的属性而 预测后继象素的值。把原来图象象素和相应预测的象素之间的差定义 为误差象素。该误差象素被量化，然后二进制编码。常规做法是，与 编码截然不同执行量化，这使得处理电路或软件算法复杂。\n实现这种计算上强化的技术与适用于希望图象压缩的数字照相 机和便携、小型设备的电路数目相比要求更多的VLSI电路。这样， 需要较简单的结构来执行这些技术，同时节省工耗及保持该种压缩技 术的准确性。\n公开了一种图象压缩装置，它包括提供量化代码的第一查阅表、 提供代码长度的第二查阅表、和为索引这些查阅表而产生地址的预测 编码电路。\n本发明的方法和装置的目的、特征和优点从下述说明中可明显看 出，其中：\n图1是本发明的一个实施例的方框图；\n图2是根据本发明的第二实施例的方框图；\n图3是根据本发明的第三实施例的图；\n图4是本发明的一个实施例的系统图。\n现在参考附图说明本发明的示范性实施例。提供示范性实施例来 说明本发明的方面，而不应该理解为限制本发明的范围。示范性实施 例的说明主要参考方框图或流程图进行。至于流程图，在流程图中的 每一框既表示一个方法步骤，也表示执行该方法步骤的装置元件。根 据实施情况，相应装置元件可以以硬件、软件、固件或其组合配置。\n图1是本发明的一个实施例的方框图。\n图1表示基于表查阅的图象压缩系统。图1可以几种方式与现有 技术图象压缩系统区别。首先，使用一个特殊的预测编码或自适应去 相关电路，第二，使用查阅表以集成方式执行量化和二进制编码。现 有技术系统不使用集成的量化和编码查阅表，也不使用基于查阅表的 预测编码，其在后面说明。图1的装置在下述一点极具优点，即可以 使用RAM(随机存取存储器)实现查阅表，这样比使用电路的现有技 术系统较便宜和较少功耗。虽然图1表示查阅表压缩的一种实现，但 它仅是一个例子。熟悉本技术领域的人可以容易地使查阅表的结构适 应任何图象或数据压缩系统。\n图1表示作为输入的象素数据Pi，它起源于图象摄取设备的缩放 设备或其它部件或为传递图象信息而配置的端口。象素数据Pi表示 与定义在执行压缩的图象中的一个象素相关的一个或多个数值。它可 能是表示颜色诸如R(红)、G(绿)和B(兰)色级(color plane) 分量的单一值或一组这样的值。通常，每一Pi是一个象素“分量”(R， G或B)，并与相邻分量插在一起而形成单一屏幕可表示的RGB混合象 素。当图象最后输出到显示器或打印机时通常实现象素分量的混合。\n表示为8位无符号数值的每一Pi输入到差分电路100。差分电路 100计算在前一预测象素分量P’i-1和原来象素分量Pi之间的差。差 分电路100产生和提供一个9位的带符号数值Δ＝Pi-P’i-1作为输 出，它在预测编码和图象压缩技术中称为“误差”或Δ(delta)值。 下面将要讨论到，每一象素分量Pi具有由预测编码电路提供的前一 预测象素分量P’i-1。前一预测象素分量P’i-1供给差分电路为将来 下一象素分量Pi使用。\n通过以线性组合关联先前访问的相邻象素分量来产生预测象素 分量Pi’。在预测编码中，可以使用任何数目的相邻象素分量来预测 象素分量值。例如，一维预测编码或者取北邻(同一列，前一行)， 或者取西邻(同一行，前一列)。二维预测编码包括例如既有北邻也 有西邻的象素。图1的实施例表示基于西邻象素的一维预测编码。\n预测编码电路10如下操作。差分电路100产生Δ，它为表示Pi 和P’i-1之间差的一个9位带符号数值。这一“误差”值Δ用作对查 阅表(LUT)110的一个地址。LUT110是一个计算逆量化值的查阅表。 LUT110既可存储量化值，也可存储对给定Δ或误差的逆量化值。 LUT110输出一个“恢复的”误差值Δ’，用于图1所示误差恢复电路。\n由LUT110输出的恢复误差值Δ’是量化和逆量化两者的结果。 例如，误差值Δ＝96可以具有12的量化值。该量化值12在逆量化 时将产生例如为98的恢复误差Δ’。正是该量化损失便利了压缩。 用以编辑查阅表的量化公式可以产生许多值，诸如96以及98，它们 都映射到一个量化值12。当逆量化时，值12在上面的例子里总产生 逆量化值98，而不管“12”是从量化误差值96还是98得出。\n这一误差由于量化误差值到一个较小的数值集合，有可能传播到 象素的整行，除非应用恢复机构。误差恢复电路15寻求减少误差的 传播，这通过为未来预测的象素分量反馈和相加前一预测象素分量值 与将来恢复误差值Δ’而实现。\n求和电路160把恢复的误差Δ’与前一预测象素P’i-1相加在一 起。该和输入到寄存器组170，它存储和保持值Δ’+P’i-1，直到下 一Δ’准备好被相加。前一预测象素分量P’i-1也输入到差分电路100 以便从实际象素分量Pi中减去。由求和电路160和寄存器组组成的 误差恢复电路15基本上是解压缩或正向图象压缩处理的逆。因此， 代替取原来输入象素分量值用于预测计算，而使用解压缩的(逆量化 的)象素分量计算下一后继预测值。这模拟发生在接收机侧的(亦即 在解压缩期间)预测。作为其结果，使每一分量的量化误差保持局部 化在该特定象素上。\n如前所述，预测编码电路10为每一象素分量Pi产生一个误差值 Δ。使用第二LUT120以集成方式执行量化和编码。例如，再次假定 Δ＝96可以具有量化值12。LUT120将存储全范围的可能的Δ值作为 地址，以索引量化的值及其键字(编码的)。\n第三LUT130存储长度信息，并在假定8位象素分量下使用4位 提供每一码字的大小。由LUT120提供的码字是为一个特定误差值Δ 的量化值的一个二进制编码的等值。通过使用来自LUT130的大小信 息和由LUT120提供的二进制码字，打包电路150可以为把数据传输 给其它部件或设备而安排和排序码字。由打包器电路发出的码字包含 表示一个压缩图象的足够信息，并可以在后来被解压缩以恢复作为为 整个图象的Pi值集合被送往预测编码电路的原来摄取的图象的稍微 修改后的版本。\n在图1的例子中，利用使用西邻象素分量的一维预测编码。这 样，一个特定行j的正好是第一的象素分量P1没有前一预测象素分 量P0′，因为对于P1没有西邻。因此，应该把每行的第一象素P1直接 提供给打包电路不加改变地编码。为便利这一操作，多路转换器140 为一行中P1后的所有象素选择由LUT120提供的码字，而在正好是第 一的象素分量要被编码时选择P1。由多路转换器140选择的值，无论 是来自LUT120的码字，还是P1，都由打包电路150打包。下面的表 1表示为一行作为例子的头4个象素分量P1、P2、P3和P4的值。\n                             表1     i＝1     i＝2     i＝3   i＝4     Pi     96     13     9   104     Δ     96     -83     -3   96     Δ’     96     -84     -4   98     P’i     96     12     8   106\n第一象素分量P1具有值96。把0值从寄存组170供给差分电路 100，寄存器组170在操作一个新象素行时清除。这样，对于第一象 素的每一值，Δ、Δ′和P’i-1也是96。P′在i＝2之前实际不输 出。\n下一象素分量P2具有值13。Δ是P2-P′1＝13-96＝-83。Δ′ 是逆量化值，它将值-83估计为例如-84。P′2是Δ′+P′1＝-84 +96＝12。以类似方式，可以得到对于i＝3，4等等的所示值。\n在另一可选的实施例中，可以使用二维预测编码代替一维编码。 二维预测编码既使用北邻象素，也使用西邻象素，虽然查阅表方法类 似，但是反馈电路将变化。这样的二维预测编码系统表示在下面的图 5中。\n执行上述计算的预测编码电路10的优点在于使用查阅表，亦即 LUT110。这样的查阅表通过与ASICs和其它专门的更为复杂的电路 功能组合而大大简化了预测编码电路。LUT110可以由两列组成，如 下表2所示：\n            表2 Δ Δ’ 97 96 95 · · · 0 · · · -83 -84 98 98 98 · · · 0 · · · -84 -84\n因此LUT110可以是一个简单的可寻址存储器，诸如RAM，其使 用值Δ作为查阅相应值Δ′的一个地址。这样的RAM查阅表与量化和 逆量化电路相比不贵，传统上使用后者来执行同样的功能。在诸如使 用便携数字照相机摄取静止图象的应用中，可以预先编辑好量化和逆 量化，而且为所有摄取的图象使用同样的数值表。\n另外，图1所示图象压缩装置进一步的优点在于，避免了复杂的 二进制/码字编码过程。在二进制/码字编码中，数值以某一二进制形 式表示，诸如1的补，还被进一步使用一种编码方案诸如著名的 Huffman编码加以编码。这样的编码逐位执行，于是可能使用用CMOS 实现的锁存器和逻辑门。甚至比二进制/码字编码更复杂的是量化过 程。量化包括映射第一组数值到一个较小数值组。在图象压缩中，按 照各种公式实现量化，这些公式尽管可以很容易由数据处理系统计 算，但是对于小型、便携成像系统过于复杂。成像系统，诸如数字照 相机，需要能够计算表示视觉响应等的公式，它们可能在数学上相当 严格的。照相机不仅必须计算涉及误差或者Δ值x和量化值y这样的 公式，而且它应该以迅速而有效的方式即时(on-the-fly)这样做，使 得压缩要快。快速压缩允许数字照相机快拍下一照片，亦即摄取下一 图象，不至延迟太多。重复一遍，尽管计算机系统可能以其处理能力 和或许专用视频压缩芯片在短时间内压缩图象，但是数字照相机，如 果它要便携且成本高效的话，则不太可能这样做。于是，图象压缩静 止照相机的焦点应该减少处理步骤的数目和复杂性。根据本发明的各 种实施例及其修改方案，一个预编辑的查阅表可以实现这一目的。\n图2是根据本发明的第二实施例的方框图。\n图2表示执行图象压缩的流水线结构。图1所示预测编码电路10 优选有目的地对象素的一个“分量”(R，G或B)工作。在这一方面， 图2表示一个第一预测编码电路210，它类似于图1的预测编码电路 10，并在象素的R或者红颜色级分量上操作。类似地，所示第二预测 编码电路220在G或者绿颜色级分量上操作，所示第三预测编码电路 230在象素的B或者兰颜色级分量上操作。在该实施例中，提供多路 转换器205选择在其上放置输入象素分量的3条输出线中的一条。使 用两条选择线，TAG1和TAG0，来使用两位标签信息，相应确定分量 路由。下面将会讨论，象素分量的排序将允许它们在解压缩期间恰当 混合。另外，该实施例保证为每一颜色分量分别执行预测编码。从红 误差值预测红误差值，从绿误差值预测绿误差值，等等。这在预测时 通过匹配“颜色”帮助预测编码发生。如果有单独的R、G和B传感 器用于检测不同的象素分量，则可以避免多路转换器。优点是，这样 的系统能够同时处理多于一个的分量。每一预测编码电路210、220 和230都能够访问单一组LUT，第一LUT″f″240和第二LUT″长度″ 250。如在图1中所述，LUT240是一个RAM或其它存储器查阅表，它 接受由预测编码电路产生的误差值作为索引地址。使用该地址，预编 辑的LUT240能够提供码字等值，它隐含一个两步骤的量化和编码过 程。LUT250为每一索引地址提供为打包电路指示每一码字总位数的 长度信息。索引地址是由预测编码电路提供的一个误差值。\n另一可选的方案是，每一预测编码电路可以配置为同时索引 LUT240以及LUT250，使得对单一象素的颜色级分量的处理不需要流 水线处理，而可以以真正并行方式发生。这一点是可能的，因为在大 多数传统的图象感测中，当感测时给R、G和B分量分配一个偶数位 数。在不是这种情况的系统中，可以修改该并行结构，使之包括具有 3个单独子表的LUT，每一分量一个，或者这些分量可以转变为具有 相等位数。然而，例如对于产生8位R、8位G和8位B分量的成象 系统，长度为2N+1-1的单一表足以为所有可能的误差值(在范围-255 到+255内)提供码字。对长度LUT，同样的原则适用。\n虽然每一颜色级分量不需单独的表，但是重要的是为每一分量误 差值确定该值是表示传感器摄取还是输入的R、G或B分量。希望知 道这一点，以便在再现该象素和给显示器、打印机或其它输出设备光 栅输出，以及为在摄取设备自身上存储时，可以把R、G和B分量正 确混合而组成该象素的最终颜色强度。例如，如果使用兰色(B)分 量值来预测红色(R)，则在解压缩时得到的混合颜色或许不正确地表 示图象的原来颜色。为保证恰当组合，打包器可以使用伴随由每一预 测编码电路提供的误差值的“TAG(标签)”信息，以任意希望的顺序 排列R、G和B码字。这些TAG信息(TAG0和TAG1)只是标识R、G 或B的两位序列，在LUT的输出端不加改变通过。TAG信息最初可以 被剥离并沿单独的信号线通过，以便不使索引处理复杂化。\n在一个实施例中，当象素从图象传感器前向送出时，这些象素的 排序遵照一种特定的模式，诸如拜尔(Bayer)模式，其在该技术中 公知，表示如下：     行0     R     G1     R     G1     R     G1     行1     G2     B     G2     B     G2     B     行2     R     G1     R     G1     R     G1     行3     G2     B     G2     B     G2     B\n上面作为示例的拜尔模式表示每一偶数行仅由交替的红象素 (R)和绿象素(G1-偶数行绿)组成，它们分别加00(R)和01(G) 标签，以便由打包器识别。类似地，奇数行仅由交替的G2和B象素 组成，它们类似地分别加10(G2-奇数行绿)和11(B)标签。打包 单元交替地打包偶数行中的R和G1象素的码字，奇数行中的G2和B 的码字。标签用以标识码字的颜色。该标签实际上不包括在打包的位 流中。注意在奇数行和偶数行中的绿象素被不同处理，因此，它们分 别标识为G1和G2，所加标签为01和10。\n图2的并行结构通过仅使用两张一组的表来处理所有3种颜色级 分量而充分地使用基于LUT的图象压缩的优点。这种预测编码图象压 缩方案的一个特征是无颜色变换。该方案不依赖于某个特定颜色空 间。由于数字照相机的成像传感器在R、G、B分量原理上工作，因此， 图象压缩可以对R、G、B执行，不变换为任何其它颜色分量格式，例 如像YUV(Y-亮度，U-颜色，V-色度)或CMYK(青，洋红，黄， 黑)。\n图3是根据本发明的第三实施例的图。\n图3是一个图象摄取设备的内部图象处理和压缩部件的方框 图。传感器300，诸如CMOS或CCD传感器，产生象素分量，它们是 来自某些图象源的颜色/强度值。由传感器300产生的10位象素值送 往摄取接口310。在数字照相机应用中的传感器300通常检测来自一 个区域或者位置的一次“感测”的R、G或B分量中的一个。这些分 量当为显示或输出而再现时可以插在一起，形成高阶(16位，24位 等)组合象素。摄取接口310摄取由CMOS传感器产生的图象并为带 有单个象素的象素添加标识颜色分量的标签。这些标签每一个为两 位，例如对R(红)、G1(偶数行绿)、G2(奇数行绿)、B(兰)象素 分别为00、01、10和11。\n象素的排序和G1和G2的关联性已在上面相对于图2和相关说明 部分说明。通常在任何CMOS(互补硅金属氧化物)或CCD(电荷耦合 器件)传感器中，在传感器平面中的某些象素单元或许对发光条件不 能恰当响应。其结果，从这些单元产生的象素值可能有缺点。这些象 素称为“死象素”。“象素代替”单元315使用在该行中紧接各死象素 前的一个有效象素代替各死象素。\nRAM表316包括死象素的行和列索引，它们是由传感器供给的。 RAM表316帮助确定死象素相对于所摄取的图象的位置。缩展和灰度 系数校正模块325是基于表查阅的变换器，用以例如通过插值变换来 自传感器的每一原来的10位(标以10b)象素为一个8位象素值。 在这一结构中，缩展和灰度系数校正被集成到单一表查阅操作中。需 要灰度系数校正来获得在输出显示设备中正确的颜色亮度和对比 度。RAM表326伴随缩展和灰度系数校正模块325，并包含缩展表的 项。对于每一颜色级，有(210＝)1024个8位的项。\n接着，使用空间缩放单元327缩小原来图象。如果原来图象大小 是M×N，则2∶1的缩放操作把图象大小缩小为M/2×N/2，而4∶1 的缩放操作缩小为M/4×N/4。这允许压缩过大的图象。RAM328伴随 空间缩放单元327，用于在缩放操作期间中间存储。例如，4∶1缩放 可以通过连续两次2∶1缩放操作而实现。\n象素分量数据一旦被缩放，它便被送到DPCM单元330和平均信 息量(entropy)编码器335。DPCM单元330和平均信息量编码器335 比现有技术成像系统中的要简单得多，因为RAM332和RAM334包含4 种信息，足够执行量化和二进制编码。缩放的象素数据被送往DPCM 单元330和平均信息量编码器335以产生误差值，然后被打包为码字 (参考图1的详细说明)。平均信息量编码器335虽然以一个单独的 方块表示，但是实际上不与DPCM单元330分开，相反由于表查阅而 集成在一起。使用具有量化和码字信息的RAM332和具有码字长度的 RAM334以允许数据打包单元340正确地安排可能为可变长(3-16 位)的码字数据到字节单元中。数据打包单元340类似图1中的打包 电路150。数据打包单元340产生16位码字数据并将其送往DMA控 制器。DMA控制器可为各种目的诸如统计、或传感器对准等而接收来 自缩展和灰度系数校正模块325的缩展数据、来自象素代替单元315 的象素代替数据和来自DPCM单元330的9位量化数据。这一数据应 该具有一致的长度，以便总线360可以传输其它通过该总线连接的单 元、模块和设备请求的数据。重要的是，DMA控制器350还以正确的 内部地址恰当准备要通过总线360传递的来自数据打包单元340的打 包的码字数据，以使正确的数据到达正确的目的地。总线技术、寻址 协议和DMA控制器在系统设计中公知，可以容易地修改/特制以适应 希望的应用。\n每一RAM表316、326、328、332和334可以直接与总线360通 信，以便能够加载它们的数据，然后如果希望的话加以修改。通过预 加载数据到这些表中，特别是为量化和编码，极大减少用于数学计算 的内部电路，并可以用较低成本的存储器单元代替。\n图4是本发明的一个实施例的系统图。\n图示的是一个计算机系统410，它可以是任何连接在照相机430 上的通用或专用计算或数据处理机器，诸如PC(个人计算机)。照相 机430可以是数字照相机、数字视频摄像机、或任何图象摄取设备或 成像系统，用于摄取物体440的传感器图象。基本上，被摄取的图象 由图象压缩电路432压缩，以便它们可以高效存储在图象存储器单元 434中，图象存储器单元434可以是ROM、RAM或其它存储设备例如 固定盘。在大多数数字照相机中，图象首先被存储，然后被下载。这 允许照相机430很快摄取下一物体而无附加延迟。\n本发明的该实施例的图象处理操作如下。首先，图象压缩表，如 果尚未编辑，使用计算机系统410进行编辑。使用诸如PentiumTM (Intel公司的一种产品)的处理器412和用于存储/加载指令地址和 结果数据的诸如RAM的存储器411实现按照希望的量化公式或方法的 图象压缩表的编辑。用于编辑图象压缩表的应用可以是从一个以诸如 C++的语言书写的源程序编译的可执行文件。该可执行文件的指令 与计算量化的误差值、码字等值和索引这些和其它值到一张表的指令 对，它们可以存储到磁盘418或者存储器411中。十分明显，具有本 技术领域普通技能的人能编程一个计算机器来编辑该图象压缩表。\n计算机系统410具有系统总线413，它便利从处理器和存储器到 连接到I/O总线415的桥414或反方向的信息传输。I/O总线415连 接各种I/O设备，诸如显示适配器416、磁盘418和I/O端口417， 例如串行端口。本发明可以使用I/O设备、总线和桥的多种组合，所 示组合仅仅表示这些可能组合中的一种。\n图象压缩表一旦被编辑，则可通过I/O端口417发送，并加载到 图象压缩电路432中，作为由图象压缩电路432使用的RAM或存储 器。该表一旦加载，则在其后可由图象压缩电路432使用。\n当一个图象，例如物体440的一个图象，被传感器摄取时，传感 器为每一象素摄取R、G和B分量中的一个分量，然后把这些象素值 发送到图象压缩电路432。图象压缩电路432包括IC和其它部件， 它们执行诸如预测编码的图象压缩方案。图象压缩电路432根据预测 编码公式计算初始误差值，然后为该误差值查阅相应的量化误差值和 码字等值，并将其存储到图象存储器单元434中。通过查阅图象压缩 表中的数值，计算量化和逐位编码的步骤不需要由照相机执行。由于 避免了用于执行量化和编码误差值的附加电路，照相机的总成本减 少。一旦所有象素分量被处理，则照相机430可以摄取下一图象。当 用户或应用希望/请求下载图象时，作为打包数据(码字)存储在图 象存储器单元中的压缩图象从图象存储器单元434传输到I/O端口 417。I/O端口417使用所示总线桥层次结构(I/O总线415到桥414 到系统总线413)临时存储码字象素到存储器411或者可选地存储到 磁盘418。\n压缩图象由合适的应用软件(或硬件)解压缩，它可以使用处理 器为其执行。由于图象压缩表在计算机系统上编辑，因此它可以被反 过来重新应用来“查阅”相应于码字的实际误差值。该误差值用于逆 预测编码(或其它相应图象解压缩方案)来产生解压缩的图象450。 然后使用显示适配器416把解压缩的图象450可见地描绘在计算机可 能连接的监视器420上。如前所述，解压缩的图象可以具有使用插值 方法组合R、G和B值在一起的象素，从而可以产生较高位分辨率图 象。\n提供在这里说明的示范性实施例仅为表示本发明的原理，而不应 该理解为限制本发明的范围。更确切说，本发明的原理可以应用于一 个广阔范围的系统以获得这里叙述的优点和其它优点，以及满足其它 目的。