活动图像编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码装置

暂无

技术领域
本发明涉及活动图像编码方法、活动图像解码方法、活动图像记 录媒体和活动图像编码装置，适用于例如把活动图像信号记录到光盘 和磁带等记录媒体上并把信号重放以后显示在显示器等上，以及使电 视会议系统、可视电话系统、广播设备等活动图像信号通过传送通路 从发送端传送到接收端并在接收端把信号接收以后显示出来的情况。
背景技术
例如，在电视会议系统和可视电话系统等把活动图像信号向远距 离传送的系统中，为了高效率地利用传送通路，利用图像信号的行相 关性和帧相关性对图像信号进行压缩编码。实际上，如果利用行相关 性，通过对图像信号进行根据离散余弦变换(DCT)等正交变换的 处理等就能够压缩信息量。如果还利用帧相关性，就能够对活动图像 信号进一步进行压缩编码。
图17示出利用帧间相关性的情况下的活动图像压缩编码的例子。 图中，A排示出的3幅图像分别表示在瞬间t1、t2、t3的帧图 像PC1、PC2、PC3。计算帧图像PC1与PC2图像信号之 差并生成PC12、计算帧图像PC2与PC3之差并生成PC23。B 排示出差分图像，为了方便起见，把差涂黑。
一般，时间上相邻的帧图像并没有那么大的变化，因此，如果计 算两帧之差，则差分信号的数值很小。所以，如果把该差分信号编码， 就能够压缩编码量。例如，在图17中，只要把B排涂黑部分编码就 行了。但是，在只传送差分信号时，在改变场面那样地没有帧间相关 性的情况下，原图像就恢复不出来了。
因此，把各帧图像作为I(帧内编码)图像、P(前向预测)图 像、或B(双向预测)图像3种图像中的某一种图像，对图像信号进 行压缩编码。即，如图18所示那样地，把帧F1～F17的17帧 图像信号作为图像群，假定为1个处理单位。而且，把前头的帧F1 (用黑色表示的帧)图像信号作为I图像、第2帧F2(用白色表示 的帧)作为B图像、把第3帧F3(用斜线表示的帧)作为P图像分 别进行编码处理。把第4帧以后的图像F4～F17、轮流作为B图 像或P图像进行处理。
作为I图像的图像信号，将其一帧图像信号原原本本地传送。与 此相反，作为P图像的图像信号，基本如图18A所示那样地，传送 它与在时间上比它领先的I图像或P图像的图像信号的差分。作为B 图像的图像信号，基本如图18B所示那样地、求它与在时间上领先 的帧、或落后的帧、或两者的平均值的差分，将此差分编码。
图19示出这样对活动图像信号进行编码的方法的原理。图中， A排表示原图像，B排表示已编码的图像。图19中，因为最初的帧 F1作为I图像处理，所以，原原本本地把它作为传送数据F1X传 送给传送通路(帧内编码)。与此相反，因为第2帧F2作为B图像 处理，所以，计算它与时间上领先的帧F1、或与时间上落后的帧F3、 或与两者平均值的差分，把该差分作为传送数据F2X传送。但是， 作为B图像的处理，如果进一步详细说明，以像块为单位，有四种处 理可供选择。
第1种处理是，把原帧F2的数据原原本本作为传送数据F2X 传送(SP1，帧内编码)，成为与I图像情况下相同的处理。第2 种处理是，计算F2与时间上落后的帧F3的差分，传送此差分(SP2， 后向预测编码)。第3种处理是，传送F2与时间上领先的帧F1的 差分(SP3，前向预测编码)。又，第4种处理是，产生F2与时 间上领先的帧F1和落后的帧F3的平均值之差分，将其作为传送数 据F2X传送出去(SP4，双向预测编码)。
在这四种方法中，基于使传送数据最少的处理方法的图像作为该 像块的传送数据。再者，传送差分数据时，与成为差分运算对象的帧 图像(预测图像)之间的运动矢量X1(帧F1与F2之间的运动矢 量，前向预测的情况)、或X2(帧F3与F2之间的运动矢量，后 向预测的情况)、或X1和X2两者(双向预测的情况)与差分数据 同时传送出去。
P图像的帧F3把时间上领先的帧F1作为预测图像，计算与该 帧F1的差分信号和运动矢量X3，将其作为传送数据F3X传送出 去(SP3，前向预测编码)。或者，把原帧F3的数据原原本本作 为传送数据F3X传送出去(SP1，帧内编码)。借助于哪一种方 法传送，则与B图像中的情况相同，以像块为单位，选择使传送数据 较少的那种方法。
图20示出根据上述原理对活动图像信号进行编码传送和对该信 号进行解码的装置的具体构成例。1作为整体示出编码装置的构成， 把输入的活动图像信号VD编码，传送到作为传送通路的记录媒体3 上。2作为整体示出解码装置的构成，把记录媒体3上记录的信号回 放，把该信号解码，输出图像信号。
在编码装置1中，把输入图像信号VD输入到前处理电路11上， 在11中，将其分离成为亮度信号和彩色信号(在这个例子的情况下， 为色差信号)，分别利用A/D变换器12和13对其进行A/D变 换。把借助于A/D变换器12和13已A/D变换成数字信号的图 像信号送到帧存储器14上，并写入。把亮度信号写入亮度信号帧存 储器15中，把色差信号写入色差信号帧存储器16中。
格式变换电路17把帧存储器14中写入的帧格式的信号变换成 块格式的信号。即，图21所示那样地，使帧存储器14中写入的图 像信号成为把每行由H个点的像素构成的行汇集成V行的帧格式数据。 格式变换电路17把该一帧信号以16行为单位区分为N个片。
把各片分割成M个像块。各像块由对应于16×16个像素(点) 的亮度信号构成，该亮度信号又以8×8个点为单位区分为块Y[1] ～Y[4]。而且，该16×16个点的亮度信号与8×8个点的Cb 信号、和8×8个点的Cr信号这两块色差信号对应。后述的DCT 处理以该8×8个点为单位进行。
这样，把已块格式变换的数据BD从格式变换电路17送到编码 器18上，在这里  进行编码。有关其详细情况，参考图22后述。 借助于编码器18已编码的信号作为比特流记录到记录媒体3上，或 者输出到传送通路上。
把从记录媒体3重放的数据送到解码装置2的解码器31上，进 行解码。有关解码器31的详细情况，参考图25后述。把借助于解 码器已解码的数据输入到格式变换电路32上，从块格式变换成帧格 式。而且把帧格式的亮度信号送到帧存储器33的亮度信号帧存储器 34上，并写入。把色差信号送到色差信号帧存储器35上，并写入。 把从亮度信号帧存储器34和从色差信号帧存储器35读出的亮度信 号和色差信号分别借助于D/A变换器36和37进行D/A变换， 送到后处理电路38上，进行合成。而且输出到例如CRT等显示器 (图中，未示出)上，并显示。
下面，参考图22，说明有关编码器18的构成例，把应该编码 的图像数据BD以像块为单位输入到运动矢量检出电路(MV-Det) 50上。运动矢量检出电路50按照预先设定的给定顺序对各帧图像 数据作为I图像、P图像、或B图像进行处理。对顺序地输入的各帧 图像作为I、P、B的哪一种图像处理呢，这是预先确定的。例如， 如图18所示那样地，由帧F1～F17构成的图像群作为I、B、 P、B、P……B、P进行处理。
把作为I图像处理的帧(例如，帧F1)的图像数据从运动矢量 检出电路50传送到帧存储器51的前向原图像部51a中，并存储； 把作为B图像处理的帧(例如，帧F2)的图像数据传送到原图像部 51b中，并存储；把作为P图像处理的帧(例如，帧F3)的图像 数据传送到原图像部51c中，并存储。
在其后的时序中，当应该作为B图像(帧F4)或P图像(帧 F5)处理的帧图像输入时，把在此之前的后向原图像部51c中存 储的最初P图像(帧F3)的图像数据传送到前向原图像部51a中， 把其后的B图像(帧F4)的图像数据存储(写入)到原图像部51b 中；把其后的P图像(帧F5)的图像数据存储(写入)到后向原图 像部51c中。顺序重复这样的操作。
从帧存储器51读出其中存储的各图像信号，在预测方式切换电 路(Mode-SW)52中，进行帧预测方式处理或场预测方式处理。 又，在预测判定电路54的控制下，在运算部53中进行图像内预测、 前向预测、后向预测或双向预测的运算。在这些处理中进行哪一种处 理呢，对应于预测误差信号(作为处理对象的参考图像、和与该参考 图像相对的预测图像之差分)以像块为单位来确定。为此，运动矢量 检出电路50以像块为单位产生该判定用的预测误差信号的绝对值和 (平方和，也行)。
在这里，说明有关预测方式切换电路52中的帧预测方式和场预 测方式。在设定帧预测方式的情况下，预测方式切换电路52把从运 动矢量检出电路50送来的4个亮度块Y[1]～Y[4]原原本本 地输出到后级运算部53上。即，在此情况下，如图23(A)所示 那样地，变成为各亮度块中奇数场的行的数据与偶数场的行的数据混 在一起的状态。在帧预测方式下，以4个亮度块(宏块)为单位进行 预测，1个运动矢量对应于4个亮度块。
与此相反，在场预测方式下，预测方式切换电路52把从如图 23(A)所示构成的运动矢量检出电路50输入的输入信号，如图 23(B)所示那样地在4个亮度块中，例如，使亮度块Y[1]和 Y[2]仅由奇数场的行点构成，使其它两个亮度块Y[3]和Y[4] 由偶数场的行数据构成并输出到运算部53上。在这种情况下，两个 亮度块Y[1]和Y[2]，有一个运动矢量与之对应；另外两个亮 度块Y[3]和Y[4]，有另一个运动矢量与之对应。
运动矢量检出电路50把图像内编码的估值、帧预测方式中的前 向、后向和双向预测的各预测误差绝对值之和、场预测方式中的前向、 后向和双向预测的各预测误差绝对值之和输出到预测判定电路54上。 预测判定电路54把图像内编码的估值与各预测误差的绝对值之和相 比较，把对应于该值为最小的预测方式的帧预测方式或场预测方式指 示给预测方式切换电路52。预测方式切换电路52对输入信号进行 上述处理，把数据输出到运算部53上。一般，在活动图像运动得快 的情况下，选择场预测方式；在其运动得慢的情况下，选择帧预测方 式。
再者，色差信号在帧预测方式的情况下，如图23(A)所示那 样地以奇数场的行数据与偶数场的行数据混在一起的状态送到运算部 53上。在场预测方式的情况下，如图23(B)所示那样地，各色 差块Cb、Cr的上半部(4行)作为对应于亮度块Y[1]和Y[2] 的奇数场的色差信号，下半部(4行)作为对应于亮度块Y[3]和 Y[4]的偶数场的色差信号。
运动矢量检出电路50如下面那样地产生在预测判定电路54中 用于确定在图像内编码、前向预测、后向预测或双向预测中进行哪一 种预测以及在帧预测或场预测中进行哪一种预测的预测误差的绝对值 之和。即，求将要编码的参考图像的宏块信号AiJ与其平均值之差的 绝对值之和∑|AiJ-(AiJ的平均值)|，作为与帧内编码预测误差 绝对值之和相当的估值。求参考图像的宏块信号AiJ与预测图像的宏 块信号BiJ之差AiJ-BiJ的绝对值|AiJ-BiJ|之和∑|AiJ-BiJ|， 作为前向预测的预测误差的绝对值之和。后向预测和双向预测的预测 误差的绝对值之和与前向预测中的情况同样地(把预测图像变更成为 与前向预测情况下不同的预测图像)求得。预测误差的绝对值之和应 针对帧预测方式和场预测方式这两者来求。
把这些绝对值之和送到预测判定电路54上，预测判定电路54 选择帧预测方式、场预测方式各自的前向预测、后向预测和双向预测 的预测误差绝对值之和中的最小者，作为帧间预测的预测误差绝对值 之和。进一步把帧间预测的预测误差绝对值之和与图像内编码的估值 相比较，选择其中较小者，再选择与该选择值对应的方式作为预测方 式(P-方式)。即，如果图像内编码的估值那一方较小，就设定为 图像内编码方式。如果帧间预测的预测误差绝对值之和这一方较小， 就设定为前向预测、后向预测和双向预测方式中对应的绝对值之和为 最小的方式。    
这样，预测方式切换电路52把参考图像的宏块信号，以与由预 测判定电路54从帧或场预测方式中选择的方式对应的构成，送到运 算部53上。运动矢量检出电路50检出与由预测判定电路54选择 的预测方式(P方式)对应的预测图像与参考图像之间的运动矢量 MV，并将其输出到可变长编码电路(VLC)58和运动补偿电路 (M-comp)64上。选择对应的预测误差绝对值之和为最小者作为 该运动矢量。
当运动矢量检出电路50从前向原图像部51a读出I图像的图 像数据时，预测判定电路54就设定图像内编码方式(不进行运动补 偿的方式)作为预测方式，把运算部53的开关切换到接点a那一边 上。这样，I图像的图像数据就输入到DCT方式切换电路(DCT CTL)55上。
该DCT方式切换电路55如图24(A)或(B)中所示那样 地，把4个亮度块的数据以奇数场的行和偶数场的行混在一起的状态 (帧DCT方式)、或者二者分离的状态(场DCT方式)中的某一 状态，输出到DCT电路56上。即，DCT方式切换电路55把奇 数场和偶数场数据混在一起并进行了DCT处理情况下的编码效率、 与在分离状态下进行了DCT处理情况下的编码效率相比较，选择编 码效率较高的方式。
例如，如图24(A)中所示那样地，把输入信号作为奇数场和 偶数场的行混在一起的构成，运算上下相邻的奇数场的行信号与偶数 场的行信号之差，进而求其绝对值之和(或平方和)。或者，如图 24(B)中所示那样地把输入信号作为奇数场和偶数场的行分离开 来的构成，运算上下相邻的奇数场各行信号之差和偶数场各行信号之 差，分别求其绝对值之和(或平方和)。
进而，把两者(绝对值和)相比较，设定对应于较小者的DCT 方式。即，如果前者那一方较小，就设定帧DCT方式；如果后者这 一方较小，就设定场DCT方式。而且，把对应于所选择的DCT方 式的构成的数据输出到DCT电路56上，同时，把表示已选择DCT 方式的DCT标志(DCT-FLG)输出到可变长编码电路5 8和 运动补偿电路64上。
把预测方式切换电路52中的预测方式(图23)与该DCT方 式切换电路55中的DCT方式(图24)一比较便可明白，就亮度 块而言，两种方式中的数据构造实质上是相同的。一般，在预测方式 切换电路55中选择了帧预测方式的情况下，在DCT方式切换电路 55中也选择帧DCT方式的可能性较大。
在预测方式切换电路52中选择了场预测方式的情况下，在DCT 方式切换电路55中也选择场DCT方式的可能性较大。但是，并不 一定总是这样去做，在预测方式切换电路52中是使预测误差的绝对 值之和变小那样来确定方式。另外，在DCT方式切换电路55中是 使编码效率变高那样地来确定方式。
从DCT方式切换电路55输出的I图像数据输入到DCT电路 56上，进行DCT(离散余弦变换)处理，变换成DCT系数。该 DCT系数输入到量化电路(a)57上，以对应于发送缓冲器 (Buffer)59的数据存储量(缓冲器存储量，B-full)的量化步 长量化以后，输入到可变长编码电路58上。可变长编码电路58 对应于从量化电路57送来的量化步长(量化因子(QS))，把从量化 电路57送来的图像数据(在此情况下，为I图像的数据)变换成为 例如霍夫曼编码等可变长编码，输出到发送缓冲器59上。
另外，把来自量化电路57的量化步长(量化因子(QS))、来自 预测判定电路54的预测方式(表示设定了图像内预测、前向预测、 后向预测或双向预测中的哪一种方式的预测方式(P-mode))、来 自运动矢量检出电路50的运动矢量( V)、来自预测方式切换电 路52的预测标志(表示设定了帧预测方式或场预测方式中的哪一种 的标志(P-FLG))、以及DCT方式切换电路55输出的DCT 标志(表示设定了帧DCT方式或场DCT方式中的哪一种的标志 (DCT-FLG))输入到可变长编码电路58上，对它们也进行 可变长编码。
发送缓冲器59把输入数据暂时存储起来，把对应于存储量的数 据输出到量化电路57上。如果发送缓冲器59中数据的剩余量增加 到允许上限值，就借助于量化控制信号(B-full)增大量化电路 57的量化因子，从而，降低量化数据的数据量。与此相反，如果数据 剩余量减少到允许下限值，发送缓冲器59就借助于量化控制信号 (B-full)减小量化电路57的量化因子，从而，增大量化数据的数 据量。这样，可以防止发送缓冲器59的上溢或下溢。而且，把发送 缓冲器59中存储的数据按给定的时序读出，送到传送通路上或者记 录到记录媒体3上。
另一方面，从量化电路57输出的I图像数据输入到反量化电路 (IQ)60上，根据从量化电路(Q)57送来的量化步长进行反 量化。反量化电路60的输出输入到离散余弦反变换(IDCT)电路 61上进行离散余弦反变换处理以后，借助于块并行变换电路(Block Change)65对应于各离散余弦变换方式(帧/场)进行块的并行变 换。块并行变换电路65的输出信号通过运算器62送到帧存储器 63的前向预测图像部(F-P)63a上，进行记录。
运动矢量检出电路50把顺序地输入的各帧图像数据，例如，在 作为I、B、P、B、P、B……的图像分别进行处理的情况下，把 最初输入的帧图像数据作为I图像处理以后，在把接着输入的帧图像 作为B图像处理以前，把第3个输入的帧图像数据作为P图像处理。 这是因为B图像伴有后向预测，如果不预先准备好作为后向预测图像 的P图像，就不能解码了。
在这里，运动矢量检出电路50，在I图像处理以后，接着，就 开始处理后向原图像部51c中存储的P图像的图像数据。而且，与 上述情况相同地，把以宏块为单位的帧间或场间差分(预测误差)的 绝对值之和，从运动矢量检出电路50送到预测判定电路54上。预 测判定电路54与该P图像的宏块的预测误差绝对值之和对应地设定 帧/场预测方式和图像内编码或前向预测的预测方式。
当设定帧内编码方式时，运算部53像上述那样地把开关切换到 接点a那一边上。因此，该数据与1图像的数据同样地，通过DCT 方式切换电路55、DCT电路56、量化电路57、可变长编码电 路58和发送缓冲器59传送到传送通路上。另外，该数据通过反量 化电路60、DCT反变换电路61、块并行变换电路65和运算器 62送到帧存储器63的后向预测图像部(B-P)63b上，存储 起来。
在前向预测方式时，开关切换到接点b上，同时，读出帧存储器 63的前向预测图像部63a中存储的图像(在此情况下，为I图像 的图像)数据，借助于运动补偿电路64，对应于运动矢量检出电路 50输出的运动矢量进行运动补偿。即，当从预测判定电路54发出 设定前向预测方式的指令时，运动补偿电路64把前向预测图像部 63a的读出地址从与运动矢量检出电路50当前输出的宏块位置对 应的位置上挪动与运动矢量的大小对应的距离，再读出数据，产生预 测图像数据。
把从运动补偿电路64输出的预测图像数据送到运算器53a上。 运算器53a从由预测方式切换电路52送来的参考图像的宏块数据 中减去由运动补偿电路64送来的对应于该宏块的预测图像数据，把 该差分(预测误差)输出。该差分数据通过DCT方式切换电路55、 DCT电路56、量化电路57、可变长编码电路58和发送缓冲器 59传送到传送通路上。另外，该差分数据借助于反量化电路60、 反DCT电路61进行本机解码以后，通过块并行变换电路65，输 入到运算器62上。
另外，该运算器62上还送来与送到运算器53a上的预测图像 数据相同的数据。运算器62把运动补偿电路64输出的预测图像数 据加到反DCT电路61输出的差分数据上。这样，可以得到原(已 解码)P图像的图像数据。把该P图像的图像数据送到帧存储器63 的后向预测图像部63b上，存储起来。
运动矢量检出电路50这样地分别把I图像和P图像的数据存储 到前向预测图像部63a和后向预测图像部63b中以后，接着，进 行B图像的处理。预测判定电路54对应于以宏块为单位的帧间差分 或场间差分(预测误差)的绝对值之和的大小，设定帧/场方式，把 预测方式设定为帧内预测方式、前向预测方式、后向预测方式或双向 预测方式中的某一种。如上述那样地，在帧内预测方式或前向预测方 式时，开关切换到接点a或b上。这时，进行与P图像情况下相同的 处理并传送数据。
与此相反，设定为后向预测方式或双向预测方式时，开关分别切 换到接点c与d上。在开关切换到接点c上的后向预测方式时，读出 后向预测图像部63b中存储的图像(在此情况下，为P图像的图像) 数据，借助于运动补偿电路64，对应于运动矢量检出电路50输出 的运动矢量进行运动补偿。即，当从预测判定电路54发出设定后向 预测方式的指令时，运动补偿电路64把后向预测图像部63b的读 出地址从与运动矢量检出电路50当前输出的宏块位置对应的位置上 挪动与运动矢量的大小对应的距离，再读出数据并产生预测图像数据。
把从运动补偿电路64输出的预测图像数据送到运算器53b上。 运算器53b从由预测方式切换电路52送来的参考图像的宏块数据 中减掉由运动补偿电路64送来的预测图像数据，把该差分输出。该 差分数据通过DCT方式切换电路55、DCT电路56、量化电路 57、可变长编码电路58和发送缓冲器59传送到传送通路上。
在开关切换到接点d上的双向预测方式时，读出前向预测图像部 63a中存储的图像(在此情况下，为I图像的图像)数据和后向预 测图像部63b中存储的图像(在此情况下，为P图像的图像)数据， 借助于运动补偿电路64，对应于运动矢量检出电路50输出的运动 矢量，进行运动补偿。
即，当从预测判定电路54发出设定双向预测方式的指令时，运 动补偿电路64把前向预测图像部63a和后向预测图像部63b的 读出地址从与运动矢量检出电路50当前输出的宏块位置对应的位置 上挪动与运动矢量的大小(在此情况下的运动矢量变成为前向预测图 像用和后向预测图像用的两个运动矢量)对应的距离，再读出数据并 产生预测图像数据。
把从运动补偿电路64输出的预测图像数据送到运算器53c上。 运算器53c从运动矢量检出电路50送来的参考图像的宏块数据中 减掉运动补偿电路64送来的预测图像数据的平均值，把该差分输出。 该差分数据通过DCT方式切换电路55、DCT电路56、量化电 路57、可变长编码电路58和发送缓冲器59传送到传送通路上。
因为B图像的图像不作为其它图像的预测图像，所以，不存储到 帧存储器63中。再者，在帧存储器63中，前向预测图像部63a 和后向预测图像部63b中，可根据需要进行存储体切换，对给定的 参考图像，能够把一方或另一方中存储的图像作为前向预测图像或后 向预测图像切换输出。
在上述处理中，虽然是以亮度块为中心说明的；但是，有关色差 块也同样地以图23和图24中所示的宏块为单位进行处理。在处理 色差块的情况下，可使用的运动矢量为，把对应的亮度块的运动矢量 在垂直和水平方向上都乘以1/2。
下面，图25为示出图20中的编码器31的一例的构成方框图。 通过传送通路或记录媒体送来的图像数据利用图中未示出的接收电路 接收、或者，利用图中未示出的重放装置重放以后，暂时存储在接收 缓冲器(Buffer)81中。此后，送到解码电路90中的可变长解码 电路(IVLC)82上。
可变长解码电路(IVLC)82对从接收缓冲器81送来的数据进 行可变长解码，把运动矢量(MV)、预测方式(P-mode)和预测 标志(P-FLG)送到运动补偿电路(M-comp)87。把DCT 标志(DCT-FLG)输出到块并行反变换电路(Block Change) 88上，把量化步长(QS)输出到反量化电路(IQ)83上，同 时，把已解码的图像数据输出到反量化电路83上。
反量化电路83对从可变长解码电路82送来的图像数据按照同 样是从可变长解码电路82送来的量化步长进行反量化，输出到反 DCT电路84上。从反量化电路83输出的数据(DCT系数)在 反DCT电路84中进行反DCT处理以后，送到运算器85上。
在从反DCT电路84送来的图像数据为I图像数据的情况下， 使该数据从运算器85输出，并将其送到帧存储器86的前向预测图 像部(F-P)86a上存储起来，以便用来产生在其后输入到运算 器85的图像数据(P或B图像的数据)的预测图像数据。另外，把 该数据输出到格式变换电路32(图20)上。
在从反DCT电路84送来的图像数据为把1帧以前图像数据作 为预测图像数据的P图像数据而又为前向预测方式的数据的情况下， 读出帧存储器86的前向预测图像部86a中存储的1帧以前的图像 数据(I图像的数据)，在运动补偿电路87中进行与从可变长解码 电路82输出的运动矢量对应的运动补偿。
而且，在运算器85中，与从反DCT电路84送来的图像数据 (差分数据)相加以后再输出。把该加上去的数据，即，已解码的P 图像数据送到帧存储器86的后向预测图像部(B-P)86b上存 储起来，以便用来产生在其后输入到运算器85的图像数据(B图像 或P图像的数据)的预测图像数据。
对图像内预测方式的数据，即使是P图像数据也与I图像数据一 样不在运算器85中进行特别处理，而是原原本本地存储到后向预测 图像部86b中。因为该P图像应该是在接着的B图像之后显示的图 像，所以，在该时刻，不另外输出给格式变换电路32。即，如上述 那样地，在B图像之后输入的P图像在B图像之前处理并传送出去。
在从反DCT电路84送来的图像数据为B图像数据的情况下， 对应于从可变长解码电路82送来的预测方式，读出帧存储器86的 前向预测图像部86a中存储的I图像的图像数据(在前向预测方式 的情况下)、后向预测图像部86b中存储的P图像的图像数据(在 后向预测方式的情况下)、或者这两者的图像数据(在双向预测方式 的情况下)，在运动补偿电路87中，进行对应于从可变长解码电路 82输出的运动矢量的运动补偿，产生预测图像。但是，在不需要运 动补偿的情况下，即在图像内预测方式的情况下，不产生预测图像。
这样，在运动补偿电路87中进行了运动补偿的数据，在运算器 85中与反DCT电路84的输出相加。把相加以后的输出输出到格 式变换电路32上。但是，该相加以后的输出为B图像数据，因为不 用来产生其它图像的预测图像，所以，不存储到帧存储器86中。B 图像的图像输出以后，读出后向预测图像部86b中存储的P图像的 图像数据，通过运动补偿电路87送到运算器85上。但是，这时不 进行运动补偿。
在上述处理中，虽然是就亮度信号说明的，色差信号的处理也同 样地进行。但是，在色差情况下的运动矢量，可以使用把亮度信号用 的运动矢量在垂直和水平方向上都乘以1/2的结果。
可是，上述图像编码中的变换编码利用输入信号的相关性，借助 于使信号功率集中于某一特定座标轴上，就可以压缩信息量。DCT 是可用于这种变换编码的变换方式，特别是正交变换之一例。DCT 利用图像信号所具有的二维相关性，使信号功率集中于某一特定频率 分量上，借助于只编码该集中分布的系数，就可以压缩信息量。例如， 在图样平坦、图像信号的自相关性强的部分中，DCT系数向低频分 量集中分布，其它分量成为小值。因此，在这种情况下，只把向低频 段集中分布的系数编码，使信息量的压缩成为可能。
可是，在如同图像边缘等那样包括轮廓的图像信号中，DCT系 数广泛分布于从低频到高频的分量中。于是，为了以DCT系数精确 地表示轮廓那样的信号的不连续点，就需要非常多的系数，使编码效 率降低。这时，像先有技术那样地，为了把图像高度压缩编码，一面 使系数的量化特性变粗，一面把高频分量的系数滤掉，这会使图像信 号的质量明显下降，例如，在轮廓周围产生抖晃失真(电晕效应或蚊 式噪声等，下面简称为噪声)。
另外，因为在图像编码中利用了运动补偿预测，所以，上述那样 的噪声接连不断地在预测帧中传播，沿时间方向传播开来。结果是， 在重放图像中能够看到不规则起伏的噪声，在视觉上感到非常不愉快。 为了解决这个问题，可以使用前置滤波器和后置滤波器。作为前置滤 波器例如使用低通滤波器，通过提高编码效率，能够抑制噪声的产生。 作为后置滤波器也使用低通滤波器，用来滤除已产生的噪声，使之不 显眼。作为这样的后置滤波器，例如有ε滤波器和中间滤波器。
可是，如果这样地使用用来降低蚊式噪声的前置滤波器和后置滤 波器，不仅降低了蚊式噪声，而且，使图像信号所具有的、在视觉上 重要的信息也损失了。即，存在着在信噪比不高的信号频带内图像失 真与图像细节难以区分、由于低通滤波器使图像损失了平坦部分上的 细节、成了模糊不清的图像的问题。
本发明是考虑到以上各点而构成的，提供在信噪比不高的频带内 既能降低噪声还能把图像细节信息的降低抑制到最低限度的活动图像 编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码装 置。
发明的公开
本发明的图像信号编码方法至少把给定图像信号的一部分信号频 带根据非线性特性量化，产生第1量化系数，对该第1量化系数，以 每个给定块为单位进行给定的变换处理，产生变换系数，把该变换系 数量化，产生第二量化系数，把该第二量化系数可变长编码。
本发明的图像信号解码方法把接收的编码图像信号可变长解码， 对该已可变长解码的信号进行第一反量化，对该已第一反量化的信号， 以给定块为单位进行给定反变换处理，对进行了该给定反变换的信号， 根据非线性特性进行第二反量化。
在本发明的图像记录媒体中，至少把给定图像信号的一部分信号 频带根据非线性特性量化，产生第1量化系数，对该第1量化系数， 以每个给定块为单位进行给定的变换处理，产生变换系数，把该变换 系数量化，产生第二量化系数，把该第二量化系数可变长编码，把已 可变长编码的信号记录到记录媒体上。
本发明的图像信号编码装置具有：至少把给定图像信号的一部分 信号频带根据非线性特性量化并产生第1量化系数的第一量化装置 70；对该第1量化系数以每个给定块为单位进行给定的变换处理并 产生变换系数的变换装置56；把该变换系数量化并产生第二量化系 数的第二量化装置57；把该第二量化系数可变长编码的可变长编码 装置58。
本发明图像信号解码装置具有：把接收的编码图像信号可变长解 码的可变长解码装置82；对该已可变长解码的信号进行第一反量化 的第一反量化装置60；对该已第一反量化的信号以给定的块为单位 进行给定反变换处理的反变换装置61；对进行了该给定反变换的信 号根据非线性特性进行第二反量化的第二反量化装置71。
把活动图像信号用给定的预测图像信号编码，对已编码的信号进 行给定的运算，把由运算得到的信号量化，在对已量化的信号进行可 变长编码时，对图像信号信噪比低的信号频带根据非线性特性进行量 化并进行强调。而且，在解码那一边，根据具有与编码那一边相反特 性的非线性特性，对解码信号进行反量化并进行去强调。这样，在图 像失真与图像细节难以区别的情况下，由于能够抑制图像信号平坦部 分上细节的降低，所以，能降低噪声，同时，还能抑制图像细节信息 的降低，改善信噪比，改善视觉印象。
附图的简单说明：
图1(A)为示出根据本发明的图像信号编码装置一个实施例的 构成的方框图；
图1(B)为示出根据本发明的图像信号编码装置另一个实施例 的构成的方框图；
图2(A)和2(B)为示出非线性量化电路的构成的方框图；
图3为用来说明非线性量化特性的特性曲线；
图4(A)和4(B)为示出非线性反量化电路的构成的方框图；
图5为用来说明非线性量化特性的特性曲线；
图6为用来说明非线性量化电路中信号变化的信号波形图；
图7为用来说明非线性量化特性的特性曲线；
图8为用来说明非线性量化电路中信号变化的信号波形图；
图9为用来说明非线性反量化特性的特性曲线；
图10(A)为示出根据本发明的活动图像解码装置一个实施例 的构成的方框图；
图10(B)为示出根据本发明的活动图像解码装置另一个实施 例的构成的方框图；
图11为示出第2实施例中非线性量化电路的构成的方框图；
图12为示出第2实施例中非线性反量化电路的构成的方框图；
图13(A)和13(B)为用来说明非线性量化电路量化特性 的特性曲线；
图14(A)和14(B)为用来说明非线性反量化电路反量化 特性的特性曲线；
图15(A)为示出第四实施例中活动图像编码装置的构成的方 框图；
图15(B)为示出第六实施例中活动图像编码装置的构成的方 框图；
图16(A)为示出第四实施例中活动图像解码装置的构成的方 框图；
图16(B)为示出第6实施例中活动图像解码装置的构成的方 框图；
图17为用来说明在利用帧间相关性的情况下的活动图像信号压 缩编码原理的简图；
图18为用来说明在压缩图像数据的情况下的图像类型的简图；
图19为用来说明活动图像信号编码原理的简图；
图20为示出图像信号编码装置和解码装置的构成的方框图；
图21为用来说明图20中格式变换电路的格式变换的动作的简 图；
图22为示出图20中编码器的构成的方框图；
图23为用来说明图22中预测方式切换电路的动作的简图；
图24为用来说明图22中DCT方式切换电路的动作的简图；
图25为示出图20中解码器构成例的方框图。
用来实施本发明的最佳状态
(1)第1实施例
图1(A)中，作为整体示出本发明第1实施例，在该实施例中， 把非线性量化电路(NLQ)70和非线性反量化电路(NLIQ)71 除掉以后，其构成与上述图22所示先有技术活动图像编码装置相同。 利用图2(A)来说明非线性量化电路70。即，在非线性量化电路 70中，把在帧内编码宏块的情况下的当前图像的像素值和在帧间或 场间编码宏块的情况下的进行了运动补偿以后的帧间或场间差分值以 块为单位即、以8×8个像素为单位分别送到输入端子200上。把 送到输入端子200上的图像信号S201输入到低通滤波器(LPF) 201和加法器202上。在低通滤波器201中对每个块取出输入 图像信号S201的低频分量。把低通滤波器201的输出输出到加 法器202和204上。
在加法器202中，对与各块对应的每个像素计算输入图像信号 S201与低通滤波器201的输出值S202的差分，并输出 (S203)。因为低通滤波器201的输出值S202为图像信号 的低频分量，所以，加法器202的输出S203为表示图像高频分 量的幅度的信号。把信号S203输入到高频信号的非线性量化电路 203上。
高频信号非线性量化电路203利用图3所示非线性特性进行非 线性量化。图中横轴为输入图像信号S203之值(幅度值)，纵轴 为输出信号S204之值(幅度值)。在这里，只示出正的这一侧特 性。负的那一侧与原点对称。Y＝X所表示的虚线表示线性量化特性。 在利用线性量化特性的情况下，高频信号非线性量化电路203的输 入信号S203与输出信号S204成为相同的信号，因此，非线性 量化电路70的输入信号与输出信号成为相同的信号。图3中，虽然 是示出非线性特性NC一个例子，但是，可以考虑几种非线性量化特 性。因此，在图3所示情况下，把比输入信号S203大的值作为 S204输出。
把高频信号非线性量化电路203的输出信号S204输入到加 法器204上。在加法器204中对与各块对应的每个像素把信号 S204与低通滤波器201的输出信号S202相加，将其和输出 (S205)。
S202为输入到非线性量化电路70上图像信号S201的低 频分量，S204为S201非线性量化后的高频分量。因此，非线 性量化电路70的输出S205成为把输入信号S201的高频分量 增强以后的信号。把借助于非线性量化电路70使高段已增强的图像 信号输入到DCT电路56上。
DCT电路56与先有技术同样地，对每个8×8个像素的块进 行DCT变换，把变换后的值输入到量化电路57上，把量化后的值 输入到可变长编码电路58上。把量化电路57的输出还输入到反量 化电路60上。在反量化电路60中进行与量化电路57相反的操作。 反DCT电路61对反量化电路60的输出值进行反DCT变换后， 把已恢复的信号输入到非线性反量化电路71上。
非线性反量化电路71如图4(A)所示那样地构成，进行与非 线性量化电路70相反的操作。从非线性反量化电路71的输入端 400输入的以块为单位的信号S401，输入到低通滤波器401 和加法器402上。利用低通滤波器401提取信号S401的低频 分量。把低通滤波器401的输出信号S402输入到加法器402 和404上。在加法器402中对与各块对应的每个像素求信号S401 与S402的差分，并输出(S403)。这样，信号S402表示 信号S401的低频分量，信号S403表示信号S401的高频分 量。把信号S403输入到高频信号非线性反量化电路403上。
高频信号非线性反量化电路403利用图5所示的非线性特性 INC进行非线性反量化。图5所示非线性特性INC具有与图3所 示的非线性特性NC对称的特性。即，图3和图5中的特性对直线Y ＝X呈对称状态。在这里，也是只示出正的这一侧特性。负的那一侧 与原点对称。
图5的横轴为输入图像信号S403之值(幅度值)，纵轴为输 出信号S404之值(幅度值)。Y＝X所表示的虚线表示线性反量 化特性。在利用线性反量化特性的情况下，高频信号非线性反量化电 路403的输入信号S403与输出信号S404成为相同的信号， 因此，非线性反量化电路71的输入信号与输出信号成为相同的信号。
高频信号非线性反量化电路403中使用的反量化特性必须是进 行与高频信号非线性量化电路203中使用的量化特性相反的操作的 反量化特性。把高频信号非线性反量化电路403的输出输入到加法 器404上。加法器404对与各块对应的每个像素把信号S404 与信号S402相加，并输出(S405)。如上述那样，非线性反 量化电路71进行把通过非线性量化电路70已增强的高频分量返回 原状的操作。
这样的非线性量化操作说明了降低变换编码所产生蚊式噪声等噪 声的原理。图6示出图2(A)的非线性量化电路70中的信号变化 情况。(a)为信号S201之一例。借助于低通滤波器201从 (a)的信号中提取(b)那样的低频分量。该低频分量就是信号 S202。
另一方面，借助于加法器202求S201与S202的差分， 作为高频分量的信号S203象(d)那样地输出。假定，这时的信 号最大值与平坦部分之差为A1。这时，借助于非线性量化增强高频 分量。高频信号的非线性量化电路203的输出S204示于(e)。 这时，信号最大值与平坦部分之差变成为A2(A2＞A1)。加法 器204把信号S202与信号S204相加，产生输出信号S205 (f)。
图7示出非线性量化特性。横轴为输入信号之值，纵轴为输出信 号之值。在这里，只示出正的这一侧特性。负的那一侧与原点对称。 在这里，假定在变换编码时产生的失真、噪声分量的最大值是输入到 变换电路(在本实施例的情况下，为DCT电路)上的信号的最大值 的50％。即，与输入到变换电路的最大值有线性关系。考虑输入信 号最大值为A1的情况。在不进行非线性量化的情况下，假定变换编 码所产生失真的最大值为N1(图7)。在进行非线性量化的情况下， A1变成为A2＝aA1。这时，因为失真的最大值为DCT上输入 信号的50％，所以，可以认为对非线性量化以后的值进行DCT变 换所产生的失真的最大值变成为N2＝aN1。
图8示出图4(A)的非线性量化电路71中的信号变化的情况。 (a)示出借助于DCT变换电路56、量化电路57、反量化电路 60和反DCT电路61对图6的(f)的信号进行处理以后、输入 到非线性反量化电路71上的信号S401。借助于低通滤波器401 从信号S401中提取低频分量S402。信号S402示于(b)。
加法器402借助于求信号S401与信号S402的差分提取 高频分量S403。S403示于(d)。变换编码所产生的失真附 加到(d)所示的信号上。假定这时信号的最大值为A′2，失真的最 大值为N′2。
高频信号非线性反量化电路403的输出S403示于(e)。 反量化特性示于图9。借助于非线性反量化信号的最大值变成为 $A_3=\frac{{A_2}^{\prime }}{a}$ 。这时，失真的最大值变成为N3。在不进行非线性 反量化的情况下的失真的最大值变成为 。如果与不进行非线性 量化的情况相比较。失真的最大值显然减小了N1-N3。
利用上述那样的方法，借助于把高频分量增强以后进行编码，可 以减少失真，如上述那样，这种非线性量化操作是以变换电路(在本 实施例的情况下，为DCT变换电路)上输入的块为单位进行。所以， 这使变换编码所产生的劣化封闭在块内。这样，能够防止超越块而损 失所必要的信息。
图10(A)示出第1实施例中的活动图像解码装置。把非线性 反量化电路(NLIQ)91除掉以后，其结构与先有技术相同，因 此，有关用先有技术例说明的某些部分，今省略其说明。现在就该非 线性反量化电路91进行说明，非线性反量化电路91为与图1(A) 和图4(A)中所述非线性反量化电路71相同的电路，用来进行与 非线性量化电路70相反的操作。这时，非线性量化电路70具有的 非线性量化特性和非线性反量化电路91具有的非线性反量化特性， 二者具有互相相反的特性。
在本实施例中，借助于把非线性量化电路设置在紧接DCT电路 之前、而把非线性反量化电路设置在紧接反DCT电路之后，就能够 在图像信号编码装置和图像信号解码装置之间保持区配性。此外利用 本实施例中的方法，在图像解码装置没有非线性反量化电路的情况下， 也能重现最低限度的图像。在图像信号解码装置没有非线性反量化电 路的情况下，可以把强调了高频分量的原信号解码，并显示。这种情 况下的图像信号解码装置与先有技术例相同。
非线性反量化电路91的反量化特性与非线性量化电路70的量 化特性，并不一定要求是互相正好相反的特性。在反量化特性的去强 调比量化特性的强调历害的情况下，可以得到在解码图像中增加了低 通滤波器的效果，在与此相反的情况下，可以得到在解码图像中增加 了轮廓突出的效果。
如果根据以上的构成，在因编码而使信噪比降低的信号频带内， 借助于使具有非线性特性的前处理与后处理联合进行，就能够有效地 改善信噪比。即，在信噪比低的信号频带内，能够降低蚊式噪声，还 能够抑制图像细节信息的降低，这样，即便在先有技术中图像失真与 图像细节难以区别的情况下，由于能够抑制图像信号平坦部分上细节 的降低，所以，能够谋求改善信噪比，改善视觉印象。
由于变换编码中的失真只局限在变换用的块内产生，所以，借助 于使上述前处理和后处理操作以进行变换处理的块为单位封闭地进行， 就能够使蚊式噪声沿时间方向的传播减小。这样，能够减轻由于利用 先有技术的运动补偿预测使失真噪声沿时间方向上传播而引起的看得 见的噪声的起伏，可以谋求视觉印象的改善。
(2)第2实施例
第2实施例为第1实施例的变形，把非线性量化电路(NLQ) 70和非线性反量化电路(NLIQ)71、91除掉以后，其结 构与上述第1实施例相同。即，把第2实施例中非线性量化电路70 的内部构成示于图11。在非线性量化电路70上输入的图像信号 S1100以块为单位输入到带通滤波器1(1101)～带通滤波 器n(110n)上。
带通滤波器1(1101)～带通滤波器n(110n)为分 别具有不同通频带的滤波器。带通滤波器1(1101)为通频带频 率最低的滤波器(低通滤波器)，带通滤波器n(110n)为通频 带频率最高的滤波器(高通滤波器)。
把带通滤波器的输出信号S1101～S110n分别输入到第 1非线性量化电路(1121)～第n非线性量化电路(112n) 上。对输入信号S1100的各频率分量进行量化特性根据频率而不 同的非线性量化。
图13(A)示出图11所示各非线性量化电路的量化特性的例 子。第1非线性量化电路(1121)的量化特性如图13(A)上 的特性1，第n非线性量化电路(112n)的量化特性为特性n。 随着频率分量变低，则使用接近于线性量化特性(Y＝X)那样的量 化特性。因此，变成为越是高频分量就越强调。把来自非线性量化电 路的输出信号S1121～S112n输入到加法器1130上。利 用加法器1130把非线性量化后的各频率分量相加，并输出 (S1130)。
下面，利用图12，说明本实施例中非线性反量化电路71和 91。图12为非线性反量化电路71和91的构成图。即，把来自反 DCT电路的输出信号S1200输入到第1带通滤波器(1201) ～第n带通滤波器(120n)上。第1带通滤波器(1201)～ 第n带通滤波器(120n)为分别具有不同通频带的滤波器。第1 带通滤波器(1201)为具有最低频率通频带的滤波器(低通滤波 器)，第n带通滤波器(120n)为具有最高频率通频带的滤波器 (高通滤波器)。
把来自带通滤波器(1201～120n)的输出信号S 1201～ S120n分别输入到第1非线性反量化电路(1221)～第n非 线性反量化电路(122n)上。对来自反DCT电路的信号S1200 的各频率分量进行反量化特性根据频率而不同的非线性反量化。
图14(A)示出图12所示各非线性反量化电路的反量化特性 的例子。第1非线性反量化电路(1221)的反量化特性如图14 (A)上的特性1，第n非线性反量化电路(122n)的反量化特 性为特性n。随着频率分量变低，则使用接近于线性反量化特性(Y ＝X)那样的反量化特性。这时，反量化特性必须是进行量化特性的 反操作的特性。例如，反量化特性1必须是进行量化特性1的反操作 的特性。这也就是说，量化特性1和反量化特性1对Y＝X必须是对 称的关系。
把来自非线性反量化电路的输出信号S1221到S122n输 入到加法器1230上。利用加法器1230把非线性量化后的各频 率分量相加，并输出(S1231)。把借助于该非线性反量化电路 71和91已强调的高频分量返回原电平。第2实施例的特征为，如 上述那样地，以因输入图像信号的频率分量而不同的非线性量化特性 来进行非线性量化和非线性反量化。这样，在第二实施例的情况下， 借助于使量化特性根据输入信号的频率分量而不同，能够进一步提高 信噪比，并能提高图像的视觉印象。
(3)第3实施例
第3实施例也是第1实施例的变形，把非线性量化电路70、非 线性反量化电路71、和可变长编码电路58除掉以后，其结构与第 1实施例相同。第3实施例中图像编码装置的整体构成具有图1(B) 所示的构成。非线性量化电路70的构成，以图2(B)给出。在第 3实施例中，量化电路控制器206对高频信号非线性量化电路203 中使用的量化特性以块为单位进行自适应地切换。
量化电路控制器206对每个块调查输入图像信号S201或高 频信号S203的特性，根据该特性确定使用的量化特性。这时，把 表示使用的量化特性的信号QL输出到高频信号的非线性量化电路 203上。例如，以图13(B)给出量化特性族。所谓输入图像信 号的特性，就是例如边缘信息、例如输入信号的幅度信息、另外例如 亮度与色差信号的相关性。具体地讲，在块内有图像边缘部分的情况 下，选择强调该边缘部分那样的量化特性，即，选择图13(B)中 对应于n值大的非线性量化特性。块内信号的幅度越大，选择图13 (B)中对应于n值越大的非线性量化特性。对于亮度值小、而且对 应的色差Cb、Cr中某一个的值大的块，因为一进行非线性处理原 图像的噪声就很容易显眼，所以，选择图13(B)的线性量化特性 (特性O)。还把表示量化特性的信号QL输出到可变长编码电路5 8上。在可变长编码电路58中，把表示量化特性的信号QL可变长 编码，并传送出去。
本实施例中图像解码装置的整体构成与把可变长解码电路82和 反量化电路91除掉以后的第1实施例相同，以图10(B)给出。 非线性反量化电路71和91的构成，以图4(B)给出。在第3实 施例中，反量化电路控制器406把高频信号非线性反量化电路403 中使用的反量化特性以块为单位自适应地切换。表示从图像信号编码 装置送来的量化特性的信号QL在可变长解码电路82中解码，作为 表示反量化特性的信号QL′输出到非线性反量化电路91上。
反量化电路控制器406根据表示反量化特性的信号QL′以块 为单位确定反量化特性，并输出到高频信号的非线性反量化电路403 上。高频信号的非线性反量化电路403根据表示反量化特性的信号 QL′以块为单位切换反量化特性。反量化特性例如以图14(B) 给出。这样，在第3实施例的情况下，借助于根据输入图像信号的性 质自适应地切换量化特性。能够进一步提高信噪比和视觉印象。
如上述那样地，在本实施例中，虽然是借助于传送反量化特性的 QL′进行自适应切换的，但是，在解码图像中想加入轮廓突出等效 果的情况下，不利用该QL′也能够根据已解码的图像信号S401 或者已解码图像信号的高频分量S403自适应地控制反量化特性。
(4)第4实施例
本第4实施例是在变换电路(在本实施例的情况下，为DCT、 IDCT电路)前、后不能设置非线性量化电路和非线性反量化电路 的情况下的有效的实施例。图15(A)示出第4实施例中图像信号 编码装置的构成图。与第1实施例的不同点是，把非线性量化电路 70设置在编码装置的最前头。图15(A)中，虽然是把非线性量 化电路70设置在运动矢量检出电路50之前，但是如果设置在运动 矢量检出电路50之后、即设置在运动矢量检出电路50与预测方式 切换电路52之间也行。
非线性量化电路70的构成与第1实施例相同，示于图2(A)。 在第4实施例中，为了在运动补偿之前进行非线性量化，所以，对输 入到DCT电路上的信号不能进行处理。非线性量化与第1实施例同 样地是以变换电路(DCT电路)上输入的块为单位进行。这时，在 不进行帧间或场间编码的情况下，即，在帧内编码宏块的情况下，能 够得到与第1实施例相同的结果。
图16(A)示出第4实施例中图像信号的解码装置。与第1实 施例的不同点是，把非线性反量化电路91设置在解码电路最后。图 像信号在解码电路90中解码以后，利用非线性反量化电路91进行 非线性反量化。非线性反量化电路91的构成与第1实施例相同，以 图4(A)给出。非线性反量化电路91的动作与第1实施例相同。
第4实施例中，虽然因为非线性量化电路是在运动补偿电路前级 上因而并不一定要在编码装置与解码装置之间的非线性量化与非线性 反量化之间保持匹配性，但是，借助于与第1实施例中所示原理相同 的原理能够除掉变换编码所产生的失真。这样，在第4实施例中即使 在紧接变换电路之前、之后不能设置非线性量化电路、非线性反量化 电路的情况下，借助于在编码装置的最前部和在解码装置的最后部设 置非线性量化和非线性反量化电路也能够在信噪比低的信号频带内降 低蚊式噪声，同时，还能够防止图像细节信息的损失。
(5)第5实施例
第5实施例为第4实施例和第2实施例的变形。把非线性量化电 路和非线性反量化电路除掉以后，其结构与第4实施例相同。第5实 施例中图像信号编码装置和图像信号解码装置的整体构成与第4实施 例相同，具有图15和图16所示的构成。第5实施例中非线性量化 电路70的构成与第2实施例相同，以图11给出。第5实施例中非 线性反量化电路71的构成与第2实施例相同，以图12给出。第5 实施例是把第4实施例变形以后与第2实施例同样地以因输入图像信 号的频率分量而不同的非线性量化特性来进行非线性量化处理的实施 例。
(6)第6实施例
第6实施例为第4实施例和第3实施例的变形。把非线性量化电 路、可变长编码电路、可变长解码电路和非线性反量化电路除掉以后， 其结构与第4实施例相同。第6实施例中图像信号编码电路和图像信 号解码装置的整体构成具有图15(B)和图16(B)所示的构成。 第6实施例中非线性量化电路70的构成与第3实施例相同，以图2 (B)给出。
第6实施例中非线性反量化电路71的构成与第3实施例相同， 以图4(B)给出。第6实施例是把第4实施例变形以后与第3实施 例同样地、根据输入图像信号的特性以块为单位自适应地切换非线性 量化特性的实施例。把表示所使用的非线性量化特性的信号可变长编 码，并传送到图像信号解码装置上。在图像信号解码装置中，根据表 示所传送非线性量化特性的信号来确定非线性反量化特性。
如上所述，如果根据本发明、在因编码而使信噪比降低的信号频 带内借助于使具有非线性特性的前处理与后处理联合进行就能够有效 地改善信噪比。即，在信噪比低的信号频带内，能够降低蚊式噪声， 还能够抑制图像细节信息的降低，这样，即使在先有技术中图像失真 与图像细节难以区别的情况下，由于能够抑制图像信号平坦部分上细 节的降低，所以，能够实现可以改善信噪比和改善视觉印象的活动图 像编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码 装置。
由于变换编码中的失真只局限在变换用的块内产生，所以，借助 于以进行变换处理的块为单位封闭地进行上述前处理和后处理操作， 就能够使蚊式噪声沿时间方向的传播减小。这样，能够减轻由于因利 用先有技术的运动补偿预测而使失真噪声沿时间方向上传播而引起的 看得见的噪声的起伏，能够实现可以改善视觉印象的活动图像编码方 法、活动图像解码方法、活动图像记录媒体和活动图像编码装置。
产业上利用的可能性
本发明图像信号编码方法和图像信号编码装置能够用于用来把数 字视频信号压缩以后记录到磁盘和磁带等记录媒体上的视频软件制作 装置中。另外，本发明图像信号编码方法和图像信号编码装置，在 CATV、卫星广播、电视会议、可视电话、视频点播等系统中，能 够用于用来把数字视频信号压缩以后送到有线或无线传送通路上的分 配装置中。
本发明记录媒体能够作为面向一般消费者的数字视盘和面向租赁 业者的数字视盘而使用。
本发明图像信号解码方法和图像信号解码装置能够用于把记录着 压缩视频信号的磁盘和磁带重放的重放装置上。另外，本发明图像信 号解码方法和图像信号解码装置，在CATV、卫星广播、电视会议、 可视电话、视频点播等系统中，能够用于把传送的压缩视频信号重 放的接收装置中。
                     符号的说明 1.编码装置                      2.解码装置 3.记录媒体                      12.13.A/D变换器 14.帧存储器             15.亮度信号帧存储器 16.色差信号帧存储器     17.格式变换电路 18.编码器               31.解码器 32.格式变换电路         33.帧存储器 34.亮度信号帧存储器     35.色差信号帧存储器 36.37.D/A变换器         50.运动矢量检出电路 51.帧存储器             52.预测方式切换电路 53.运算部               54.预测判定电路 55.DCT方式切换电路      56.DCT电路 57.量化电路             58.可变长编码电路 59.发送缓冲器           60.反量化电路 61.反DCT电路            62.运算器 63.帧存储器             64.运动补偿电路 81.接收缓冲器           82.可变长解码电路 83.反量化电路           84.反DCT电路 85.运算器               86.帧存储器 87.运动补偿电路