采用神经网络的量化步长控制装置

1.一种量化步长控制装置，用于为了将一帧图象分割成具有 已设定的N(水平)×N(垂直)象素大小的第一数据块进行编码、并 以一定的传输率传送被编码数据的编码器，其特征是包含有：
对欲加以量化的第一数据块分别检测其图象复杂度的前解析 单元；
输出代表各个所述第一数据块的辉度值的辉度解析单元；
将经量化的数据采用与其相应的量化步长加以复原、基于每 一由已设定个数的第一数据块构成的第二数据块的被复原的数据 产生使得视觉上最小感知到分块现象的判断基准值的画面质量评 价单元；
存贮所述被量化数据、输出所存贮数据的缓存占用度的缓存 器；
存贮用于神经网络的加权值和为更新所述加权值的修正规则、 按所述画面质量评价单元对量化前的第二数据块作为判断基准值 和所述被存贮的修正规则更新所述被存贮的加权值、根据欲加以 量化的当前的第二数据块的图象复杂度和辉度值中至少一种信息 以及所述缓存器提供的缓存占用度和所述被更新的加权值产生用 于所述当前的第二数据块的量化步长、将所产生的量化步长提供 给所述画面质量评价单元的神经网络；和
将经所述编码器编码的第二数据块的各自的数据按所述神经 网络所提供时对应量化步长加以量化的量化单元。
2.权利要求1所述的装置，其特征是所述第二数据块由一个 第一数据块构成。
3.权利要求1所述的装置，其特征是所述第二数据块为由多 个所述第一数据块所构成的宏块。
4.权利要求1所述装置，其特征是所述画面质量评价单元基 于所述前面的第二数据块的数据输出针对所述当前的第二数据块 的判断基准值。
5.权利要求1所述装置，其特征是所述神经网络根据与所速 当前的第二数据块相对应的图象复杂度和缓存占用度及所述被更 新的加权值产生用于所述当前的第二数据块的量化步长。
6.权利要求1所述装置，其特征是所述神经网络根据与所述 当前的第二数据块相对应的辉度值和缓存占用度及所述被更新的 加权值产生用于所述当前的第二数据块的量化步长。
7.权利要求1所述装置，其特征是所述神经网络根据对应于 所述当前的第二数据块的图象复杂度、辉度值、缓存占用度及所 述被更新的加权值产生用于所述当前的第二数据块的量化步长。
8.一种编码装置，用于为了将一帧图象分割成具有已设定的 N(水平)×N(垂直)象素大小的第一数据块进行编码、并以一定的 传输率传送被编码数据，其特征是包含有：
根据预先存贮的基准帧的数据和欲进行编码的当前帧的数据 产生与当前帧的第一数据块各自对应的运动向量和被作运动补偿 的数据的运动补偿单元；
产生所述当前帧的第一数据块的各自的数据与所述运动补偿 单元输出的对应的运动补偿数据间的差分数据、将与所述第一数 据块各自对应地产生的差分数据进行变换编码的编码装置；
对所述当前帧的第一数据块分别检测图象复杂度的前解析单 元；
输出代表所述当前帧的各个第一数据块的辉度值的辉度解析 单元；
对经所述编码装置编码、由所述当前帧的已设定个数的第一 数据块所构成的第二数据各自的数据按对应的量化步长进行量化 的量化单元；
将运动补偿单元得出的运动向量和经所述量化单元量化的数 据作变长编码加以输出的装置；
将经所述量化单元量化的数据加以复原、基于各所述第二数 据块的被复原的数据产生使在视觉上最少感知到分块现象的判断 基准值的画面质量评价单元；
存贮由所述变长编码手段输出的数据、输出所存贮数据的缓 存占用度的缓存器；和
存贮用于神经网络的加权值和用于更新所述的加权值的修正 规则、根据所述画质评价单元对被量化以前的第二数据块作的判 断基准值和所述被存贮的修正规则对所述被存贮的加权值进行更 新、根据欲加以量化的当前的第二数据块的运动向量和图象复杂 度与辉度值中至少一种信息、以及所述缓存器输出的缓存占用度 和所述被更新的加权值产生用于所述当前和第二数据块的量化步 长的神经网络。
9.权利要求8所述的编码装置，其特征是所述第二数据块由 一个第一数据块组成。
10.权利要求8所述的编码装置，其特征是所述第二数据块为 由多个所述第一数据块组成的宏块。
11.权利要求8所述的编码装置，其特征是所述画面质量评价 单元基于所述先前的第二数据块输出对所述当前的第二数据块的 判断基准值。
12.权利要8所述的编码装置，其特征值是所述神经网络根据 所述当前的第二数据块相对应的图象复杂度和缓存占用度及所述 被更新的加权值产生用于所述当前的第二数据块的量化步长。
13.权利要求8所述的编码装置，其特征是所述神经网络根据 所述当前的第二数据块相对应的辉度值和缓存占用度及所述被更 新的加权值产生用于所述当前的第二数据块的量化步长。
14.权利要求8所述的编码装置，其特征是所述神经网络根据 所述当前的第二数据块相对应的图象复杂度、辉度值、缓存占用 度和所述被改进的加权值产生用于所述当前的第二数据块的量化 步长。
15.权利要求8所述的编码装置，其特征是所述神经网络根据 所述当前的第二数据块相对应的运动向量、图象复杂度、辉度值、 缓存占用度和所述被更新的加权值产生用于所述当前的第二数据 块的量化步长。

本发明是关于视频数据的编码方法及其装置，特别是关于根 据缓冲器占用量、图象的复杂性等控制量化步长的装置。\n通常，像高图象质量TV、数字VIR、数字仿形编码等的数字处 理，图象信号和声音信号的系统，将运动图象及与之相关连的声 音作数字编码后进行传输，再将被传送的数据加以译码、在要将 经过编码的数据通过具有一定传送速度的传输通道传送的情况下， 对编码器提供调整所产生的数据量的要求。为以一定的传送速率 传送经过编码的数据而确定量化步长的装置可按照图1进行说明。\n图1为压缩运动图象、以一定的数据传送率传送压缩数据的普 通编码装置的方框图。图1的装置因对本专业人员来说是公知的编 码器，所以只对其操作作简单地说明。\n图1中，当前帧的视频数据被施加到减法器31和运动估计单元 18。运动估计单元18利用外部施加的视频数据和帧存贮器中存贮 的视频数据生成运动向量。运动向量生成由当前帧视频数据形成 的N(横)×N(纵)象素(一般为8×8象素)的数据块，提供给运动补 偿单元19和传送通道。运动补偿单元19将帧存贮器17中存放的数 据中与运动向量相对应的视频数据送至开关33、34。开关33、34 在图1的装置作帧间方式操作时接通，而在图1的装置作帧内方式 操作时断开。当开关33为接通状态时，减法器31由外部施加的视 频数据中减去运动补偿器19通过开关33提供的数据，产生差分数 据。\n另一方面，在开关33为断开状态时，减法器31将外加的视频 数据按原样提供给转换单元11。转换单元11将减法器31的输出数 据变换成频域的变换系数。此变换以前述的数据块为单位进行。 由转换单元11输出的变换系数提供给量化单元12。量化单元12按 缓存器14提供的量化步长将变换系数加以量化，送给变长编码单 元13和逆量化单元15。量化也以前述的数据块为单元进行。变长 编码单元13根据数据的统计特性对输入数据作变长编码。逆量化 单元15对经量化单元12量化的变换系数进行逆量化，输出经逆转 换单元16。这样，逆量化单元15即为对量化单元12所说的信号处 理执行逆(反)过程处理。\n逆转换单元16将所输入的变换系数变换成空间领域的视频数 据。加法器32通过开关34将运动补偿单元19所提供的数据与逆转 换单元16的数据相加后输出给帧存贮器17。\n帧存贮器17由外部施加的视频数据更新、连续地每次存贮一 帧的数据，帧存贮器17中存放的数据被用于运动估计单元18和运 动补偿单元19所作的运动估计和运动补偿。\n另一方面，缓存器14因为要维持一定的数据传送率，产生每 一宏块的所存贮数据在缓存器中的占用量形成的量化步长。宏块 通常为由16×16象素构成。量化步长和缓存器输出的编码数据经 传送通道被提供给图2的装置。\n对经过编码的运动图象进行译码的图2的装置，利用量化步长 和运动向量对由图1的装置编码的数据进行译码。更详细说，变长 译码单元21对变长编码单元13所进行的信号处理执行逆处理过程。 逆量化单元22对由变长译码单元21所提供的数据按量化步长进行 逆量化。\n逆转换单元23将所输入的频域数据变换为空间领域的数据。 加法器35通过开关36将运动补偿单元24所供给的数据与逆转换单 元23的输出相加。帧存贮器25以一帧的容量存贮由加法器35输出 的数据。运动补偿单元24由帧存贮器25读出与图1的装置产生的运 动向量相对应的数据送至开关36。按这种方式操作的图2的装置经 图1的装置编码的数据进行译码。由加法器35输出的视频数据由显 示器加以显示。\n可是，由于前述量化单元12是一种损耗(LOSS)编码器，经量 化后再被作逆量化的数据会与被量化之前的数据不相同。因而， 在以宏块那样的规定大小的数据块给定的量化步距对视频数据进 行量化的情况下，用户就会在视觉上感觉到画面上数据块简的边 界线。这样的分块现象在复杂的场面的情况下用户不会注意到。 但在简单的场面和图形亮度急剧变化时，在具有视觉上觉察到为 轮廓线的边缘的场面中出现的分块现象，因为容易为用户注意到 而使画面质量遭到损坏。\n作为为提供优良画面质量以决定量化步长的技术的有“Hang” 的美国专利No 5038209(1991.8.6)。  根据这一先有技术缓存/ 编码器控制器响应以前的平均量化步长和输出缓存的充满程度显 示来产生目标量化步长。作为决定量化步长的其他先有技术的还 有，利用前面分解单元所提供的图象复杂程度和输出缓存提供的 缓存状态来决定量化步长的比例控制技术等。\n本发明的目的在于，利用神经网络由用于按图象复杂程度、 缓存器状态等确定量化步长中所使用的中间变量来决定所希望的 量化步长，以便在不受随场面变化而改变的多样的中间变量如何 均能得到使用户不会感觉到分块现象的画面质量。\n为实现上述的本发明的目的，所提供的装置为将一帧图象分 割成具有既经设定的大小的第一数据块进行编码，并将经过编码 的数据以一定的传输率传送的编码器控制量化步长。此装置包含 有：检测欲进行量化的第一数据块的各自的图形复杂程度的前解 析单元；输出代表前述各个第一数据块的辉度值的辉度解析单元； 将经过量化的数据利用与其相应的量化步长加以复原、基于由已 设定个数的第一数据块组成的每一第二数据块的被复原的数据产 生使视觉上最少感觉到分块现象的判断基准值的画面质量评价单 元；存贮前述经量化的数据、输出所存贮数据的缓存占用率的缓 存器；存贮用于神经网络的加权值和用于更新前述加权值的修正 规则、根据前述画面质量评价单元对经量化前的第二数据块的判 断基准值和前述所存贮的修正规则更新前述所存贮的加权值、基 于欲加以量化的当前的第二数据块的图象复杂程度及前述经过更 新的加权值产生用于前述当前的第二数据块的量化步长、检测产 生的量化步长提供给前述画面质量评价单元的神经网络；和将经 前述编码器编码的第二数据块的各个数据按前述神经网络所提供 的对应量化步长进行量化的量化单元。\n另外，为实现本发明的目的而提出的编码装置是将一帧的图 象分割成具有已设定大小的第一数据块进行编码、并为将被编码 的数据以一定的传输率传送而控制量化步长。该装置包含有：根 据预先存贮的基准帧的数据和欲予编码的当前帧的数据产生与当 前帧的第一数据块分别对应的运动向量和运动补偿数据的运动补 偿单元；产生前述当前帧的第一数据块的各自的数据与由前述运 动补偿单元产生的对应运动补偿数据间的差分数据、将分别对应 前述第一数据块所产生的差分数据进行转换编码的编码装置；针 对前述当前帧的各个第一数据块检测图象复杂程度的前解析单元； 输出代表前述当前帧的各个第一数据块的辉度值的辉度解析单元； 对经前述编码装置编码的由前述当前帧的已没定个数的第一数据 块构成的第二数据块以与各自数据相对应的量化步距进行量化的 量化单元；对由运动补偿单元得到的运动向量和经前述量化单元 量化的数据作变长编码后输出的装置；将经前述量化单元量化的 数据加以复原、基于前述每一第二数据块被复原的数据产生使得 视觉上最少感觉到分块现象的判断基准值的图象质量评价单元； 存贮前述变长编码装置所输出的数据、输出被存贮数据的缓存占 用量的缓存器；和存贮用于神经网络的加权值和用于更新前权加 权值的修正规则、按照前述画面质量单元对量化前的第二数据块 作出的判断基准值和前述被存贮的修正规则更新前述被存贮的加 权值、基于针对欲预量化的当前第二数据块的运动向量及图象复 杂程度和辉度值中至少一种信息，以及前述缓存器输出的缓存占 用量和前述被更新的加权值、产生用于前述当前第二数据块的量 化步长的神经网络。\n下面按照附图对本发明的优选实施例作详细说明。\n所列附图中：\n图1为说明一般的编码装置的方框图；\n图2为说明一般的译码装置的方框图；\n图3为说明按照本发明的优选实施例的采用神经纲络的编码装 置。\n图中：12-量化单元\n      14-缓存器\n      41-前解析单元\n      42-辉度解析单元\n      43-神经网络\n      44-画面质量评价单元\n图3为表明按照本发明采用神经网络的编码装置的方框图。\n图3中的装置具有在图1的装置中另外还包含前解析单元41、 辉度解析单元42、神经网络43及画面质量评价单元44的构成。\n在图3中，对具有与图1中所示的方框同一功能的方框标以同 样的部件序号，并对其具体操作的说明予以省略。\n通过输入端10由外部加到图3中装置的视频数据被提供给前解 析单元41、辉度解析单元42、运动判定单元18和减法器31。前解 析单元41确定通过输入端10所施加的视频数据形成的每一数据块 的图象复杂程度FA。这里，数据块由N(水平)×N(垂直)象素构成。 图象复杂度FA根据对应用空间域、频域或者同时此二者所得的数 据的分析来加以决定。辉解析单元22也对前述同样的每一数据块 检测代表它们的辉度值BR输出给神经网络43。运动估算单元18按 与图1的装置相关地说明过的方式进行运动估算产生每一数据块的 运动向量MV。所产生的运动向量MV被送至神经网络43和变长编码 单元45。变长编码单元45对运动向量作变长编码输出给缓存器14。 神经网络43按后述的方式产生用于每一数据块或者每一由多个数 据块构成的宏块的量化步长MQUANT。量化单元12将由转换单元11 所加给的数据加以量化输出至变长编码单元13。缓存器14存贮变 长编码单元13、45所供给的数据，  将所存贮数据产生的缓存充满 度BF输出给神经网络43。这里，缓存充满度BF是表示实际缓存器 14中所存贮的数据对缓存器14所共有的全部存贮容量的比例。\n另一方面，画面质量评价单元44将变长编码单元13所输出的 数据加以复原。在数据复原中使用量化单元12所提供的适当的量 化步长。画面质量评价单元44根据被复原的数据产生使视觉上能 最低感觉到分块现象的判断基准值。这样的判断基准值对每一数 据块或者每一宏块产生。\n在将针对欲予量化的数据块或宏块的图象复杂度FA、辉度值 BR和运动向量MV，以及按照紧接着的前一被量化的数据块或宏块 的判断基准值、缓冲充满度BF加到神经网43时，神经网络43即根 据判断基准值更新加权值，然后利用当前的缓存充满度BF和每一 数据块所产生的图象复杂度FA、辉度值BR和运动向量MV为每一数 据块的量化产生量化步长MQUANT。这样神经网络43即利用图象复 杂度FA和辉度值BR中之一，以及由缓存器14所供给的当前缓存占 用度BF，就能够设计使产生量化步长MQUANT的变形的状态。因而， 在设计适合于规定由四个数据块组成宏块的“MPEG-2”规格的图3 的装置的情况下，神经网络43就对每一宏块产生量化步长。\n这样的神经网络43由于能根据公知的神经纲络理论实现，所 以本发明的一实施例是用3层神经网络实现的。3层神经网络具有 在输入端与输出层之间的以及输入端与输出层之间的第一和第二 隐蔽层(hdden Layer)，各层均由神经节点构成。第一隐蔽层的 各神经节点全部被连接到输入端，第二隐蔽层的各种经节点被连 接到第一隐蔽层的全部神经节点。而输出层的各种经节点也同样 连接到第二隐蔽层的全部神经节点。连接节点的突触上被分别施 加以加权值，加权值可由修正规则加以改变直至成为最合适值。\n在由画面质量评价单元44供给以前数据块(或宏块)的判断基 准时，神经网络43使该判断基准值适应修正规则，对产生先前数 据块(或宏块)的量化步长MQUANT中所使用的加权值进行更新。而 后，神经网络43生成当前缓存占用度BF和针对欲予量化的当前的 数据块(或宏块)的量化步长MQUANT。所产生的量化步长MQUANT被 提供给量化单元12和传输通道。量化单元12对由转换单元11所提 供的当前数据决(或宏块)的数据按与其对应的量化的步长MQUANT 进行量化。亦即，量化单元12在视觉上易于感觉到数据块(或宏块) 间的边界线的数据块(或宏块)中分配以相对多量化的比特，而在 视觉上很少感觉到数据块(或宏块)间的边界线的数据块(或宏块) 中分配相对地少的比特，这样地来对变换单元11所提供的数据进 行量化。因此，能将经图3的装置编码的数据在视觉上不会轻易感 觉到数据块之间或宏块之间的边界线的图象再现。通过量化单元 12和变长编码单元13输出的数据被用于为下一数据块(或宏块)产 生判断基准值。缓存器14将被供给的数据提供给以一定的传输率 传送至译码器的传送通道，输出用于下一数据块(或宏块)的新的 缓存充满度BF。\n如上述所表明的，按照本发明的采用神经网络的编码装置， 采用设置有从新调整确定量化步长的条件的学习能力的神经网络， 依靠这样来决定量化步长所进行量化的图象数据在复原时的复原 图形在视觉上就很少感觉到数据块的边界线。从而保证了稳定的 图面质量。