提升帧速率的方法与装置

1.一种帧速率提升方法，包含：
接收第一参考帧及第二参考帧；及
决定新视频帧的第一部分，其决定是根据该第一参考帧、该第二参考帧及该新视频帧的第二部分，
其中上述的第一部分及第二部分为该新视频帧的二像素区域，
其中上述的决定步骤包含：
针对多个像素区块对计算多个相似度测量指标，其中每一该像素区块对包含该第一像素群组所选出的一个像素区块，以及该第二像素群组所选出的一个像素区块；
根据该多个相似度测量指标，于该多个像素区块对中决定出一个最佳像素区块对；及平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像素区块，其中该目前像素区决为该目前超像素区块内的子区块，
其中上述的相似度测量指标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区块差值为该第一像素区块群组的第一像素区块与该第二像素区块群组的第二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产生像素区域与该第二像素区块的相对应子区域之间的差值测量。
2.根据权利要求1所述的帧速率提升方法，其中上述的第一部分是位于该新视频帧内的目前像素区块，上述的第二部分包含该新视频帧内先前已产生的像素区域，且上述目前像素区块的决定是根据该第一参考帧内的第一像素区块群组、该第二参考帧内的第二像素区块群组、该已产生像素区域。
3.根据权利要求1所述的帧速率提升方法，其中上述的最佳像素区块对所产生的相似度测量指标为该多个相似度测量指标中最小者。
4.根据权利要求1所述的帧速率提升方法，其中上述的差值测量为像素区块之间或者像素区块的相对应子区域的绝对差值和。
5.根据权利要求1所述的帧速率提升方法，其中上述的权重和等于该第一差值、乘以比例系数的该第二差值、乘以比例系数的该第三差值的总和，其中该比例系数介于0与1之间。
6.根据权利要求1所述的帧速率提升方法，其中上述的第一及第二参考帧分别为该新视频帧于时间顺序上的前一个及下一个视频帧。
7.一种帧速率提升装置，包含：
像素区块对产生单元，用以接收第一参考帧及第二参考帧；决定该第一参考帧的第一像素区块群组，及该第二参考帧的第二像素区块群组；及决定多个像素区块对，使得每一像素区块对包含该第一像素区块群组所选出的一个像素区块，以及该第二像素区块群组所选出的一个像素区块；
相似度测量指标计算单元，其针对该多个像素区块对，计算其多个相似度测量指标；
最佳像素区块对选择单元，根据该多个相似度测量指标，于该多个像素区块对中决定出一个最佳像素区块对；
像素区块内插单元，通过平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像素区块；及
已产生区块缓冲器，用以暂存该目前超像素区块内的子区块，其为该像素区块内插单元所产生，
其中上述的相似度测量指标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区块差值为该第一像素区块群组的第一像素区块与该第二像素区块群组的第二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产生像素区域与该第二像素区块的相对应子区域之间的差值测量；其中该已产生像素区域为储存于该已产生区块缓冲器的数据。
8.根据权利要求7所述的帧速率提升装置，其中上述的最佳像素区块对所产生的相似度测量指标为该多个相似度测量指标中最小者。
9.根据权利要求7所述的帧速率提升装置，其中上述的差值测量为像素区块之间或者像素区块的相对应子区域的绝对差值和。
10.根据权利要求7所述的帧速率提升装置，其中上述的权重和等于该第一差值、乘以比例系数的该第二差值、乘以比例系数的该第三差值的总和，其中该比例系数介于0与1之间。

提升帧速率的方法与装置 \n技术领域\n[0001] 本发明是有关一种数字图像处理技术，特别是提升帧速率(frame rate upconversion)的方法与装置。 \n[0002] 背景技术\n[0003] 视频(video)及视觉通讯的应用通常需要处理大量的视频数据。描绘(rendering)装置在产生视频时，需要连续显示许多数字图像(或帧(frame))，用以模拟出动作。帧速率是度量描绘装置制造这些连续帧的频率。帧速率这个用语也使用于计算机绘图、摄影机、照相机及动态捕捉(motion capture)系统。帧速率通常以每秒帧(frames per second，fps)或者简单以赫兹(hertz，Hz)来表示。以高帧速率模式来显示视频的能力已逐渐成为现代图像显示应用的所需。 \n[0004] 为了提升帧显示的速率，需要于视频显示的两个参考帧之间产生中间(intermediate)帧。帧速率提升方法通常运用动态补偿(motion compensated)内插(interpolation)技术，其使用相邻帧之间的动态测量信息以进行中间帧的内插。 [0005] 因此，高帧速率视频显示的应用亟需一个好的帧速率提升方法。 [0006] 发明内容\n[0007] 根据一较佳实施例，本发明提供一种帧速率提升方法，包含：接收第一参考帧及第二参考帧；及决定新视频帧的第一部分，其决定是根据该第一参考帧、该第二参考帧及该新视频帧的第二部分，其中上述的第一部分及第二部分为该新视频帧的二像素区域，其中上述的决定步骤包含：针对多个像素区块对计算多个相似度测量指标，其中每一该像素区块对包含该第一像素群组所选出的一个像素区块，以及该第二像素群组所选出的一个像素区块；根据该多个相似度测量指标，于该多个像素区块对中决定出一个最佳像素区块对；及平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像 素区块，其中该目前像素区块为该目前超像素区块内的子区块，其中上述的相似度测量指标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区块差值为该第一像素区块群组的第一像素区块与该第二像素区块群组的第二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产生像素区域与该第二像素区块的相对应子区域之间的差值测量。 [0008] 根据本发明一实施例，本发明提供一种帧速率提升装置，包含：像素区块对产生单元，用以接收第一参考帧及第二参考帧；决定该第一参考帧的第一像素区块群组，及该第二参考帧的第二像素区块群组；及决定多个像素区块对，使得每一像素区块对包含该第一像素区块群组所选出的一个像素区块，以及该第二像素区块群组所选出的一个像素区块；相似度测量指标计算单元，其针对该多个像素区块对，计算其多个相似度测量指标；最佳像素区块对选择单元，根据该多个相似度测量指标，于该多个像素区块对中决定出一个最佳像素区块对；像素区块内插单元，通过平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像素区块；及已产生区块缓冲器，用以暂存该目前超像素区块内的子区块，其为该像素区块内插单元所产生，其中上述的相似度测量指标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区块差值为该第一像素区块群组的第一像素区块与该第二像素区块群组的第二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产生像素区域与该第二像素区块的相对应子区域之间的差值测量；其中该已产生像素区域为储存于该已产生区块缓冲器的数据。 \n[0009] 附图说明\n[0010] 图1A至图1E显示本发明实施例的像素区块产生方法的相关概念。 [0011] 图2显示本发明实施例的帧速率提升方法的主要步骤。 \n[0012] 图3显示本发明实施例的帧速率提升装置的方块图。 \n[0013] [主要元件标号说明] \n[0014] 210-250 帧速率提升方法的步骤 \n[0015] 300 帧速率提升装置 \n[0016] 310 像素区块对产生单元 \n[0017] 320 SMI计算单元 \n[0018] 330 最佳像素区块对选择单元 \n[0019] 340 像素区块内插单元 \n[0020] 350 已产生区块缓冲器 \n[0021] 具体实施方式\n[0022] 以下的实施例描述参酌对应至相关的图式，这些图式形成本发明揭露的一部分，其用以说明本发明的各种实施作法。然而，也可以使用其它的实施例，只要其结构上或运算上的变化没有超出本发明的范围。 \n[0023] 图1A至图1E显示本发明实施例的像素区块(pixel block)产生方法的相关概念。\n于图1A中，新视频帧FC是根据第一参考帧FP及第二参考帧FN所产生出来的。在此实施例中，第一参考帧FP及第二参考帧FN分别为新视频帧FC于时间顺序上的前一个及下一个视频帧。另外，第一参考帧FP与新视频帧FC之间的时间间隔相同于第二参考帧FN与新视频帧FC之间的时间间隔。于以下的描述中，此时间间隔表示为T。如图1A所示，第一参考帧FP、新视频帧FC 及第二参考帧FN可分别以时间函数表示为F(t-2T)、F(t-T)、F(t)。 [0024] 于新视频帧FC中，像素区块BC是目前所需产生的区块。于本实施例中，像素区块BC为一个8×8的像素区域，亦即，一个含有64(＝8×8)个像素的区域。在本实施例中，像素区块BC又位于另一含有16×16像素的超(super)像素区块BS内。 \n[0025] 像素区块产生方法首先要决定超像素区块BS是否属于一个同时位于第一参考帧FP及第二参考帧FN的对象上面。为此，需要适当决定第一参考帧FP的第一搜寻范围(search range)WP内的第一像素区块群组(group)GP，以及第二参考帧FN的第二搜寻范围WN内的第二像素区块群组GN。位于第一群组GF内的像素区块彼此可以重迭；同样地，位于第二群组GN内的像素区块彼此也可以重迭。第一群组GP内的每一像素区块都有可能被判定相同于第二群组GN内的某一像素区块。图1B显示第一搜寻范围WP及第二搜寻范围WN内的多个像素区块，其中，第一搜寻范围WP内的像素区块BP1及BP2彼此重迭；同样地，第二搜寻范围WN内的像素区块BN1及BN2也彼此重迭。为了说明起见，于图1B中仅显示出一部分的像素区块。 \n[0026] 接着，适当地决定出多个像素区块对(pair)，使得每一像素区块对包含第一群组GP的一个像素区块，以及第二群组GN的一个像素区块。图1B中的箭号V1、V2、VN分别代表像素区块对。箭号V1-VN代表类似于图像编码技术中的动态向量(motion vector) 概念，其表示不同帧的像素区块间的位移测量(displacement measurement)。于以下的描述中，该箭号将被称为动态向量。 \n[0027] 适当地选择每一个像素区块对，使其所对应的动态向量可用以找出上述的超像素区块BS 。以图1C为例，以V代表像素区块BP与BN之间的动态向量，亦即，像素区块BP的每一个像素x(注：像素x的位置或坐标将以像素x来表示)移动至像素区块BN的像素x+V。\n像素区块BP的像素x即假设其移动至超像素区块BS的像素x+V/2，在此，假设在帧间的时间间隔T内是作均匀(uniform)移动。虽然图式中的像素区块BP、BS、BN是显示于同一平面，然而实际上这些像素区块则是分别位于第一参考帧FP、新视频帧FC、第二参考帧FN。 [0028] 使用适当的方法(例如完整(full)搜寻或三步骤搜寻)以决定第一群组GP和第二群组GN，及其多个像素区块对。例如，如果是使用完整搜寻方法，则可以完整地搜寻第一搜寻范围WP及第二搜寻范围WN。 \n[0029] 接下来，针对每一个像素区块对作计算，以得到其相似度测量指标 (similarity measurement indicator，SMI)。像素区块对(BP，BN)的相似度测量指标SMI可以下式定义： [0030] SMI(BP，BN)＝SAD(BP，BN)+SAD(BPD，BSD)*r+SAD(BND，BSD)*r [0031] 其中，SAD(Bi，Bj)表示像素区域Bi和Bj之间的绝对差值的和(sum ofabsolute difference，SAD)，而r为比例系数(scaling factor)，通常介于0和1之间。 [0032] 像素区域BSD包含超像素区块BS于之前运算时已经产生的像素。图1D例示超像素区块BS中的先前产生像素区域BSD。一般来说，位于目前像素区块BC(其是目前待产生的区块)的上方及左方的像素为之前运算时即已产生的 。图1D中的斜线区域即表示已产生的像素区域BSD。 \n[0033] 像素区块BP、BN中的子区域(sub-area)BPD、BND相对应于已产生的像素区域BSD。如图1E所示，子区域BPD、BND相对应于图1D中已产生的像素区域BSD，其中，斜线区域代表子区域BPD、BND。 \n[0034] 接着，于多个像素区块对中决定出一个最佳(optimum)像素区块对，使得该最佳像素区块对的相似度测量指标SMI为最小。于决定出最佳像素区块对之后，超像素区块BS的内容可通过平均(average)最佳像素区块对的两个像素区块而得到。如图1A所示，由于目前像素区块BC是位于超像素区块BS的内部，因此，当得到超像素区块BS之后，则目前像素区块BC即可以同时得到。 \n[0035] 于其它实施例中，所处理的像素区块的大小不一定要16×16或8×8。所处理的像素区域的长度与宽度可以是不同的。例如，所处理的像素区块可以是一个M×N像素区域，其中的M不等于N。再者，SAD(Bi，Bj)函数也可以使用其它测量像素区块差值的函数来替代。 \n[0036] 上述的像素区块产生方法可用于帧速率的提升方法中。图2显示本发明实施例的帧速率提升方法的主要步骤。于步骤210，接收第一参考帧及第二参考帧。接着，启动步骤220至250，用于帧速率提升方法中以产生新视频帧。于步骤220，决定第一参考帧的第一搜寻范围内的第一像素区块群组，以及第二参考帧的第二搜寻范围内的第二像素区块群组。于步骤230，决定多个像素区块对，使得每一像素区块对包含第一群组所选出的一个像素区块，以及第二群组所选出的一个像素区块。步骤240针对每一个像素区块对，计 算其相似度测量指标。于步骤245中，于多个像素区块对中决定出一个最佳像素区块对，使其相似度测量指标为最小。最后，步骤250通过平均最佳像素区块对的两个像素区块而得到新视频帧的目前超像素区块。 \n[0037] 上述的本发明方法可以实施于一装置中。图3显示本发明实施例的帧速率提升装置300的方块图。一般来说，帧速率提升装置300可以是一个独立的芯片，或者为数字图像处理芯片的一部分。帧速率提升装置300包含像素区块对产生单元310、SMI(相似度测量指针)计算单元320、最佳像素区块对选择单元330、像素区块内插单元340及已产生区块缓冲器350。 \n[0038] 请同时参阅图2及图3。像素区块对产生单元310执行步骤210至步骤230以接收第一参考帧及第二参考帧；决定第一参考帧的第一搜寻范围内的第一像素区块群组，以及第二参考帧的第二搜寻范围内的第二像素区块群组；及决定多个像素区块对，使得每一像素区块对包含第一群组所选出的一个像素区块，以及第二群组所选出的一个像素区块。SMI计算单元320执行步骤240以针对每一个像素区块对，计算其相似度测量指标。最佳像素区块对选择单元330执行步骤245，于多个像素区块对中决定出一个最佳像素区块对，使其相似度测量指标为最小。像素区块内插单元340执行步骤250，通过平均最佳像素区块对的两个像素区块而得到新视频帧的目前超像素区块。已产生区块缓冲器350为一个特定存储器，用以暂存目前像素区块，其为像素区块内插单元340所产生的超像素区块内的子区块。 [0039] 在本发明的较佳实施例中，图3所示的所有单元(但缓冲器350例外)是以专用集成电路(ASIC)的逻辑元件来实施。根据本发明其它实施例，这些单元也可以使用数字信号处理(DSP)系统或微处理器系统的软件或硬件模块来实施。另外，已产生区块缓冲器350通常包含动态随机存取存储器(DRAM)或其它易失性存储器。 \n[0040] 以上所述仅为本发明的较佳实施例而已，其是用以阐明本发明，而非用以限定本发明的范围。凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在上述的权利要求范围内。