可变视角及分辨率的双目视觉系统目标图像稳定化方法

1.可变视角及分辨率的双目视觉系统目标图像稳定化方法，其特征在于，所述方法在PC机中依次按以下步骤实现：
步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；
步骤(2)，所述PC机从第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像 并把每帧图像转换为灰度图像；所述PC机从第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像 把每帧图像转换为灰度图像，并用两个灰度图分别代替所述的 和 步骤(3)，不同分辨率视频图像之间的配准：选择第t帧低分辨率图像 中所述运动目标所在的矩形区域 所对应的高分辨率图像作为系统的输出图像 然后计算所述高分辨率图像 和所述低分辨率图像 之间的映射模型 具体如下：
步骤(3.1)，所述矩形区域 的选定，
步骤(3.1.1)，对所述低分辨率图像 求取低分辨率背景模型 像素(x，y)处的更新公式为：
其中更新系数α＝0.05，初始低分辨率背景模型 如果
TLB＝20，则 在(x，y)属于前景区域，否则，该像素属于背景区
域，
步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像 以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在 图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出图像 的尺寸为所述矩形区域的 的ko倍，ko＝5，
步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像 和高分辨率图像 之间的初步映射模型
步骤(3.2.1)，计算所述第t帧高分辨图像 和低分辨率图像 中目标区域 的SIFT特征点，
步骤(3.2.2)，对 中的每个特征点，分别计算它和所述低分辨率图像目标区域 中的每个特征点之间的距离，即s12＝‖v1-v2‖，其中v1和v2分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果 和 如果 Ts＝0.7，则
对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型 无效，转到步骤(4)，否则转到步骤(3.3)，步骤(3.2.3)，对所述的高分辨率图像 与所述低分辨率图像目标区域
的SIFT匹配特征点对 i＝1，2，...，n，求取仿射变换矩阵
其中参数通过下式求取：
T T -1
[m1，m2，m3，m4，m5，m6] ＝(AA) AX，
其中，
步骤(3.3)，调整所述低分辨率图像 的灰度值，得到校正图像
步骤(3.3.1)，选定计算灰度映射的区域：对步骤(3.2)中两幅图像 和 中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，
步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图：
K＝0，1，…，255
步骤(3.3.3)，用Accu1和Accu2分别表示 和 的累积分布直方图，按下述方法划分三个灰度集合G1，G2，G3：
1
G1＝{K：0≤Accu(K)＜0.05}
1
G2＝{K：0.05≤Accu(K)＜0.95}
1
G3＝{K：0.95≤Accu(K)≤1}
选取映射模型为三段分片线性模型 其中K1和K2分
别表示 和 的灰度值，利用下面的目标函数线性拟合K∈G2时所述图像 和 之间的
2 1 1 1
灰度值映射函数K ＝MI(K)＝a2K+b2，K ∈G2：
2 1 1 1 2 1 1
用灰度集合G1、G3分别拟合模型K ＝MI(K)＝a1K+b1，K ∈G1和K ＝MI(K)＝a3K+b3，
1
K ∈G3，使得MI(0)＝0，MI(255)＝255，
步骤(3.3.4)，根据 和 之间的灰度值映射模型MI(k)调整 的灰度值，得到 步骤(3.4)基于像素的直接配准方法估计 和 之间更精确的仿射模型
步骤(3.4.1)，用步骤(3.2)中所述的 对所述的高分辨率图像 进行变换，得到图像 变换方法是：
所述图像 在坐标点(xi，yi)的值 其中f是同
构坐标变换函数，计算方法是：
T T
f(x，y，M)＝(x′，y′)，其中x′和y′由[x′，y′，1] ＝M[x，y，1] 得到，步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型
其中(xi，yi)是所述图像 的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M0设为3×3的单位矩阵，
步骤(3.4.3)，如果步骤(3.4.2)中所求得的 满足下面两个条件中的任何一个，则认为 和 无效，不再对其进行计算，转到步骤(4)，
a)
b)
其中， 是 的前两行，
步骤(3.4.4)，计算更精确的仿射模型
步骤(3.5)根据邻域2N+1帧图像对所述输出图像 进行平滑处理，取N＝5，步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型
由步骤(3.1.1)中所求得的 中的前景区域通过步骤(3.4.1)中的变换方法由所述的更精确的仿射模型 得到对应的 中的前景目标，进而得到 的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像 和第i帧高分辨率图像 之间的变换模型 步骤(3.5.2)求取平滑模型
其中，ωi是高斯权重系数，N＝5， σ＝1.5，δi取值为：
步骤(3.5.3)计算当前帧的相对模糊度bi
其中，pt为所述第t帧高分辨率图像 中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，
如果bt＞1.3min{bt-1，bt+1}，则认为当前帧为模糊图像，并设定 无效；
步骤(4)图像补全：对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下：
步骤(4.1)估计高分辨率背景图像
步骤(4.1.1)如果步骤(3)中所述的 有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型 变换得到与步骤(3.1.1)所述低分辨率图像 中的背景区域 对应的 中的背景区域，
步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型 对于下一帧的背景模型 如果 有效，则将 的背景区域映射到 上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： 否则，
步骤(4.2)对 进行填充：
步骤(4.2.1)利用所述的高分辨率图像 和变换模型 填充图像，如果 有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型 将所述高分辨率图像 变换到所述输出图像 上，所述输出图像 中重叠的区域即可用 的灰度值进行填充，步骤(4.2.2)对背景部分，如果所述输出图像 的未填充部分包含背景像素，则直接利用 中对应的有效像素进行填充，
步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)
a)所述的变换模型 无效
b)所述的高分辨率图像 不包含完整的感兴趣目标
c)步骤(3.5.3)中判断所述的高分辨率图像 是模糊的图像
步骤(4.2.3.1)建立和更新参考样本队列
参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本：
a)所述的变换模型 有效；
b)所述的高分辨率图像 包含完整的感兴趣目标；
c)所述的高分辨率图像 不是模糊的图像；
参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的 和 用 表示，其中 表示第i帧只包含前景目标的低分辨率图像固定大小参考
帧，大小为40×40， 表示第i帧只包含前景目标的与 相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，
步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧
对于第t帧，我们只考虑 中完全包含目标的矩形图像区域 用下面的步骤计算参考帧队列中所有的 i＝1，2，...，60与 的相似度：
T
步骤(4.2.3.2.1)计算 到 的平移变换模型(dx，dy)
选取初始值为 中前景目标中心点坐标与 中前景目标中心点的差，用基于T
迭代的梯度下降优化算法求得平移变换模型(dx，dy)，
步骤(4.2.3.2.2)用下面的公式计算相似度：
其中， 是 的前景目标的像素集合， 是 前景目标的像素
集合，p是 经过平移变换后其前景目标像素集合与 的交集中的一个像素，Num(p)是交集中像素的个数，如果交集的像素个数小于 像素个数的60％，或者小于 像素个数的60％，则令相似度为0，
如果当前帧t有效，则取本帧为相关参考帧，定义为 即reft＝t；否则， 则取队列中与 相似度最大的参考帧为相关参考帧，若最大相似度小于ThMAD＝exp(-20)，则认为 没有相关参考帧，即 无效，转到步骤
(4.2.3.2.3)；否则 有效，
H
步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场V，由邻近共三帧及其对应的参考帧 i＝t-1，t，t+1进行估计：
步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从 到 的平移变换模型，然后用此模型将 变换到 从而去除了两者之间的整体运动；同理，对 进行同样操作，得到去除整体运动的 对当前帧，即第t帧，令
H
步骤(4.2.3.2.3.2)利用调整后的 来估计高分辨率的光流场V
用Opencv提供的Lucas-Kanade光流算法分别估计从 到 和 之间的光流场 和 则
L
步骤(4.2.3.2.4)估计帧内低分辨率图像光流场V，同样采用Opencv提供的
L
Lucas-Kanade光流算法估计 与 之间的光流场 将其放大5倍即可得到V，步骤(4.2.3.2.5)如果 有效，估计 与 之间的最终光流场 由下面
的优化问题解得：
其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表 在(x，y)点沿x方向和y方向的分量，(uH，vH)代表VH 在(x，y)处的取L
值，ω1(x，y)是权重系数，取为ω1(x，y)＝exp(-‖[uH，vH]‖/10)，(uL，vL)代表V 在(x，H
y)处的取值，ω2(x，y)是权重系数，取为ω2(x，y)＝1，如果V 有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，
步骤(4.2.3.2.6)填充输出图像，
用 经过光流场 的变换后采用双线性插值填充输出图像的前景部分，步骤(4.2.4)对还未填充的区域，用低分辨率的图像 放大并用双线性插值得到，步骤(4.3)灰度值调整
用步骤(3.3)中所述的方法调整输出图像中区域R1和R4，与R2灰度值保持一致，其中R1是所述输出图像 中用步骤(4.2.1)填充的图像区域，R2是所述输出图像 中用步骤(4.2.2)填充的图像区域，R3是所述输出图像 中用步骤(4.2.3)填充的图像区域，R4是所述输出图像 中用步骤(4.2.4)填充的图像区域，
调整R1，只用R1与所述高分辨率背景模型 重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整R4时，亦只用R4与所述高分辨率背景模型 重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，
步骤(4.4)输出图像空间连续性调整
对于步骤(4.3)中所述的输出图像区域R1，R2和R4作如下处理：先对边界部分用5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R3部分保持不变。

可变视角及分辨率的双目视觉系统目标图像稳定化方法\n技术领域\n[0001] 本发明涉及计算机视觉视频处理技术领域，尤其涉及采用双目PTZ(一种可以改变视角和分辨率参数的主动镜头)镜头进行高分辨率视频稳定化的技术。\n背景技术\n[0002] 随着计算机视觉技术的发展，以及全世界范围内安全防范意识的提高，智能视觉监控技术受到越来越多的重视。这种技术已经逐步广泛用于军用和民用。在早期的应用中，智能程度很低，因此安全防范功能主要还是依靠人对监控视频中的事件进行判断，可靠度和自动化程度都很低。它更主要的用途还是用于犯罪的事后取证。而现在的智能视觉监控系统的发展趋势是更注重犯罪预警，以减少犯罪案件的发生。\n[0003] 本发明主要解决下面的问题：大范围场景的监控中，对高分辨率抓拍的感兴趣目标的图片序列进行稳定化处理。其意义在于：首先，提高视频的可视化效果。由于目标距离摄像机距离一般较远，而镜头的分辨率又很高，所以镜头的微小抖动可能导致图像中的物体运动非常剧烈，因此这样的视频可视化效果很差。而视频稳定化的目标就是尽可能使图像中目标的运动变得平稳，从而可以提高可视化效果。第二，从稳定化后的视频中可以更加容易地提取监控中所需要的特征进行目标识别，而且视频本身也可以作为整体特征进行保存以备以后查阅。第三，稳定化后的视频还可以用于计算机视觉研究，例如目标的行为分析、姿态识别、步态分析等。\n[0004] 硬件需求：为了实现对远距离目标的高分辨率抓拍，我们提出采用双目PTZ视觉系统。其中一个镜头采用低分辨率监控全景，另一个镜头采用高分辨率抓拍运动目标。之所以选择这样的硬件组合，是因为：\n[0005] 1、传统单目静止镜头的监控已经不能满足现代监控的需求，具体表现在：1)其视角固定，当目标运动出可视范围后，监控人员将完全丢失目标的信息；2)由于图像分辨率和可见视场的大小之间存在矛盾关系，如果要求图像分辨率很高，则视场会相对比较小，特别是对于远距离监控。\n[0006] 2、如果采用单目主动镜头，以上两个问题都可以通过改变视角解决，但是它也存在新的问题。在对目标进行主动跟踪的过程中，由于镜头参数一直在变化，图像中的背景和目标有运动，因此很难准确预测目标的运动。另一方面，镜头控制也很难做到非常精确，而且由于镜头的运动时间很难准确估计，因此无论采用计算机自动跟踪或者手动跟踪，目标都有可能在图像中丢失，并且一旦丢失，单靠一个高分辨率镜头很难再将其重新捕捉。因此，采用单目主动镜头进行目标的高分辨率视频抓拍的鲁棒性很低。\n[0007] 综上所述，我们提出了采用双目主动镜头来解决这一问题。其中一个镜头作为低分辨率静止镜头使用，实时对目标进行跟踪；另一个利用高分辨率镜头获取的目标位置信息，对目标进行高分辨率主动跟踪。我们之所以采用一个主动镜头做静止镜头用，一方面是利用其灵活性，可以方便地改变监控场景，另一方面考虑到系统对称性，如果两个镜头型号完全一致，系统标定会更加方便，而且两个镜头的地位可以根据任务不同而互换。\n[0008] 在本系统中，我们采用了两个PTZ主动镜头。选择PTZ镜头的原因有三点：1)它是一种最简单的主动镜头，它可以通过改变pan和tilt参数来改变视角，也可以通过改变zoom参数来改变图像分辨率；2)它的集成度很高，相比采用一个可变焦镜头和一个云台构成的主动镜头，不需要用户再对其进行过多标定和校正，而且鲁棒性和准确性都更有保障；\n3)它已经有比较成熟产品，并且已经越来越多的用到实际应用中。在本系统中我们采用的是SONY EVI D70。\n[0009] 对于远距离高分辨率监控，视频稳定化是一个非常有意义的工作，因为直接得到的高分辨率视频一般都存在下列问题：1)图像模糊。这种模糊主要是由于镜头运动造成，为了保证主动镜头可以有效地跟上目标运动，一般要求镜头采用高速运动模式，因此容易在运动中出现图像模糊；2)目标在图像中不完整。在双目监控系统中，虽然有低分辨率镜头保证目标不至于丢失，但是仍然很难保证高分辨率图像每帧都完整地包含运动目标。因为主动镜头每个动作都需要一定时间，而且时间很难精确估计，因此控制一般都会有超调；\n3)视频可能出现抖动，如果目标运动速度过大，镜头控制频率可能比较高，因此容易出现帧间的抖动。基于以上三个原因，我们提出了一个高分辨率视频稳定化的框架来解决这一问题。\n发明内容\n[0010] 本发明的目的是解决远距离视觉监控中获取高分辨率平稳视频的问题，采用两个PTZ镜头，一个镜头采用低分辨率监控全景，另一个采用高分辨率抓拍感兴趣运动目标的图像，最后通过视频稳定化技术得到平稳的高分辨率视频。\n[0011] 本发明的特征在于，所述方法在PC机中依次按以下步骤实现：\n[0012] 步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；\n[0013] 步骤(2)，所述PC机从所述第一个PTZ摄像机中输入记录全景的图像，称为低分辨t\n率图像IL，并把每帧图像转换为灰度图像；所述PC机从所述第二个PTZ摄像机中输入记录t\n运动目标的图像，称为高分辨率图像IH，把每帧图像转换为灰度图像，并用所述的两个灰度t t\n图分别代替所述的IL 和IH ；\n[0014] 步骤(3)，不同分辨率视频图像之间的配准：选择第t帧低分辨率图像ILt中所述t t\n运动目标所在的矩形区域IL_tar 所对应的高分辨率图像作为系统的输出图像Iout，然后计t t t\n算所述高分辨率图像IH 和所述低分辨率图像IL 之间的映射模型MLH，具体如下：\n[0015] 步骤(3.1)，所述矩形区域IL_tart的选定，\n[0016] 步骤(3.1.1)，对所述低分辨率图像ILt求取低分辨率背景模型ILBt，像素(x，y)处的更新公式为：\n[0017] \n[0018] 其中更新系数α＝0.05，初始低分辨率背景模型 如果\n则ILt在(x，y)属于前景区域，否则，该像素属于背景区\n域，\n[0019] 步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像t t\nIL 以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在IL 图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出t t\n图像Iout 的尺寸为所述矩形区域的IL_tar 的ko倍，ko＝5，\n[0020] 步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像ILt和高分辨率图像t t\nIH 之间的初步映射模型MLH1 ：\n[0021] 步骤(3.2.1)，计算所述第t帧高分辨图像IHt和低分辨率图像ILt中目标区域IL_t\ntar 的SIFT特征点，\n[0022] 步骤(3.2.2)，对IHt中的每个特征点，分别计算它和所述低分辨率图像目标区域t\nIL_tar 中的每个特征点之间的距离，即s12＝||v1-v2||，其中v1和v2分别表示两个特征点对\n1 2\n应的SIFT特征向量，然后考虑距离最小的两组结果smin 和smin，如果 Ts＝0.7，\n1\n则smin 对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特t\n征点对的个数少于10，则认为所述映射模型MLH 无效，转到步骤(4)，否则转到步骤(3.3)，[0023] 步骤(3.2.3)，对所述的高分辨率图像IHt与所述低分辨率图像目标区域IL_t\ntar 的SIFT匹配特征点对 求取仿射变换矩阵\n其中参数通过下式求取：\n[0024] [m1，m2，m3，m4，m5，m6]T＝(ATA)-1AX，\n[0025] 其中，\nt t\n[0026] 步骤(3.3)，调整所述低分辨率图像IL 的灰度值，得到校正图像IL_adjt\n[0027] 步骤(3.3.1)，选定计算灰度映射的区域：对步骤(3.2)中所述两幅图像IH 和IL_t\ntar 中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，\n[0028] 步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图：\n[0029] \n[0030] 步骤(3.3.3)，用Accu1和Accu2分别表示ILt和IHt的累积分布直方图，按下述方法划分三个灰度集合G1，G2，G3：\n[0031] G1＝{K：0≤Accu1(K)＜0.05}\n[0032] G2＝{K：0.05≤Accu1(K)＜0.95}\n[0033] G3＝{K：0.95≤Accu1(K)≤1}\n[0034] 选取映射模型为三段分片线性模型 其中K1和\n2 t t t t\nK 分别表示IL 和IH 的灰度值，利用下面的目标函数线性拟合K∈G2时所述图像IL 和IH\n2 1 1 1\n之间的灰度值映射函数K ＝MI(K)＝a2K+b2，K ∈G2：\n[0035] \n2 1 1 1 2 1\n[0036] 用灰度集合G1、G3分别拟合模型K ＝MI(K)＝a1K+b1，K ∈G1和K ＝MI(K)＝\n1 1\na3K+b3，K ∈G3，使得MI(0)＝0，MI(255)＝255，\nt t t\n[0037] 步骤(3.3.4)，根据IL 和LH 之间的灰度值映射模型MI(k)调整IL 的灰度值，得t\n到IL_adj，\nt t t\n[0038] 步骤(3.4)基于像素的直接配准方法估计IL 和IH 之间更精确的仿射模型MLH2 ：\nt t\n[0039] 步骤(3.4.1)，用步骤(3.2)中所述的MLH1 对所述的高分辨率图像IH 进行变换，t\n得到图像IH_adj，变换方法是：\n[0040] 所述图像IH_adjt在坐标点(xi，yi)的值 其中f\n是同构坐标变换函数，计算方法是：\n[0041] f(x，y，M)＝(x′，y′)，其中x和y′由[x′，y′，1]T＝M[x，y，1]T得到，[0042] 步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型Mrefinedt：\n[0043] \n[0044] 其中(xi，yi)是所述图像IH_adjt的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M0设为3×3的单位矩阵，\n[0045] 步骤(3.4.3)，如果步骤(3.4.2)中所求得的Mrefinedt满足下面两个条件中的任何t t\n一个，则认为Mrefined 和MLH2 无效，不再对其进行计算，转到步骤(4)，[0046] \n[0047] \n[0048] 其中， [R2×2M t2×1M]是Mrefinedt的前两行，\n[0049] 步骤(3.4.4)，计算更精确的仿射模型\n[0050] 步骤(3.5)根据邻域2N+1帧图像对所述输出图像Ioutt进行平滑处理，取N＝5，[0051] 步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型Mji[0052] 由步骤(3.1.1)中所求得的ILt中的前景区域通过步骤(3.4.1)中的变换方法[0053] 由所述的更精确的仿射模型MLH2t得到对应的IHt中的前景目标，进而得到IHt的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像IHj和第i帧高分辨率图像IHi之间的变换模型Mji，\n[0054] 步骤(3.5.2)求取平滑模型MLHt，\n[0055] \n[0056] 其中，ωi是高斯权重系数，N＝5， δi取值为：\n[0057] \n[0058] 步骤(3.5.3)计算当前帧的相对模糊度bt\n[0059] \n[0060] 其中，pt为所述第t帧高分辨率图像IHt中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，\n[0061] 如果bt＞1.3min{bt-1，bt+1}，则认为当前帧为模糊图像，并设定MLHt无效；\n[0062] 步骤(4)图像补全：对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下：\n[0063] 步骤(4.1)估计高分辨率背景图像IHBt\n[0064] 步骤(4.1.1)如果步骤(3)中所述的MLHt有效，通过步骤(3.4.1)中所述的变换t t\n方法由所述的变换模型MLH 变换得到与步骤(3.1.1)所述低分辨率图像IL 中的背景区域t t\nILB 对应的IH 中的背景区域，\n[0065] 步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前t t+1 t t+51\n高分辨率背景模型IHB，对于下一帧的背景模型IHB ，如果MLH 有效，则将IH 的背景区域t\n映射到IHB 上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： 否则，\n[0066] 步骤(4.2)对Ioutt进行填充：\n[0067] 步骤(4.2.1)利用所述的高分辨率图像IHt和变换模型MLHt填充图像，如果MLHt有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型MLHt将所述高分辨率图像IHt变换到所述输出图像Ioutt上，所述输出图像Ioutt中重叠的区域即可用IHt的灰度值进行填充，[0068] 步骤(4.2.2)对背景部分，如果所述输出图像Ioutt的未填充部分包含背景像素，则直接利用IHBt中对应的有效像素进行填充，\n[0069] 步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)\n[0070] a)所述的变换模型MLHt无效\n[0071] b)所述的高分辨率图像IHt不包含完整的感兴趣目标\n[0072] c)步骤(3.5.3)中判断所述的高分辨率图像IHt是模糊的图像\n[0073] 步骤(4.2.3.1)建立和更新参考样本队列\n[0074] 参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本：\n[0075] a)所述的变换模型MLHt有效；\n[0076] b)所述的高分辨率图像IHt包含完整的感兴趣目标；\n[0077] c)所述的高分辨率图像IHt不是模糊的图像；\n[0078] 参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的ILt和IHt，i\n用 表示，其中SPL 表示第i帧只包含前景目标的低分辨率图像固定大小参\ni i\n考帧，大小为40×40，SPH 表示第i帧只包含前景目标的与SPL 相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧\n[0079] 对于第t帧，我们只考虑ILt中完全包含目标的矩形图像区域sub(ILt)，用下面的i t\n步骤计算参考帧队列中所有的SPL，i＝1，2，...，60与sub(IL)的相似度：\n[0080] 步骤(4.2.3.2.1)计算SPLi到sub(ILt)的平移变换模型(dx，dy)T\n[0081] 选取初始值为sub(ILt)中前景目标中心点坐标与SPLi中前景目标中心点的差，用T\n基于迭代的梯度下降优化算法求得平移变换模型(dx，dy)，\n[0082] 步骤(4.2.3.2.2)用下面的公式计算相似度：\n[0083] \n[0084] 其中，Foreg(SPLi)是SPLi的前景目标的像素集合，Foreg(ILt)是ILt前景目标的像i t\n素集合，p是SPL 经过平移变换后其前景目标像素集合与Foreg(IL)的交集中的一个像素，i\nNum(p)是交集中像素的个数，如果交集的像素个数小于Foreg(SPL)像素个数的60％，或者t\n小于Foreg(IL)像素个数的60％，则令相似度为0，\n[0085] 如果当前帧t有效，则取本帧为相关参考帧，定义为 即reft＝t；否则，t\n则取队列中与sub(IL)相似度最大的参考帧为相关参考帧，若最大相似度小于ThMAD＝t\nexp(-20)，则认为sub(IL)没有相关参考帧，即 无效，转到策略\n[0086] (3)；否则 有效，\n[0087] 步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场VH，由邻近共三帧及其对应的参考帧 i＝t-1，t，t+1进行估计：\n[0088] 步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从 到 的平移变换模型，然后用此模型将 变换到SPt-1t，从而去除了两者之间的整体运动；同理，t\n对 进行同样操作，得到去除整体运动的SPt+1 ；对当前帧，即第t帧，令\nt t t H\n[0089] 步骤(4.2.3.2.3.2)利用调整后的SPt-1，SPt，SPt+1 来估计高分辨率的光流场Vt t t\n[0090] 用Opencv提供的Lucas-Kanade光流算法分别估计从SPt 到SPt-1 和SPt+1 之间H H\n的光流场Vt，t-1 和Vt，t+1，则\n[0091] \n[0092] 步骤(4.2.3.2.4)估计帧内低分辨率图像光流场VL，同样采用Opencv提供的t t L\nLucas-Kanade光流算法估计 与sub(IL)之间的光流场FL，将其放大5倍即可得到V，[0093] 步骤(4.2.3.2.5)如果 有效，估计 与Ioutt之间的最终光流场FHt，FHt由下面的优化问题解得：\n[0094] \n[0095] \n[0096] 其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表FHt在(x，y)点沿x方向和y方向的分量，(uH，vH)代表VH在(x，y)处的取值，ω1(x，y)是权重系数，取为ω1(x，y)＝exp(-||[uH，vH]||/10)，(uL，vL)代表VL在(x，y)处的取值，ω2(x，y)是权重系数，取为ω2(x，y)＝1，如果VH有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，\n[0097] 步骤(4.2.3.2.6)填充输出图像，\n[0098] 用 经过光流场FHt的变换后采用双线性插值填充输出图像的前景部分，t\n[0099] 步骤(4.2.4)对还未填充的区域，用低分辨率的图像IL 放大并用双线性插值得到，步骤(4.3)灰度值调整\n[0100] 用步骤(3.3)中所述的方法调整输出图像中区域R1和R4，与R2灰度值保持一致，t t\n其中R1是所述输出图像Iout 中用步骤(4.2.1)填充的图像区域，R2是所述输出图像Iout 中t\n用步骤(4.2.2)填充的图像区域，R3是所述输出图像Iout 中用步骤(4.2.3)填充的图像区t\n域，R4是所述输出图像Iout 中用步骤(4.2.4)填充的图像区域，\nt\n[0101] 调整R1时，只用R1与所述高分辨率背景模型IHB 重叠部分的像素计算灰度值映射t\n模型，并只调整这些重叠部分的像素，调整R4时，亦只用R4与所述高分辨率背景模型IHB 重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，\n[0102] 步骤(4.4)输出图像空间连续性调整\n[0103] 对于步骤(4.3)中所述的输出图像区域R1，R2和R4作如下处理：先对边界部分用\n5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R3部分保持不变。\n[0104] 本发明首先解决了不同分辨率视频之间的图像配准问题，其次提出四种顺序填充方式，充分利用了当前高分辨率信息以及历史高分辨率信息来填充目标视频。通过这样处理后的结果可以用于犯罪取证、监控记录保存、运动目标的行为分析等，实验结果表明本发明提出的方法很实用。目前，在所有可以查到的专利或发表文献中，尚没有发现类似的报道和专利。\n附图说明：\n[0105] 图1.是双目PTZ视觉系统高分辨率视频稳定化系统的流程图；\n[0106] 图2.是灰度值调整示意图：\n[0107] 2(a)为分段线性模型的拟合结果；\n[0108] 2(b)为原始的低分辨率图像灰度直方图；\n[0109] 2(c)为高分辨率图像灰度直方图；\n[0110] 3(d)为调整后的低分辨率图像灰度直方图；\n[0111] 图3.是光流场计算流程图：\n[0112] 3(a)帧间高分辨率图像光流场计算流程图；\n[0113] 3(b)帧内低分辨率图像光流场计算流程图。\n[0114] 符号说明：\n[0115] ILt：第t帧时低分辨率图像，\n[0116] IHt：第t帧时高分辨率图像，\n[0117] ILBt：第t帧时低分辨率的背景图像，\n[0118] IHBt：第t帧时更新的对应ILBt的高分辨率的背景图像，\n[0119] IL_tart：第t帧时低分辨率图像中的矩形目标区域，\n[0120] IL_adjt：对ILt的灰度进行调整后的图像，\n[0121] IH_adjt：用MLH1t对IHt进行变换后的图像，\n[0122] Ioutt：第t帧时输出图像，\n[0123] ko：输出图像相对于低分辨率的目标区域的放大倍数，\n[0124] MLH1t：第t帧时ILt和IHt之间的初步配准模型，\n[0125] MLH2t：第t帧时ILt和IHt之间的精确配准模型，\n[0126] MLHt：第t帧时ILt和IHt之间最终的配准模型，\n[0127] Mji：第j帧高分辨率图像到第i帧高分辨率图像的变换模型，\n[0128] SPLi：第i帧只包含前景目标的低分辨率图像固定大小参考帧(40×40)，[0129] SPHi：第i帧只包含前景目标的与SPLi相对应的高分辨率图像的参考帧(200×200)，\n[0130] R1：输出图像中用步骤(4.2.1)填充的图像区域，\n[0131] R2：输出图像中用步骤(4.2.2)填充的图像区域，\n[0132] R3：输出图像中用步骤(4.2.3)填充的图像区域，\n[0133] R4：输出图像中用步骤(4.2.4)填充的图像区域。\n具体实施方式\n[0134] 本发明的核心思想是首先利用不同分辨率下的图像配准信息，确定输出视频的可见视场，然后通过当前帧的高分辨率信息和历史的高分辨率信息，对视场进行填充，填充原则是尽可能采用高分辨率信息。最后对于无法填充的区域，采用插值放大的低分辨率图像以保证视频的完整性。\n[0135] 本发明中主要包括以下三项技术：\n[0136] 第一，不同分辨率图像的配准。本发明结合了基于特征点和基于直接像素灰度的两种方法，设计了一种“三步配准方法”，可以有效解决该问题。\n[0137] 第二，填充高分辨率信息的策略。本发明首先利用当前帧的高分辨率信息对区域进行直接填充，对于无法填充的区域，利用历史高分辨率信息进行填充，其基本填充思路为：对需要填充的视场中的每一个像素进行前景和背景分类。背景层可以通过构造一个高分辨率背景模型来进行填充；前景层通过基于样本和相对运动场估计的方法进行填充。\n[0138] 第三，后处理。如果相邻像素采用了不同分辨率的填充信息，可能导致单帧图像中的不平滑，因此需要通过必要的后处理来提高可视化效果。\n[0139] 本发明应用于双目远距离视觉系统，两个PTZ摄像机中，其中一个采用低分辨率作为静止摄像机使用，用于监控全景；另一个摄像机采用高分辨率，可以通过手动或者自动改变视角来跟踪感兴趣目标。本发明的目标是对两路不同分辨率的视频进行处理，得到一个高分辨率稳定的视频。本系统用普通PC计算机进行计算，对操作系统没有要求。系统流程图如图1所示，具体如下：\n[0140] (1)不同分辨率视频图像之间的配准\n[0141] 视频稳定化目前仍然缺乏一个精确地定义，一般来说它主要有两个目的：1)感兴趣的目标必须位于图像中心附近；2)运动要尽量连续和光滑。本发明综合考虑这两种目的，首先选择低分辨率图像中目标所在的矩形区域对应的高分辨率图像区域作为输出图像t t t\nIout，然后计算采集的高分辨率图像IH 与输出图像Iout 的映射模型。\n[0142] 在计算IHt和Ioutt的配准模型时，因为Ioutt和目标区域IL_tart之间只有尺度变换关t t\n系，且尺度因子ko为定值，因此只需要IH 和IL 的变换模型。又由于两个摄像机的距离很t t\n小，相对于监控场景的距离可以忽略不计，因此选择仿射模型作为IH 和IL 的变换模型。先t\n采用特征点匹配的方法估计初步仿射模型，然后通过这个仿射模型对IL 的灰度值进行调整，最后用基于像素的直接方法估计精确的仿射模型。\n[0143] 本系统对高分辨率和低分辨率图像之间的配准模型有两个要求：准确性和帧间的平滑性。模型的准确性可以保证低分辨率全景图像作为联系不同时刻高分辨率图像之间关系的桥梁，并且当高分辨率信息无效时，可以采用插值后的全景图像进行填充；模型的平滑性是为了使输出的图像序列更加稳定，避免相邻帧间的小范围抖动。\n[0144] 模型的准确性已经由上面的两步配准保证，它体现在，选定场景中的某个固定点后，每一时刻，该点从全景图像通过仿射模型变换到高分辨率图像中后，与该点的真实坐标相差尽可能小。而平滑性体现在，不同时刻仿射到高分辨率图像中的点的坐标相互差异应尽可能小。\n[0145] 前景目标跟踪：\n[0146] 首先利用Mean-shift跟踪算法(这是一种经典并且用途很广的跟踪算法)求得感兴趣目标的轨迹。考虑到平滑性要求，用邻域内(50帧)的目标所跟踪的中心进行均值t\n平滑。用一个矩形框IL_tar 表示包含该目标的区域，其长宽分别为64和48像素，中心即为平滑后的目标中心。\n[0147] 因为本发明适用于远距离监控系统，因此设定输出的视频图像Ioutt的尺度为IL_t\ntar 的ko倍，系统中设定ko＝5。为减小计算配准模型的计算量，首先把每帧的图像转换为灰度图像。\n[0148] 在跟踪目标的同时，利用滑动平均方法求取背景模型(更新系数为0.05)，对低t\n分辨率视频建立高斯背景模型，从而得到低分辨率图像IL 中的前景区域和以及背景图像t\nILB。\n[0149] 特征点匹配方法估计初步仿射模型：\n[0150] 因为IHt和ILt之间的放大倍数未知，选择具有尺度不变性的特征点算子。本系统中采用的特征点算子是SIFT，这是目前用的最广的一种特征点之一。\n[0151] 为了降低计算量，只计算ILt目标区域IL_tart中的特征点。在进行特征匹配时，采t\n用最近邻法得到匹配特征点对。若匹配的特征点对的个数少于10，则认为MLH1 无效，不再t t\n求取MLH。否则，利用这些特征点对估计初步的仿射模型MLH1，估计方法如下：\n[0152] 设高分辨率图像IHt与低分辨率图像目标区域IL_tart的SIFT匹配特征点对为令仿射变换矩阵 则有：\n[0153] [m1，m2，m3，m4，m5，m6]T＝(ATA)-1AX，\n[0154] 其中，\n[0155] 灰度值调整：\n[0156] 本发明采用的方法是对两幅图中匹配上的特征点集分别估计一个包含所有特征点的最小凸多边形，然后对多边形内的像素灰度值进行采样，采用类似直方图均衡的方法，找到灰度映射关系。关于映射模型可以有多种选择，采用的是分段线性拟合的方法。首先对灰度直方图进行累计，得到累计直方图：\n[0157] \n[0158] Accu(k)是一个关于k的单调递增函数。选取映射模型为三段分片线性模型。令灰度集合\n[0159] K1＝{k：0≤Accu(k)＜0.05}\n[0160] K2＝{k：0.05≤Accu(k)＜0.95}\n[0161] K3＝{k：0.95≤Accu(k)≤1}\n[0162] 利用下面的目标函数线性拟合k∈K2时ILt和IHt之间的灰度值映射函数MI(k)：\n[0163] \n[0164] 其中，Accu1和Accu2分别表示所述的两幅图像上的累积分布直方图。为了保证灰度的连续性以及有效性，用剩余两部分灰度集合K1，K2分别拟合一个线性模型，使得MI(0)＝0，MI(255)＝255。\n[0165] 最后根据映射模型MI(k)调整ILt的灰度值，得到IL_adjt。如图2，图(a)为分段线性模型的拟合结果，图(b)表示原始全景低分辨率图像的直方图，图(c)表示高分辨率图像的直方图，图(d)低分辨率图像经过灰度映射模型调整后的直方图。从图中可以看出调整后的直方图与高分辨率图像的直方图更加接近，从而为后续的直接基于像素方法的精配准做好了准备。\n[0166] 直接基于像素方法估计仿射模型：\n[0167] 通过基于特征点的粗配准可以得到两图之间的初步仿射模型MLH1t，以及两图灰度t t t\n之间的映射关系MI(k)。本系统首先用MLH1 对IH 进行变换，得到IH_adj 然后利用M0＝I3×3作为初值，进行迭代估计更准确的映射模型。优化目标为下式的最小化：\n[0168] \n[0169] 其中f(xi，M)是用同构坐标变换函数，优化问题用基于梯度的Hessian矩阵方法迭代求解。其中f是同构坐标变换函数，计算方法是：\n[0170] (x′，y′，1)T＝M(x，y，1)，f(x，y，M)＝(x′，y′)\n[0171] 如果MI满足下面两个条件中的任何一个，则认为MI无效，跳出MLHt的计算。\n[0172] \n[0173] \nM M M M t\n[0174] 其中，MI＝[R t]，[R2×2 t2×1]是MI的前两行。如果MI有效，且MLH1 有效，则t\n否则跳出下面的步骤，不再计算MLH。\n[0175] 模型平滑：\ni\n[0176] 先求取两幅高分辨率图像之间的映射模型Mj。由于直接求解高分辨率图像之间的映射模型会存在很多问题，首先利用全景图像序列得到的背景区域对高分辨率图像区域进行过滤，只保留其背景部分，这样可以去除由于前景运动引起的配准误差；然后利用在第一步粗匹配中已经提取的SIFT特征点，对处于背景区域的特征点进行匹配，并估计变换模i\n型，同样若特征点对数目小于10则认为Mj 无效。\nt\n[0177] 再根据下面的公式求取平滑模型MLH\n[0178] \n[0179] 其中，ωi是高斯权重系数，N＝5， δi取值为：\n[0180] \n[0181] 最后计算当前帧的相对模糊度bt\n[0182] \n[0183] 其中，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度。\n[0184] 如果bt＞1.3min{bt-1，bt+1}，则认为当前帧为模糊图像，并设定MLHt无效。\n[0185] (2)图像补全\n[0186] 由于高分辨率图像很可能不能完全覆盖需要输出的图像区域，因此为了使输出图像完整化，需要对高分辨率图像不可见的区域进行填充。本系统依次采用了四种策略对输出图像进行填充，以使高分辨率信息尽可能多地被利用。最后对图像进行了后处理，以保证图像灰度值的连续性，以及空间连续性。具体步骤为：\n[0187] 估计高分辨率背景图像：\n[0188] 前面已经对低分辨率图像ILt进行了前景和背景分割，如果当前图像的MLHt有效，t t t\n通过IL 中的背景区域ILB 可以得到当前高分辨率图像IH 中的背景区域。由第1，2，…，t t+1 t\nt+50帧中的高分辨率背景区域来更新背景模型IHB，对于下一帧的背景模型IHB ，如果MLHt+51 t\n有效，则将IH 的背景区域映射到IHB 上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： 否则，\n[0189] 策略1利用高分图像填充：\n[0190] 如果MLHt有效，则可以通过MLHt将IHt变换到Ioutt上，重叠的区域即可用IHt进行填充。\n[0191] 策略2用高分辨率背景进行填充：\n[0192] 如果输出图像的未填充部分包含背景像素，则可以利用IHBt填充。\n[0193] 策略3前景参考帧填充：\n[0194] 本策略基于最佳参考样本和相对运动场的算法进行填充，其关键在与以下几个方面：1)参考样本集合的构成与更新；2)对待填充的帧，如何选择最佳参考样本；3)如何计算高分辨率下的相对运动场，并且能够兼顾时间和空间连续性。\n[0195] 所谓待填充的帧指的是：以第t帧为例，如果它满足下面三个条件之一，则该帧需要采用这种策略填充前景目标：\n[0196] a)MLHt无效；\n[0197] b)IHt不包含完整的感兴趣目标；\n[0198] c)IHt是模糊的图像(见上面相对模糊度bt的定义)。\n[0199] 1)建立和更新参考帧队列\n[0200] 参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的ILt和LHt，用 表示(见前定义)。采用先入先出的策略更新参考帧队列。队列最大长\n度取为60。如果当前第t帧满足下面三个条件，则该帧将产生一个参考样本：\n[0201] a)MLHt有效\n[0202] b)IHt包含完整的感兴趣目标\n[0203] c)IHt不是模糊的图像\n[0204] 2)选择当前帧的相关参考帧\n[0205] 对于第t帧，只考虑ILt中完全包含目标的区域，定义为sub(ILt)，计算参考帧队列i t\n中所有的SPL(i＝1，2，...，60)与sub(IL)的相似度，相似度的计算方法如下：\n[0206] 先计算SPLi到sub(ILt)的平移变换模型(dx，dy)T。选取初始值为sub(ILt)中前i\n景目标中心点坐标与SPL 中前景目标中心点的差，用基于Hessian矩阵的牛顿迭代算法求T\n得平移变换模型(dx，dy)。\n[0207] 再用下面的公式计算相似度为：\n[0208] \n[0209] 其中，Foreg(SPLi)是SPLi的前景目标的像素集合，Foreg(ILt)是ILt前景目标的像素集合，p是SPLi经过平移变换后其前景目标像素集合与Foreg(ILt)的交集中的一个像素，Num(p)是交集中像素的个数。如果交集的像素个数小于Foreg(SPLi)像素个数的60％，或者小于Foreg(ILt)像素个数的60％，则令相似度为0。\n[0210] 如果该帧有效，则取本帧为相关参考帧，定义为 即reft＝t；否则，取队列中t\n与sub(IL)相似度最小的参考帧为相关参考帧。若最大相似度小于ThMAD＝exp(-20)，则认t\n为sub(IL)没有相关参考帧，即 无效；否则 有效。\n[0211] 3)估计帧间高分辨率图像光流场VH\n[0212] 由 估计VH，步骤如下：\n[0213] 第一步，将 调整为SPt-1t，SPtt，SPt+1t，使它们在一个统一的具有更高可比性的尺度。这一步的原因是refi，(i＝t-1，t，t+1)是在不同时刻采集，它们可能存在尺度和平移的变化，如果可以预先对其进行调整，可以提高它们之间的可比性，减小后面进行光流估计时引入的误差。可以假设采用仿射变换(本系统中只考虑尺度变换和平t\n移变换)。因为第t帧是处理的目标，因此以IL 中目标中心和尺度作为参考。\n[0214] 第二步，利用调整后的SPt-1t，SPtt，SPt+1t来估计高分辨率的光流场VH[0215] 之所以采用光流场，是因为虽然这些参考帧之间已经经过调整，但是在图像内容上还是存在差异，这种差异用一般的模型(例如仿射、投影模型)不足以准确描述。分别用t t t H H\n金字塔Lucas-Kanade方法估计SPt 到SPt-1 和SPt+1 的光流场Vt，t-1 和Vt，t+1，按照帧间连t\n续性假设，可以近似认为帧间光流满足线性模型，即理想状态下，SPt 中的(x，y)点处的光t H H\n流 因此从SPt 到目标帧It 的光流场V 可以用 来近似，\n即\n[0216] \n[0217] 4)估计帧内低分辨率图像光流场VL\n[0218] 考虑利用Mref(t)ST调整后的 (记为 )到tar(ILt)的光流场。VH\n虽然已经包含了时间和空间连续性的假设，但是因为SPtt和目标帧ItH之间在局部可能存H\n在比较大的差异，此时 的假设可能不满足而导致V(x，y)无效，或者\nH t\n出现奇异；还有一种情况就是SPt-1和SPt+1无效，此时V 无效，因此需要建立直接从SPt 到H H\n目标帧It 之间的对应关系。由于It 为未知的目标图，只有通过与之对应的低分辨率图像t t\n和tar(IL)来求取。由于 和tar(IL)之间在局部可以看作是平滑的，\nH\n因此，虽然这个光流场是低尺度下求取的，将其放大到Ij 的尺度下后，仍然可以体现这种大致的局部差异。\n[0219] 本系统中用金字塔Lucas-Kanade方法估计 与tar(ILt)之间的光流场FLt，取\n[0220] 计算VH和VL的流程如图3所示。\nt t t t\n[0221] 5)估计 与Iout 之间的光流场FH 如果 有效，则估计光流场FH。从SPt 到目标帧Ioutt的光流场主要由以下三部分构成：\n[0222] a)基于高分辨率图像的光流场VH，利用调整后为SPt-1t，SPtt，SPt+1t。作用是体现时间连续性；\nL t\n[0223] b)基于低分辨率的光流场V，利用 与tar(IL)。作用是体现空间的位置H\n准确性，特别是在V 无效的情况下(例如临近帧没有找到对应的SP)；\nH L\n[0224] c)光流场平滑，去除奇异的光流值(如果V 和V 在估计的时候已经考虑到了平滑，这一步可以省略)；\n[0225] FHt可以用下面的优化框架解得：\n[0226] \n[0227] \n[0228] 其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，t H\ny)的简写，分别代表FH 在(x，y)点沿x方向和y方向的分量。(uH，vH)代表V 在(x，y)处L\n的取值，ω1(x，y)是权重系数，取为ω1(x，y)＝exp(-||(uH，vH)||/10)。(uL，vL)代表V 在(x，y)处的取值，ω2(x，y)是权重系数，取为ω2(x，y)＝1。β和γ为比例因子，当邻接帧有效时，β取值较大，表明邻域信息权重更高，时间和空间连续性占主导地位；若邻接帧无效，则需要着重考虑空间准确性，此时γ取较大值。本系统中，如果相邻的参考帧有效，则取β＝2γ，否则，取β＝0。\n[0229] 6)填充输出图像\n[0230] 用 经过光流场FHt的变换后采用双线性插值填充输出图像的前景部分。\n[0231] 策略4低分辨率图像填充：\n[0232] 对还未填充的区域，用低分辨率的图像ILt双线性插值得到。\n[0233] 后处理：\n[0234] 1)灰度值调整\n[0235] 用第一阶段灰度值调整的方法调整R1和R4与R2灰度值保持一致。其中调整R1时，只用与IHBt重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素。调整R4时。亦只用与IHBt重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整。\n[0236] 2)空间连续性调整\n[0237] 对输出图像区域R1，R2和R4作如下处理：先对边界部分用5×5的结构单元进行膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑。对输出图像区域R3部分保持不变。