一种镜头边界检测方法

1.一种镜头边界检测方法，其特征在于，包括以下步骤：
步骤1，视频帧特征表示：计算视频中每一帧在HSV颜色空间上的非均匀分块直方图作为视频帧的特征表示；
步骤2，生成相似度序列：通过计算对应分块直方图的距离的加权和得到相邻视频帧的相似度，将视频中所有相邻视频帧的相似度组成序列即为相似度序列；
步骤3，对镜头边界的确定：
步骤3-1，镜头切变边界检测，根据相似度序列，利用自适应阈值算法计算出阈值，大于该阈值的相邻视频帧为镜头切变边界；
步骤3-2，镜头渐变边界检测，根据相似度序列，利用逆序对计数的算法找到候选渐变边界，用傅里叶函数拟合形成统一表示，通过对比候选渐变边界与标准渐变模型来确认渐变边界以及渐变类型；
视频帧特征表示包括以下步骤：
步骤1-1，以3:5:3的比率同时将视频帧长和宽分为三段，从而将视频帧分割为9个分块；
步骤1-2，在每个分块上分别计算基于HSV颜色空间的分块直方图；
步骤1-3，由所有分块直方图组合成整个视频帧的直方图，表示为 hk(f)表示帧中第k个分块上的直方图，1≤k≤9；
步骤2包括以下步骤：
步骤2-1，通过计算对应分块直方图的距离的加权和，得到相邻的第i个视频帧fi与第i+1个视频帧fi+1之间的相似度di，计算公式为：
其中，hk(fi)表示第i个视频帧fi中第k块的直方图，dis()表示相邻视频帧中对应分块之间的距离，wk表示第k块的权值，wk的取值范围[0，1]，并且满足关系式：
步骤2-2，通过计算视频中所有连续帧之间的相似度，得到一组相似度的序列，即视频数据的中间表示，对于一段长度为n的视频，其相似度序列Ω表示为，
Ω={d1,d2,...di...,dn-1}，
步骤2-3，去噪，在相似度序列Ω上采用如下函数进行滤波得到平滑后的相似度序列Ω′，计算公式为：
2 2
Ω′=Ω*exp(-x/(2·σ)),x∈(-σ,σ)，
其中，exp()表示以自然对数e为底的指数函数，σ为函数的宽度参数，取值范围为(0，
20]，x为自变量，取值范围为(-σ，σ)；
步骤3中镜头切变边界检测包括以下步骤：
步骤3-1-1，自适应阈值计算，利用基本门限法寻找阈值，包括利用初始阈值做初步分割，初始阈值为相似度序列Ω′中所有相似度值的算术平均值，对分割出的两组数据分别计算算术平均值，将得到的两个算术平均值再做算术平均得到新的阈值，之后再利用新的阈值进行迭代，直到阈值开始呈现收敛趋势，即得到最终阈值threshold；
步骤3-1-2，镜头切变边界的确定，基于上一步所得最终阈值threshold，选取相似度序列Ω′中大于最终阈值threshold的位置作为镜头切变边界的位置，切变边界的集合hc(Ω′)为：
其中，l是相似度序列Ω′的长度，d′m表示相似度序列Ω′上第m个值，m取值范围为[1，l]，sig()是信号函数，当值d′m大于或等于最终阈值threshold返回值为1，否则返回0，max()是求最大值函数；
步骤3中镜头渐变边界检测包括以下步骤：
步骤3-2-1，标准模板提取，用傅里叶函数拟合一组预先采集的镜头渐变边界，得到一组统一的光滑曲线表示；
其中，消融式镜头渐变边界的曲线为单峰波形，淡入淡出式镜头渐变边界的曲线是双峰波形，包括左峰大右峰小、左峰小右峰大、两峰等高三类；
对四类曲线进行标准化校准，分别对每类中所有曲线进行叠加平均得到各自标准模板Fs(t)，即三个标准的淡入淡出渐变边界模板和一个标准的消融模板；
步骤3-2-2，候选渐变边界检测，根据渐变边界处呈现剧烈的递增与递减趋势，采用基于逆序对计数的算法检测候选镜头渐变边界，具体如下，
在相似度序列Ω′上找到相邻的相似度值递增段和相似度值递减段，其中间的分块即为候选渐变边界；使用长度为W的滑动窗口在相似度序列Ω′上滑动，得到一组局部的相似度序列Um，
Um={d′m,d′m+1,...,d′m+w-1}，
d′m为在滑动窗口内相似度序列Ω′上第m个值，令 和 分别表示局部的相似度序列Um中逆序对和顺序对的个数，如果 则判定局部的相似度序列Um为相似度值递减段，否则如果 则判定局部的相似度序列Um为相似度值递增段，μ为可变常数，取值范围为0～10；将被滑动窗口包含的相似度序列Ω′上第a个和b个的值设定为da和db，若a>b，并且da步骤3-2-3，渐变边界识别，用傅里叶函数拟合上步候选渐变边界，得到候选渐变边界的曲线表示，然后利用步骤3-2-1中的标准化校准后得到的校准后曲线F(t)，根据如下差异函数确定候选渐变边界是否为真实的渐变边界：
其中，T为候选边界的时间长度，t为自变量，取值范围[0，T]，F(t)是标准化校准后曲线的函数，Fs(t)是各自标准模板曲线的函数；如果差异函数的值小于等于0.1T则认为匹配成功，当多个标准渐变模板匹配成功时，选择差异函数的值最小的标准渐变模板作为匹配的渐变边界，并确定候选渐变边界的渐变类型为该标准渐变模板的类型。
2.如权利要求1所述的一种镜头边界检测方法，其特征在于，步骤3中对所有四类曲线进行标准化校准，包括如下步骤：
步骤3a，对曲线的幅值进行归一化：将曲线的纵轴方向的值除以曲线上最大的纵轴方向值；
步骤3b，在所有曲线中，随机选取一个作为标准曲线，令点A，B，C分别表示淡入淡出标准曲线的左峰最高点，中间波谷最低点，右波峰最高点，令点P表示消融标准曲线的单峰最高点，其它曲线分别通过以下方法进行曲线校准：
其中，令点A′，B′，C′分别表示淡入淡出一被校准曲线的左峰最高点，中间波谷最低点，右波峰最高点，当被校准曲线的坐标轴通过左右滑动找到(A，A′)，(B，B′)，(C，C′)这三对点的欧式距离之和最小的位置为校准；令点P′表示消融曲线某待校准曲线单峰最高点，当被校准曲线的坐标轴通过左右滑动找到(P，P′)这对点欧式距离最小的位置为校准位置。

一种镜头边界检测方法\n技术领域\n[0001] 本发明涉及一种基于自适应阈值和傅里叶函数拟合的镜头边界检测方法，特别涉及对淡入、淡出、消融特效的镜头渐变边界的检测方法。\n背景技术\n[0002] 随着多媒体信息技术迅速发展，大量的视频数据开始涌入人们的日常生活，常见的如新闻、广告、电影等。海量视频数据的出现，极大地推动了视频存档、编目以及索引技术的进步。自动检测镜头边界作为以上技术的基础，近年来得到了广泛的研究与应用。镜头边界有两种最基本的类型，一种是切变边界，指从一个镜头直接切换到另外一个镜头，中间不存在任何连续性的过渡，相邻两帧之间在内容、颜色上都存在非常明显的差异；另一种是渐变边界，镜头连接处加入了时间或空间上的变换，边界不如切变类型清晰。渐变边界可以细分为很多种类型，常见的有淡入、淡出和消融。现存的镜头边界检测方法主要是基于像素，直方图，边缘，运动向量等特征实现镜头边界检测。这些方法对于切变边界检测已经取得较好的效果，但是这些方法通常都会受到阈值选取问题的困扰，过大或过小的阈值都会影响检测的精确度和召回率，目前的切变边界检测希望能够摆脱阈值设置的烦恼，自动完成检测；对于镜头渐变边界来说，其检测结果仍不能达到人们的预期，直至如今面临两个主要问题：第一是如何精确定位渐变边界；第二是准确地识别渐变边界的类型。\n发明内容\n[0003] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种镜头边界检测方法，从而提高视频镜头边界检测的精度和召回率。\n[0004] 为了解决上述技术问题，本发明公开了一种镜头边界检测方法，包括以下步骤：\n[0005] 步骤1，视频帧特征表示：计算视频中每一帧在HSV(Hue,Saturation,Value)颜色空间上的非均匀分块直方图作为视频帧的特征表示；\n[0006] 步骤2，生成相似度序列：通过计算对应分块直方图的距离的加权和得到相邻视频帧的相似度，将视频中所有相邻视频帧的相似度组成序列即为相似度序列；\n[0007] 步骤3，对镜头边界的确定：\n[0008] 步骤3-1，镜头切变边界检测，根据相似度序列，利用自适应阈值算法计算出阈值，大于该阈值的相邻视频帧为镜头切变边界；\n[0009] 步骤3-2，镜头渐变边界检测，根据相似度序列，利用逆序对计数的算法找到候选渐变边界，用傅里叶函数拟合形成统一表示，通过对比候选渐变边界与标准渐变模型来确认渐变边界以及渐变类型。\n[0010] 本发明中，视频帧特征表示包括以下步骤：\n[0011] 步骤1-1，以3:5:3的比率同时将视频帧长和宽分为三段，从而将视频帧分割为9个分块；\n[0012] 步骤1-2，在每个分块上分别计算基于HSV颜色空间的分块直方图；\n[0013] 步骤1-3，由所有分块直方图组合成整个视频帧的直方图，表示为\nhk(f)表示帧f中第k个分块上的直方图，1≤k≤9。\n[0014] 本发明中，步骤2包括以下步骤：\n[0015] 步骤2-1，通过计算对应分块直方图的距离的加权和，得到相邻的第i个视频帧fi与第i+1个视频帧fi+1之间的相似度di，计算公式为：\n[0016] \n[0017] 其中，hk(fi)表示第i个视频帧fi中第k块的直方图，dis()表示相邻视频帧中对应分块之间的距离，wk表示第k块的权值，wk的取值范围[0，1]，并且满足关系式：\n[0018] \n[0019] 步骤2-2，通过计算视频中所有连续帧之间的相似度，得到一组相似度的序列，即视频数据的中间表示，对于一段长度为n的视频，其相似度序列Ω表示为，\n[0020] Ω＝{d1，d2，…di…，dn-1}，\n[0021] 步骤2-3，去噪，在相似度序列Ω上采用长度为2·σ的一元高斯函数进行滤波得到平滑后的相似度序列Ω′，计算公式为：\n[0022] Ω′＝Ω*exp(-x2/2·σ2)，x∈(-σ，σ)，\n[0023] 其中，exp()表示以自然对数e为底指数函数，σ为函数的宽度参数，取值范围为（0，20]，x为自变量取值范围为（-σ，σ）。\n[0024] 本发明中，步骤3中镜头切变边界检测包括以下步骤：\n[0025] 步骤3-1-1，自适应阈值计算，利用基本门限法寻找阈值，包括利用初始阈值做初步分割，初始阈值为相似度序列Ω′中所有相似度值的算术平均值，对分割出的两组数据分别计算算术平均值，将得到的两个算术平均值再做算术平均得到新的阈值，之后再利用新的阈值进行迭代，直到阈值开始呈现收敛趋势，即的到最终阈值threshold；\n[0026] 步骤3-1-2，镜头切变边界的确定，基于上一步所得最终阈值threshold，选取相似度序列Ω′中大于最终阈值threshold的位置作为镜头切变边界的位置，切变边界的集合hc(Ω′)为：\n[0027] \n[0028] 其中，l是相似度序列Ω′的长度，dm表示相似度序列Ω′上第m个值，m取值范围为[1，l]，sig()是信号函数，当值dm大于或等于最终阈值threshold返回值为1，否则返回0，max()是求最大值函数。\n[0029] 本发明中，步骤3中镜头渐变边界检测包括以下步骤：\n[0030] 步骤3-2-1，标准模板提取，用傅里叶函数拟合一组预先采集的镜头渐变边界，得到一组统一的光滑曲线表示；\n[0031] 其中，消融式镜头渐变边界的曲线为单峰波形，淡入淡出式镜头渐变边界的曲线是双峰波形，包括左峰大右峰小、左峰大右峰小、两峰等高三类；\n[0032] 对四类曲线进行标准化校准，分别对每类中所有曲线进行叠加平均的得到各自标准模板Fs(t)，即三个标准的淡入淡出渐变边界模板和一个标准的消融模板；\n[0033] 步骤3-2-2，候选渐变边界检测，根据渐变边界处呈现剧烈的递增与递减趋势，采用基于逆序对计数的算法检测候选镜头渐变边界，具体如下，\n[0034] 在相似度序列Ω′上找到相邻的相似度值递增段和相似度值递减段，其中间的分块即为候选渐变边界；使用长度为W滑动窗口在相似度序列Ω′上滑动，得到一组局部的相似度序列Um，\n[0035] Um＝{d′m，d′m+1，...，d′m+w-1}，\n[0036] d′m为在滑动窗口内相似度序列Ω′上第m个值，令 和 分别表示局部的相似度序列Um中逆序对和顺序对的个数，如果 则判定局部的相似度序列Um为相似度值递减段，否则如果 则判定局部的相似度序列Um为相似度值递增段，μ为可变常数，取值范围为0~10；将被滑动窗口包含的相似度序列上Ω′第a个和b个的值设定为da和db，若a>b，并且dab，并且dab，并且da