用于检测新闻主持人镜头的方法和装置

1.一种检测新闻主持人镜头的方法，所述方法包括：
将活动图像分离为音频信号和视频信号；
使用视频信号来确定镜头之间的边界；以及
使用所述边界来从音频信号提取具有大于第一门限值的长度的镜头和具 有大于第二门限值的长度的无声部分，并且将所提取的镜头确定为新闻主持 人语音镜头。
2.按照权利要求1的方法，其中，确定镜头之间的边界包括将在运动图 像中存在较大改变的部分确定为边界。
3.按照权利要求2的方法，其中，在确定镜头之间的边界时，通过感测 运动图像的亮度、色量和运动中至少一个的改变来确定边界。
4.按照权利要求1的方法，还包括下采样音频信号，并且具有大于第一 门限值的长度的镜头和具有大于第二门限值的长度的无声部分利用所述边界 从下采样的音频信号提取，并且确定为新闻主持人语音镜头。
5.按照权利要求4的方法，其中，新闻主持人语音镜头的确定包括：
使用镜头之间的边界来获得每个镜头的长度；
从镜头选择具有大于第一门限值的长度的镜头；
获得每个所选择的镜头的无声部分的长度；以及
从所选择的镜头提取具有长度大于第二门限值的无声部分的镜头。
6.按照权利要求5的方法，其中，每个所选择的镜头的无声部分的长度 的获得包括：
获得在每个所选择的镜头中包括的每个帧的能量；
使用所述能量来获得无声门限值；
使用所述无声门限值来确定每个所选择的镜头的无声部分；以及
计数在所述无声部分中包括的帧的数量，并且将计数结果确定为所述无 声部分的长度。
7.按照权利要求6的方法，其中通过下式给出在每个所选择的镜头中包 括的每个帧的能量：
$E_i=\frac{\sqrt{\underset{n=1}{\overset{f_d{t}_f}{\Sigma }}\mathrm{pc}{m}_n^2}}{f_d{t}_f}$
其中，Ei是在每个镜头中包括的帧中第i个帧的能量，fd是下采样音频信 号的频率，tf是第i个帧的长度，pcm是在第i个帧中包括的每个采样的脉冲 编码调制(PCM)值。
8.按照权利要求6的方法，其中无声门限值的获得包括：
将每个能量表达为整数；
使用被表达的结果来获得帧相对于能量的分布；并且
将帧相对于能量的分布中的参考能量确定为无声门限值，以及
相对于等于或小于窗口能量的能量分布的帧的数量大致等于对应于在所 选择的镜头中包括的帧的总数的预定百分比的数量。
9.按照权利要求5的方法，其中，新闻主持人语音镜头的确定包括：仅 仅从所提取的镜头中选择具有较大长度的预定百分比的镜头，并且将所选择 的镜头确定为新闻主持人语音镜头。
10.按照权利要求6的方法，其中，在计数帧数量时，不计数每个所选 镜头的最后帧。
11.按照权利要求6的方法，其中，当连续地存在具有大于无声门限值 的能量的帧时，停止计数帧数量。
12.按照权利要求1的方法，还包括：
从新闻主持人语音镜头分离包括多个新闻主持人的语音的多个新闻主持 人的语音镜头；
分组从新闻主持人语音镜头排除了所述多个新闻主持人的语音镜头之外 的新闻主持人的语音镜头，分组所述多个新闻主持人的语音镜头，并且将分 组结果确定为相似组；以及
获得每个相似组的代表值作为新闻主持人语音模型。
13.按照权利要求12的方法，其中从新闻主持人语音镜头分离多个新闻 主持人的语音镜头包括：
从每个新闻主持人语音镜头中去除无声帧和辅音帧；以及
获得按照从中去除了无声帧和辅音帧的每个新闻主持人语音镜头中包括 的每个帧的每个系数的唛耳频率对数倒频谱系数(MFCC)，并且使用所述 MFCC来检测多个新闻主持人的语音镜头。
14.按照权利要求13的方法，其中，无声帧的去除包括：
获得在每个新闻主持人语音镜头中包括的每个帧的能量；
使用所述能量来获得无声门限值；
使用所述无声门限值来确定每个新闻主持人语音镜头的无声部分；以及
从每个新闻主持人语音镜头去除在被确定的无声部分中包括的无声帧。
15.按照权利要求13的方法，其中，辅音帧的去除包括：
获得在每个新闻主持人语音镜头中包括的每个帧中的过零率；
使用在每个新闻主持人语音镜头中包括的每个帧中的过零率来确定辅音 帧；以及
从每个新闻主持人语音镜头去除所确定的辅音帧。
16.按照权利要求15的方法，其中，通过下式来给出过零率(ZCR)：
$\mathrm{ZCR}=\frac{\#}{f_d{t}_f}$
其中，#是在脉冲编码调制数据中的分贝值中的符号改变的数量，fd是下 采样音频信号的频率，tf是其中获得所述ZCR的帧的长度。
17.按照权利要求15的方法，其中，辅音帧的确定包括：
获得在新闻主持人语音镜头中包括的帧的过零率的平均值；以及
将具有大于所述平均值的倍数的过零率的帧确定为在每个新闻主持人语 音镜头中的辅音帧。
18.按照权利要求13的方法，其中多个新闻主持人的语音镜头的检测包 括：
对于从中去除了无声帧和辅音帧的每个新闻主持人语音镜头，在具有预 定长度的窗口以预定的时间间隔移动的同时获得按照在每个窗口中包括的帧 的每个系数的MFCC的平均值；
获得在相邻窗口之间的MFCC的平均值之间的差；以及
对于从中去除了无声帧和辅音帧的每个新闻主持人语音镜头，将所述新 闻主持人语音镜头确定为具有大于第三门限值的差的多个新闻主持人的语音 镜头。
19.按照权利要求13的方法，其中，在多个新闻主持人的语音镜头的检 测时，在从中去除了无声帧和辅音帧的每个新闻主持人语音镜头包括的每个 帧中获得按照每个系数和在预定频率带宽中的功率谱密度(PSD)的MFCC， 并且使用按照每个系数和PSD的MFCC来检测多个新闻主持人的语音镜头。
20.按照权利要求19的方法，其中多个新闻主持人的语音镜头的检测包 括：
对于从中消除了无声帧和辅音帧的每个新闻主持人语音镜头，在具有预 定长度的窗口以预定的时间间隔移动的同时，获得按照在每个窗口中包括的 每个帧的每个系数和在预定频率带宽中的PSD的平均分贝值的MFCC的平均 值；
获得在相邻的窗口WD1和WD2之间的MFCC的平均值之间的差Δ1和 在相邻的窗口WD1和WD2之间的PSD的平均分贝值之间的差Δ2；
在从中去除了无声帧和辅音帧的每个新闻主持人语音镜头中获得所述差 Δ1和Δ2的加权和；以及
将具有大于第四门限值的加权和的新闻主持人语音镜头确定为独个新闻 主持人语音镜头。
21.按照权利要求12的方法，其中新闻主持人的语音镜头的分组和确定 相似组包括：
获得在每个新闻主持人的语音镜头中的MFCC的平均值；
当使用按照两个新闻主持人的语音镜头的每个系数的MFCC的平均值计 算的MFCC距离是在新闻主持人语音镜头之中最近的并且小于第五门限值 TH5时，所述两个新闻主持人语音镜头被确定为相似候选镜头；
获得在相似候选镜头的预定频率带宽中的PSD的平均分贝值之间的差；
当在平均分贝值之间的差小于第六门限值时，分组相似候选镜头，并且 将被分组的相似候选镜头确定为相似组；并且
确定是否分组所有的；以及
如果确定所有的新闻主持人语音镜头未被分组，则执行：确定相对于其 他两个新闻主持人的语音镜头的相似候选镜头，获得所述差，并且确定相似 组。
22.按照权利要求19的方法，其中，所述预定频率带宽是100-150Hz。
23.按照权利要求21的方法，其中，分组新闻主持人的语音镜头和确定 相似组还包括：当在PSD的平均分贝值之间的差不小于第六门限值时，向相 似候选镜头分配标记，以及
在向相似候选镜头分配所述标记后，不再执行：确定相对于分配了所述 标记的相似候选镜头的相似候选镜头、获得所述差和确定相似组。
24.按照权利要求12的方法，其中，所述代表值是按照属于相似组的镜 头的每个系数的MFCC的平均值和属于相似组的镜头的预定频率带宽中的 PSD的平均分贝值。
25.按照权利要求12的方法，还包括：使用关于在每个相似组中包括的 帧中初始帧的信息来产生分离的语音模型。
26.按照权利要求12的方法，还包括产生新闻主持人图像模型。
27.按照权利要求26的方法，还包括：比较所产生的新闻主持人图像模 型与每个被划分的镜头的关键帧，并且检测新闻主持人语音镜头。
28.按照权利要求25的方法，还包括产生新闻主持人图像模型。
29.按照权利要求28的方法，还包括：比较所产生的新闻主持人图像模 型与每个被划分的镜头的关键帧，并且检测新闻主持人语音镜头。
30.按照权利要求29的方法，还包括：使用分离的语音模型和新闻主持 人语音模型来验证新闻主持人候选镜头是否是包括新闻主持人图像的实际新 闻主持人镜头。
31.按照权利要求26的方法，其中，使用新闻主持人语音镜头来产生所 述新闻主持人图像模型。
32.按照权利要求26的方法，其中，使用可视信息来产生所述新闻主持 人图像模型。
33.按照权利要求26的方法，其中，使用相似组来产生新闻主持人图像 模型。
34.按照权利要求30的方法，其中，验证新闻主持人候选镜头是否是实 际的新闻主持人镜头包括：
使用在检测新闻主持人候选镜头中获得的、产生新闻主持人候选镜头的 时间来获得每个新闻主持人候选镜头的代表值；
获得在每个新闻主持人候选镜头的代表值和新闻主持人语音模型之间的 差；
获得所述差和在检测新闻主持人候选镜头中获得的新闻主持人候选镜头 与相对于每个新闻主持人候选镜头的新闻主持人语音模型之间的色差信息的 加权和；以及
当所述加权和小于第七门限值时，将所述新闻主持人候选镜头确定为实 际新闻主持人镜头。
35.一种检测新闻主持人镜头的装置，所述装置包括：
信号分离单元，用于将活动图像分离为音频信号和视频信号；
边界确定单元，用于使用视频信号来确定镜头之间的边界；以及
新闻主持人语音镜头提取单元，用于使用所述边界来从音频信号提取具 有大于第一门限值的长度的镜头和具有大于第二门限值的长度的无声部分， 并且将所提取的镜头输出为新闻主持人语音镜头。
36.按照权利要求35的装置，还包括下采样单元，用于下采样所分离的 音频信号，并且所述新闻主持人语音镜头提取单元提取长度大于第一门限值 的镜头作为新闻主持人语音镜头，并且使用所述边界从被下采样的音频信号 提取长度大于第二门限值的无声部分。
37.按照权利要求35的装置，还包括：
镜头分离单元，用于从新闻主持人语音镜头分离包括新闻主持人的语音 的镜头；
镜头分组单元，用于分组从新闻主持人语音镜头排除了包括所述新闻主 持人的语音之外的多个新闻主持人的语音镜头的新闻主持人的语音镜头，分 组所述多个新闻主持人的语音镜头，并且将分组结果确定为相似组；以及
代表值产生单元，用于计算每个相似组的代表值，并且输出计算结果作 为新闻主持人语音模型。
38.按照权利要求37的装置，还包括分离语音模型产生单元，用于使用 关于在每个相似组中包括的每个镜头的帧中的初始帧的信息来产生分离的语 音模型。
39.按照权利要求37的装置，还包括图像模型产生单元，用于产生新闻 主持人图像模型。
40.按照权利要求39的装置，还包括新闻主持人候选镜头检测单元，用 于比较所产生的新闻主持人图像模型与每个所划分出的镜头的关键帧，并且 检测新闻主持人候选镜头。
41.按照权利要求38的装置，还包括图像模型产生单元，用于产生新闻 主持人语音模型，
42.按照权利要求41的装置，还包括新闻主持人候选镜头检测单元，用 于比较被产生的新闻主持人图像模型与每个所划分出的镜头的关键帧，并且 检测新闻主持人候选镜头。
43.按照权利要求42的装置，还包括新闻主持人镜头验证单元，用于使 用分离的语音模型和新闻主持人语音模型来验证新闻主持人候选镜头是否是 包括新闻主持人图像的实际新闻主持人镜头。

暂无