基于内容分析的视频搜索系统

1.一个基于内容的视频搜索系统，其特征在于：包括：
一个视频内容分析系统，用于对视频结构化信息、关键帧图片 的分析和提取；
一个语音内容分析系统，用于音频分类、语音提取和识别、拼 音图生成；
一个字幕内容分析系统，用于字幕的提取和识别；
一个视频分析融合系统，用于将视频、语音、字幕分析系统得 到的信息进行融合，从而形成供视频检索系统使用的节目内容信息， 如视频结构化信息、语音信息和文字信息；
一个视频搜索调度系统，用于接受用户查询请求，分析用户的 请求并将该请求依据一定策略分发到不同的检索服务器上；对于返回 的结果，该系统会依据一定策略进行打分，并按照一定的优先级顺序 返回给用户；
一个元数据检索服务器，用来对视频节目的元数据进行检索；
一个基于内容的视频检索系统，用于保存视频结构化信息、关 键帧、语音、字幕等关键信息，以及作为信息检索使用；
一个分布式语音检索系统，用于对视频节目对应的语音拼音 图进行保存、检索，对拼音图中后验概率最高的语音字符串进行 保存、检索，以及用于缓存条目生成、更新和替换的程序包。
2.如权利要求1所述的基于内容的视频搜索系统，其特征在于：视 频内容分析系统，可分析提取出视频镜头、场景、镜头关键帧、 场景关键帧、关键帧图像信息、人脸信息等视频信息的视频内容 自动分析系统，满足不同的基于内容的检索需求。该系统包括：
一个输入接口，用于接收视频内容分析指令；
一个任务调度模块，用于调度视频分析任务的执行顺序；
一个视频流获取模块，用于依据一定解码规则从外部视频源获取 视频流；
一个视频内容分析模块，用于视频内容结构化分析，其中包括七 个子模块：镜头分割子模块、镜头关键帧提取子模块、场景分割子模 块、场景关键帧提取子模块、关键帧图像分析子模块、人脸分析子模 块；
一个视频内容结构化信息审核模块，用于审核视频内容分析模块 产生的结果是否有误差，并能够对产生误差的地方进行人工修改；
一个输出接口，用于将视频内容分析结果上传到视频信息数据 库；
用户界面，包括一个视频内容分析过程界面和一个视频内容分析 结果审核界面。用于在视频内容分析过程中显示分析进度、分析状态 和分析结果，同时用户可以通过界面修改视频内容分析的结果；
与其他相关系统的接口：与视频融合分析服务器的接口、与视频 信息数据库的接口。
3.如权利要求2所述的基于内容的视频搜索系统，其特征在于：输 入接口，既可以接收用户的分析本地视频命令，也可以通过网络 连接接收来自视频融合分析服务器的视频分析命令。
4.如权利要求2所述的基于内容的视频搜索系统，其特征在于：视 频内容分析模块，镜头分割子模块，能够完成突变和渐变两种镜 头的分割；镜头关键帧提取子模块根据视频镜头分割子模块的结 果，对镜头内的关键帧进行聚类分析，产生能够代表镜头信息的 关键帧。
5.如权利要求2所述的基于内容的视频搜索系统，其特征在于：视 频内容分析模块，其中的场景分割子模块包括两种算法，针对新 闻视频的基于主持人镜头的场景分割算法和针对故事片视频的基 于镜头聚类的场景分割算法。
6.如权利要求2所述的基于内容的视频搜索系统，其特征在于：视 频内容分析模块，其中的场景关键帧提取子模块根据场景分割子 模块的结果，选取场景中包含的镜头的关键帧，进行聚类分析， 产生代表场景信息的关键帧。
7.如权利要求2所述的基于内容的视频搜索系统，其特征在于：视 频内容分析模块，其中的关键帧图像分析子模块，对提取出来的 视频镜头关键帧和视频场景关键帧图像进行颜色、纹理和形状三 种特征的信息提取。
8.如权利要求2所述的基于内容的视频搜索系统，其特征在于：视 频内容分析模块，其中的人脸分析子模块，对视频帧、视频镜头 关键帧和视频场景关键帧进行人脸检测和人脸识别，为视频内容 结构化提供索引信息。
9.如权利要求5所述的基于内容的视频搜索系统，其特征在于：场 景分割子模块，其中的针对新闻视频的基于主持人镜头的场景分 割算法，包含镜头持续时间分析、镜头视频帧直方图距离变化的 方差分析、镜头关键帧人脸检测和镜头关键帧人脸识别算法。
10.如权利要求1所述的基于内容的视频搜索系统，其特征在于：语 音内容分析系统，用以通过对音频信号的分析，满足不同的基于 内容的检索需求，该系统包括：
一个音频流获取模块，用以依据一定解码规则从外部音频源获取 音频流；
一个音频流分段模块，用以对从音频流获取模块获取的音频流进 行分段，使得分段后的每个部分具有单一的声学特征；
一个音频流类型判别模块，用以对从音频流分段模块输出的具有 单一声学特征的音频流进行分析，得到其确定的声学特征；
一个语音流分析模块，用以对音频流类型判别模块判别出的声学 特征为语音的音频流进行识别得到拼音图；
一个基于拼音序列的关键词检索模块，用以对语音流分析模块得 到的拼音图进行检索，对感兴趣的关键词，得到该关键词在音频流中 的位置。
11.如权利要求10所述的基于内容的视频搜索系统，其特征在于：音 频流分段模块，包括三个子模块：检测静音点子模块；检测音频 特征变换点子模块；分段点置信度判断子模块。
12.如权利要求11所述的基于内容的视频搜索系统，其特征在于：检 测静音点子模块通过从音频流中检测静音点以对音频流进行分 段；音频信号的静音点，是通过计算音频信号的能量值得到的； 当音频信号的能量值小于特定阈值时，确定找到音频流中的静音 点。
13.如权利要求11所述的基于内容的视频搜索系统，其特征在于：检 测静音点子模块，其中音频信号能量值的阈值，是通过对一完整 音频信号片段的能量值估计得到的；音频信号的静音点，还是通 过计算音频信号能量值的方差值得到的；当音频信号能量值的方 差值小于特定阈值时，确定音频流中存在静音点；在确定音频流 中存在静音点后，计算音频信号能量值的方差，当音频信号能量 值的方差大于特定阈值时，确定音频流中静音段结束，确定找到 音频流中的静音点；音频信号能量值的方差值的阈值，是通过对 一完整音频信号片段的能量值的方差值估计得到的。
14.如权利要求1所述的基于内容的视频搜索系统，其特征在于：字 幕内容分析系统，包括：
一个字幕分析任务调度模块，主要提供与视频分析调度服务器交 互的接口和提供本地视频文件字幕分析的接口；
一个视频播放模块，主要提供视频文件播放和视频流实时播放功 能；
一个复杂背景去除模块，主要用来将视频图像复杂背景去除，以 减少背景对字幕信息的干扰；
一个字幕自动检测定位模块，主要用来检测视频流中有无字幕信 息并准确定位字幕区域在整个视频中的位置；
一个字幕自适应分割模块，主要对视频字幕区域中的字符进行自 适应的分割以形成单一字符，并对其进行相应的预处理，便于OCR 识别；
一个视频文本信息内容描述模块，主要将OCR识别出来的视频文 本信息通过XML文档的形式以形成对基于内容的视频文本元数据描 述；
一个用户界面，用来显示分析提取出来的视频字幕信息以及其他 信息，其中它包括视频播放界面、提取包含字幕的视频帧界面、字幕 信息界面、任务调度信息界面和控制单元；
15.如权利要求14所述的基于内容的视频搜索系统，其特征在于：字 幕内容分析系统，其中的复杂背景去除模块，通过对视频图像中 复杂背景进行滤波处理，同时增强字幕区域的图像信息。
16.如权利要求14所述的基于内容的视频搜索系统，其特征在于：字 幕内容分析系统，其中的字幕自动检测定位模块，通过灰度变化， 亮度信息边缘检测、水平和垂直形状投影、由粗到精的定位，并 辅之以字幕文本区域预测、长宽比、前背景亮度对比等先验知识 最终完成字幕文本的自动化探测定位。
17.如权利要求14所述的基于内容的视频搜索系统，其特征在于：字 幕内容分析系统，其中的视频字幕自适应分割模块，通过对字幕 区域动态局部阈值二值化，侯选区域增强、垂直投影区域探测完 成单个字符的自适应分割。
18.如权利要求14所述的基于内容的视频搜索系统，其特征在于：字 幕内容分析系统，其中的视频字幕自适应分割模块，将分割得到 单个字符通过OCR识别得到当前视频帧相关的文本信息。
19.如权利要求1所述的基于内容的视频搜索系统，其特征在于：视 频分析融合系统，包括：
一个融合管理单元，主要是将视频、音频、字幕分析的结果进行 提取、优化、融合，进而进行审核、入库；
一个结果审核单元，将视频、音频、字幕分析的结果进行显示， 并且为用户提供接口，使用户通过插入、删除、平移等操作对分析结 果进行修改、细化；
一个核心数据库，以保存整个系统所需要处理的管理任务以及系 统的基本配置信息；
一个设备管理单元，主要监视视频分析服务器、音频分析服务器、 字幕分析服务器、元数据库、特征数据库、流媒体FTP服务器、临 时文件FTP服务器设备的状态；
一个集中控制单元，主要是对整个视频分析系统进行控制，集中 发布命令；
一个基本信息配置单元，主要对整个系统的基本信息进行配置。
20.如权利要求19所述的基于内容的视频搜索系统，其特征在于：视 频分析融合系统，一个视频分析文件需要经过视频分析、音频分 析、字幕分析、人脸分析四种分析以及分析、融合、审核、入库 四个步骤才能够进入到特征分析数据库。
21.如权利要求1所示的基于内容的视频搜索系统，其特征在于：
包括：
一个元数据检索服务器，根据搜索调度服务器的要求对视频节目 的元数据进行检索；
一个字幕检索服务器，用来对存放节目字幕文本的XML文件进 行检索；
一个视频检索集群，用来对视频关键帧的特征数据进行检索；
一个语音检索集群，用来对视频节目的语音信息，包括拼音串和 拼音图进行检索；
一个面向用户的搜索接口：按照约定的报文格式接收用户的搜索 请求并返回搜索结果。
22.如权利要求21所述的基于内容的视频搜索系统，其特征在于： 元数据检索服务器，其中的元数据表包含节目ID，节目名称，导 演，演员，语言，产地，类型1，类型2，文件格式，文件大小， 长度，屏幕宽度，屏幕高度，节目地址，节目文件名，上载时间， 上载地址，上载状态，是否必审，节目级别，审查标志，节目价 格，节目简介，封杀标志字段；其中的元数据检索模块包含一个 根据节目ID来检索节目的存储过程、一个根据组合条件来检索节 目的存储过程；其中的元数据录入模块包含一个将指定元数据信 息插入数据库表的存储过程。
23.如权利要求21所述的基于内容的视频搜索系统，其特征在于： 字幕检索服务器，其中包括一个用来存储字幕XML文件的数据 库表，一个用于存储服务器相关配置信息的表，一个读取配置信 息的存储过程，一个用于XML检索的存储过程，一个用于向数 据库录入XML文件的存储过程和一个XML的分段索引。
24.如权利要求1所述的基于内容的视频搜索系统，其特征在于： 视频搜索调度系统，包括：
一个搜索条件解析模块；
一个搜索条件分发模块；
一个评分策略模块；
一个单类条件搜索结果评分模块；
一个多类条件组合查询结果融合、评分模块；
一个搜索结果生成模块。
25.如权利要求24所述的基于内容的视频搜索系统，其特征在于： 搜索条件解析模块，包含了对搜索请求的分析，并生成多媒体数 据库接受的查询条件。
26.如权利要求24所述的基于内容的视频搜索系统，其特征在于： 搜索条件分发模块，将不同种类搜索条件生成的查询条件分发到 相应的多媒体数据库查询接口。
27.如权利要求24所述的基于内容的视频搜索系统，其特征在于： 评分策略模块，包含了元数据搜索时，计算这个元数据结果评分 时各类元数据域的预设权重，在图像、语音、字幕搜索时出现重 复结果后计算场景结果评分的重复结果预设权重，在多类条件组 合搜索时计算最终结果评分时各类媒体结果的预设权重。
28.如权利要求1所述的基于内容的视频搜索系统，其特征在于：， 一个分布式语音检索系统，包括：
一个语音缓存检索服务器，用于对检索次数最多的热点语音信 息进行保存、检索和维护；
一个语音最优化检索服务器，用于对拼音图中后验概率最高的 语音字符串进行保存、检索；
一个语音拼音图检索服务器，用于对视频节目对应的语音拼音 图进行保存、检索和维护；
一个用于语音缓存数据库中热点语音信息缓存条目(以后简称 缓存条目)生成、更新和替换的程序包。
29.如权利要求28所述的分布式语音检索系统，其特征在于：语音 缓存检索服务器，包括一个保存缓存条目的数据库表，一个用于保存 缓存访问记录的临时表，一个用于保存未检索到的关键词队列的表， 一个用于检索缓存内容的存储过程，一个检索关键词的索引，一个用 于更新缓存条目访问频率的后台作业，一个用于将缓存中检索不到的 关键词插入处理队列的存储过程。

暂无