一种IP视频实时监控方法与系统

暂无

一种IP视频实时监控方法与系统\n技术领域\n[0001] 本发明涉及一种互联网视频监控方法，特别是涉及一种IP视频实时监控方法与系统。\n背景技术\n[0002] 2011 年中国网络视频市场规模达到了63 亿元，较2010 年增长99.9%，同期网络视频用户数量从2.31 亿增至3.27 亿。网络视频以90%的网民渗透率在2012年5月超越搜索，成为第一大互联网应用。发展快、监管难是目前网络视频发展的主要特征。国内视频分享网站的各类视听节目中，电影、电视剧、动漫等影视作品占全部节目的比重接近30%，对这些网络影视剧来说，面临的主要监管问题是盗版侵权严重，许多网络视频还充暴力、血腥、情色内容。\n[0003] 但是，在目前情况下，网络视频监管缺乏统一的监管技术体系架构，至今也没有成熟、高效的高速网络视频监管系统给出，所采用的监管技术仍然存在3个主要问题。\n[0004] 1）盗版仍然是网络视频行业的首要问题，目前技术上仍无有效手段实时发现盗版行为、实时控制盗版行为。\n[0005] 从控制传播过程来控制网络视频盗版是解决盗版问题的可行途径，但面临很多技术难题。一是盗版发现不及时问题。目前，骨干传输通路速度普遍达到10Gbps以上，在该速率下，如何从海量传播数据中发现盗版数据是面临的首要问题；二是盗版实时控制问题。盗版片源一旦在网络上出现，就急速裂变传播，对其有效管控的核心是“实时”；亟需能够线速甄别盗版视频、线速管控的网络设备。必须从技术上给出能够实时发现盗版行为并且能实时管控盗版行为的新系统。\n[0006] 2）不良视听内容长期充斥网络视频中，需要提出新的技术手段有效改变这一局面[0007] 从控制传播过程来控制不良视听内容是有效地解决该问题的可行途径，但面临很多技术难题。与盗版传播控制类似的，同样面临不良视听内容的实时发现问题和实时控制问题。而且，与盗版问题相比,不良视听内容管控的实时性要求和紧迫度更高。亟需能够线速甄别不良视听内容、线速管控的网络系统。\n[0008] 可以预期，若将传播过程监管与网站本身审查机制相结合,必能有效改观当前不良视听内容长期充斥网络的现象。\n[0009] 3)网络视频内容篡改愈演愈烈，存在重要安全威胁\n[0010] 篡改内容检测目前除了依靠视频网站本身审查机制外，暂无其他高效解决方法，与不良视听内容监管类似，同样面临3个问题，所采用的也是事后封堵策略。从视频篡改被发现到视频有效得到管控的周期长，不良影响已造成。\n[0011] 针对上述问题，在视频传播过程中即对热播视频实施实时地篡改检测和管控是有效解决该问题的可行途径，但面临2个核心技术难题，即如何从海量信息中实时抓取需监控的热播视频、如何实时检测出视频某帧被篡改是两个核心问题。\n发明内容\n[0012] 本发明的目的是：为了解决互联网视频传播过程中对热播视频实施实时的内容检测和管控问题，本发明提出了一种基于串接方式的IP视频监控方法与系统。\n[0013] 本发明的技术方案是：一种IP视频实时监控系统，包括管理单元、串接前端单元、视频特征比对单元、视频母本特征库，其中，管理单元是系统配置管理、数据管理的中心，用于产生指令以及控制系统中其他各个单元；串接前端单元用于串接到互联网线路中，执行数据筛选动作；视频特征比对单元用于提取样本视频特征，并与视频母本特征库中的母本视频特征进行比对；视频母本特征库用于存放母本视频特征信息，针对每条视频特征库中的母本视频特征，视频母本特征库都有对应的用户处理策略。\n[0014] 进一步地，管理单元采用DELL服务器，串接前端单元采用高速互联网串接管控单元，视频特征比对单元采用DELL高性能通用服务器，视频母本特征库采用HP高性能数据库服务器，系统各个单元之间采用H3CS5500交换机进行互联。\n[0015] 一种IP视频实时监控方法,其特征在于，主要包括如下步骤：\n[0016] 步骤A：预先将关注的视频数据提取母本特征信息，并将母本特征信息导入视频母本特征库，针对每条视频特征库中的母本视频特征，视频母本特征库都有对应的用户处理策略；\n[0017] 步骤B：IP视频流数据报文被串接前端单元利用预处理规则筛选出，通过重新封装后推送到视频特征比对单元；\n[0018] 步骤C：视频特征比对单元完成IP视频流数据协议还原，并提取对应视频数据的特征，与视频母本特征库中预存的母本特征进行比对，将比对结果输出到管理单元；\n[0019] 步骤D：管理单元汇总视频特征比对单元输出的比对结果与预置的用户策略，生成反馈配置信息并将其发送到串接前端单元；\n[0020] 步骤E: 串接前端单元根据反馈配置信息采用精确匹配规则对视频流实施干预和控制。\n[0021] 进一步地，步骤B中串接前端单元采用串接方式连接到互联网线路中，串接前端单元线路接口类型与所接入的线路匹配，串接前端单元筛查流经其的所有IP网络数据流，并且串接前端单元为透明传输模式。\n[0022] 进一步地，步骤B中视频流预处理规则与步骤E中精确匹配规则均采用同一TCAM规则空间实现，利用TCAM规则放置位置实现规则的优先级，数据流命中不同区域规则产生不同的处理动作。\n[0023] 进一步地，步骤B的具体过程为：IP视频流数据报文被串接前端单元利用预处理规则筛选出，将筛选出的视频流数据报文剥离原二层数据帧头部，重新封装为以太网数据包，通过直连或者以太网交换网络推送到视频特征比对单元。\n[0024] 进一步地，步骤C中视频特征的提取是依据样本视频逐帧提取后形成的，步骤A中母本特征的提取与步骤C中视频特征的提取方法相同。\n[0025] 进一步地，步骤A中关注的视频数据为非直播节目时，将关注的视频文件预先利用离线处理方式提取出母本视频特征，通过管理单元导入到视频母本特征数据库中。\n[0026] 进一步地，步骤A中关注的视频数据为直播节目时，可将视频特征提取模块部署在节目源附近，利用节目实际在网络上播出时间（t1）与节目制作时间（t0）的时间差，节目播控平台将节目推送到网络之前同步复制一份视频原始数据到视频特征提取模块，提取后的特征可以利用网络发送到管理单元部署节点位置插入视频母本特征库。\n[0027] 进一步地，步骤C中视频特征比对单元将一致性比对的结果结合缓存的该视频流数据对应的IP头地址信息，组成最终的比对结果输出到管理单元。\n[0028] 本发明的有益效果是：\n[0029] 1）系统中串接前端单元采用预特征规则对视频流的筛选显著降低了视频特征比对单元协议还原模块的压力；\n[0030] 2）系统对数据流的处理完全线速，对视频协议交互完全透明，实现用户无感的干预效果；\n[0031] 系统中管控单元可实现比对结果全自动化处理，消除了人工比对的时效瓶颈；\n[0032] 3）系统部署灵活，各个组成部分均可以根据实际应用环境需求和成本需求采用分布式或者集中式部署。\n附图说明\n[0033] 为了更清楚地说明本发明实施例的技术方案，下面结合附图和实施例对本发明作进一步介绍。\n[0034] 图1为本发明提供的一种IP视频实时监控系统结构示意图；\n[0035] 图2为本发明提供的一种IP视频实时监控方法示意图；\n[0036] 图3为本发明提供的系统中串接单元对数据流规则匹配顺序示意图；\n[0037] 图4为本发明提供的系统离线处理流程示意图；\n[0038] 图5为本发明提供的系统在线处理流程示意图；\n[0039] 图6为本发明提供的系统中视频特征比对单元对输入其中的视频数据包的处理示意图；\n[0040] 图7为本发明提供的实施例示意图；\n具体实施方式\n[0041] 本发明的基本思想是利用串接管控技术结合视频流特征提取比对技术，实现对互联网视频节目的内容级实时检测与管控。\n[0042] 图1、图7实现了一套IP视频实时监控系统的部署，系统包括管理单元、串接前端单元、视频特征比对单元、视频母本特征库，其中，管理单元是系统配置管理、数据管理的中心，用于产生指令以及控制系统中其他各个单元；串接前端单元用于串接到互联网线路中，执行数据筛选动作；视频特征比对单元用于提取样本视频特征，并与视频母本特征库中的母本视频特征进行比对；视频母本特征库用于存放母本视频特征信息，针对每条视频特征库中的母本视频特征，视频母本特征库都有对应的用户处理策略，其中，串接前端单元采用信息工程大学信息技术研究所研制的高速互联网串接管控单元，线路侧接口为10GE，直接连接实验网路由器对应10GE接口，串接管控单元采用线速帧过滤技术，IPv4五元组规则表项达到50万条，IPv6五元组规则表项10万条，特征码规则表项3000条，针对命中数据流处理动作为丢弃（drop）或者重定向（Redirection）；管理单元采用通用DELL服务器实现，部署本地视频特征提取模块、视频特征库管理模块、远程管理模块等；视频特征库采用HP高性能数据库服务器实现，部署数据库采用的是MySQL，配置1T硬盘，表项可达10000条目；视频特征比对单元采用的是DELL高性能通用服务器，部署视频协议还原模块、本地视频特征提取模块与视频特征比对模块；系统各个单元之间采用H3C S5500交换机进行互联。\n[0043] 图1中系统两侧线路路由器分别连接测试用IPTV播控平台和客户端，采用20路标清节目，节目采用的传输方式为MPEG-2 TS over UDP方式，每路节目码流速率约为4Mbps，并使用网络测试仪加载背景IP流量，随机包长，大小为8Gbps。\n[0044] 实施流程如下：\n[0045] 首先按照附图4所示的离线处理流程，步骤如下：\n[0046] 步骤101，将20路标清节目导入到管理单元上，由管理单元的视频特征提取模块分别对20路节目提取特征文件。\n[0047] 步骤102，管理单元将步骤101提取的特征文件自动插入到视频特征数据库中。\n[0048] 步骤103，用户通过管理单元针对每条视频特征表项制定对应用户处理策略，策略分别有：阻断、放行、通知，其中针对全局阻断策略，还需要定制精确流规则的老化时间，即当某段视频特征匹配并被阻断时，在一段时间后规则老化，避免由于部分数据流长时间被阻断而导致对应IP地址不可用。\n[0049] 离线处理流程实际上是系统的预配置过程，系统上线工作后即按照在线处理处理流程工作。参考附图5在线处理流程步骤如下：\n[0050] 步骤201，用户通过管理单元配置串接前端单元，使用预处理规则匹配所有的MPEG-2 TS over UDP数据流，匹配动作为重定向到视频特征比对单元与串接处理单元连接对应的GE端口。需要说明的是，系统中视频特征比对单元是可扩展的，而同一视频数据流的同源同宿特性由串接前端单元保证，串接前端单元可以以所有正在使用视频特征比对单元GE接口以太网MAC地址集合作为Hash桶，采用对视频数据流IP五元组进行Hash计算，保证一条数据流在某个时刻只会送到一个固定的视频特征比对单元。\n[0051] 步骤202，参考附图6，视频特征比对单元收到推送到的视频数据流后，首先进行协议还原，将IP数据包还原为视频帧格式流媒体文件，然后通过视频特征提取模块逐帧提取特征信息，根据特征索引信息尝试匹配视频特征数据库中的视频特征值存档。\n[0052] 步骤203，视频特征比对单元将一致性比对的结果结合缓存的该视频流媒体对应数据流IP头地址信息，组成最终的比对结果输出到管理单元，即最终结果应包含如下信息：\n视频特征索引、视频数据流IP五元组信息、视频特征比对结果（True或者False）、视频特征比对详细定位信息（在有匹配值的情况下有效）、用户策略（在有匹配值的情况下有效）[0053] 步骤204，管理单元收到最终结果后，综合结果中用户策略定义和视频数据流IP五元组信息，如果用户策略为“判断篡改后进行阻断”，则生成一条精确数据流匹配规则。\n[0054] 步骤205，精确流匹配规则下发到串接前端单元后，当前IP视频数据流将会被串接前端单元阻断，同时，串接前端单元根据离线处理流程中步骤103定义精确流规则老化时间启动规则定时器，在老化时间到达时自动删除该精确流规则。\n[0055] 最后应当说明的是，上述实施例仅是本发明的优选实施方式，并不用以限制本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干修改，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。