基于海量视频的事件轨迹快速检索平台

1.一种基于海量视频的事件轨迹快速检索平台，其特征在于：包括目标轨迹时空分析模块、综合调度服务模块、智能视频分析服务模块、资源请求服务模块，以及监控视频网络和平台数据库，其中：
所述目标轨迹时空分析模块包含多个客户端，接受用户发出的实时视频显示、时空关联分析显示控制操作指令，并将指令发送到所述综合调度服务模块；接收用户发出的历史视频检索、案件编辑控制操作指令，并将指令发送到所述资源请求服务模块；
所述综合调度服务模块接收来自目标轨迹时空分析模块的视频处理或调看指令，并根据各智能分析处理单元的当前运行状态，将指令转发到合适的智能分析处理单元，并将智能分析处理单元的处理结果反馈给用户；并且定时接收来自各智能分析处理单元的运行状态报告并广播给所有在线的目标轨迹时空分析模块；
所述智能视频分析服务模块由多个智能分析处理单元构成，其连接所述监控视频网络，并接收经综合调度服务模块转发的来自目标轨迹时空分析模块的指令，根据不同用户的不同请求同时并行对多个视频文件进行智能处理，并将结果返回给综合调度服务模块，再由综合调度服务模块将对应结果反馈给不同的用户；
所述资源请求服务模块与所述平台数据库相连，所述平台数据库中存储了平台所需的资源数据，包括监控网络摄像头分布及网络拓扑关系数据，历史案件的相关信息，资源请求服务模块接收来自所有目标轨迹时空分析模块的数据检索请求，为用户提供所需资源数据的查询及读写操作。

基于海量视频的事件轨迹快速检索平台\n技术领域\n[0001] 本发明涉及一种基于海量视频的事件轨迹快速检索平台，适用于地区公安及派出所、机场、地铁、监控小区等场所，实现跨地区、跨部门、跨平台多方协作处置。\n背景技术\n[0002] 当前，针对智能监控及视频图像检索的需求越来越普遍。相关技术研究取得了一定的成果并形成了相关产品，如美国的IBM I3智能监控系统、美国IBM QBIC系统、以色列ioimage智能视觉监控系统。这些系统或是针对某一特定图像类型的检测，或是针对某一特定区域异常行为的检测，或是某一视频源的智能视频分析，面对不同监控区域中的不同视频格式的海量视频数据，并没有一个完全的系统能够在跨地区、跨部门的范围内实现基于城域范围的海量视频的快速检索这一功能。存在的主要不足之处包括：\n[0003] (1)海量视频数据检索花费大量的人力和物力；\n[0004] 在实际应用中，当突发安全事件之后，还是依靠人的力量从海量视频中检索目标可能出现的监控视频，花费大量的人力、物力。\n[0005] (2)监控视频格式混乱，无法统一接入；\n[0006] 目前社会上使用的监控设备出厂商各不相同，视频格式也有所差异，为视频的统一接入和视频检索带来困难。\n[0007] (3)人工观看效率低下，耽误破案时间。\n[0008] 排查作案目标时，依旧采用传统的人工观看的手段来处理监控视频，效率低下，耽误破案时间。\n[0009] (4)相关案件视频及其他信息导出复杂。\n[0010] 没有便利的监控视频导出手段，现有的案件相关视频信息保存方式各不相同，数据检索工作难以高效进行。\n发明内容\n[0011] 本发明旨在提供一种基于海量视频的事件轨迹快速检索平台，该平台从网络读取视频存储设备中的海量视频数据，解码不同编码格式的视频，通过对视频内容的智能分析，提取用户关注目标并进行目标跟踪和目标关联，通过跨视域目标主动跟踪技术，拟合形成关注目标的空间历史轨迹。解决了海量视频数据格式混乱、无法统一接入的问题，同时减轻案件侦测过程中线索目标的查询检索工作强度，缩短关注目标排查所需时间、提高破案效率。\n[0012] 本发明的技术方案如下：\n[0013] 一种基于海量视频的事件轨迹快速检索平台，其特征在于：包括目标轨迹时空分析模块、综合调度服务模块、智能视频分析服务模块、资源请求服务模块，以及监控视频网络和平台数据库，其中：\n[0014] 所述目标轨迹时空分析模块包含多个客户端，接受用户发出的实时视频显示、时空关联分析显示控制操作指令，并将指令发送到所述综合调度服务模块；接收用户发出的历史视频检索、案件编辑控制操作指令，并将指令发送到所述资源请求服务模块；\n[0015] 所述综合调度服务模块接收来自目标轨迹时空分析模块的视频处理或调看指令，并根据各智能分析处理单元的当前运行状态，将指令转发到合适的智能分析处理单元，并将智能分析处理单元的处理结果反馈给用户；并且定时接收来自各智能分析处理单元的运行状态报告并广播给所有在线的目标轨迹时空分析模块；\n[0016] 所述智能视频分析服务模块由多个智能分析处理单元构成，其连接所述监控视频网络，并接收经综合调度服务模块转发的来自目标轨迹时空分析模块的指令，根据不同用户的不同请求同时并行对多个视频文件进行智能处理，并将结果返回给综合调度服务模块，再由综合调度服务模块将对应结果反馈给不同的用户；\n[0017] 所述资源请求服务模块与所述平台数据库相连，所述平台数据库中存储了平台所需的资源数据，包括监控网络摄像头分布及网络拓扑关系数据，历史案件的相关信息，资源请求服务模块接收来自所有目标轨迹时空分析模块的数据检索请求，为用户提供所需资源数据的查询及读写操作。\n[0018] 本发明针对突发公共安全事件在破案处理过程中面临的城域海量视频线索分析查找时间长、人力耗费大、有效信息提取困难等多方面问题，采用分布式计算、智能视频分析和多维时空分析等先进技术，适用于城域海量视频的事件轨迹检索，可服务于社会公安实战工作中，减轻突发公共安全案件侦查过程中线索目标的查询检索工作，缩短目标检索所需时间，提高处置效率，并可在全国物联网工程、智慧城市、平安城市建设中进行示范性应用。\n附图说明\n[0019] 图1是本发明的逻辑结构示意图\n具体实施方式\n[0020] 如图1所示，本发明一种基于海量视频的事件轨迹快速检索平台，包括目标轨迹时空分析模块1、综合调度服务模块2、智能视频分析服务模块3、资源请求服务模块4，以及监控视频网络5和平台数据库6。\n[0021] 检索平台支持多客户端、多智能分析服务单元、多监控视频网络接入的并行处理功能，整合海量监控视频数据，提高视频检索效率。\n[0022] 所述目标轨迹时空分析模块包含多个客户端，接受用户发出的实时视频显示、时空关联分析显示控制操作指令，并将指令发送到所述综合调度服务模块；接收用户发出的历史视频检索、案件编辑控制操作指令，并将指令发送到所述资源请求服务模块。\n[0023] 目标轨迹时空分析子模块为平台人机交互单元，采用双屏设计，支持多客户端同时工作。主要解决的技术包括：(1)目标轨迹在实际空间中的映射。将目标在监控视频中的运动轨迹合理映射回实际空间中，平台对监控网络中的监控点与实际空间进行标定，建立监控视频中的目标运动轨迹与实际地理空间中的目标空间运动轨迹的映射关系，真实重现目标在地理空间中的运动轨迹。(2)目标在非视域中的运动轨迹预测。由于被监控区域的广阔和摄像机视域的有限之间的矛盾，以及经济等方面的原因，不可能实现对所有区域的监控覆盖，视频监控存储必然存在大量盲区。针对观测视域的不重叠和不连续的情况，传统的视频目标检测与跟踪技术不再适用，平台采用目标检测跟踪技术与GIS信息分析处理技术相结合的手段，融合摄像机的拓扑关系，实现在城域地理空间范围内对目标合理的运动预测。\n[0024] 目标轨迹时空分析模块实现了平台跨部门的合作处理，每一个客户端均为统一的双屏幕显示操作软件，为不同用户提供视频检索、案件编辑、时空关联分析、实时视频及历史视频的显示控制操作。平台将不同区域的摄像头网络分布情况显示在电子地图上供用户检索，用户通过设定一定的时间、地点和摄像头数据来检索视频文件，对视频文件进行包括抽帧切片浏览、视频拓扑关联回查、视频智能摘要处理、内容快速检索在内的多种手段相结合的方式进行分析处理，帮助用户快速发现并定位目标，跟踪并预测目标运动方向，从而在地图上自动标注目标及运动轨迹、关联目标出现的视频片段，用户可以通过简单的地图操作来了解目标的空间运动信息，通过对网络实时监控视频、不同历史视频片段的单播、连播、下载和拼接操作为用户展现目标的时间空间运动情况。\n[0025] 所述综合调度服务模块接收来自目标轨迹时空分析模块的视频处理或调看指令，并根据各智能分析处理单元的当前运行状态，将指令转发到合适的智能分析处理单元，并将智能分析处理单元的处理结果反馈给用户；并且定时接收来自各智能分析处理单元的运行状态报告并广播给所有在线的目标轨迹时空分析模块。\n[0026] 由于平台的多客户端、多处理单元的组成，需要一套稳定的、高性能的指令调度服务程序，综合调度服务子系统负责维护各客户端与各处理单元之间的指令调度和结果返回，因此，综合调度服务相当于整个检索平台的中枢机构，它由“媒体控制服务”、“检索调度服务”、“状态监测管理服务”三个模块构成，主要实现了视频指令控制、检索指令调度、状态监测等功能。在平台启动运行时，综合调度服务子系统与视频智能分析服务子系统中的各个智能分析单元建立连接，接收各分析单元定时发出的运行状态参数，再将运行状态参数广播给所有在线的客户端，使用户能够实时了解整个检索平台当前的运行状态；同时，综合调度服务子系统会根据收到的每一个智能分析单元的运行状态参数来分析每一个单元当前的状态，“空闲”或“忙碌”，对于“忙碌”的分析单元，说明该单元正在对某一段视频进行分析处理，综合调度服务子系统进一步获得该单元的处理进度，从而大致估算处理完成所需的时间。综合调度服务子系统会根据每一个智能分析单元的当前运行状态，对全部接入平台的智能分析单元进行优先级的排序，排序遵循空闲单元优先及忙碌单元短剩余时间优先的原则。当综合调度服务子系统接收来自目标轨迹时空分析子系统中的某一个客户端的检索调度指令时，解析此指令中包含的检索条件，如视频文件存储地址，连接端口、起止时间和检索特征等数据，然后根据不同智能分析单元的优先排序决定将检索指令发送给相应的智能分析单元。对于不同客户端发送出来的检索调度指令，综合调度服务子系统会根据不同的用户权限及检索调度指令所请求的作业的处理时间长短来维护一个待检索作业序列，遵循高权限用户作业优先及短作业优先的原则。\n[0027] 所述智能视频分析服务模块由多个智能分析处理单元构成，其连接所述监控视频网络，并接收经综合调度服务模块转发的来自目标轨迹时空分析模块的指令，根据不同用户的不同请求同时并行对多个视频文件进行智能处理，并将结果返回给综合调度服务模块，再由综合调度服务模块将对应结果反馈给不同的用户；\n[0028] 智能视频分析服务模块由为平台提供DVR、IPSAN等不同格式视频数据的异构接入、视频智能处理及上传操作，保证了系统的跨地区、跨部门、跨平台的海量视频数据的整合和接入。用户通过目标轨迹时空分析模块发出特定的视频操作指令，如视频摘要处理请求、内容检索请求等，经综合调度服务模块的指令调度及转发，将指令传递给某一个智能分析服务单元进行处理，平台包含多个智能分析服务单元，可以根据不同用户的不同请求同时并行对多个视频文件进行智能处理，并将结果返回给综合调度服务，再由综合调度服务将对应结果反馈给不同的用户。\n[0029] 智能视频分析服务模块的多个智能分析处理单元并行操作，可同时进行多段视频的解码和分析处理，不同处理单元相互独立，在处理单元内部建立目标的特征模型，目标的特征模型在检索跟踪中起决定性作用，它为后面的检索和预测提供条件。通过视频分割出来的目标不断学习，得到准确的特征模型，然后和目标的速度模型及拓扑关系模型建立目标在该视频中的特征模型。运动目标检测算法通过训练和学习视频序列获得背景模型，从而采用背景相减法检测运动目标，提取目标关键帧，形成视频摘要，给出检索结果。智能分析服务子系统通过对原始视频采用智能分析算法获得处理结果并将结果上报综合调度服务，由综合调度服务根据调度指令的来源将处理结果转发给相应的客户端，同时智能分析服务子系统会定时向综合调度服务上报每一个处理单元当前的运行状态，实现平台运行状态监测的功能。\n[0030] 所述资源请求服务模块与所述平台数据库相连，所述平台数据库中存储了平台所需的资源数据，包括监控网络摄像头分布及网络拓扑关系数据，历史案件的相关信息，资源请求服务模块接收来自所有目标轨迹时空分析模块的数据检索请求，为用户提供所需资源数据的查询及读写操作。\n[0031] 资源请求服务模块的主要任务是负责平台各组成模块与平台数据库之间的数据查询请求及读写操作。平台数据库存储采用分类存储及各层映射的方式，实现平台数据的海量信息存储和数据共享服务，平台数据分为基础信息库和用户辅助数据库两类。基础信息库主要存储平台相关的基础信息数据，如摄像头相关数据、接入的监控网络的拓扑信息、设备参数信息、设备网络信息等，用户辅助数据库存储用户编辑并需要保存的相关数据，如关联的视频参数信息、用户标绘数据、案件编辑信息等。资源请求服务子系统接收来自不同客户端的数据操作请求指令，完成相应的数据查询、读写、修改及删除操作并将结果返回给对应客户端。因此，目标轨迹时空分析子系统中的每一个用户不会直接对数据库中的平台存储数据进行操作处理，而是由资源请求服务子系统统一进行数据库操作。\n[0032] 本发明基于海量视频的事件轨迹快速检索平台实现了一种能够在城域范围内对海量视频进行事件轨迹快速检索的系统，实现了不同监控区域的海量视频的统一接入，帮助用户能够进行跨区域、跨部门、跨平台的合作，提高相关工作人员处置案件的效率。