基于infiniband的高清视频应用系统及方法

1.一种基于infiniband的高清视频应用系统，包括监控业务部、高清视频存储部以及视频识别分析部，其中
监控业务部，用于获取高清视频数据以及下达调取高清视频录像和进行视频识别处理作业的命令；
所述监控业务部包括高清监控摄像单元和业务维护单元，其中高清监控摄像单元负责获取高清视频数据，并基于TCP/IP协议将所获取的高清视频数据采用千兆以太网通过IP业务专网汇聚到云桥中间件集群；所述业务维护单元主要负责下达调取高清视频录像和进行视频识别处理作业的命令，所述调取高清视频录像和进行视频识别处理作业的命令通过IP维护专网汇聚到所述云桥中间件集群；
高清视频存储部连接所述监控业务部，所述高清视频存储部包括云桥中间件集群以及存储服务器集群，并采用IB NAS架构，所述云桥中间件集群通过infiniband网络基于远程直接内存访问协议与所述存储服务器集群通讯，所述云桥中间件集群面向监控业务部提供共享文件夹访问形式，同时云桥中间件集群作为IB NAS的客户端通过RDMA的技术访问存储服务器；
视频识别分析部通过infiniband网络连接所述高清视频存储部，所述视频识别分析部并包括管理服务器节点、计算集群和基于infiniband的LUSTRE存储集群，所述计算集群负责将高清视频文件解码后提交给视频识别并行分析算法进行识别处理，所述基于infiniband的LUSTRE存储集群是基于对象的分布式文件系统，负责存储所述计算集群产生的大量中间数据；
所述基于infiniband的LUSTRE存储集群包括元数据服务器和对象存储服务器，所述管理服务器节点是所述业务维护单元提交作业任务提交的接口，视频识别作业任务通过所述管理服务器节点经infiniband网络提交给所述计算集群节点；所述元数据服务器负责向所述计算集群节点提供整个文件系统的元数据，构造、管理文件分布的视图，允许客户端访问对象，管理整个文件系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统的数据一致性；所述对象存储服务器负责实际数据的存储，处理所有计算集群节点和物理存储之间的交互。
2.根据权利要求1所述的一种基于infiniband的高清视频应用系统，所述高清视频存储部具有备用系统，所述备用系统包括备用云桥中间件及其连接的存储系统，主用和备用云桥中间件之间有一条infiniband同步链路以实现主用系统与备用系统之间的数据同步镜像能力，当主用系统中的云桥中间件或其连接的存储系统出现故障时，备用系统将代替主用系统与所述监控业务部以及视频识别分析部进行交互。
3.根据权利要求2所述的一种基于infiniband的高清视频应用系统，所述LUSTRE存储集群内配置两个元数据服务器，其中一个作为备份，两个元数据服务器采用共享存储的方式来存放元数据。
4.一种基于权利要求1所述的infiniband的高清视频应用系统的高清视频识别方法，包括：
步骤1：业务维护单元通过IP维护专网下发作业指令；
步骤2：管理服务器节点接收到所述作业指令后，将所述作业指令转换为并行识别程序的输入条件，通过infiniband网络分发给计算集群节点计算；
步骤3：所述计算集群节点按照所述输入条件搜索并定位存储服务器上所需的视频文件，然后提取该视频文件并解码得到视频帧，把每个视频帧加入为新的并行识别程序的输入条件，通过视频识别并行分析算法再次在所述计算集群节点中进行计算；
步骤4：所述视频识别并行分析算法产生的大量中间结果缓存在LUSTRE存储集群中，当初次创建文件时，所述计算集群节点访问LUSTRE存储集群中的元数据服务器，所述元数据服务器定义及记录文件存放在对象存储服务器的位置信息，当初次访问文件时，所述计算集群节点访问LUSTRE存储集群中的元数据服务器，查找文件所在的对象存储服务位置信息；
步骤5，初次创建文件时，所述元数据服务器通过指令通知在对象存储服务器集群中建立数据文件的对象存储服务器创建数据文件，所述对象存储服务器创建完成后反馈对象元数据服务器；
步骤6，所述计算集群节点在得到存放中间数据文件的位置信息后，以并行的方式访问所述对象存储服务器集群中的中间数据；
步骤7，当所述计算集群节点运行完成所述视频识别并行分析算法后，将最后结果提交给所述管理服务器节点；
步骤8，所述管理服务器节点将所述最后结果的信息整理后提交给客户端。
5.根据权利要求4所述的方法，步骤1中的所述指令中包括可搜索的范围目标。
6.根据权利要求4所述的方法，步骤7中的所述最后结果包括识别成功后的相关视频文件信息或识别不成功的原因反馈。
7.一种基于权利要求1所述的infiniband的高清视频应用系统的高清视频的存取方法，包括：
当保存视频文件时，监控业务部的高清监控摄像单元通过千兆网将产生的视频文件保存至云桥中间件中的虚拟文件夹，云桥中间件的虚拟化模块将虚拟文件夹映射为网络文件系统NFS4识别的文件夹，通过infiniband网络及远程直接内存访问技术将视频文件保存至存储服务器分配的空间中；
当调取视频文件时，所述监控业务部的业务维护单元通过千兆网在云桥中间件的虚拟文件夹中直接调取录像文件，云桥中间件的虚拟化模块将虚拟文件夹映射为网络文件系统NFS4识别的文件夹，通过infiniband网络和远程直接内存访问技术将实际需要调取的视频录像文件从存储服务器存放的物理空间中调取出来。

基于infiniband的高清视频应用系统及方法\n技术领域\n[0001] 本发明涉及视频领域，更具体的说，涉及一种基于infiniband的高清视频应用系统及高清视频识别方法。\n背景技术\n[0002] 传统的监控模式已不能满足政府“平安城市”、金融系统、高等教育、监管、监狱、文博等行业对安防的需求，而拥有网络化、智能化、数字化、远程化特点的网络视频监控系统则成为新的应用趋势，并形成一个高效、安全、先进的网络视频监控体系。\n[0003] 在网络视频监控系统中，H.264编码压缩算法得以成功推广，随着用户的逐步认可、价格的降低及功能的完善，必然迎来高清网络摄像机主导未来视频监控领域的时代。目前的统计表明，高分辨率的图像质量视频存储更有价值，尤其在治安型的监控系统中，最终起到作用的90%都是靠高清晰的回放录像。而基于标准H.264压缩技术的高清网络摄像机，一路720P高清全实时图像的码流是3Mbps，录像一小时需要的存储空间大约是1.35G左右(若是1080P，视频录像通常按5Mbps计算，一小时需要2.25G)。由此可以看出高清网络摄像机需要更大空间的存储。\n[0004] 视频文件属于非结构化数据，对网络带宽有较强的依赖。如果前端安装200路\n720P百万像素全实时高清摄像机(按每路录像占用3Mbps计算)，占用总带宽资源60%～\n80%，所以千兆网已经完全可以有效支持。若换成1080P，录像带宽按5M甚至是高标准6M每路计算时，整个传输网络带宽设计就几乎需要翻一番。\n[0005] 综上所述，从硬件网络摄像机接口技术、H.264编码技术及成本等方面，千兆网完全满足前端应用环境。但在后台处理中，千兆网环境已经就力不从心。后台处理最典型的就是集中存储和视频处理技术的应用。\n[0006] 在集中存储方面，存储系统是汇聚点，所有高清摄像机将同时信息存储到系统中，对整个网络带宽造成了很大压力。在大规模的部署中，万兆以太网也显得力不从心，而目前infiniband技术单端口起步就是4万兆和纳秒级延时，相比以太网有更低的传输延时和提供更高的带宽能力。从存储协议来看，以太网采用的IP SAN架构采用了ISCSI协议，在千兆网环境实际传输效率只有40%-60%，较多的CPU资源参与到TCP/IP的解包和重组工作中。虽然，目前10Gb以太网推出TOE（TCP/IP Offload Engine，TCP/IP负荷卸载引擎) 硬件加速设计，但其有限的卸载能力和可观的价格是较大的障碍。而基于infiniband技术的存储协议是SRP（SCSI RDMA Protocol，SCSI远程直接内存访问协议），SRP协议是在InfiniBand中将SCSI命令进行打包，允许SCSI命令通过RDMA(Remote direct memory access，远程直接内存访问)在不同的系统之间进行通信，实现存储设备共享和RDMA通信服务。RDMA技术使得CPU处理通讯包只是占整个系统资源的3%，大部分宝贵的资源让给用户作业，97%流量通讯是通过本地内存到远端内存访问实现。另外infiniband通过IPoIB技术，实现TCP/IP协议在infiniband网络部署，使得很多基于TCP/IP的应用无需更改代码而享受infiniband网络带给的高带宽低延时的高质量服务。\n[0007] 在视频处理方面，视频识别技术是非常重要的环节。在火车站、飞机场、地铁、汽车站、展会等人群密集场所，随时掌握人群数量、密度等对指挥、安检等部门适时做出正确决策具有重要意义。完全依靠人眼盯着显示器监控检测区域的变化，由于监控人员无可避免的疲劳、疏忽等原因，极容易让可疑人物通过。采用图像处理方法实现智能化检测、分析是今后安检系统智能化发展的方向。\n[0008] 视频识别技术可以分为实时分析和事后分析，考虑到视频数据的特征，无论是实时分析还是事后分析，其算法都是复杂的，并且往往是高效的并行算法，其伴随大量的计算产生大量中间数据，这些中间数据需要多个节点同时读取和写入。这是典型的计算集群环境特征，并行算法希望的网络环境是高速、稳定、可靠和低延时。infiniband完全适合这样的计算密集型的集群环境。\n[0009] 虽然infiniband技术在高性能计算领域和数据中心内部署较为广泛，其高带宽和低延时的出色的能力也得到了广泛认可，但如何将其与当今视频监控存储及识别分析技术结合一直是空白。\n发明内容\n[0010] 为了克服上述问题，本发明提出了一种基于infiniband的高清视频应用系统，包括监控业务部、高清视频存储部以及视频识别分析部，其中监控业务部，用于获取高清视频数据以及下达调取高清视频录像和进行视频识别处理作业的命令；高清视频存储部连接所述监控业务部，所述高清视频存储部包括云桥中间件集群以及存储服务器集群，并采用IB NAS架构，所述云桥中间件集群通过infiniband网络基于远程直接内存访问协议与所述存储服务器集群通讯；视频识别分析部通过infiniband网络连接所述高清视频存储部，所述视频识别分析部并包括管理服务器节点、计算集群和基于infiniband的LUSTRE存储集群，所述计算集群负责将高清视频文件解码后提交给视频识别并行分析算法进行识别处理，所述基于infiniband的LUSTRE存储集群是基于对象的分布式文件系统，负责存储所述计算集群产生的大量中间数据。\n[0011] 进一步，所述监控业务部包括高清监控摄像单元和业务维护单元，其中高清监控摄像单元负责获取高清视频数据，并基于TCP/IP协议将所获取的高清视频数据采用千兆以太网通过IP业务专网汇聚到云桥中间件集群；所述业务维护单元主要负责下达调取高清视频录像和进行视频识别处理作业的命令，其通过IP维护专网汇聚到所述云桥中间件集群。\n[0012] 进一步，所述高清视频存储部具有备用系统，所述备用系统包括备用云桥中间件及其连接的存储系统，主用和备用云桥中间件之间有一条infiniband同步链路以实现主用系统与备份系统之间的数据同步镜像能力，当主用系统中的云桥中间件或其连接的存储系统出现故障时，备份系统将代替主用系统与所述监控业务部以及视频识别分析部进行交互。\n[0013] 进一步，所述基于infiniband的LUSTRE存储集群包括元数据服务器和对象存储服务器，所述管理服务器节点是所述业务维护单元提交作业任务提交的接口，视频识别作业任务通过所述管理服务器节点经infiniband网络提交给所述计算集群节点；所述元数据服务器负责向所述计算集群节点提供整个文件系统的元数据，构造、管理文件分布的视图，允许客户端访问对象，管理整个文件系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统的数据一致性；所述对象存储服务器负责实际数据的存储，处理所有计算集群节点和物理存储之间的交互。\n[0014] 进一步，所述LUSTRE存储集群内配置两个元数据服务器，其中一个作为备份，两个元数据服务器采用共享存储的方式来存放元数据。\n[0015] 本发明还提出了一种基于infiniband的高清视频识别方法，包括：\n[0016] 步骤1：业务维护单元通过IP维护专网下发作业指令；\n[0017] 步骤2：管理服务器节点接收到所述作业指令后，将所述作业指令转换为并行识别程序的输入条件，通过infiniband网络分发给计算集群节点计算；\n[0018] 步骤3：所述计算集群节点按照所述输入条件搜索并定位存储服务器上所需的视频文件，然后提取该视频文件并解码得到视频帧，把每个视频帧加入为新的并行识别程序的输入条件，通过视频识别并行分析算法再次在所述计算集群节点中进行计算；\n[0019] 步骤4：所述视频识别并行分析算法产生的大量中间结果缓存在LUSTRE存储集群中，当初次创建文件时，所述计算集群节点访问LUSTRE存储集群中的元数据服务器，所述元数据服务器定义及记录文件存放在对象存储服务器的位置信息，当初次访问文件时，所述计算集群节点访问LUSTRE存储集群中的元数据服务器，查找文件所在的对象存储服务位置信息；\n[0020] 步骤5，初次创建文件时，所述元数据服务器通过指令通知在对象存储服务器集群中建立数据文件的对象存储服务器创建数据文件，所述对象存储服务器创建完成后反馈对象元数据服务器；\n[0021] 步骤6，所述计算集群节点在得到存放中间数据文件的位置信息后，以并行的方式访问所述对象存储服务器集群中的中间数据；\n[0022] 步骤7，当所述计算集群节点运行完成所述视频识别并行分析算法后，将最后结果提交给所述管理服务器节点；\n[0023] 步骤8，所述管理服务器节点将所述最后结果的信息整理后提交给客户端。\n[0024] 进一步，步骤1中的所述指令中包括可搜索的范围目标。\n[0025] 进一步，步骤6中的所述最后结果包括识别成功后的相关视频文件信息或识别不成功的原因反馈。\n[0026] 本发明还提出了一种基于infiniband网络的高清视频的存取方法，包括：当保存视频文件时，监控业务部的高清监控摄像单元通过千兆网将产生的视频文件保存至云桥中间件中的虚拟文件夹，云桥中间件的虚拟化模块将虚拟文件夹映射为网络文件系统NFS4识别的文件夹，通过infiniband网络及远程直接内存访问技术将视频文件保存至存储服务器分配的空间中；当调取视频文件时，所述监控业务部的业务维护单元通过千兆网在云桥中间件的虚拟文件夹中直接调取录像文件，云桥中间件的虚拟化模块将虚拟文件夹映射为网络文件系统NFS4识别的文件夹，通过infiniband网络和远程直接内存访问技术将实际需要调取的视频录像文件从存储服务器存放的物理空间中调取出来。\n[0027] 基于infiniband的网络文件系统NFS4和并行文件系统LUSTRE也可以很好地解决了中间数据存放的问题。视频识别技术在具备较好的并行算法能力时，搭配采用infiniband的计算集群系统，其工作效率将大大提高。\n[0028] 本发明提出的方案，利用非常高速和可靠的infiniband网络存储环境和并行处理环境，非常适合高清视频监控海量存储和复杂的识别技术应用。\n附图说明\n[0029] 图1为基于infiniband的高清视频应用系统的系统框图。\n[0030] 图2为高清视频存储部的架构图。\n[0031] 图3为具有备用系统的高清视频存储部。\n[0032] 图4（a）和（b）分别为图3中所示的处在活动态的云桥中间件或存储系统出现宕机时，备用系统的切换示意图。\n[0033] 图5为LUSTRE并行文件系统的结构图。\n[0034] 图6为高清视频识别部的功能框图。\n[0035] 图7为高清视频的存取流程图。\n[0036] 图8为高清视频的视频识别流程图。\n具体实施方式\n[0037] 以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。\n[0038] 本发明提出了一种基于infiniband的高清视频应用系统，如图1所示。所述高清视频应用系统包括监控业务部、高清视频存储部以及视频识别分析部。\n[0039] 监控业务部包括高清监控摄像单元和业务维护单元，其中高清监控摄像单元负责获取高清视频数据，并主要基于主流的TCP/IP技术，将高清监控摄像单元获取的数据采用千兆以太网通过IP业务专网汇聚到云桥中间件集群。业务维护单元主要负责高清视频录像调取和下达视频识别处理作业命令，业务维护单元中的客户端通过IP维护专网（百兆或千兆以太网）汇聚到云桥中间件集群。\n[0040] 高清视频存储部采用的是IB SAN架构，云桥中间件集群通过infiniband网络与存储服务器集群通讯。infiniband作为传输载体具有高带宽（单端口40Gbps）和低延时（端到端300纳秒延时）的特点。在IB NAS中采用NFS4文件系统可以实现云桥中间件集群与存储服务器集群之间基于RDMA技术通讯，其中云桥中间件集群作为NFS4客户端，存储服务器集群作为NFS4服务器。由于CPU参与通讯流量的处理只占3%，其不但大大释放了CPU，而且高速的内存到内存间读取和写入操作在基于infiniband网络架构下使得IO传输真正无瓶颈。\n[0041] 图2示出了高清视频存储部的架构图。高清监控摄像单元以千兆以太网做承载网络，通过TCP/IP协议将产生的视频文件放置云桥中间件的虚拟共享文件夹上。云桥中间件采用NFS4协议，经infiniband网络，以挂载文件夹形式将后端存储系统映射来的磁盘进行组织，再通过存储虚拟化模块转换为前端高清监控摄像单元看的到的虚拟共享文件夹。在整个存储区域中，采用的是基于infiniband的网络文件系统NFS4，它不但继承了NFS文件系统的所有优点，更重要的是支持infiniband网络，同时支持RDMA的技术。\n[0042] 云桥中间件集群面向监控业务部提供共享文件夹访问形式，同时云桥中间件集群作为IB NAS的客户端通过RDMA的技术访问存储服务器。\n[0043] 存储服务器集群作为NFS4文件服务器，通过高速的infiniband网络提供共享存储空间。存储服务器集群支持海量存储能力，由于网络带宽采用40Gb的infiniband，不但可以支持SSD高速固态硬盘，同时也支持企业级或民用级SAS或SATA的大容量3.5寸机械硬盘。\n[0044] 视频识别分析部主要包括管理服务器节点、计算集群和LUSTRE存储集群。所述管理服务器节点是所述业务维护单元提交作业任务提交的接口，视频识别作业任务通过所述管理服务器节点经infiniband网络提交给所述计算集群节点。计算集群的任务是将高清视频文件解码后提交给视频识别分析程序进行识别处理。视频识别分析程序在算法上往往采用并行设计思路，算法复杂性较大，且具有较高的并行性，在一般的图像、视频处理时，图像数据拷贝会消耗大量的CPU资源；另外计算时会产生大量的中间结果，给所有计算节点共享。\n[0045] LUSTRE存储集群是基于对象的分布式文件系统，它的主要任务是存储计算集群产生的大量中间数据。LUSTRE针对大文件（如视频文件）读写进行了优化，LUSTRE文件系统对传输网络带宽非常依赖，而infiniband的低延时和高带宽特点为LUSTRE文件系统提供良好的网络支持，提高计算节点的通信速度，从而提升了整个文件系统性能。另外,基于infiniband的LUSTRE文件系统也支持RDMA技术，使得其在网络传输上没有任何瓶颈。\n[0046] 图3示出了具有备份件的高清视频存储部，从而云桥中间件和存储服务器也可以实现高速infiniband网络环境的故障切换能力。主备云桥中间件之间有一条infiniband同步链路，主要是实现主备云桥中间件和各自连接的存储系统之间的数据同步镜像能力。\n主用的云桥中间件和其连接的存储系统构成活动态，直接与前端高清监控摄像单元交互。\n备用云桥中间件和其联接的存储系统构成非活动态，通过infiniband同步链路实现与主用系统同步镜像。\n[0047] 当图3中所示的处在活动态的主用云桥中间件出现宕机时，非活动态的备用云桥中间件及其连接的存储系统将变为活动态，与前端高清监控摄像单元进行交互，如图4（a）所示。当图3中所示的处在活动态的主用存储系统出现宕机时，非活动态的备用云桥中间件及其连接的存储系统将变为活动态，与前端高清监控摄像单元进行交互，如图4（b）所示。\n[0048] 在说明高清视频识别部的结构之前，首先说明LUSTRE并行文件系统。LUSTRE文件系统采用基于对象的存储技术，基于分布式锁管理机制以及元数据和存储数据相分离的存储方案，提供了全局的命名空间，免去了传统分布式文件系统的数据多重备份，便于集群系统步调一致的工作。LUSTRE 针对大文件的读写做了优化，可以为集群系统提供高性能的数据吞吐率、全局数据共享环境、数据存储位置的独立性、对节点失效提供了冗余机制以及集群重置或者服务器和网络失效时的快速恢复服务，较好的满足了海量存储的需要。\n[0049] LUSTRE并行文件系统主要由三个部分组成：客户端(client，即计算集群节点)、对象存储服务器(OSS，Object Storage Sever)和元数据服务器(MDS，MetaData Server)，如图5所示。客户端通过标准的POSIX接口（Portable Operating System Interface，可移植操作系统接口）向用户提供对文件系统的访问。对于客户端而言，LUSTRE是一个透明的文件系统，他无需知道具体数据所在的位置，可以透明地访问整个文件系统中的数据。客户端同对象存储服务器OSS进行文件数据的交互，包括文件数据的读写、对象属性的改变等；\n客户端同元数据服务器MDS进行元数据的交互，包括目录管理、命名空间管理等。\n[0050] 对象存储服务器OSS负责实际数据的存储，处理所有客户端和物理存储之间的交互。对象存储服务器OSS中采用的存储是基于对象(Object Based)的，对象存储服务器OSS将所有的对象数据放到物理存储设备上，并完成对每个对象的管理。对象存储服务器OSS与实际的物理存储设备之间通过设备驱动程序来实现交互。通过驱动程序的作用，LUSTRE可以继承新的物理存储技术以及文件系统，实现对物理存储设备的扩展。\n[0051] 元数据服务器MDS负责向客户端提供整个文件系统的元数据，构造、管理文件分布的视图，允许客户端访问对象，管理整个文件系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统的数据一致性。通过元数据服务器MDS的文件和目录访问管理，LUSTRE可以控制客户端对文件系统中文件的创建、删除、修改以及对目录的创建、删除、修改等访问控制。通过元数据服务器MDS，客户端得到数据所在的对象存储服务器OSS，并与其建立连接，此后的读写操作就在客户端同对象存储服务器OSS之间进行，除非有对命名空间的修改，将不再同元数据服务器MDS有关系，这样就降低了元数据服务器MDS的负载。在多个客户端的情况下，由于有多个对象存储服务器OSS存在．上述的工作模式就把对文件系统的访问转换为并行操作，从而可以较好地提高性能。在LUSTRE中．客户端使用写回式cache来保证元数据的一致性。\n[0052] 客户端、对象存储服务器OSS和元数据服务器MDS三个组成部分除了各自的独特的功能以外，相互之间共享诸如锁、请求处理、消息传递等模块。LUSTRE是一个高度模块化的系统，三个组成部分可以在一个节点上工作，也可以在不同的节点上工作。\n[0053] 优选地，为了提高系统的可靠性，LUSTRE为元数据服务器MDS提供了failover功能。LUSTRE系统可以配置两个元数据服务器MDS，其中一个作为备份。两个服务器采用共享存储的方式来存放元数据。当某个元数据服务器MDS出现故障后，备份服务器可以接管其服务，保证系统的正常运行。为了能够满足高性能能计算系统的需要，LUSTRE针对大文件的读写进行了优化，为集群系统提供较高的IO吞吐率。\n[0054] LUSTRE文件系统的性能和扩展性都非常出色，与传统的存储文件系统相比，对象存储系统有如下优势：\n[0055] (1) 并行数据访问。基于对象存储的LUSTRE文件系统中，每个用户结点都可以直接访问每个对象存储服务器OSS，并允许向多个对象存储服务器OSS并行读写，最大化单个用户结点的吞吐率。这样，整个存储系统的性能随着对象存储服务器OSS数目的增加而线性地增加。\n[0056] (2) 分布式元数据。NAS系统使用一个集中的文件服务器作为元数据管理器，一些SAN文件系统则采用集中的锁管理器，这样元数据管理将成为一个瓶颈。而基于对象存储的LUSTRE文件系统没有其它共享存储系统中的元数据管理器瓶颈。基于对象存储的LUSTRE文件系统将元数据服务器MDS分离出来，并且将90％的元数据管理工作分散到多个对象存储服务器OSS中，有效地消除了传统共享存储系统中存在的元数据管理器瓶颈问题。\n[0057] (3) 智能化。因为将传统文件系统中的存储管理组件下放到对象存储服务器OSS中，使得对象存储服务器OSS具有了强大的管理功能，可以简化系统存储管理的任务。\n[0058] 由于高清视频识别部存在大量复杂的并行算法，因此在高清视频识别部中采用LUSTRE，高清视频识别部的功能框图如图6所示。高清视频识别部包括管理服务器节点、计算集群节点、元数据服务器MDS和对象存储服务器OSS，其中对象存储服务器OSS与元数据服务器MDS构成了LUSTRE存储集群，整个区域部署LUSTRE并行文件系统。管理服务器节点是业务维护单元提交作业任务提交的接口，视频识别作业任务通过管理服务器节点通过高速的infiniband网络提交给计算集群节点；计算集群节点根据提交的任务运行并行算法程序，完成视频文件搜索、解码、分析、生成作业结果的过程；元数据服务器和对象存储服务器是LUSTRE并行文件系统必需组件，主要功能是存储计算节点在计算中产生的大量中间数据。高清视频存储部存储业务的视频文件，由于每个计算集群节点也是存储服务器集群的客户端（NFS4客户端），计算集群节点可以方便的调取任意业务视频文件进行分析和处理。\n[0059] 为了提高识别效率，视频识别并行算法建议采用较大集群规模去计算，选择采用LUSTRE，主要原因是LUSTRE优异的性能和可扩展性的设计：\n[0060] 1）元数据服务和I/O服务的分离减少了系统的性能瓶颈，同时为了提高可扩展性，必须减少系统中心服务管理的信息，并降低中心服务器的负载。LUSTRE在设计之初就把文件的元数据和数据做了分离。元数据服务器只管理一致性要求较高的元数据。成百上千的I/O服务器提供并发的I/O服务。系统的聚合I/O性能会随着I/O服务器的增加而线性增加。中心服务器性能对系统可扩展性的限制大大减小。\n[0061] 2）面向对象的存储LUSTRE中文件存储的单位不是固定大小的块，而是大小可变、信息丰富的文件对象。每个文件对象对应于I/O服务器上一个单独的文件。LUSTRE的文件大小不再受到磁盘设备和磁盘文件系统的限制，最大可以到达到320TB。\n[0062] 3）智能存储设备LUSTRE将I/O服务器虚拟成能够自主地处理I/O错误、故障恢复以及安全控制的智能设备。这样可以充分地利用分散在I/O设备上的处理能力，尽可能地减少元数据服务器的负载。\n[0063] 4）文件分条存储文件可以被分条存放在多个虚拟存储设备中。如果同一文件被多个客户端同时访问，分条存储的方法可以分散I/O请求，提高文件访问的性能。\n[0064] 5）LUSTRE文件系统的LNET模块在传输网络上完全支持infiniband高速网络，支持RDMA的数据访问技术，从而作为计算节点的客户端的CPU资源完全不需要考虑通信数据包传输问题，完全专注于业务应用。另外，LUSTRE针对大文件的读写做了优化，在集群环境中提供了高性能的数据吞吐率、全局数据共享环境、数据存储位置的独立性和对节点失效提供了冗余机制，以及集群重置或者服务器和网络失效时的快速恢复服务，很好的满足高性能计算集群领域存储的需要。\n[0065] 6）出色的性能和稳定性。LUSTRE 是一个PetaSeale级的集群文件系统。在全世界Top 10超级计算机中有7个采用了基于LUSTRE的集群存储。\n[0066] 以上详细地说明了基于infiniband的高清视频应用系统的系统结构。接下来说明该系统工作的涉及的部分流程。\n[0067] 图7示出了高清视频的存取流程图。高清监控摄像单元通过千兆网将产生的视频文件保存至云桥中间件中的虚拟文件夹，云桥中间件的虚拟化模块将虚拟文件夹映射为NFS4识别的文件夹，通过infiniband网络及RDMA技术将视频文件保存至存储服务器分配的空间中。\n[0068] 视频调取是业务维护单元通过千兆网在云桥中间件的虚拟文件夹中直接调取录像文件，云桥中间件的虚拟化模块将虚拟文件夹映射为NFS4识别的文件夹，通过infiniband网络和RDMA技术将实际需要调取的视频录像文件从存储服务器存放的物理空间中调取出来。\n[0069] 图8示了高清视频的视频识别流程图。具体说明如下：\n[0070] 步骤1：业务维护单元通过IP维护专网下发作业指令，指令可以包括可搜索的范围目标，如识别图像信息、目标物时间条件信息等。\n[0071] 步骤2：管理服务器节点接收到服务指令后，通过软件将作业指令转换为并行识别程序的输入条件，通过infiniband网络分发给计算集群节点计算。\n[0072] 步骤3：计算集群节点首先按照并行作业输入条件，如按目标物时间条件搜索并定位存储服务器上所需的视频文件，然后提取该文件并解码得到视频帧，把每个视频帧加入为新的并行识别程序的输入条件，通过视频识别并行算法再次在计算集群中进行计算。\n[0073] 步骤4：视频识别并行分析程序运行产生大量中间结果,需要高速的共享存储空间缓存，系统采用高效的并行存储LUSTRE存储系统。初次创建文件时，计算集群作为LUSTRE客户端访问元数据服务器，元数据服务器定义及记录文件存放在对象存储服务器OSS位置的相关信息。初次访问文件时，计算集群作为LUSTRE客户端访问元数据服务器，查找文件所在的OSS位置信息。\n[0074] 步骤5，初次创建文件时，元数据服务器通过指令通知对象存储服务器集群中建立数据文件的对象存储服务器创建数据文件，对象存储服务器创建完成后反馈对象元数据服务器。\n[0075] 步骤6，计算集群作为LUSTRE客户端在得到存放中间数据文件的位置信息后，以并行的方式访问对象存储服务器集群中的中间数据，并行访问使得作业效率大大提高。\n[0076] 步骤7，计算集群节点运行完成视频识别分析程序后，将最后结果提交给管理服务器节点。结果主要包括识别成功后的相关视频文件信息或识别不成功的原因反馈。\n[0077] 步骤8，管理服务器节点将结果信息整理后，提交客户端作业结果信息。\n[0078] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。