基于大数据分析的威胁预警监测系统、方法及部署架构

暂无

基于大数据分析的威胁预警监测系统、方法及部署架构\n技术领域\n[0001] 本发明涉及网络安全威胁预警技术领域，尤其涉及一种基于大数据分析的威胁预警监测系统、方法及部署架构。\n背景技术\n[0002] 当前我国各政府部门和企事业单位都加大了网络安全建设的投入力度，部署了各种类型的安全设备或系统，如入侵检测系统(IDS)、入侵防御系统(IPS)、防火墙、杀毒软件等。但这些基于特征规则的传统安全设备只能检测已知攻击，漏报和误报均较高。\n[0003] 安全运营中心(SOC)对安全系统的大量日志进行整合，不仅数据源单一，而且缺乏提供精准分析的能力与手段，安全分析人员从这些海量数据分析出有效线索无异于大海捞针。因此，SOC并未对网络安全积极防御起到有效作用。\n[0004] 当前情况下，国家电网公司大力推进坚强智能电网和全球能源互联网建设，电网数字化和智能化程度不断提高，与此同时，随着智能化时代的迈入，电网日益受到来自互联网的计算机病毒、逻辑炸弹、木马的攻击，信息安全防护的难度大幅增加，对电力信息安全和智能电网的发展提出新的挑战。电网信息系统安全数据的采集和存储能力、信息系统安全威胁的发现感知能力、立体化纵深防御能力等方面，都面临着相比过去传统信息系统的安全防护体系更高的技术和管理规范化要求。尤其是在相关安全情报数据的数量、速度、种类的迅速膨胀的情况下，海量异构数据的融合、存储、管理和利用对传统的安全分析方法提出了重大的挑战。\n[0005] 由于网络攻击行为通常分散在各地，攻击过程由多步骤实施，具有一定的复杂性，仅靠单个网络安全设备的日志信息无法完全还原出攻击原貌，这严重制约了网络安全分析人员评估整个网络环境的运行状态以及用户的活动情况。\n发明内容\n[0006] 本发明的目的就是为了解决上述问题，提供一种基于大数据分析的威胁预警监测系统、方法及部署架构，用于多种业务场景下的网络安全威胁态势感知和深度分析，实现从攻击预警、攻击识别到分析取证的综合能力。\n[0007] 为了实现上述目的，本发明采用如下技术方案：\n[0008] 基于大数据分析技术的威胁预警监测系统，包括，\n[0009] 数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；\n[0010] 数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；\n[0011] 实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；\n[0012] 态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；\n[0013] 后台管理系统模块，对整个监测系统进行运维监控管理。\n[0014] 所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；\n[0015] 实时威胁智能分析系统模块依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；\n[0016] 态势感知展示系统模块实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。\n[0017] 所述实时威胁智能分析系统模块包括：分析中心模块、安全日志模块、可疑文件模块、威胁情报模块、前端取证模块及专家分析模块。\n[0018] 所述分析中心模块包括IP行为画像模块和数据挖掘模块，\n[0019] IP行为画像模块实现对IP的整体画像，针对系统中存在的IP地址能搜索出来，查看与该IP相关的信息，还能钻取进入二级IP详细信息页面；通过提供全域IP钻取，对IP进行DNS请求、威胁情报命中、安全日志和网络流量多个维度的分析并持续钻取；通过DNS请求，能分析域名访问和C&C外联情况，IP命中的威胁情报和安全日志佐证被攻击情况，网络流量为回溯取证提供依据；\n[0020] 数据挖掘模块实现对攻击关联图、攻击源分布、时序图、威胁类型分布、威胁情报命中及力导图中的数据进行挖掘。\n[0021] 所述攻击关联图整体展示安全日志中关联的内部、外部主机IP之间的相关性；\n[0022] 攻击源分布展示全球地图分布上的安全威胁情况，根据安全日志的源IP的Geo地理位置按国家、城市进行聚合统计；\n[0023] 时序图模块根据安全日志中的威胁事件发生的时间进行聚合；\n[0024] 威胁类型分布能挖掘出安全日志的威胁类型相关的数据；威胁次数根据安全日志的威胁类型进行聚合，并与威胁单位进行关联；\n[0025] 力导图实现了对安全日志中主机IP与威胁IP的关联，根据主机IP与大数据量威胁IP进行关联分析；\n[0026] 威胁情报命中实现了对黑IP、黑域名、黑MD5数据的挖掘，根据威胁情报库与安全日志中的主机IP进行碰撞关联，对被威胁的IP主机数和威胁次数进行统计。\n[0027] 所述安全日志功能模块记录了所有类型的威胁事件日志，提供关键词检索、自定义时间查询或者实时查询、标签过滤、删除事件日志、下载事件数据包、日志研判；\n[0028] 可疑文件模块记录所有已发现的可疑的文件，并将这些文件及其静态、动态检测报告存储在大数据的分布式文件系统之中；\n[0029] 威胁情报模块支持黑IP、黑域名、黑MD5、黑URL四类数据；对四类数据对命中趋势图、地理位置分布图、命中次数、命中主机IP占比进行分析展示，还实现对这四类数据的导入；\n[0030] 前端取证模块实现数据采集系统模块中不同前端设备的分开配置操作，进行数据包管理、警报配置、行为模型及前端回查；\n[0031] 专家分析模块为整个系统提供所有关键性数据的查询，包括但不限于：APT威胁事件、恶意文件、TCP会话、UDP会话、DNS。\n[0032] 所述态势感知展示系统模块采用数据可视化工具库，实时、立体地对安全威胁态势进行综合展示，包括单位威胁态势、行业威胁态势、资产安全态势、威胁报告管理、运维监控、组织管理及系统管理。\n[0033] 所述后台管理系统包括运维监控模块、组织管理模块、系统管理模块；\n[0034] 运维监控模块包括全局监控、前端状态、运维告警、告警配置；\n[0035] 组织管理模块包括监控单位管理和前端设备管理模块；监控单位管理模块对客户单位进行管理；前端设备管理模块对前端设备进行信息维护；\n[0036] 系统管理模块包括用户管理、角色管理、权限管理、菜单管理、安全审计、配置管理及数据字典。\n[0037] 采用所述基于大数据分析技术的威胁预警监测系统的方法，包括，[0038] 通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；\n[0039] 对采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；\n[0040] 利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；\n[0041] 采用数据可视化工具库实时、立体地对安全威胁态势进行综合展示。\n[0042] 一种所述基于大数据分析技术的威胁预警监测系统的部署架构，包括前端安全设备采集器，所述前端安全设备采集器与采集器通信，所述采集器与预处理服务器通信，预处理服务器汇总采集器上报的数据，并对上报数据进行统一的范式化处理，对采集的数据进行数据归并、数据清洗操作，并根据不同业务把数据存储到不同的存储系统上；\n[0043] 预处理服务器与hadoop服务器通信，预处理完成的数据存放在hadoop服务器上，并对数据进行关联统计与数据挖掘，形成结果数据导入检索引擎，供web服务器查询数据；\n[0044] Es节点服务器对hadoop服务器形成的结果数据进行海量数据的存储与二次统计，并提供给web服务器检索数据；\n[0045] 客户端服务器针对整个威胁预警监测系统提供运维与监控服务；\n[0046] Web服务器包括Web数据库服务器和Web展示服务器；Web数据库服务器存放业务功能数据；Web展示服务器按业务功能管理与威胁数据分析两大功能进行数据可视化展现；\n[0047] 前端安全设备采集器包括TSA服务器、IDS服务器、IPS服务器及APT服务器。\n[0048] 本发明的有益效果：\n[0049] 本发明可以通过数据采集器实现对异构数据源的整合、清洗和范式化处理，实现对多数据源数据进行全面采集；通过构建在Hadoop平台之上，可实现海量数据可靠存储；通过内建以机器学习和智能分析算法为基础的多种网络安全分析模型，达到实时甄别未知安全威胁；借助大数据可视化分析工具与丰富的数据展示组件，实现对分析结果的多维度图形化直观展现。\n[0050] 通过构建基于大数据分析技术的威胁预警监测系统，能够直观显示出企业网络环境的实时安全状况、受攻击情况、攻击来源等情况，安全分析人员能及时掌握实时及历史安全威胁状况。通过此方法及系统实现了对未知威胁进行主动防御，达到了事前规划预防、事中监测阻断、事后追溯整改的目的。\n附图说明\n[0051] 图1为本发明监测系统的架构图；\n[0052] 图2为本发明监测系统的部署架构图。\n具体实施方式\n[0053] 下面结合附图与实施例对本发明作进一步说明。\n[0054] 如图1所示，基于大数据分析技术的威胁预警监测系统，包括数据采集系统模块、数据存储系统模块、实时威胁智能分析系统模块、态势感知展示系统模块、后台管理系统模块。\n[0055] 数据采集系统模块是网络全流量安全分析系统(TSA)、入侵检测系统(IDS)、入侵防御系统(IPS)、高级持续性威胁系统(APT)等前端安全设备数据采集的服务器。数据采集系统对原始网络流量实时采集和储存，提供最真实的通信信息，并实现TSA、IDS、IPS、APT等前端安全设备采集的数据上传。采集数据包括威胁情报、IPS日志数据、APT系统数据、IDS日志数据、网络流量等数据。数据采集系统支持主流安全设备厂商的相关安全设备的无缝对接，支持syslog，http，ftp等10多种标准协议接口，并支持自定义接口。\n[0056] 数据采集模块中所述的威胁情报来源于威胁情报系统，威胁情报系统主要实现了从互联网上爬取威胁情报，也可以从第三方交换威胁情报和厂商获取的情报进行导入推送。对威胁情报的分析主要依据杀伤链，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好等进行了机器学习和分析。最终以可视化的方式分类展示。\n[0057] 威胁情报系统主要以实时分析图进行展示，主要功能包括：实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、可高亮显示某个国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。\n[0058] 数据存储系统模块对采集的数据进行数据归并和数据清洗等处理后再进行存储管理。数据存储系统支持分布式文件系统(HDFS)，行式数据库(RowDB)，列式数据库(ColumnDB)，对象存储系统(CEPH)四种存储系统，实现对采集的大量数据进行可靠存储，有效解决了大数据分析技术的可靠存储需求。\n[0059] 实时威胁智能分析系统模块利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理等方式来对安全数据进行深度的分析与挖掘，结合模型库内的入侵检测模型、网络异常行为模型、设备异常行为模型，实时甄别未知的安全威胁。\n[0060] 实时威胁智能分析系统模块主要包括：分析中心、安全日志、可疑文件、威胁情报、前端取证、专家分析等模块。\n[0061] 分析中心模块主要包括IP行为画像和数据挖掘。\n[0062] IP行为画像实现对IP的整体画像，有助于用户了解某IP的流量和安全态势，针对系统中存在的IP地址都能在该页面搜索出来，查看与该IP相关的信息，还可钻取进入二级IP详细信息页面。以IP为维度的分析是增强用户网络安全性的核心，可有效分析外部IP对组织内部的攻击状况，以及评估内部IP受损情况。通过提供全域IP钻取，用户可对IP进行多个维度的分析并持续钻取，用以发现攻击趋势和线索。IP行为画像分析最重要的四个维度包括：DNS请求、威胁情报命中、安全日志和网络流量。通过DNS请求，可分析域名访问和C&C外联情况；IP命中的威胁情报和安全日志可进一步佐证被攻击情况；网络流量详细刻画了该IP网络通讯的会话信息，为回溯取证提供依据。\n[0063] 数据挖掘功能实现对分析中心的数据进行挖掘，主要包括：攻击关联图、攻击源分布、时序图、威胁类型分布、力导图、威胁情报命中这六个模块的数据进行挖掘。\n[0064] 攻击关联图模块整体展示各安全设备上报的安全日志中关联的内部、外部主机IP之间的相关性。根据安全日志的主机IP出现的次数的TOP N来展示，如果主机IP有关联则建立威胁连接。每个IP可以点击进入到IP行为画像分析的详细页面。\n[0065] 攻击源分布模块以2D地图展示了全球地图分布上的安全威胁情况，根据安全日志的源IP的Geo地理位置按国家、城市进行聚合统计。根据各城市可挖掘到与该城市的IP发起的攻击威胁Top图和发起威胁次数。\n[0066] 时序图模块根据安全设备上报的安全日志中的威胁事件发生的时间进行聚合。用户可自定义时间，实现对该时间段内发生的所有威胁事件日志记录的挖掘。\n[0067] 威胁类型分布模块可挖掘出TSA、IPS、IDS等安全设备上报的安全日志的威胁类型相关的数据。威胁次数根据安全日志的威胁类型进行聚合，并与威胁单位进行关联。威胁类型包括特征值警报、Web攻击、黑IP警报、可疑域名、邮件敏感字等。\n[0068] 力导图模块实现了对各安全设备上报的安全日志中主机IP与威胁IP的关联，根据主机IP与大数据量威胁IP进行关联分析。可自定义内部、外部IP显示的个数，每个IP以一个圆圈表示，每个IP均可挖掘出该IP相关的所有信息。\n[0069] 威胁情报命中模块实现了对黑IP、黑域名、黑MD5数据的挖掘。比对规则来源于威胁情报库的黑名单命中安全日志。根据威胁情报库与安全日志中的主机IP进行碰撞关联，根据被威胁的IP主机数和威胁次数进行统计。\n[0070] 安全日志功能模块记录了所有前端上报的各种类型的威胁事件日志，提供关键词检索、自定义时间查询或者实时查询、标签过滤、删除事件日志、下载事件数据包、日志研判等功能。关键词检索支持MD5、文件名、目标IP、目标端口、源IP、源端口进行搜索。标签过滤主要包括客户单位、危险等级、安全设备、威胁类型。IP地址钻取实现查询列表中的源IP地址、目的IP地址中任意IP均可点击，实现钻取挖掘到该IP二级详细信息页面。删除事件日志支持单个和批量删除，删除后的日志会进入日志回收站。下载事件数据包支持单个和批量下载。日志研判可自定义对威胁事件进行研判，主要是对某单位的威胁事件进行事件描述。\n[0071] 可疑文件功能模块记录所有已发现的可疑的文件，并将这些文件及其静态、动态检测报告存储在大数据的HDFS分布式文件系统之中。该模块提供关键词检索、自定义时间查询、IP地址钻取、可疑文件下载等功能。关键词检索支持IP地址、文件名称、恶意代码、MD5值检索。IP地址钻取实现查询列表中的源IP地址、目的IP地址中任意IP均可实现钻取挖掘到该IP二级详细信息页面。\n[0072] 威胁情报功能模块支持黑IP、黑域名、黑MD5、黑URL这4类数据。这4类数据在不同页面展示，但每一类数据页面所提供的功能完全一致。该模块主要针对4类数据对命中趋势图、地理位置分布图、命中次数、命中主机IP占比等进行分析展示。还实现对这4类数据的导入功能。\n[0073] 前端取证功能模块实现不同单位的不同前端设备分开配置操作，目前系统配置的前端设备主要包括网络全流量安全分析系统(TSA)、入侵检测系统(IDS)、入侵防御系统(IPS)、高级持续性威胁系统(APT)，目前支持的功能有数据包管理、警报配置、行为模型、前端回查四个功能。\n[0074] 数据包管理模块提供数据包手动获取和数据包自动获取策略配置功能。此模块可根据文件名称和数据包开始结束时间进行查询，并可下载删除数据包。还可以添加数据包获取任务，根据网络应用、会话、地址、端口、网段、国家、协议这七个字段来配置任务，配置策略包括与条件和或条件。或条件代表只要满足条件之一则会捕获数据包，与条件代表必须满足所有条件才会捕获数据包。\n[0075] 警报配置模块包括5种警报类型的配置，分别是：流量警报、邮件敏感字警报、可疑IP警报、可疑域名警报、特征值警报。每种警报类型都具有新增、删除、查看、下载、导入、导出功能。新增警报配置后，可将警报配置下发至前端。\n[0076] 行为模型模块提供基于元数据的网络行为配置，支持100多种元数据字段的提取，通过对提取的元数据字段使用简单、轻量级的语法规则描述语言，可实现各种类型的网络行为配置。\n[0077] 前端回查模块提供3类数据的回查，包括：DNS查询、UserAgent查询和特征回查。根据任务名称可查看相关的配置信息，也可以将新增的任务下发至前端。\n[0078] 专家分析功能模块为整个系统提供所有关键性数据的查询，包括但不限于以下类型：APT威胁事件、恶意文件、TCP会话、UDP会话、DNS。每一类数据都有各自查询的不同逻辑条件，同时还支持各类数据的关联查询，结果中继续查询。\n[0079] 本发明中数据挖掘处理过程中进行关联分析涉及的安全模型主要包括：关联分析模型、融合分析模型和攻击要素分析模型。\n[0080] 1、关联分析模型：网络中的安全设备日志都是对进入网络的安全事件的流量的刻画，针对某一个可能的攻击事件，会产生大量的日志和相关报警记录，这些记录存在着很多的冗余和关联，因此首先要对得到的原始日志进行单源上的关联分析，把海量的原始日志转换为直观的、能够为人所理解的、可能对网络造成危害的安全事件。基于大数据分析技术的威胁预警监测系统采用基于相似度的报警关联分析，可以较好地控制关联后的报警数量，有利于减少复杂度。\n[0081] 其处理过程是：\n[0082] 1)首先提取报警日志中的主要属性，形成原始报警；\n[0083] 2)再通过重复报警聚合，生成聚合报警；\n[0084] 3)对聚合报警的各个属性定义相似度的计算方法，并分配权重；\n[0085] 4)计算两个聚合报警的相似度，通过与相似度阀值的比较，来决定是否对聚合报警进行超报警；\n[0086] 5)最终输出属于同一类报警的地址范围和报警信息，生成安全事件。\n[0087] 2、融合分析模型：多源日志存在冗余性、互补性等特点，态势感知借助数据融合技术，能够使得多个数据源之间取长补短，从而为感知过程提供保障，以便更准确地生成安全态势。经过单源日志报警关联过程，分别得到各自的安全事件。而对于来自安全设备的多源安全事件，采用D-S证据理论方法进行融合判别，对安全事件的可信度进行评估，进一步提高准确率，减少误报。\n[0088] D-S证据理论应用到安全事件融合的基本思路：首先研究一种切实可行的初始信任分配方法，分配信息度函数；然后通过D-S的合成规则，得到融合之后的安全事件的可信度。\n[0089] 3、攻击要素分析模型：通过对网络入口处安全设备日志的安全分析，得到的只是进入目标网络的可能的攻击信息，而真正对网络安全状况产生决定性影响的安全事件，则需要通过综合分析攻击知识库和具体的网络环境进行最终确认。\n[0090] 其处理过程主要分为三个步骤：\n[0091] 1)一是通过对大量网络攻击实例的研究，得到可用的攻击知识库，主要包括各种网络攻击的原理、特点，以及它们的作用环境等；\n[0092] 2)二是分析关键主机上存在的系统漏洞和承载的服务的可能漏洞，建立当前网络环境的漏洞知识库，分析当前网络环境的拓扑结构、性能指标等，得到网络环境知识库；\n[0093] 3)三是通过漏洞知识库来确认安全事件的有效性，即对当前网络产生影响的网络攻击事件。在网络安全事件生成和攻击事件确认的过程中，提取出用于对整个网络安全态势进行评估的态势要素，主要包括整个网络面临的安全威胁、分支网络面临的安全威胁、主机受到的安全威胁以及这些威胁的程度。\n[0094] 态势感知展示系统模块采用了多种丰富的数据可视化工具库，实时、立体对安全威胁态势进行综合展示，包括单位威胁态势、行业威胁态势、资产安全态势、威胁报告管理、运维监控、组织管理及系统管理，便于技术或者管理人员能够轻松掌握实时及历史安全威胁状况。\n[0095] 单位安全态势模块主要是将系统监控的所有单位、行业及其总体相关的所有威胁数据统计值以图表的形式展现。此模块划分为以下3个子功能：单位态势、行业态势、总体态势。单位态势包含单位全局态势、月环比、前端、重点资产4个功能；行业态势包含行业全局态势与月环比两个功能；总体态势主要是将威胁统计、攻击类型、行业威胁比重、攻击源国家等数据值以统计图表的形式展现。\n[0096] 资产安全态势模块将系统监控的重点资产与后台管理中的重点资产进行整合，并按照攻击类型和时间对资产被攻击情况进行展示。此模块可添加、导入资产信息，并对重点资产被攻击情况进行自动分析。重点资产和攻击IP以星图形式展示，提供设置网段、重点资产自动分析、IP地址挖掘等功能。设置网段功能主要是将外网网段中的IP也加入到重点资产识别的范围。重点资产自动分析功能实现自动识别哪些服务器属于某单位的重点资产，识别完成之后可以选择性的将结果中的一部分或全部添加进入某单位重点资产目录。IP地址挖掘能自动对重点资产被攻击的相关IP进行IP地址钻取挖掘。\n[0097] 威胁报告管理模块提供了定时报告、研判报告、自定义报告这3类报告管理。\n[0098] 定时报告功能主要生成各单位的安全检测日报与安全检测月报，支持编辑、导出、删除、查询、手动生成报告等功能。\n[0099] 研判报告功能是针对系统中所有页面研判后生成的报告会集中在该页面展示，包括安全日志(威胁事件)研判报告、数据包研判报告、可疑文件研判报告、自主研判报告；该页面提供统一的管理，提供删除、导出、查询等功能。\n[0100] 自定义报告功能提供自定义报告的集中管理，可以随意向系统内导出需要备份的报告，也可以编辑、查看、删除系统内的报告。\n[0101] 后台管理系统包括运维监控、组织管理、系统管理模块。\n[0102] 运维监控模块包括全局监控、前端状态、运维告警、告警配置。全局监控页面中以各类图表的形式实时监控所有服务器，包括前端服务器、中心服务器，中心服务器指的是本系统的WEB服务器。监控信息包括：CPU状态、内存状态、磁盘状态。前端状态页面中以图表的形式展示出所有的前端设备状态信息。运维告警功能记录了所有前端的告警日志，包括前端服务器的CPU利用率告警、内存利用率告警、磁盘空间告警、数据传输类告警。告警配置页面提供对各类告警的自定义配置，提供了4类警报信息配置，包括：CPU利用率、内存利用率、磁盘空间、离线与数据传输。\n[0103] 组织管理模块包括监控单位管理和前端设备管理模块。监控单位管理模块中可以新增、编辑、删除单位，支持使用客户名、行业检索客户单位。前端设备管理模块中可以添加、编辑、删除前端设备，可查看前端设备的警报日志；支持使用设备名称、所属客户检索前端设备信息。目前，系统前端设备主要包括网络全流量分析系统TSA、入侵防御系统IPS、入侵检测系统IDS、高级持续性威胁系统APT等安全设备。\n[0104] 系统管理模块包括用户管理、角色管理、权限管理、菜单管理、安全审计、配置管理、数据字典。用户管理模块支持新增、编辑、删除、修改密码、分配角色等功能。角色管理模块可以新增、编辑、删除角色，支持角色和状态查询，每个角色可以分配不同的权限。权限管理模块提供新增、编辑、删除、查询功能。菜单管理模块以树状显示大数据威胁预警监测系统和后台管理系统的菜单目录，可进一步查看、编辑、新增各级菜单的页面信息。安全审计模块记录了所有用户在系统中的登录日志、操作日志与访问日志；提供日志查询功能，可以根据日志类型、操作用户、菜单选择、操作IP、开始与结束时间查询想要查看的日志记录。配置管理模块提供为资产安全等级进行配置具体的值。数据字典模块可以新增、编辑、删除字典信息；字典包括账户状态、厂商名称、行业类型、日志类型、服务器类型、权限状态、角色状态等。\n[0105] 采用所述基于大数据分析技术的威胁预警监测系统的方法，包括，[0106] 通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；\n[0107] 对采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；\n[0108] 利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；\n[0109] 采用数据可视化工具库实时、立体地对安全威胁态势进行综合展示。\n[0110] 如图2所示，一种所述基于大数据分析技术的威胁预警监测系统的部署架构，包括，前端服务器主要分为TSA服务器、IDS服务器、防火墙等服务器，每种类型的前端服务器都为大数据分析技术的威胁预警监测系统提供数据来源，供威胁预警监测系统进行数据分析与检索。\n[0111] 采集服务器负责对TSA、IDS、APT、IPS等前端安全服务器数据进行集中收集，并对数据进行过滤，缓存，简单范式化等处理操作。\n[0112] 预处理服务器汇总所有采集服务器上报的数据，并对上报数据进行统一的范式化处理，对采集的数据进行数据归并、数据清洗等操作，并根据不同业务把数据存储到不同的存储系统上。\n[0113] 预处理完成的数据都存放在hadoop服务器上，并利用hadoop的存储与分析能力，对数据进行关联统计与数据挖掘，形成结果数据并导入检索引擎，供web服务器查询数据。\n[0114] Es节点(Elasticsearch)服务器对hadoop服务器形成的结果数据，进行海量数据的存储与简单的二次统计，并提供接口给web服务器检索数据。\n[0115] 客户端服务器针对整个威胁预警监测系统，提供自动化运维与监控服务，运维人员通过客户端服务器提供的接口去配置与管理系统平台的任务调度与运维监控。\n[0116] Web服务器主要分为Web数据库服务器和Web展示服务器。Web数据库服务器主要是存放威胁预警监测系统的业务功能数据；Web展示服务器利用业务服务器的基础数据和威胁预警监测系统的数据按业务功能管理与威胁数据分析两大功能进行数据可视化展现。\n[0117] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。