自适应网络入侵检测系统

1.一种自适应网络入侵检测系统，包括报文预处理与转发模块(1)、误用检测模块(8)、异常响应模块(7)、输出装置(9)，所述报文预处理与转发模块(1)用来提取网络连接对象中的非加密报文并转发到误用检测模块(8)，所述误用检测模块(8)用来将检测到的异常网络连接对象转发到异常响应模块(7)，其特征在于：该系统还包括实时数据库(2)、特征数据整理与存储模块(3)、历史数据库(4)、半监督自适应学习模块(5)、异常检测模块(6)，
报文预处理与转发模块(1)还用来提取网络连接对象的网络连接特征向量并存储到实时数据库(2)；
误用检测模块(8)还用来将非加密报文的报文检测结果存储到实时数据库(2)；
特征数据整理与存储模块(3)用来定期检查和整合实时数据库(2)中的网络连接特征向量和报文状态，将整理后的网络连接特征向量存储到历史数据库(4)，所述报文状态包括：连接标识、报文标识、是否检测以及检测结果；
半监督自适应学习模块(5)根据历史数据库(4)中的各种数据，利用半监督学习算法生成异常检测规则，且将异常检测规则动态更新到异常检测模块(6)中；
异常检测模块(6)用来分析实时数据库(2)中的网络连接特征向量，然后将检测到的异常网络连接对象转发至异常响应模块(7)。
2.按照权利要求1所述的自适应网络入侵检测系统，其特征在于：所述的特征数据整理与存储模块(3)按以下步骤对实时数据库(2)中的数据进行处 理：
S1、从实时数据库(2)中取出一个网络连接对象，此时要求该连接对象中所有报文的检测结果都已从误用检测模块(8)返回，或者不对该连接中的报文进行误用检测；
S2、判断该连接对象的报文是否送入误用检测模块(8)，如果没有就转入步骤S9执行相应操作；否则转入步骤S3；
S3、查看该连接对象中所有报文的状态，如果存在一个报文的状态为异常，表明误用检测模块(8)已经从报文检测出入侵行为，意味着该连接对象必然是一个异常连接，将检查结果送入步骤S4；
S4、判断连接对象相关的报文是否包含已知的入侵的特征，如果包含则跳转到步骤S5；
否则该连接可能是正常连接，则跳转到步骤S7；
S5、设置实时数据库中对应的网络连接特征向量的异常类型值，并记录是根据误用检测模块(8)的检测结果来设置的，跳转到步骤S6；
S6、将网络连接特征向量从实时数据库(2)中移除，并存入到历史数据库(4)中，转入步骤S1处理下一个网络连接对象；
S7、判断当前的网络连接对象的活动是否已经结束，如果网络连接已经结束就转到步骤S8；否则转入步骤S1；
S8、由于连接已经结束，所有报文都为正常状态，可以判定该连接是正常的，因此可以将异常类型值设置为正常连接，且标记该结果是根据误用检测模块(8)的检测结果设置，转入执行步骤S6；
S9、由于该连接对象中的报文没有送入误用检测模块(8)，如果本次连接活动已经结束，则直接将该连接特征向量的异常类型值标记为空，即作为无分类 标记的网络连接特征向量，并转步骤S6；如果没有结束就转入步骤S1。
3.按照权利要求1所述的自适应网络入侵检测系统，其特征在于：所述的网络连接特征向量的参数至少包括：连接标识、俘获时间戳、源地址、源端口号、目的地址、目的端口号、采用的协议、异常类型。
4.按照权利要求1所述的自适应网络入侵检测系统，其特征在于：所述的半监督自适应学习模块(5)采用的自适应学习器是Bagging和Boosting学习模型的学习器。
5.按照权利要求1至4之一所述的自适应网络入侵检测系统，其特征在于：历史数据库(4)还连接有输入装置(10)。

自适应网络入侵检测系统 \n技术领域\n[0001] 本发明涉及一种计算机网络入侵检测系统，特别涉及一集成异常检测技术和误用检测技术的自适应网络入侵检测系统。 \n背景技术\n[0002] 网络入侵检测作为目前最主要的主动网络安全措施之一，它通过对计算机和网络资源上的恶意网络连接进行识别和响应，有效地补充和完善了诸如访问控制、数据加密、防火墙、病毒防范等安全措施，提高了信息安全基础结构的完整性，已成为信息系统安全解决方案中不可或缺的环节。网络入侵检测技术按其工作原理分为误用检测技术和异常检测技术两类。其中误用检测技术基于数据报文特征匹配为基础，这种检测技术准确率高，但其问题是不能发现新的入侵模式而出现漏报情况。异常检测技术则以网络连接特征、系统调用特征、网络流量特征以及系统时延特征等数据为基础，建立正常网络行为的描述模型，当用户活动与正常行为有重大偏离时即被认为是入侵，该检测技术可以发现新型网络入侵，但是存在误报率高，需要大量训练样本的问题。 \n[0003] 由于信息系统的运行状态是不断演化，那么反映其运行状态的特征数据的分布规律自然也会随之改变。为了获得理想的检测性能，就要求异常检测系统必须定期动态更新训练样本，并在此基础上动态更新异常检测规则。然而传统的通过网络专家人工方式收集训练样本的方法效率低下，并导致异常检测系统的应用和部署成本高昂的问题。 发明内容\n[0004] 本发明要解决的技术问题是：提供一自适应网络入侵检测系统，它能够结合异常检测技术和误用检测技术，以实现检测系统自动适应运行环境的变化，并降低整个系统的应用和部署的成本。 \n[0005] 为解决上述技术问题，本发明的技术方案如下：系统包括报文预处理与转发模块、误用检测模块、异常响应模块、输出装置，该报文预处理与转发模块用来提取网络连接对象中的非加密报文并转发到误用检测模块，误用检测模块用来将检测到的异常网络连接对象转发到异常响应模块，其关键在于，该系统还包括实时数据库、特征数据整理与存储模块、历史数据库、半监督自适应学习模块、异常检测模块， \n[0006] 报文预处理与转发模块还用来提取网络连接对象的网络连接特征向量并存储到实时数据库； \n[0007] 误用检测模块还用来将非加密报文的报文检测结果存储到实时数据库； [0008] 特征数据整理与存储模块用来定期检查和整合实时数据库中的网络连接特征向量和报文状态数据，将整理后的网络连接特征向量存储到历史数据库中；所述报文状态包括：连接标识、报文标识、是否检测以及检测结果等属性。 \n[0009] 半监督自适应学习模块根据历史数据库中的各种网络连接特征向量，利用半监督学习算法生成异常检测规则，且将该异常检测规则动态更新到异常检测模块中； [0010] 异常检测模块用来分析实时数据库中的网络连接特征向量，然后将检测到的异常网络连接对象接转发至异常响应模块。 \n[0011] 本发明的有益效果：本发明通过使用误用检测模块的检测结果为异常检测模块生成大量的训练数据，利用半监督学习技术实现异常检测规则的动态更新， 从而提高系统的自适应能力；半监督自适应学习模块能根据历史数据库中的数据建立异常检测规则，无需大量人工标记的训练数据，从而极大降低了异常检测系统的部署成本；系统综合异常检测技术和误用检测技术对网络活动进行分析，从而提高系统的检测性能。 附图说明\n[0012] 图1是本发明中的结构示意图； \n[0013] 图2是网络连接特征向量数据的结构图； \n[0014] 图3是特征数据整理与存储模块工作流程图； \n[0015] 图4是报文检测状态数据的结构图。 \n具体实施方式\n[0016] 下面结合附图和具体实施例对本发明作进一步的说明。 \n[0017] 如图1、图2所示，自适应网络入侵检测系统中包括：报文预处理与转发模块1，实时数据库2、特征数据整理与存储模块3、历史数据库4、半监督自适应学习模块5、异常检测模块6，异常响应模块7、误用检测模块8、输出装置9、输入装置10。报文预处理与转发模块\n1分别连接到实时数据库2和误用检测模块8，该报文预处理与转发模块用来将提取到的网络连接特征向量存储到实时数据库2，同时将网络连接对象中的非加密报文转发到误用检测模块8；该误用检测模块8将检测到的入侵事件发到异常响应模块7，误用检测模块8还将报文的检测结果存储到实时数据库(2)中。 \n[0018] 其中报文处理与转发模块1，采用协议分析的方式对网络连接对象进行分析，过滤掉一部分不需要分析的视频，语音等网络流量，提取出非加密和重点关注的网络连接对象，建立其对应的网络连接特征向量。所述的网络连接特征向量中至少包括：连接标识，俘获时间戳、源地址、源端口号、目的地址、目的端口号、采用的协议、异常类型。 [0019] 网络连接特征向量中其它的数据则可以是根据系统配置情况，借鉴目前异常检测算法中采用的网络属性特征，例如：连接持续时间、数据报文的长度、连接类型、错误分片树、服务内容，是否加密等信息。 \n[0020] 异常检测模块6则按照异常检测规则对实时数据库2中的网络连接特征向量进行检测，如果存在异常就将检测结果提交给异常响应模块7；异常响应模块7将综合异常检测模块6和误用检测模块8对网络连接特征向量和网络报文的检测结果，生成告警信息并提交给系统管理员，由系统管理员把告警信息送入输出装置9，输出装置9可以为显示器，打印机或者日志文件等设施。 \n[0021] 如图1、图2、图3、图4所示。为了实现异常检测模块6中的异常检测规则的自动更新，特征数据整理与存储模块3用来检查和处理实时数据库2中的网络连接特征向量和报文检测的结果，然后将获得的各类网络连接特征向量数据写入到历史数据库4中，作为异常检测的训练数据集；半监督自适应学习模块5根据历史数据库4中的训练数据生成异常检测规则，且将该异常检测规则更新到异常检测模块6中。 \n[0022] 为记录上述报文状态，实时数据库2中的报文状态数据至少包括：连接标识、报文标识、是否检测以及检测结果等属性。如果报文已经送入异常检测模块，检测结果为空则表示误用检测模块8的检测结果还没有返回。 \n[0023] 如图3所示，所述的特征数据整理与存储模块3可以设置成每1秒钟或每2秒钟或每3秒钟定期检查实时数据库2中的网络连接特征向量，并按以下步骤 对实时数据库2中的数据进行处理： \n[0024] S1、从实时数据库2中取出一个网络连接对象，此时要求该连接对象中所有报文的检测结果都已从误用检测模块8返回，或者该连接中的报文都不进行误用检测。 [0025] S2、判断该连接对象的报文是否被送入误用检测模块8，如果没有就转入步骤S9执行相应操作；否则转入步骤S3。 \n[0026] S3、查看该连接对象中所有报文的状态，如果存在一个报文的状态为异常，表明误用检测模块8已经从报文检测出入侵行为，意味着该连接对象必然是一个异常连接，将检查结果送入步骤S4。 \n[0027] S4、判断连接对象相关的报文中是否包含已知入侵的特征，如果包含则跳转到步骤S5；否则该连接可能是正常连接，则跳转到步骤S7。 \n[0028] S5、设置实时数据库中对应的网络连接特征向量的异常类型值，并记录是根据误用检测模块8的检测结果来设置的，跳转到步骤S6。 \n[0029] S6、将网络连接特征向量从实时数据库2中移除，并存入到历史数据库4中，转入步骤S1处理下一个网络连接对象。 \n[0030] S7、判断当前的网络连接对象的活动是否已经结束，如果网络连接已经结束就转到步骤S8；否则转入步骤S1。 \n[0031] S8、由于连接已经结束，所有报文都为正常状态，即误用检测系统判断该连接是正常的，因此可以将异常类型值设置为正常连接，并标记该结果是根据误用检测模块8的检测结果设置的，转入步骤S6。 \n[0032] S9、由于该连接对象中的报文没有送入误用检测模块8，如果本次连接活动已经结束，则直接将该连接特征向量的异常类型值标记为空，即作为无分类标 记的网络连接特征向量，并转步骤S6；如果没有结束就转入步骤S1。 \n[0033] 历史数据库4还连接有输入装置10，网络管理员根据输出装置9显示的结果，结合系统中的其它审计信息对网络连接进行分析，并通过输入装置10将审 计结果存储到历史数据库4中，所述输入装置为键盘和鼠标等设备。其中审计结果包含了系统管理员对系统中的网络行为的分析和判断，因此可以产生少量带有分类标记的网络连接特征向量。此外这些网络连接特征向量的可靠性较高，因此在半监督学习过程中具有较大的权值。 [0034] 大量网络连接特征向量是根据误用检测模块8的检测结果而生成的，通常大量的数据为正常连接特征数据，少量异常连接特征数据。另外，系统中大量网络连接没有经过异常检测模块6和误用检测模块8分析，因此存在大量无分类标记的网络连接特征向量。 [0035] 半监督自适应学习模块5，是采用半监督学习算法的自适应学习器，并在历史数据库4中的训练数据集上学习并生成异常检测规则。学习器可以采用现有常用的基于Bagging和Boosting(包容和加速)学习模式的学习器。根据历史数据库中4中数据构成的特点，半监督自适应学习模块5可能采用以下三种训练模式： \n[0036] C1：少量的有分类标记的网络连接特征向量、大量无分类标记的网络连接特征向量。其中有分类标记的网络连接特征向量是人工审计产生的结果，可能含有分类噪声。 [0037] C2：大量的正常网络连接特征向量、有限的异常网络连接特征向量、大量的无分类标记网络连接特征向量。其中的正常连接特征数据来自误用检测的结果，因此可能包括分类噪声。 \n[0038] C3：少量有分类标记的网络连接特征向量、大量正常网络连接特征向量、有限的异常连接特征向量和大量无分类标记的网络连接特征向量。其中，有分类标记的网络连接特征向量和正常的网络连接特征向量中可能包括分类噪声。 \n[0039] 其中情形C1对应着系统中没有部署误用检测系统，因此具有分类信息的网络连接特征向量只能通过网络管理员定期审计来获得；情形C2中的网络连接特征向量都由误用检测系统生成，无需网络管理人员参与；情形C3则对应着同时包含审计过程和误用检测系统生成的网络连接特征向量，是最常见的工作模式。上述三种工作模式中都只包含部分数据有分类标记信息，因此要求半监督自适应学习模块5能够利用部分分类标识信息来来完成异常检测规则的学习。 \n[0040] 异常检测模块6将根据半监督自适应学习模块5获得的异常检测规则动态更新检测规则，并将检测结果存放到历史数据库4中。异常响应模块7综合误用检测模块8和异常检测模块6对网络报文和网络连接特征向量的检测结果生成告警信息，然后提交到系统管理员，并通过输出装置9输出检测结果。