数据交互信息判异系统及方法

1.一种数据交互信息判异方法，所述数据交互信息判异方法包括下列步骤：
（A1）收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；
（A2）转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；
（A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。
2.根据权利要求1所述的数据交互信息判异方法，其特征在于，所述步骤（A2）进一步包括：使用预先确定的标准化公式对所述目标数据交互信息中的周期性和/或偏态性的维度进行换算以使其符合预定标准。
3.根据权利要求2所述的数据交互信息判异方法，其特征在于，所述步骤（A3）进一步包括：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。
4.根据权利要求3所述的数据交互信息判异方法，其特征在于，所述步骤（A3）进一步包括：所述基于衍生指标数据执行针对监控对象的异常判别操作包括：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。
5.根据权利要求4所述的数据交互信息判异方法，其特征在于，所述数据判异指标集所包含的数据判异指标定义了监控对象的特定特征值的阈值。
6.根据权利要求5所述的数据交互信息判异方法，其特征在于，以如下方式定义监控对象的特定特征值的阈值：通过批量模拟的方式确定监控对象的特定特征值的正常波动范围，由此确定该特定特征值的阈值。
7.根据权利要求1所述的数据交互信息判异方法，其特征在于，所述步骤（A3）进一步包括：将所获得的判异结果通过告警的方式呈现给用户。
8.根据权利要求7所述的数据交互信息判异方法，其特征在于，所述步骤（A3）进一步包括：定义数据判异指标的评估指标，并且当实际计算的评估指标超过基线时，触发数据判异指标的重新定义和生成，其中，所述评估指标包含但不限于报警量、有效率、事件量。
9.一种数据交互信息判异系统，所述数据交互信息判异系统包括：
数据收集模块，数据收集模块收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；
数据转换及存储模块，数据转换及存储模块转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；
数据衍生及判异模块，数据衍生及判异模块对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。
10.根据权利要求9所述的数据交互信息判异系统，其特征在于，所述数据衍生及判异模块以如下方式执行衍生操作：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。
11.根据权利要求10所述的数据交互信息判异系统，其特征在于，所述数据衍生及判异模块以如下方式基于衍生指标数据执行针对监控对象的异常判别操作：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。

数据交互信息判异系统及方法\n技术领域\n[0001] 本发明涉及数据交互信息判异系统及方法，更具体地，涉及基于数据衍生的数据交互信息判异系统及方法。\n背景技术\n[0002] 目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，根据数据交互信息进行异常判别操作以便产生告警的方法和系统变得越来越重要，以便及时发现问题并进行应急处理。\n[0003] 在现有的技术方案中，在根据数据交互信息进行异常判别操作时，不对来自不同来源的原始数据交互信息进行转换和过滤，并且也不对其进行数据挖掘和特征差异化处理，即仅能根据目标数据交互信息进行基于基础性逻辑的简单异常判别操作。\n[0004] 上述现有的技术方案存在如下问题：难于对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而导致误报、漏报、延时告警的发生，由此可能延误故障处理时机。\n[0005] 因此，存在如下需求：提供能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘以精确的进行异常判别操作的基于数据衍生的数据交互信息判异系统及方法。\n发明内容\n[0006] 为了解决上述现有技术方案所存在的问题，本发明提出了能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘以精确的进行异常判别操作的基于数据衍生的数据交互信息判异系统及方法。\n[0007] 本发明的目的是通过以下技术方案实现的：\n[0008] 一种数据交互信息判异方法，所述数据交互信息判异方法包括下列步骤：\n[0009] （A1）收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；\n[0010] （A2）转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；\n[0011] （A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。\n[0012] 在上面所公开的方案中，优选地，所述步骤（A2）进一步包括：使用预先确定的标准化公式对所述目标数据交互信息中的周期性和/或偏态性的维度进行换算以使其符合预定标准。\n[0013] 在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：\n（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。\n[0014] 在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：所述基于衍生指标数据执行针对监控对象的异常判别操作包括：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；\n（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。\n[0015] 在上面所公开的方案中，优选地，所述数据判异指标集所包含的数据判异指标定义了监控对象的特定特征值的阈值。\n[0016] 在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：将所获得的判异结果通过告警的方式呈现给用户。\n[0017] 在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：定义数据判异指标的评估指标，并且当实际计算的评估指标超过基线时，触发数据判异指标的重新定义和生成，其中，所述评估指标包含但不限于报警量、有效率、事件量。\n[0018] 本发明的目的也可以通过以下技术方案实现：\n[0019] 一种数据交互信息判异系统，所述数据交互信息判异系统包括：\n[0020] 数据收集模块，数据收集模块收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；\n[0021] 数据转换及存储模块，数据转换及存储模块转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；\n[0022] 数据衍生及判异模块，数据衍生及判异模块对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。\n[0023] 在上面所公开的方案中，优选地，所述数据衍生及判异模块以如下方式执行衍生操作：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。\n[0024] 在上面所公开的方案中，优选地，所述数据衍生及判异模块以如下方式基于衍生指标数据执行针对监控对象的异常判别操作：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果\n[0025] 本发明所公开的基于数据衍生的数据交互信息判异系统及方法具有以下优点：能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而能够更精确地进行异常判别操作。\n附图说明\n[0026] 结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中：\n[0027] 图1是根据本发明的实施例的数据交互信息判异方法的流程图；\n[0028] 图2是根据本发明的实施例的数据交互信息判异系统的示意性结构图。\n具体实施方式\n[0029] 图1是根据本发明的实施例的数据交互信息判异方法的流程图。如图1所示，本发明所公开的数据交互信息判异方法包括下列步骤：（A1）收集并过滤（例如去冗余）与监控对象相关联的海量原始数据交互信息（例如金融交易信息）以获得目标数据交互信息；（A2）转换每个目标数据交互信息以使其符合预先确定的标准格式（即使每个目标数据交互信息的格式统一），并将转换后的目标数据交互信息依照其一个或多个属性分层存储；（A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。\n[0030] 优选地，在本发明所公开的数据交互信息判异方法中，所述步骤（A2）进一步包括：\n使用预先确定的标准化公式对所述目标数据交互信息中的周期性和/或偏态性的维度进行换算以使其符合预定标准。\n[0031] 优选地，在本发明所公开的数据交互信息判异方法中，所述步骤（A3）进一步包括：\n（1）根据所述已存储的目标数据交互信息的第一属性（例如区域属性）对其进行衍生操作以生成第一衍生指标数据（例如区域指标数据）；（2）根据所述已存储的目标数据交互信息的第二属性（例如角色属性，诸如银行属性、交易类型等等）对其进行衍生操作以生成第二衍生指标数据（例如角色指标数据）：（3）根据所述已存储的目标数据交互信息的第三属性（例如周期属性）对其进行衍生操作以生成第三衍生指标数据（例如周期指标数据）：（4）根据所述已存储的目标数据交互信息的TPS趋势（即每秒钟业务量的上升、下降、平滑趋势）进行衍生操作以生成若干时间片（例如4个时间片）指标数据。\n[0032] 优选地，在本发明所公开的数据交互信息判异方法中，所述基于衍生指标数据执行针对监控对象的异常判别操作包括：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性（例如金融交易领域中的业务量、成功率、TPS趋势等等）确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标（示例性地，在金融交易领域中，数据判异指标的实例可以包括下列项：“无交易上送（即银行中断上送交易）”、“交易成功率、失败笔数、连续失败笔数”以及“交易量负波动（即在同一TPS趋势时间片内交易量瞬间下滑）”）；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。\n[0033] 优选地，在本发明所公开的数据交互信息判异方法中，所述数据判异指标集所包含的数据判异指标定义了监控对象的特定特征值的阈值。\n[0034] 优选地，在本发明所公开的数据交互信息判异方法中，以如下方式定义监控对象的特定特征值的阈值：通过批量模拟的方式确定监控对象的特定特征值的正常波动范围，由此确定该特定特征值的阈值。\n[0035] 优选地，在本发明所公开的数据交互信息判异方法中，所述步骤（A3）进一步包括：\n将所获得的判异结果通过告警的方式呈现给用户。\n[0036] 优选地，在本发明所公开的数据交互信息判异方法中，所述步骤（A3）进一步包括：\n定义数据判异指标的评估指标，并且当实际计算的评估指标超过基线时，触发数据判异指标的重新定义和生成（即重新定义和生成监控对象的特定特征值的阈值），其中，所述评估指标包含但不限于报警量、有效率、事件量。\n[0037] 由上可见，本发明所公开的数据交互信息判异方法具有下列优点：能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而能够更精确地进行异常判别操作。\n[0038] 图2是根据本发明的实施例的数据交互信息判异系统的示意性结构图。如图2所示，本发明所公开的数据交互信息判异系统包括数据收集模块1、数据转换及存储模块2、数据衍生及判异模块3。数据收集模块1收集并过滤（例如去冗余）与监控对象相关联的海量原始数据交互信息（例如金融交易信息）以获得目标数据交互信息。数据转换及存储模块2转换每个目标数据交互信息以使其符合预先确定的标准格式（即使每个目标数据交互信息的格式统一），并将转换后的目标数据交互信息依照其一个或多个属性分层存储。数据衍生及判异模块3对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。\n[0039] 优选地，在本发明所公开的数据交互信息判异系统中，所述数据转换及存储模块2能够使用预先确定的标准化公式对所述目标数据交互信息中的周期性和/或偏态性的维度进行换算以使其符合预定标准。\n[0040] 优选地，在本发明所公开的数据交互信息判异系统中，所述数据衍生及判异模块3以如下方式执行衍生操作：（1）根据所述已存储的目标数据交互信息的第一属性（例如区域属性）对其进行衍生操作以生成第一衍生指标数据（例如区域指标数据）；（2）根据所述已存储的目标数据交互信息的第二属性（例如角色属性，诸如银行属性、交易类型等等）对其进行衍生操作以生成第二衍生指标数据（例如角色指标数据）：（3）根据所述已存储的目标数据交互信息的第三属性（例如周期属性）对其进行衍生操作以生成第三衍生指标数据（例如周期指标数据）：（4）根据所述已存储的目标数据交互信息的TPS趋势（即每秒钟业务量的上升、下降、平滑趋势）进行衍生操作以生成若干时间片（例如4个时间片）指标数据。\n[0041] 优选地，在本发明所公开的数据交互信息判异系统中，所述数据衍生及判异模块3以如下方式基于衍生指标数据执行针对监控对象的异常判别操作：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性（例如金融交易领域中的业务量、成功率、TPS趋势等等）确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标（示例性地，在金融交易领域中，数据判异指标的实例可以包括下列项：“无交易上送（即银行中断上送交易）”、“交易成功率、失败笔数、连续失败笔数”以及“交易量负波动（即在同一TPS趋势时间片内交易量瞬间下滑）”）；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。\n[0042] 优选地，在本发明所公开的数据交互信息判异系统中，所述数据判异指标集所包含的数据判异指标定义了监控对象的特定特征值的阈值。\n[0043] 优选地，在本发明所公开的数据交互信息判异系统中，以如下方式定义监控对象的特定特征值的阈值：通过批量模拟的方式确定监控对象的特定特征值的正常波动范围，由此确定该特定特征值的阈值。\n[0044] 优选地，本发明所公开的数据交互信息判异系统进一步包括以及告警及优化模块\n4，所述告警及优化模块4能够将所获得的判异结果通过告警的方式呈现给用户。\n[0045] 优选地，在本发明所公开的数据交互信息判异系统中，所述所述告警及优化模块4能够定义数据判异指标的评估指标，并且当实际计算的评估指标超过基线时，触发数据判异指标的重新定义和生成（即重新定义和生成监控对象的特定特征值的阈值），其中，所述评估指标包含但不限于报警量、有效率、事件量。\n[0046] 由上可见，本发明所公开的数据交互信息判异系统具有下列优点：能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而能够更精确地进行异常判别操作。\n[0047] 尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到：在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。