异构日志系统管理配置装置及方法

暂无

异构日志系统管理配置装置及方法\n技术领域\n[0001] 本发明涉及网络管理技术领域，尤其涉及一种异构日志系统管理配置装置及方法。\n背景技术\n[0002] 在一个完整的网络管理应用中，日志系统是非常重要的功能组成部分。日志系统可以记录系统中的所有用户行为、软件和系统问题的相关信息以及系统中发生的事件等信息，并按照一定的规范形式进行存储。网络管理员可以通过查看日志数据实现监控系统的运行状况、检查错误发生的原因、追踪功能操作的触发者以及寻找受到攻击时攻击者留下的痕迹等目的。此外，还可以通过采集和分析日志数据来优化系统的性能、调整改进系统的行为以及进行系统安全审计等工作。\n[0003] 一个典型的网络管理应用中，各项业务功能的日志具有多种多样的类型、来源以及实现方式；例如：\n[0004] 按照日志的类型划分，可以分为用户操作日志、应用系统日志以及安全日志等等；\n[0005] 按照日志的来源划分，可以分为网络管理应用系统记录日志、网络设备上报日志以及第三方协作应用记录日志等等；\n[0006] 按照使用的日志系统的实现方式划分，可以分为Java应用程序的Log4j日志、LogBack日志、JDKLog日志、C++应用程序的XLog日志、持久化到关系数据库的用户操作日志以及网络设备的Syslog日志等。\n[0007] 不同类型、来源和实现方式的日志都有其自身特有的设计规范并且均按照其固有的实现方式进行记录、存储以及管理。例如：\n[0008] 日志记录方式包括：记录标识、内容格式、时间戳模式、编码格式等日志数据记录的各项属性。\n[0009] 日志存储方式包括：文件、关系数据库、非关系数据库、设备MIB等多种持久化方式。\n[0010] 日志分割方式包括：日志容量较多时存储文件、数据库表以及MIB节点的划分方式，如按照日期时间、容量划分等方式及对应的划分策略。\n[0011] 日志备份策略包括：早期历史日志是否转至本地文件并压缩存储、备份时间周期以及压缩文件命名规则等等。\n[0012] 日志清理策略包括：日志保存时间窗、长期历史日志的删除以及清理规则等等。\n[0013] 由于上述诸多因素，造成不同日志系统中的各项记录、存储以及管理策略等实现细节难以被网络管理系统的使用者所熟知，而且网络管理系统中不同业务功能对应的日志系统以及记录方式并没有公开说明。\n[0014] 因此，网络管理人员或者网络管理系统的维护人员在进行异构日志系统配置以及管理时，存在较多的不便，难以实现统一的管理和配置；而且在遇到问题时往往难以及时、有效地对问题功能所属日志系统进行配置以及收集问题相关部分的日志记录，从而导致网络或网络管理系统问题解决的延误。\n发明内容\n[0015] 本发明提供一种异构日志系统管理配置装置及方法，用于实现对异构日志的统一管理配置。\n[0016] 具体的，所述异构日志系统管理配置装置，包括：\n[0017] 交互模块、适配模块及与所述交互模块、适配模块进行通信的配置管理模块；\n[0018] 所述交互模块用于向配置管理模块下发日志配置管理指令以及日志数据管理指令；\n[0019] 所述适配模块包括多个日志适配器，每个日志适配器匹配一种日志系统；\n[0020] 所述配置管理模块用于根据所述日志配置管理指令，调用指定日志适配器完成对与该日志适配器适配的日志系统的日志管理配置；或者，根据所述数据管理指令，调用指定日志适配器完成对与该日志适配器匹配的日志系统的日志数据管理配置。\n[0021] 本发明同时提供一种异构日志系统管理配置方法，其中，所述方法包括：\n[0022] 接收管理员下发的日志配置管理指令或日志数据管理指令；\n[0023] 确定目标日志系统，指定与目标日志系统适配的适配器；\n[0024] 调用指定的日志适配器，并根据所述下发的日志配置管理指令，完成对与该日志适配器适配的日志系统的日志管理配置；或者，调用指定日志适配器，并根据所述日志数据管理指令，完成对与该日志适配器适配的日志系统的日志数据管理配置。\n[0025] 由以上技术方案可见，通过本发明能够实现对异构日志的统一管理配置，可以解决异构日志系统存在的使用和管理不便，为用户提供一种简明、高效的日志系统配置管理方式，从而可以提升日志系统在网络管理中的使用价值及应用范围。\n附图说明\n[0026] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。\n[0027] 图1是本发明实施例中一种异构日志系统管理配置装置的模块示意图。\n[0028] 图2是本发明实施例中一种异构日志系统管理配置装置的架构示意图；\n[0029] 图3是本发明实施例中一种配置管理模块的逻辑结构示意图。\n[0030] 图4是本发明实施例中一种异构日志系统管理配置方法处理流程图。\n具体实施方式\n[0031] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0032] 本实施例中提供了一种异构日志系统管理配置装置，如图1中所示，该装置主要包括交互模块11、适配模块13以及配置管理模块12等部分。其中，适配模块13与异构日志系统进行适配并进行通信、配置管理模块12与所述交互模块11、适配模块13连接并通信。所述交互模块用于向配置管理模块下发日志配置管理指令以及日志数据管理指令；所述适配模块包括多个日志适配器，每个日志适配器适配一种日志系统；所述配置管理模块用于根据所述日志配置管理指令，调用指定日志适配完成对与该日志适配器适配的日志系统的日志管理配置；或者，根据所述日志数据管理指令，调用指定日志适配器完成对与该日志适配器适配的日志系统的日志数据管理配置。下面针对上述各个部分加以详细说明。\n[0033] 所述交互模块用于向配置管理模块下发日志配置管理指令以及日志数据管理指令；具体而言，交互模块本质上是对配置管理模块中封装的各项日志管理功能进行的简明的抽象和组合，从而向用户提供一系列的日志配置管理及日志数据管理功能外观选项或者向第三方工具提供一系列的功能接口。例如：\n[0034] 如图2所示，交互模块可以包括日志配置管理界面以及日志数据管理界面。其中，日志配置管理界面用于向用户提供日志系统的日志管理配置加载/更改选项外观，例如，指定业务功能的日志记录级别调整、日志记录输出模式配置、日志记录存储管理等选项外观；\n而日志数据管理界面用于向用户提供日志系统的日志数据管理选项外观，例如，指定业务功能的日志查看、日志数据收集、日志清理、日志备份以及日志文件下载等选项外观。因此交互模块可以供网络管理人员等用户通过日志配置管理界面下发日志系统的日志管理配置指令至配置管理模块或者通过日志数据管理界面下发日志系统的日志数据管理指令至配置管理模块。\n[0035] 交互模块还可以包括配置管理接口以及数据管理接口，其中，配置管理接口用于向第三方应用提供日志系统的日志配置管理接口，数据管理接口用于向第三方应用提供日志系统的日志数据管理接口。因此，交互模块可以供第三方应用调用，使得第三方应用可以通过日志配置管理接口下发日志系统的日志管理配置指令至配置管理模块，或者，通过日志数据管理接口下发日志系统的日志数据管理配置指令至配置管理模块。\n[0036] 配置管理模块的各项功能基于各日志系统向网络管理系统注册的元数据配置项实现。其中元数据配置项主要用于对网络管理系统各个业务功能所应用的日志系统进行定义及描述。典型的元数据配置项包含主要如下表中所示的内容：\n[0037]\n[0038] 如图3中所示，所述配置管理模块主要包括元数据配置管理单元、模式匹配单元、日志配置管理单元以及日志数据管理单元；其中：\n[0039] 元数据管理单元主要用于对各日志系统在网络管理系统上注册的元数据配置项进行加载、接收和解析。\n[0040] 模式匹配单元主要用于根据元数据配置项对日志系统进行维护和/或对指定数据进行匹配。例如，模式匹配单元具体可以用于根据元数据配置项中定义的日志文件或数据库表命名模式以及文件压缩模式等内容对日志系统进行维护，模式匹配单元还可以具体用于对某时间点或某时间段内某一业务功能配置项的实际日志文件或数据库表进行匹配。\n[0041] 日志配置管理单元主要用于根据下发的日志配置管理指令，指定日志适配器完成对与该日志适配器适配的日志系统的日志管理配置。例如，所述日志配置管理单元可以具体用于对某一业务功能的日志记录级别、日志记录输出模式等配置管理工作进行处理，并将配置管理的实际工作委托给选定的日志适配器去执行。\n[0042] 日志数据管理单元主要用于根据下发的日志数据管理指令，指定日志适配器完成对与该日志适配器适配的日志系统的数据管理配置。例如，所述日志数据管理单元可以具体用于对某一业务功的日志获取、日志清理、日志备份、数据收集等工作进行处理，并将数据管理的实际工作将委托给指定日志适配器去执行。此外，由于是基于各日志系统的元数据配置项实现，因此，当多个日志在相同日志文件中存储时，日志数据管理单元还可以根据元数据配置项中对应的日志内容在日志文件中的关键字，进行指定配置项或业务功能的细粒度数据展示以及收集。\n[0043] 适配模块包括多个日志适配器，每个日志适配器关联一种日志系统；日志适配器向上为配置管理模块的配置管理以及数据管理功能提供统一的业务接口，向下使用对应的日志系统基础设施来提供日志适配器接口中约定的配置管理和数据管理功能支持。例如，如图1中所示，所述异构日志系统包括Log4j日志系统、XLog日志系统以及用户操作日志系统，则适配模块相应的包括Log4j日志适配器、XLog日志适配器以及用户操作日志适配器。\n除此之外所述适配模块还可以包括LOGBack日志适配器、JDKLog日志适配器、Syslog日志日志适配器以及自定义适配器中的一种或者多种，从而可以方便第三方实现者扩展异构日志系统管理配置装置的适用范围，以满足自身的业务需求。\n[0044] 请参考图4，本发明还同时提供一种异构日志系统管理配置方法，其中，所述方法包括：\n[0045] 接收管理员下发的日志配置管理指令或日志数据管理指令；\n[0046] 确定目标日志系统，指定与目标日志系统适配的适配器；\n[0047] 调用指定的日志适配器，并根据所述下发的日志配置管理指令，完成对与该日志适配器适配的日志系统的日志管理配置；或者，调用指定日志适配器，并根据所述日志数据管理指令，完成对与该日志适配器适配的日志系统的日志数据管理配置。\n[0048] 进一步地，所述方法还包括：\n[0049] 完成各日志系统在网络管理系统注册的元数据配置项的加载、接收和解析；\n[0050] 根据各日志系统在网络管理系统注册的元数据配置项，完成对日志系统进行维护或对指定数据进行匹配。\n[0051] 进一步地，所述方法还包括：\n[0052] 根据元数据配置项中定义的日志文件或数据库表命名模式以及文件压缩模式对日志系统进行维护；或者，\n[0053] 对预设时间点或时间段内指定业务功能的日志文件或数据库表进行匹配。\n[0054] 进一步地，\n[0055] 所述日志配置管理指令包括：\n[0056] 指定业务功能的日志记录级别调整、日志记录输出模式配置、日志记录存储管理中的任意一种或多种；\n[0057] 所述日志数据管理指令包括：\n[0058] 完成对指定业务功能的日志查看、日志数据收集、日志清理、日志备份以及日志文件下载中的任意一种或多种。\n[0059] 进一步地，所述方法还包括：\n[0060] 根据下发的日志配置管理指令，对指定业务功能的日志记录级别、日志记录输出模式的日志管理配置进行加载和/或更改，并将所述日志管理配置的加载和/或更改的实际工作将委托给指定日志适配器执行。\n[0061] 根据下发的日志数据管理指令，对指定业务功的日志获取、日志清理、日志备份、数据收集工作的日志数据管理配置进行处理，并将数据管理配置的实际工作委托给指定日志适配器执行。\n[0062] 进一步地，所述方法还包括：\n[0063] 向第三方应用提供日志系统的日志配置管理接口；\n[0064] 向第三方应用提供日志系统的日志数据管理接口。\n[0065] 综合上述实施例可知，本发明所提供的异构日志系统管理配置装置至少具有以下优点：\n[0066] 简明的交互模块：网络管理员可以通过配置更改以及数据管理界面、第三方工具可以通过调用开放的服务接口对异构日志系统进行配置更改以及数据管理，而无需关注对应日志系统的日志记录方式、日志配置文件位置及修改方式、日志存储和分割方式等实现细节，最小化使用复杂度。\n[0067] 日志配置统一管理：应用各种日志适配器及日志系统的元数据配置项，对异构日志系统进行一致化的配置更改和数据管理，屏蔽多业务功能的配置差异和异构日志系统的实现差异。\n[0068] 细粒度的日志收集下载：在多个日志在相同日志文件中存储时，可进行指定配置项或业务功能的细粒度数据展示以及收集。\n[0069] 装置的可扩展性：第三方实现者可以通过实现和扩展配置管理模块中的元数据管理单元、模式匹配单元、配置更改单元以及数据管理单元接口来构建适合自身的配置管理策略，并可以通过实现日志适配器接口来扩展自定义日志适配器，以满足自身的业务需求。\n[0070] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。