一种基于HBase的日志存储系统及实现方法

1.一种基于HBase的日志存储系统的实现方法，该方法采用的日志存储系统，包括用户管理模块，用于用户注册、注册审核、管理员分配存储空间和对用户的基本情况进行管理；
日志管理模块，用于对系统账号、日志类型和日志的管理；远程服务调用模块，用于Web服务的发布以及用户系统调用发布的Web服务进行日志的存储，包括身份验证服务和日志的远程实时存储服务；系统查询模块，用于剩余空间量的查询、展示以及站内信联系管理员；其中用户管理模块与分布式数据库双向连接，分布式数据库与日志管理模块双向连接，日志管理模块与远程服务调用模块连接，远程服务调用模块通过分布式数据库与系统查询模块连接；
所述用户管理模块，包含用户审核单元、存储空间分配单元和用户信息管理单元；
所述日志管理模块，包括系统账号申请单元、日志类型管理单元和日志查询单元；
所述远程服务调用模块，包括系统配置单元、服务发布单元和服务调用单元；
所述系统查询模块，包括剩余空间查询单元、联系管理员单元和站内信管理单元；
其特征在于，该方法包含如下步骤：
S-1：本系统的一个具体使用者，以下简称用户，通过注册接口注册本系统；管理员审核注册用户，对符合要求的用户按权分配存储空间和最大系统存储数；
S-2：注册成功的用户申请系统账号，根据当前注册时间产生系统账号，根据随机密码产生函数产生唯一系统密码，同一注册用户可同时申请多个系统账号，系统默认最大系统申请数为10，用户可根据需要联系管理员进行变更；
S-3：用户自定义每个属性段的含义和属性段的标示符，系统默认‘#’作为属性段之间的分隔符，形成一条新的日志类型；
S-4：系统启动后向Web服务器发布Web服务供用户系统调用；
S-5：用户系统请求并调用Web服务，用户系统产生的日志被实时写入HBase的日志表中，同时返回日志存储是否成功的提示信息。
2.根据权利要求1所述的一种基于HBase的的日志存储系统的实现方法，其特征在于：
所述步骤S-2具体包含如下实施步骤：
步骤S-2-1：判断系统申请数目是否已达到系统账号申请上限，如果已达系统账号申请上限，则提示申请失败；否则继续步骤S-2-2；
步骤S-2-2：用户申请创建新的系统账号，系统将当前系统时间至1970-00-00 00:00:
00的时间转换成毫秒数生成系统账号；系统根据自定义的密码生成函数生成一串由大小写字母和数字组成的随机串作为系统密码；
步骤S-2-3：一个系统账号作为一个用户系统的主键key，系统密码、用户主键等信息作为value，那么信息以key-value键值对的形式被存入HBase的系统账号表中，系统账号申请成功；否则，返回步骤S-2-2。
3.根据权利要求1所述的一种基于HBase的的日志存储系统的实现方法，其特征在于：
所述步骤S-3具体包含如下实施步骤：
步骤S-3-1：确定日志类型的每个属性段的含义，并自定义每个属性段的标示符和日志类型名称；
步骤S-3-2：将属性段按定义的顺序用‘#’拼接成字符串，形成日志类型的内容；
步骤S-3-3：以当前系统时间至1970-00-00 00:00:00的毫秒数作为主键key，以用户主键和日志类型信息作为value；
步骤S-3-4：将键值对key-value存入HBase的日志类型表中，若存储成功，返回成功信息；否则，存储失败，返回步骤S-3-1。
4.根据权利要求1所述的一种基于HBase的的日志存储系统的实现方法，其特征在于：
所述步骤S-5具体包含如下实施步骤：
步骤S-5-1：系统端采用CXF方式进行配置，作为Web服务的服务器端，用于发布Web服务；同样，使用CXF方式对用户系统进行Web服务的客户端配置，使用户系统成为Web服务的客户端；
步骤S-5-2：运行本系统后，Web服务通过网络被发布；运行用户系统；当执行到日志存储时，执行步骤S-5-3；
步骤S-5-3：调用身份验证服务：用户系统提供系统账号和系统密码，两者作为参数传递给名称为“IsCorrect”的身份验证服务验证；若身份验证成功，执行步骤S-5-4；否则，身份验证失败，返回日志存储失败信息；
步骤S-5-4：调用日志实时存储服务，新产生的日志串调用名称为“AddLogs”的日志实时存储服务；
步骤S-5-5：利用Java的时间函数将时间转换成从系统当前时间至1970-00-00 00:00:
00的毫秒数作为一条日志信息的主键key，步骤S-5-4中的参数作为value，存入HBase的日志表中，日志信息存储成功；否则，日志存储失败，转至步骤S-5-2。

一种基于HBase的日志存储系统及实现方法\n技术领域\n[0001] 本发明涉及一种基于HBase（HBase是基于Hadoop分布式存储的开源数据库。与HDFS、Mapreduce同属于Hadoop的子项目）的日志存储系统及实现方法，属于大数据存储技术领域。\n背景技术\n[0002] 日志是一种不断积累的待挖掘资源，随着时间的推移其数量呈爆炸式增长。水利部门拥有多个信息系统，每个系统每时每刻都在产生日志记录。如何将这些日志记录进行集中的管理，从而进行进一步的数据挖掘是水利部门所面临的亟待解决的问题。\n[0003] 为了解决海量日志管理问题，软件开发者已开始了不断地探究。目前在日志管理领域已经有一些研究：胡伟在2013年实现了日志在磁盘介质中的集中存储，日志的存储形式为文件和数据库，这种存储方式在日志查询和分析方面不灵活（胡伟.企业日志集中管理系统的研究与设计[D].北京:北京邮电大学, 2013.）；王兆永在2011年设计了一个能够满足大数据存储的键值数据库，日志通过外部导入形式存储到键值数据库，不能满足日志实时存储，同时数据库的性能也有待考量（王兆永.面向大规模批量日志数据存储方法的研究[D].西安:电子科技大学, 2011）；2012年宋爱青应用了Hadoop的Web类型日志存储系统，日志的收集采用CDN内容分发网络就近收集用户日志，这种方式的日志收集繁琐，需要更多的节点开销（宋爱青.基于Hadoop的日志分析系统的设计与实现[D].北京:中国地质大学（北京）,2012）。上述文献所设计的系统采用不同方法解决海量日志存储问题，但是这些系统没有考虑在日志存储的灵活性、实时性和高效性等方面的需求。\n发明内容\n[0004] 针对现有技术中存在的问题，本发明提出一种基于HBase的日志存储系统及实现方法，将分布式日志存储引入水利领域，以提高对水利领域对日志的集中存储和数据挖掘能力。\n[0005] 本发明为解决其技术问题采用如下技术方案：\n[0006] 一种基于HBase的日志存储系统，包括用户管理模块，用于用户注册、注册审核、管理员分配存储空间和对用户的基本情况进行管理；日志管理模块，用于对系统账号、日志类型和日志的管理；远程服务调用模块，用于Web服务的发布以及用户系统调用发布的Web服务进行日志的存储，包括身份验证服务和日志的远程实时存储服务；系统查询模块，用于剩余空间量的查询、展示以及站内信联系管理员；其中用户管理模块与分布式数据库双向连接，分布式数据库与日志管理模块双向连接，日志管理模块与远程服务调用模块连接，远程服务调用模块通过分布式数据库与系统查询模块连接；\n[0007] 所述用户管理模块，包含用户审核单元、存储空间分配单元和用户信息管理单元；\n[0008] 所述日志管理模块，包括系统账号申请单元、日志类型管理单元和日志查询单元；\n[0009] 所述远程服务调用模块，包括系统配置单元、服务发布单元和服务调用单元；\n[0010] 所述系统查询模块，包括剩余空间查询单元、联系管理员单元和站内信管理单元。\n[0011] 一种基于HBase的日志存储系统的实现方法，包含如下步骤：\n[0012] S-1：本系统的一个具体使用者，以下简称用户，通过注册接口注册本系统；管理员审核注册用户，对符合要求的用户按权分配存储空间和最大系统存储数；\n[0013] S-2：注册成功的用户申请系统账号，根据当前注册时间产生系统账号，根据随机密码产生函数产生唯一系统密码，同一注册用户可同时申请多个系统账号，系统默认最大系统申请数为10，用户可根据需要联系管理员进行变更；\n[0014] S-3：用户自定义每个属性段的含义和属性段的标示符，系统默认‘#’作为属性段之间的分隔符，形成一条新的日志类型；\n[0015] S-4：系统启动后向Web服务器发布Web服务供用户系统调用；\n[0016] S-5：用户系统请求并调用Web服务，用户系统产生的日志被实时写入HBase的日志表中，同时返回日志存储是否成功的提示信息。\n[0017] 所述步骤S-2具体包含如下实施步骤：\n[0018] 步骤S-2-1：判断系统申请数目是否已达到系统账号申请上限，如果已达系统账号申请上限，则提示申请失败；否则继续步骤S-2-2；\n[0019] 步骤S-2-2：用户申请创建新的系统账号，系统将当前系统时间至1970-00-00 00:\n00:00的时间转换成毫秒数生成系统账号；系统根据自定义的密码生成函数生成一串由大小写字母和数字组成的随机串作为系统密码；\n[0020] 步骤S-2-3：一个系统账号作为一个用户系统的主键key，系统密码、用户主键等信息作为value，那么信息以key-value键值对的形式被存入HBase的系统账号表中，系统账号申请成功；否则，返回步骤S-2-2；\n[0021] 所述步骤S-3具体包含如下实施步骤：\n[0022] 步骤S-3-1：确定日志类型的每个属性段的含义，并自定义每个属性段的标示符和日志类型名称；\n[0023] 步骤S-3-2：将属性段按定义的顺序用‘#’拼接成字符串，形成日志类型的内容；\n[0024] 步骤S-3-3：以当前系统时间至1970-00-00 00:00:00的毫秒数作为主键key，以用户主键和日志类型信息作为value；\n[0025] 步骤S-3-4：将键值对key-value存入HBase的日志类型表中，若存储成功，返回成功信息；否则，存储失败，返回步骤S-3-1。\n[0026] 所述步骤S-5具体包含如下实施步骤：\n[0027] 步骤S-5-1：系统端采用CXF方式进行配置，作为Web服务的服务器端，用于发布Web服务；同样，使用CXF方式对用户系统进行Web服务的客户端配置，使用户系统成为Web服务的客户端；\n[0028] 步骤S-5-2：运行本系统后，Web服务通过网络被发布；运行用户系统；当执行到日志存储时，执行步骤S-5-3；\n[0029] 步骤S-5-3：调用身份验证服务：用户系统提供系统账号和系统密码，两者作为参数传递给名称为“IsCorrect”的身份验证服务验证；若身份验证成功，执行步骤S-5-4；否则，身份验证失败，返回日志存储失败信息；\n[0030] 步骤S-5-4：调用日志实时存储服务，新产生的日志串调用名称为“AddLogs”的日志实时存储服务；\n[0031] 步骤S-5-5：利用Java的时间函数将时间转换成从系统当前时间至1970-00-00 \n00:00:00的毫秒数作为一条日志信息的主键key，步骤S-5-4中的参数作为value，存入HBase的日志表中，日志信息存储成功；否则，日志存储失败，转至步骤S-5-2。\n[0032] 本发明的有益效果如下：\n[0033] 采用分布式Hadoop的HBase数据库作为日志存储容器，能够满足海量数据的存储需求并充分利用Hadoop集群廉价、相对稳定的存储特点；基于Web服务的远程日志存储方式，将改善本地文本存储方式给日志挖掘带来的不便，有利于日志在集中条件下的数据挖掘，同时降低用户系统对日志存储的空间开销。日志类型自定义对日志类型进行了拓展，突出日志的个性化存储，为后续个性化的日志分析和数据挖掘打下基础。\n附图说明\n[0034] 图1为本发明实施例的基于HBase的日志存储系统功能模块图。\n[0035] 图2为本发明实施例的Web服务调用流程图。\n[0036] 图3为本发明实施例的基于HBase的日志存储系统流程图。\n[0037] 图4为本发明实施例的Hadoop集群分布概况图。\n具体实施方式\n[0038] 下面结合附图，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。\n[0039] 针对日志集中管理中的问题，本发明提出并实现一个基于B/S架构的、能够实时存储海量日志的日志存储服务平台。用户系统通过调用Web服务将日志存储进HBase分布式数据库；用户通过浏览器访问平台，进入日志管理界面进行日志管理。\n[0040] 基于HBase的日志存储系统由用户管理模块、日志管理模块、远程服务调用模块和系统查询模块组成，如图1所示。用户管理模块，用于用户注册、注册审核、管理员分配存储空间和对用户的基本情况进行管理；日志管理模块，用于对系统账号、日志类型和日志的管理；远程服务调用模块，用于Web服务的发布以及用户系统调用发布的Web服务，包括身份验证服务和日志的远程实时存储服务；系统查询模块，用于剩余空间量的查询和展示以及站内信联系管理员，提供多种图表展示形式。\n[0041] 用户管理模块，主要包括用户审核、按权分配存储空间、用户基本信息管理单元。\n其中用户审核单元用于管理员对用户注册信息进行审核，筛选出有效的注册用户，避免侵入性数据造成存储空间的浪费；存储空间分配单元用于管理员对审核通过的用户按权进行空间大小分配，空间分配具有灵活的特点；用户信息管理单元包括用户信息查询、用户信息批量下载、修改最大系统存储数和存储空间、详细信息展示和删除不合格用户操作；本系统设定初始情况下，每个用户初始状态下的存储空间为0，每个用户所申请的系统账号个数为\n10，如果超出最大系统账号数，用户将无法完成系统账号的申请。每个用户只能在存储空间满足的情况下进行日志存储，每存入一条日志，系统都计算存储空间是否满足需求。\n[0042] 表1是HBase中用户表的几条实例信息。表1中前两行分别表示同一条数据的两个不同版本。在第1条数据的基础上，第2条数据对密码进行了修改，值得关注的是在HBase表中允许项的缺失，例如第一行的“Realname”列，但是不会占用额外的Hadoop空间。与传统关系数据库相比，利用HBase在存储离散数据方面能够极大地避免不必要的存储空间的浪费。\n[0043] 表1.HBase用户表实例\n[0044]\n[0045] 存储空间的计算，包括两个方面：用户日志存储时对空间的计算和管理员分配空间时对空间的计算。因为系统账号和系统密码所占用的存储空间非常小而且其增长速度与日志相比几乎为0，因此在计算用户存储空间时，我们只对用户日志所占用的Hadoop空间进行计算，其定义为：\n[0046]\n[0047] 其中，I表示用户I， 表示I的第i个系统所占的存储空间大小。 表示用户I的所占的所有存储空间大小。\n[0048] 管理员分配空间计算的定义为：\n[0049]\n[0050] m表示总的系统用户数，n表示每个用户的系统数，p表示系统用户与管理员用户的总和；l表示日志类型总数；q表示站内信总数； 表示第i个用户的第j个系统的总的日志存储量； 表示用户表占用的存储空间； 表示系统表占用的存储空间；\n日志类型表占用的存储空间； 站内信占用的存储空间。\n[0051] 日志管理模块，包括系统账号申请单元、日志类型管理单元和日志查询单元；系统账号申请单元用于申请系统账号和管理系统账号，系统账号和系统密码是两串字符串，用于标识一个用户系统以及在用户系统请求接入数据库时作为身份验证信息。每个系统账号对应唯一系统密码，提高了系统接入的安全性；日志类型管理单元用于对传统型日志类型进行扩展和日志类型管理，支持日志类型的自定义，提高了日志存储的多样性；日志查询单元用于日志的多条件查询和日志批量下载，为了避免对日志的误删除，系统不支持日志的按条删除操作。其中日志类型管理单元主要是对自定义日志类型的管理，表2列出了系统实例中的一个自定义类型。其中，类型名称和属性定义都由用户自定义完成，类型实例是用户系统对该自定义类型的一个实例。\n[0052] 表2 日志类型自定义实例\n[0053]\n类型名称 操作日志\n属性定义 登录名#密码#IP地址#操作#所述用户系统的系统账号\n类型实例 用户1#11111#10.192.80.20#操作出错#14000294561\n[0054] 日志查询单元使用基于HBase的多条件查询，采用信息过滤机制相比全表扫描能够显著提高查询效率。Hadoop的 key-value（键-值对）机制和HBase表中主键按照字典排序的设计，使在HBase表的设计过程中通过对Rowkey的设计提高表的查询效率。\n[0055] 远程服务调用模块，是日志存储系统的核心模块，包括系统配置单元、服务发布单元和服务调用单元。系统配置单元包括两方面的配置，首先配置本系统成为Web服务的服务端，其次配置用户系统成为Web服务的客户端；服务发布单元用于服务器端通过网络发布Web服务，包括身份验证服务和日志的实时存储服务；服务调用单元用于用户系统远程调用成功发布的Web服务。服务调用将系统账号、系统密码作为参数传递给名为“IsCorrect”的身份验证服务；将日志串作为一个参数传递给名为“AddLogs”的Web服务，由“AddLogs”服务进行最终的日志远程存储。具体执行流程图见图2。同一个服务可以被多个用户系统所调用；服务的种类和数量可由系统工程师进行修改和添加，一次修改后用户系统都能调用到最新的服务，Web服务的这一特性大大提高系统的可移植性和灵活性。\n[0056] 系统查询模块，包括剩余空间查询单元、联系管理员单元和站内信管理单元。剩余空间查询单元，用于用户查询空间剩余量和使用量、管理员查询Hadoop集群的空间使用和剩余量；联系管理员单元用于查询管理员信息及联系管理员，联系管理员支持站内信和邮箱两种联系方式；站内信管理单元用于管理账户的站内信信息，包括已收信件和已发送信件的删除和按日期区间查询等操作。\n[0057] 基于HBase的日志存储方法，按如下步骤进行实施：\n[0058] S-1：用户通过注册接口注册本系统例如：用户名分别为用户1和用户2的两个用户。管理员审核用户1和用户2的信息，若用户1在注册前已经得到了使用该系统的许可，而用户2属于非法注册用户，那么管理员可以对用户1进行审核通过操作并为用户1分配存储空间，若许可的用户1所允许使用的最大存储空间为100G，那么管理员为用户1分配100G大小的空间，同时管理员可以对用户2的信息进行删除操作；\n[0059] S-2：注册成功后用户1可以申请系统账号，根据当前注册时间产生系统账号，根据随机密码产生函数产生唯一系统密码，同一注册用户可同时申请多个系统账号，系统默认系统账号申请上限为10，用户可根据需要联系管理员进行变更；\n[0060] 步骤S-2-1：判断用户1的系统申请数目是否已达到系统账号申请上限10。如果已达系统账号申请上限，则提示申请失败；否则继续步骤S-2-2；\n[0061] 步骤S-2-2：用户1申请创建新的系统账号，系统将当前系统时间至1970-00-00 \n00:00:00的时间转换成毫秒数生成系统账号例如：1400001294561；系统根据自定义的密码生成函数生成一串由大小写字母和数字组成的随机串作为系统密码，在系统测试阶段定义系统密码长度为12，例如：a7TwM2fkYnQ0；\n[0062] 步骤S-2-3：1400001294561作为用户1的一个用户系统的主键，系统密码：\na7TwM2fkYnQ0、用户1的主键1339192226632等信息作为键值对中的值，信息以key-value键值对的形式被存入HBase数据库的系统账号表AppidTable中，至此，系统账号申请成功；否则，返回步骤S-2-2；\n[0063] S-3：用户1自定义日志类型。定义每个属性段的含义和属性段的标示符，系统默认‘#’作为属性段之间的分隔符，形成一条新的日志类型；\n[0064] 步骤S-3-1：确定日志类型的每个属性段的含义，并自定义每个属性段的标示符和日志类型名称，如表2中实例，日志类型名：登录日志，日志由5个属性段组成，分别是登录名、登录密码、登录ip地址、操作、系统账号主键；\n[0065] 步骤S-3-2：将属性段按定义的顺序用‘#’拼接成字符串，形成日志类型的内容；\n[0066] 步骤S-3-3：以当前系统时间至1970-00-00 00:00:00的毫秒数作为主键key，在此实例中key为：1400001327490，用户主键为1339192226632：以用户主键和日志类型信息作为value值；\n[0067] 步骤S-3-4：将键值对key-value存入HBase的日志类型表LogTypeTable中，若存储成功，返回成功信息；否则，存储失败，返回步骤S-3-1。\n[0068] S-4：系统启动后向Web服务器发布Web服务供用户系统调用；\n[0069] S-5：Web服务发布成功后，用户1的1400001294561系统请求并调用Web服务，用户系统产生的日志被实时写入HBase的日志表中，同时返回日志存储是否成功的提示信息。\n[0070] 步骤S-5-1：基于HBase的日志存储系统采用CXF（是一个开源的Services框架）方式进行配置，作为Web服务的服务器端，用于发布Web服务；同样，使用CXF方式对\n1400001294561系统进行Web服务的客户端配置，使用户系统成为Web服务的客户端，能够调用发布的Web服务；\n[0071] 步骤S-5-2：运行基于HBase的日志存储系统后，身份验证服务“IsCorrect”和日志存储服务“AddLogs”通过网络被发布；运行用户1的1400001294561系统；当执行到日志存储时，执行步骤S-5-3；\n[0072] 步骤S-5-3：调用身份验证服务“IsCorrect”。用户1提供系统账号：1400001294561和系统密码：a7TwM2fkYnQ0，两者作为参数传递给身份验证服务验证“IsCorrect”。若身份验证成功，执行步骤S-5-4；否则，身份验证失败，返回日志存储失败信息；\n[0073] 步骤S-5-4：调用日志存储服务AddLogs。将新产生的日志串作为一个参数，调用名为AddLogs的日志实时存储服务，存储至HBase。HBase是Hadoop的子项目，其运行基于Hadoop分布式存储架构，因此在利用HBase进行数据存储之前，首先要安装配置Hadoop，Hadoop配置在本系统测试阶段的具体配置如表3所示。\n[0074] 表3.Hadoop集群的IP地址分配\n[0075]\n[0076] 步骤S-5-5：利用Java的时间函数System.currentTimeMill()将时间转换成从系统当前时间至1970-00-00 00:00:00的毫秒数,在此，毫秒数为14000132474504：作为一条日志信息的主键key，步骤S-5-4中的参数作为value，存入HBase数据库的日志表LogsTable表中，日志信息存储成功。否则，日志存储失败，转至步骤S-5-2。