著录项信息
专利名称 | 日志数据采集方法、系统及服务器 |
申请号 | CN201110127336.0 | 申请日期 | 2011-05-17 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2012-11-21 | 公开/公告号 | CN102790686A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04L12/24 | IPC分类号 | H;0;4;L;1;2;/;2;4;;;H;0;4;L;1;2;/;2;6查看分类表>
|
申请人 | 浙江核新同花顺网络信息股份有限公司 | 申请人地址 | 浙江省杭州市西湖区教工路276号德雅花园5幢20号
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 浙江核新同花顺网络信息股份有限公司 | 当前权利人 | 浙江核新同花顺网络信息股份有限公司 |
发明人 | 易峥;王建;于浩淼;王进 |
代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 陈蕾;逯长明 |
摘要
本申请公开了一种日志数据采集方法,应用于包含至少一个日志采集服务器的系统中,每个日志采集服务器对应于多个委托服务器,所述方法包括:委托服务器实时保存根据用户操作信息生成的日志文件;日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度;日志采集服务器接收所述委托服务器按照所述日志采集速度上报的日志文件。本申请还公开了一种日志数据采集系统和日志采集服务器。本申请中由于总部的日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。
1.一种日志数据采集方法,其特征在于,应用于包含至少一个日志采集服务器的系统中,每个所述日志采集服务器对应于多个委托服务器,所述方法包括:
委托服务器实时保存根据用户操作信息生成的日志文件;
日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度;
日志采集服务器接收所述委托服务器按照所述日志采集速度上报的日志文件;
其中,所述日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度包括:
所述日志采集服务器根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据上述多个采集策略之间的加权结果调整所述委托服务器的日志采集速度。
2.根据权利要求1所述的方法,其特征在于,所述委托服务器实时保存根据用户操作信息生成的日志文件包括:
委托服务器将根据用户的操作信息生成的日志数据保存至缓存中;
当在预设时间内缓存中的日志数据的数据量超过预设数据量,或者缓存中日志数据的数据量没有超过预设数量但到达预设时间时,将所述缓存中的日志数据以日志文件的形式写入磁盘。
3.根据权利要求1所述的方法,其特征在于,所述委托服务器按照日志采集速度上报日志文件包括:
委托服务器将待上报的日志文件读入缓存;
对所述日志文件进行压缩;
将压缩后的日志文件按照所述日志采集速度传输至所述日志采集服务器。
4.根据权利要求1所述的方法,其特征在于,还包括:
所述委托服务器在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息;
当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
5.根据权利要求1所述的方法,其特征在于,还包括:
所述日志采集服务器对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
将所述日志记录发送至日志数据库进行保存。
6.根据权利要求1所述的方法,其特征在于,还包括:为所述日志采集服务器配置至少一个备份服务器,
当所述日志采集服务器故障时,切换到所述备份服务器;
所述日志采集服务器通过所述备份服务器与所述委托服务器进行日志数据的采集交互。
7.一种日志数据采集系统,其特征在于,包括:至少一个日志采集服务器,与每个日志采集服务器对应的多个委托服务器,其中,
所述委托服务器,用于实时保存根据用户操作信息生成的日志文件;
所述日志采集服务器,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度,并接收所述委托服务器按照所述日志采集速度上报的日志文件;
其中,所述日志采集服务器,具体用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度;或根据上述多个采集策略之间的加权结果调整所述委托服务器的日志采集速度。
8.根据权利要求7所述的系统,其特征在于,所述委托服务器,还用于在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
9.根据权利要求7所述的系统,其特征在于,所述日志采集服务器,还用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录,将所述日志记录发送至日志数据库进行保存。
10.根据权利要求7所述的系统,其特征在于,还包括:为所述日志采集服务器配置的至少一个备份服务器,
所述备份服务器,用于当所述日志采集服务器故障时,切换到所述备份服务器,由所述备份服务器与所述委托服务器进行日志数据的采集交互。
11.一种日志采集服务器,其特征在于,应用于日志数据采集系统中,所述日志采集服务器对应于多个委托服务器,包括:
调整单元,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;
采集单元,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件;
其中,所述调整单元包括至少一个下述单元:
第一调整单元,用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;
第二调整单元,用于根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;
第三调整单元,用于根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;
第四调整单元,用于根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度;
第五调整单元,用于根据上述多个采集策略之间的加权结果调整所述委托服务器的日志采集速度。
12.根据权利要求11所述的服务器,其特征在于,还包括:
生成单元,用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
保存单元,用于将所述日志记录发送至日志数据库进行保存。
日志数据采集方法、系统及服务器\n技术领域\n[0001] 本申请涉及网络通信技术领域,特别是涉及一种日志数据采集方法、系统及服务器。\n背景技术\n[0002] 证券公司总部为了方便用户访问证券系统,会在不同地点部署具有相同功能的服务器,这些服务器也可以称为镜像站点服务器或委托服务器,各委托服务器通过internet网络访问总部的日志采集服务器,委托服务器越多,每个委托服务器所分配的网络访问带宽就会变小。证券系统每天都会产生大量的日志数据,日志数据用于保存用户的交易记录,包括用户的来源IP、MAC地址、数字签名等。现有技术中,为了不影响证券系统的日常运行,减少各委托服务器的带宽使用,各委托服务器均不对日志数据进行实时采集上报,而是在非工作时间,例如晚上将日志数据传输到总部的日志采集服务器进行汇总。\n[0003] 发明人在对现有技术的研究过程中发现,现有技术中由于网络带宽的限制,导致总部的日志采集服务器难以实时采集到所有委托服务器上生成的日志数据;进一步,在需要实时查询个别用户的交易数据时,只能通过在线汇总所有委托服务器的日志数据,进行手工查询,因此日志数据的汇总速度较慢,导致查询效率不高。\n发明内容\n[0004] 本申请实施例提供了一种日志数据采集方法、系统及服务器,以解决现有技术中难以实时采集委托服务器的日志数据的问题。\n[0005] 为了解决上述技术问题,本申请实施例公开了如下技术方案:\n[0006] 一种日志数据采集方法,应用于包含至少一个日志采集服务器的系统中,每个所述日志采集服务器对应于多个委托服务器,所述方法包括:\n[0007] 委托服务器实时保存根据用户操作信息生成的日志文件;\n[0008] 日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度;\n[0009] 日志采集服务器接收所述委托服务器按照所述日志采集速度上报的日志文件。\n[0010] 所述委托服务器实时保存根据用户操作信息生成的日志文件包括:\n[0011] 委托服务器将根据用户的操作信息生成的日志数据保存至缓存中;\n[0012] 当在预设时间内缓存中的日志数据的数据量超过预设数据量,或者缓存中日志数据的数据量没有超过预设数量但到达预设时间时,将所述缓存中的日志数据以日志文件的形式写入磁盘。\n[0013] 所述日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度包括:\n[0014] 所述日志采集服务器根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或\n[0015] 所述日志采集服务器根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或\n[0016] 所述日志采集服务器根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或\n[0017] 所述日志采集服务器根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。\n[0018] 所述委托服务器按照日志采集速度上报日志文件包括:\n[0019] 委托服务器将待上报的日志文件读入缓存;\n[0020] 对所述日志文件进行压缩;\n[0021] 将压缩后的日志文件按照所述日志采集速度传输至所述日志采集服务器。\n[0022] 还包括:\n[0023] 所述委托服务器在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息;\n[0024] 当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。\n[0025] 还包括:\n[0026] 所述日志采集服务器对接收到的日志文件进行解析,生成与预设格式一致的日志记录;\n[0027] 将所述日志记录发送至日志数据库进行保存。\n[0028] 还包括:为所述日志采集服务器配置至少一个备份服务器,\n[0029] 当所述日志采集服务器故障时,切换到所述备份服务器;\n[0030] 所述日志采集服务器通过所述备份服务器与所述委托服务器进行日志数据的采集交互。\n[0031] 一种日志数据采集系统,包括:至少一个日志采集服务器,与每个日志采集服务器对应的多个委托服务器,其中,\n[0032] 所述委托服务器,用于实时保存根据用户操作信息生成的日志文件;\n[0033] 所述日志采集服务器,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度,并接收所述委托服务器按照所述日志采集速度上报的日志文件。\n[0034] 所述日志采集服务器,具体用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。\n[0035] 所述委托服务器,还用于在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。\n[0036] 所述日志采集服务器,还用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录,将所述日志记录发送至日志数据库进行保存。\n[0037] 还包括:为所述日志采集服务器配置的至少一个备份服务器,\n[0038] 所述备份服务器,用于当所述日志采集服务器故障时,切换到所述备份服务器,由所述备份服务器与所述委托服务器进行日志数据的采集交互。\n[0039] 一种日志采集服务器,应用于日志数据采集系统中,所述日志采集服务器对应于多个委托服务器,包括:\n[0040] 调整单元,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;\n[0041] 采集单元,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件。\n[0042] 所述调整单元包括至少一个下述单元:\n[0043] 第一调整单元,用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;\n[0044] 第二调整单元,用于根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;\n[0045] 第三调整单元,用于根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;\n[0046] 第四调整单元,用于根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。\n[0047] 还包括:\n[0048] 生成单元,用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录;\n[0049] 保存单元,用于将所述日志记录发送至日志数据库进行保存。\n[0050] 由上述实施例可以看出,本申请实施例中每个日志采集服务器对应多个委托服务器,委托服务器实时保存根据用户操作信息生成的日志文件,日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度,日志采集服务器接收委托服务器按照所述日志采集速度上报的日志文件。应用本申请实施例,由于总部的日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。\n附图说明\n[0051] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。\n[0052] 图1为本申请日志数据采集方法的第一实施例流程图;\n[0053] 图2为本申请日志数据采集方法的第二实施例流程图;\n[0054] 图3为本申请日志数据采集系统的第一实施例框图;\n[0055] 图4为本申请日志数据采集系统的第一实施例框图;\n[0056] 图5为本申请日志采集服务器的第一实施例框图;\n[0057] 图6为本申请日志采集服务器的第二实施例框图。\n具体实施方式\n[0058] 本发明如下实施例提供了一种日志数据采集方法、系统及服务器。本申请实施例所应用的系统架构中包含至少一个日志采集服务器,以及与每个日志采集服务器对应的多个委托服务器。\n[0059] 为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。\n[0060] 参见图1,为本申请日志数据采集方法的第一实施例流程图:\n[0061] 步骤101:委托服务器实时保存根据用户操作信息生成的日志文件。\n[0062] 其中,委托服务器将根据用户的操作信息生成的日志数据保存至缓存中,当在预设时间内缓存中的日志数据的数据量超过预设数据量,或者缓存中日志数据的数据量没有超过预设数量但到达预设时间时,将缓存中的日志数据以日志文件的形式写入磁盘。\n[0063] 步骤102:日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度。\n[0064] 其中,采集策略可以包括至少下述一种:根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;\n根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。\n[0065] 步骤103:日志采集服务器接收委托服务器按照日志采集速度上报的日志文件。\n[0066] 其中,委托服务器将待上报的日志文件读入缓存,对日志文件进行压,将压缩后的日志文件按照所述日志采集速度传输至日志采集服务器。\n[0067] 应用上述实施例,由于日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。当上述实施例应用在证券系统中时,可以保证位于总部的日志采集服务器能够实时自动采集到分布在各地的委托服务器上报的日志数据。\n[0068] 参见图2,为本申请日志数据采集方法的第二实施例流程图:\n[0069] 步骤201:委托服务器将根据用户的操作信息生成的日志数据保存至缓存中。\n[0070] 委托服务器可以按照现有技术中的日志保存机制对日志数据进行保存,这样可以进一步避免对现有委托服务器系统中的功能进行改变,防止委托服务器与日志采集服务器之间的耦合度降低,影响日志采集服务器所在的证券系统的正常运行。\n[0071] 步骤202:委托服务器将缓存中的日志数据以日志文件的形式写入磁盘。\n[0072] 其中,委托服务器可以按照定时定量的方式将日志数据写入磁盘,例如,可以判断在预设时间内缓存中的日志数据的数据量是否超过预设数据量,当超过预设数据量时,就将缓存中的日志数据写入磁盘;或者,当日志数据的数据量较小,比如缓存中日志数据的数据量没有超过预设数量但到达预设时间时,也可以将缓存中的日志数据写入磁盘,从而兼顾委托服务器系统的系统性能和实效性。\n[0073] 对于写入磁盘的日志数据,可以以日志文件的形式进行保存,日志文件可以采用文本方式,日志文件中的每一条日志记录对应一个用户的操作记录。\n[0074] 步骤203:日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度。\n[0075] 其中,采集策略可以包括至少下述一种:根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;\n根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。\n[0076] 上述各种采集策略可以选择其一对委托服务器的日志采集速度进行调整,也可以综合考虑多个策略之间的加权结果对委托服务器的日志采集速度进行调整。例如,日志采集服务器可以按照预设时间间隔接收委托服务器上报的CPU和内存的使用情况,根据该使用情况判断所有委托服务器的负荷状况,对于系统负荷较低的委托服务器,可以向其发出提高日志文件上报速度和上报频率的指令,对于系统负荷较高的委托服务器,为了保证其优先执行业务需求,可以向其发出降低日志文件上报速度和上报频率的指令,甚至可以向其发出暂时不上报日志文件的指令。\n[0077] 步骤204:委托服务器将待上报的日志文件读入缓存。\n[0078] 由于委托服务器中保存了海量的日志数据,因此在向日志采集服务器上报日志数据时,可能每一次只能上报日志文件中预设大小的日志数据,因此在从日志文件中将日志数据读入缓存时,可以记录已读取日志数据的偏移位置,以便在下一次读取日志数据时,可以从所记录的偏移位置开始,读取预设大侠的日志数据。\n[0079] 步骤205:委托服务器对读入缓存的日志文件进行压缩。\n[0080] 本步骤为可选步骤,即可以根据网络传输性能选择是否对日志文件进行压缩,当网络传输性能较低时,为了提高日志数据的传输效率,可以对缓存中的日志数据进行压缩后再传输。\n[0081] 步骤206:委托服务器将压缩后的日志文件按照所述日志采集速度传输至日志采集服务器。\n[0082] 其中,委托服务器可以在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,以便当委托服务器的系统发生异常并恢复正常后,可以根据记录的位置信息继续上报该日志文件。\n[0083] 步骤207:日志采集服务器对接收到的日志文件进行解析,生成与预设格式一致的日志记录。\n[0084] 当委托服务器对日志文件进行压缩后上报时,日志采集服务器接收到日志文件后,需要对该日志文件进行解析,生成适合保存的与预设格式一致的日志记录,该预设格式可以与委托服务器磁盘中所保存日志数据的格式一致。\n[0085] 步骤208:将日志记录发送至日志数据库进行保存。\n[0086] 进一步,上述实施例中,还可以为每个日志采集服务器配置至少一个备份服务器,以便于当日志采集服务器故障时,可以切换到该备份服务器,该备份服务器具有与日志采集服务器一致的功能,通过该备份服务器与委托服务器进行日志数据的采集交互。\n[0087] 应用上述实施例,由于日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。当上述实施例应用在证券系统中时,可以保证位于总部的日志采集服务器能够实时自动采集到分布在各地的委托服务器上报的日志数据。\n[0088] 与本申请日志数据采集方法的实施例相对应,本申请还提供了日志数据采集系统和日志采集服务器的实施例。\n[0089] 参见图3,为本申请日志数据采集系统的第一实施例框图:\n[0090] 该系统包括:至少一个日志采集服务器310,以及与每个日志采集服务器310对应的多个委托服务器320。为了示例方便,图3中仅示出了一个日志采集服务器和与其对应的两个委托服务器。\n[0091] 其中,所述委托服务器320,用于实时保存根据用户操作信息生成的日志文件;\n[0092] 所述日志采集服务器310,用于根据预先设置的采集策略动态调整委托服务器\n320的日志采集速度,并接收所述委托服务器320按照所述日志采集速度上报的日志文件。\n[0093] 参见图4,为本申请日志数据采集系统的第二实施例框图:\n[0094] 该系统包括:至少一个日志采集服务器410,与每个日志采集服务器410对应的多个委托服务器420,以及为日志采集服务器410配置的至少一个备份服务器430。为了示例方便,图4中仅示出了一个日志采集服务器和与其对应的两个委托服务器,以及一个备份服务器。\n[0095] 其中,所述委托服务器420,用于实时保存根据用户操作信息生成的日志文件;\n[0096] 所述日志采集服务器410,用于根据预先设置的采集策略动态调整委托服务器\n420的日志采集速度,并接收所述委托服务器420按照所述日志采集速度上报的日志文件;\n[0097] 所述备份服务器430,用于当所述日志采集服务器410故障时,切换到所述备份服务器430,由所述备份服务器430与所述委托服务器420进行日志数据的采集交互。\n[0098] 进一步,所述日志采集服务器410,具体用于根据委托服务器420上报的CPU信息调整所述委托服务器420的日志采集速度;或根据委托服务器420上报的内存占用率调整所述委托服务器420的日志采集速度;或根据委托服务器420的网络流量使用率调整所述委托服务器420的日志采集速度;或根据与所述日志采集服务器410相连的日志数据库的繁忙程度调整所述委托服务器420的日志采集速度。\n[0099] 进一步,所述委托服务器420,还用于在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,当所述委托服务器420的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。\n[0100] 所述日志采集服务器410,还用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录,将所述日志记录发送至日志数据库进行保存。\n[0101] 参见图5,为本申请日志采集服务器的第一实施例框图:\n[0102] 该日志采集服务器应用于日志数据采集系统中,对应于多个委托服务器,该日志采集服务器包括:调整单元510和采集单元520。\n[0103] 其中,调整单元510,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;\n[0104] 采集单元520,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件。\n[0105] 参见图6,为本申请日志采集服务器的第二实施例框图:\n[0106] 该日志采集服务器应用于日志数据采集系统中,对应于多个委托服务器,该日志采集服务器包括:调整单元610、采集单元620、生成单元630和保存单元640。\n[0107] 其中,调整单元610,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;\n[0108] 采集单元620,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件;\n[0109] 生成单元630,用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录;\n[0110] 保存单元640,用于将所述日志记录发送至日志数据库进行保存。\n[0111] 具体的,所述调整单元610可以包括至少一个下述单元(图6中未示出):\n[0112] 第一调整单元,用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;\n[0113] 第二调整单元,用于根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;\n[0114] 第三调整单元,用于根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;\n[0115] 第四调整单元,用于根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。\n[0116] 通过对以上实施方式的描述可知,本申请实施例中每个日志采集服务器对应多个委托服务器,委托服务器实时保存根据用户操作信息生成的日志文件,日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度,日志采集服务器接收委托服务器按照所述日志采集速度上报的日志文件。应用本申请实施例,由于总部的日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。\n[0117] 本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。\n[0118] 本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。\n[0119] 以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。
法律信息
- 2022-04-05
专利权的转移
登记生效日: 2022.03.23
专利权人由浙江核新同花顺网络信息股份有限公司变更为杭州核新软件技术有限公司
地址由310000 浙江省杭州市西湖区教工路276号德雅花园5幢20号变更为310000 浙江省杭州市滨江区滨安路1197号5幢426室
- 2015-09-16
- 2013-01-16
实质审查的生效
IPC(主分类): H04L 12/24
专利申请号: 201110127336.0
申请日: 2011.05.17
- 2012-11-21
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2011-02-02
|
2010-09-30
| | |
2
| |
2007-11-28
|
2006-05-26
| | |
3
| |
2010-02-17
|
2009-09-22
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |