著录项信息
专利名称 | 数据查询方法及系统 |
申请号 | CN201210566137.4 | 申请日期 | 2012-12-24 |
法律状态 | 暂无 | 申报国家 | 中国 |
公开/公告日 | 2013-04-24 | 公开/公告号 | CN103064933A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06F17/30 | IPC分类号 | G;0;6;F;1;7;/;3;0查看分类表>
|
申请人 | 华为技术有限公司 | 申请人地址 | 广东省广州市天河区五山路371号之一主楼2414-2416单元
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 邯郸市多飞紧固件制造有限公司,广东高航知识产权运营有限公司 | 当前权利人 | 邯郸市多飞紧固件制造有限公司,广东高航知识产权运营有限公司 |
发明人 | 谢永方 |
代理机构 | 北京亿腾知识产权代理事务所 | 代理人 | 李楠 |
摘要
本发明涉及一种数据查询方法及系统,所述方法包括:接收输入的查询请求,所述查询请求中携带所要查询的字段和所述字段中的查询词;从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识;根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述采集器标识对应的数据采集器,用以所述数据采集器通过所述数据采集器中所述查询命令携带的字段对应的本地索引表查询得到与所述查询命令中携带的查询词相匹配的数据;接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出。本发明能够提高数据查询的处理速度,减轻数据采集器的系统资源占用和数据查询服务器的负荷压力。
1.一种数据查询方法,其特征在于,所述方法包括:
数据查询服务器接收用户输入的查询请求,所述查询请求中携带所要查询的字段和所述字段中的查询词;
所述数据查询服务器从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识,所述集中索引表中存储所述字段中的查询词与采集器标识的对应关系;
所述数据查询服务器根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述采集器标识对应的数据采集器,用以所述数据采集器在所述数据采集器中所述查询命令携带的字段对应的本地索引表中,查询得到与所述查询命令中携带的查询词相匹配的数据;
所述数据查询服务器接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出;
其中,在所述数据查询服务器从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识之前,还包括:
所述数据查询服务器针对所述字段,建立所述字段对应的集中索引表;
所述建立所述字段对应的集中索引表,包括:
所述数据查询服务器接收各数据采集器发送的所述字段的上报索引表,所述上报索引表中包括发送所述上报索引表的数据采集器中的数据对应于所述字段的查询词;
所述数据查询服务器在所述字段的集中索引表中,存储数据采集器的标识与所述数据采集器上报的上报索引表中该字段的查询词的对应关系。
2.根据权利要求1所述的数据查询方法,其特征在于,所述数据查询服务器从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识,包括:
若所述查询请求中携带至少两个所要查询的字段,所述数据查询服务器获取所述查询请求中各字段的查询词,并记录所述查询请求中携带的所述各字段的查询词之间的逻辑关系;
所述数据查询服务器从所述各字段对应的集中索引表中查询得到所述各字段的查询词对应的采集器标识;
所述数据查询服务器根据所述各字段的查询词之间的逻辑关系,从查询得到的所述采集器标识中筛选得到满足所述逻辑关系的采集器标识。
3.一种数据查询方法,其特征在于,所述方法包括:
数据采集器接收数据查询服务器发送的查询命令,所述查询命令携带所要查询的字段和所述字段中的查询词;
所述数据采集器从所述字段对应的本地索引表中查询得到与所述查询命令中的查询词相匹配的数据的存储位置,所述本地索引表中存储所述字段中的查询词与所述数据的存储位置的对应关系;
所述数据采集器根据所述数据的存储位置,获取所述数据并发送给所述数据查询服务器;
其中,在所述数据采集器从所述字段对应的本地索引表中查询得到与所述查询命令中的查询词相匹配的数据的存储位置之前,还包括:
所述数据采集器针对所述字段,建立所述字段对应的本地索引表;
所述建立所述字段对应的本地索引表,包括:
数据采集器获取当前数据采集器中的数据和所述数据的存储位置,所述数据中包括至少一个字段的内容;
所述数据采集器针对每一个字段,将所述数据在该字段的内容作为所述数据的查询词,在所述当前数据采集器中所述字段的本地索引表中,存储所述数据的查询词与所述数据的存储位置的对应关系。
4.根据权利要求3所述的数据查询方法,其特征在于,所述在所述当前数据采集器中所述字段的本地索引表中,存储所述数据的查询词与所述数据的存储位置的对应关系之后,还包括:
所述数据采集器从该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述当前数据采集器的所述字段的上报索引表;
所述数据采集器将所述字段的上报索引表发送给所述数据查询服务器,用以所述数据查询服务器建立所述字段对应的集中索引表。
5.根据权利要求3所述的数据查询方法,其特征在于,所述数据采集器从所述字段对应的本地索引表中查询得到与所述查询命令中的查询词相匹配的数据的存储位置,包括:
若所述查询命令中携带至少两个所要查询的字段,数据采集器获取所述查询命令中各字段的查询词,并记录所述查询命令中携带的各字段的查询词之间的逻辑关系;
所述数据采集器从所述各字段对应的本地索引表中查询得到与所述查询命令中各字段的查询词相匹配的数据的存储位置;
所述数据采集器根据所述各字段的查询词之间的逻辑关系,从查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。
6.一种数据查询服务器,其特征在于,所述数据查询服务器包括:
第一接收单元,用于接收用户输入的查询请求,所述查询请求中携带所要查询的字段和所述字段中的查询词;
第一查询单元,用于从所述字段对应的集中索引表中,查询得到所述第一接收单元接收的所述查询请求携带的查询词对应的采集器标识,所述集中索引表中存储所述字段中的查询词与采集器标识的对应关系;
第一处理单元,用于根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述第一查询单元查询得到的采集器标识对应的数据采集器,用以所述数据采集器在所述数据采集器中所述查询命令携带的字段对应的本地索引表中,查询得到与所述查询命令中携带的查询词相匹配的数据;
第一输出单元,用于接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出;
所述数据查询服务器还包括:
第一索引单元,用于针对所述字段,建立所述字段对应的集中索引表;
所述第一索引单元包括:
第一接收子单元,用于接收各数据采集器发送的所述字段的上报索引表,所述上报索引表中包括发送所述上报索引表的数据采集器中的数据对应于所述字段的查询词;
第一索引子单元,用于在所述字段的集中索引表中,存储数据采集器的标识与所述数据采集器上报的上报索引表中该字段的查询词的对应关系。
7.根据权利要求6所述的数据查询服务器,其特征在于,所述第一查询单元包括:
第一解析子单元,用于若所述第一接收单元接收的所述查询请求中携带至少两个所要查询的字段,获取所述查询请求中各字段的查询词,并记录所述查询请求中携带的所述各字段的查询词之间的逻辑关系;
第一查询子单元,用于从所述各字段对应的集中索引表中查询得到所述第一解析子单元获取的所述各字段的查询词对应的采集器标识;
第一过滤子单元,用于根据所述第一解析子单元获取的所述各字段的查询词之间的逻辑关系,从所述第一查询子单元查询得到的所述采集器标识中筛选得到满足所述逻辑关系的采集器标识。
8.一种数据采集器,其特征在于,包括:
第二接收单元,用于接收数据查询服务器发送的查询命令,所述查询命令携带所要查询的字段和所述字段中的查询词;
第二查询单元,用于从所述字段对应的本地索引表中查询得到与所述第二接收单元接收的查询命令中的查询词相匹配的数据的存储位置,所述本地索引表中存储所述字段中的查询词与所述数据的存储位置的对应关系;
第二处理单元,用于根据所述第二查询单元查询得到的所述数据的存储位置,获取所述数据并发送给所述数据查询服务器;
所述数据采集器还包括:
第二索引单元,用于针对所述字段,建立所述字段对应的本地索引表;
所述第二索引单元包括:
获取子单元,用于获取当前数据采集器中的数据和所述数据的存储位置,所述数据中包括至少一个字段的内容;
第二索引子单元,用于针对所述获取子单元获取的每一个字段,将所述数据在该字段的内容作为所述数据的查询词,在所述数据采集器中所述字段的本地索引表中,存储所述数据的查询词与所述数据的存储位置的对应关系。
9.根据权利要求8所述的数据采集器,其特征在于,所述第二索引单元还包括:
第三索引子单元,用于从所述第二索引子单元得到的该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述数据采集器的所述字段的上报索引表;
发送子单元,用于将所述第三索引子单元形成的所述字段的上报索引表发送给所述数据查询服务器,用以所述数据查询服务器建立所述字段的集中索引表。
10.根据权利要求8所述的数据采集器,其特征在于,所述第二查询单元包括:
第二解析子单元,用于若所述第二接收单元接收的所述查询命令中携带至少两个所要查询的字段,获取所述查询命令中各字段的查询词,并记录所述查询命令中携带的各字段的查询词之间的逻辑关系;
第二查询子单元,用于从所述各字段对应的本地索引表中查询得到与所述第二解析子单元获取的所述查询命令中各字段的查询词相匹配的数据的存储位置;
第二过滤子单元,用于根据所述第二解析子单元获取的所述各字段的查询词之间的逻辑关系,从所述第二查询子单元查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。
11.一种数据查询系统,其特征在于,所述系统包括:
如权利要求6或7所述的数据查询服务器和如权利要求8~10任一权项所述的数据采集器。
数据查询方法及系统\n技术领域\n[0001] 本发明涉及计算机网络技术领域,尤其涉及一种数据查询方法、数据查询服务器、数据采集器及一种数据查询系统。\n背景技术\n[0002] 在当前互联网极度发达的时代,数据的采集与查询系统具有广泛的用途,各种信息技术(Informat ion Technology,IT)系统、网络设备、安全设备都会产生大量的日志等数据,其中有很多日志数据需要长期存档,并用于各种审计和查询。\n[0003] 在海量数据的采集查询系统中,系统的架构有分布式存储和集中式存储两种方式,不论哪种方式,都面临着海量日志数据的快速存储、快速查询的需求。\n[0004] 现有的一种分布式数据查询系统包括一台数据查询服务器和多台数据采集器,数据采集器负责日志的采集(接收、格式化、归并)、存储和建立索引,数据查询服务器是日志查询的统一入口。需要查询指定日志的时候,由数据查询服务器给所有的数据采集器下发查询命令,将所有数据采集器的查询结果收到之后汇总出最终的查询结果。如果数据采集器很多,一次查询中要查询的日志仅存在于少数数据采集器中,查询操作又很频繁,则这种现有方案会增加所有数据采集器的负担,包括数据采集器的功耗和中央处理单元(Central Processing Unit,CPU)资源,同时数据采集器除了查询之外,还需要做数据接收和入库的工作,如果查询操作很频繁,也会影响数据采集器的采集性能,降低了系统整体的处理能力。\n[0005] 现有的另一种分布式数据查询系统的原始日志数据采用集中式存储,每个数据采集器只负责日志的采集(接收、格式化、归并)、上报,日志内容在数据采集器处理之后并不在本地保存,而是上报到数据查询服务器去存储。数据查询服务器在收到数据采集器上报的日志之后,集中存储到数据库中,并建立索引,需要对日志查询的时候直接到数据查询服务器的数据库中查询就可以。这种数据集中存储的方式,使日志的查询操作仅限于在数据查询服务器的数据库中执行,不会影响到数据采集器。然而,由于日志数据集中存放在数据查询服务器的数据库中,数据采集器需要上报大量的日志数据,一方面使数据查询服务器的负荷大大增加,另一方面也大量消耗了数据采集器和数据查询服务器之间的带宽,这样也就限制了一台数据查询服务器可以带的数据采集器的数量,整个系统的处理能力不可能很高。\n发明内容\n[0006] 本发明提供了一种数据查询方法、数据查询服务器、数据采集器及数据查询系统,能够提高数据查询的处理速度,减轻数据采集器的系统资源占用和数据查询服务器的负荷压力,提升整个系统的处理能力。\n[0007] 为实现上述目的,本发明第一方面提供了一种数据查询方法,所述方法包括:\n[0008] 接收输入的查询请求,所述查询请求中携带所要查询的字段和所述字段中的查询词;\n[0009] 从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识,所述集中索引表中存储所述字段中的查询词与采集器标识的对应关系;\n[0010] 根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述采集器标识对应的数据采集器,用以所述数据采集器在所述数据采集器中所述查询命令携带的字段对应的本地索引表中,查询得到与所述查询命令中携带的查询词相匹配的数据;\n[0011] 接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出。\n[0012] 结合第一方面,在第一方面的第一种可能的实施方式中,所述从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识之前,还包括:\n[0013] 针对所述字段,建立所述字段对应的集中索引表;\n[0014] 所述建立所述字段对应的集中索引表,包括:\n[0015] 接收各数据采集器发送的所述字段的上报索引表,所述上报索引表中包括发送所述上报索引表的数据采集器中的数据对应于所述字段的查询词;\n[0016] 在所述字段的集中索引表中,存储数据采集器的标识与所述数据采集器上报的上报索引表中该字段的查询词的对应关系。\n[0017] 结合第一方面,在第一方面的第二种可能的实施方式中,所述从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识,包括:\n[0018] 若所述查询请求中携带至少两个所要查询的字段,获取所述查询请求中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系;\n[0019] 从所述各字段对应的集中索引表中查询得到所述各字段的查询词对应的采集器标识;\n[0020] 根据所述各字段的查询词之间的逻辑关系,从查询得到的所述采集器标识中筛选得到满足所述逻辑关系的采集器标识。\n[0021] 第二方面,本发明还提供了一种数据查询方法,所述方法包括:\n[0022] 接收数据查询服务器发送的查询命令,所述查询命令包括所述数据查询服务器接收的查询请求中携带的所要查询的字段和所述字段中的查询词;\n[0023] 从所述字段对应的本地索引表中查询得到与所述查询命令中的查询词相匹配的数据的存储位置,所述本地索引表中存储所述字段中的查询词与所述数据的存储位置的对应关系;\n[0024] 根据所述数据的存储位置,获取所述数据并发送给所述数据查询服务器。\n[0025] 结合第二方面,在第二方面的第一种可能的实施方式中,所述从所述字段对应的本地索引表中查询得到与所述查询命令中的查询词相匹配的数据的存储位置之前,还包括:\n[0026] 针对所述字段,建立所述字段对应的本地索引表;\n[0027] 所述建立所述字段对应的本地索引表,包括:\n[0028] 获取当前数据采集器中的数据和所述数据的存储位置,所述数据中包括至少一个字段的内容;\n[0029] 针对每一个字段,将所述数据在该字段的内容作为所述数据的查询词,建立所述查询词与所述存储位置的映射关系,形成该字段在所述当前数据采集器的本地索引表。\n[0030] 结合第二方面的第一种可能的实施方式,在第二方面的第二种可能的实施方式中,所述在所述当前数据采集器中所述字段的本地索引表中,存储所述数据的查询词与所述数据的存储位置的对应关系之后,还包括:\n[0031] 从该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述当前数据采集器的所述字段的上报索引表;\n[0032] 将所述字段的上报索引表发送给所述数据查询服务器,用以所述数据查询服务器建立所述字段对应的集中索引表。\n[0033] 结合第二方面,在第二方面的第三种可能的实施方式中,所述从所述字段对应的本地索引表中查询得到与所述查询命令中的查询词相匹配的数据的存储位置,包括:\n[0034] 若所述查询命令中携带至少两个所要查询的字段,获取所述查询命令中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系;\n[0035] 从所述各字段对应的本地索引表中查询得到与所述查询命令中各字段的查询词相匹配的数据的存储位置;\n[0036] 根据所述各字段的查询词之间的逻辑关系,从查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。\n[0037] 第三方面,本发明还提供了一种数据查询服务器,所述数据查询服务器包括:\n[0038] 第一接收单元,用于接收输入的查询请求,所述查询请求中携带所要查询的字段和所述字段中的查询词;\n[0039] 第一查询单元,用于从所述字段对应的集中索引表中,查询得到所述第一接收单元接收的所述查询请求携带的查询词对应的采集器标识,所述集中索引表中存储所述字段中的查询词与采集器标识的对应关系;\n[0040] 第一处理单元,用于根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述第一查询单元查询得到的采集器标识对应的数据采集器,用以所述数据采集器在所述数据采集器中所述查询命令携带的字段对应的本地索引表中,查询得到与所述查询命令中携带的查询词相匹配的数据;\n[0041] 第一输出单元,用于接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出。\n[0042] 结合第三方面,在第三方面的第一种可能的实施方式中,所述数据查询服务器还包括:\n[0043] 第一索引单元,用于针对所述字段,建立所述字段对应的集中索引表;\n[0044] 所述第一索引单元包括:\n[0045] 第一接收子单元,用于接收各数据采集器发送的所述字段的上报索引表,所述上报索引表中包括发送所述上报索引表的数据采集器中的数据对应于所述字段的查询词;\n[0046] 第一索引子单元,用于在所述字段的集中索引表中,存储数据采集器的标识与所述数据采集器上报的上报索引表中该字段的查询词的对应关系。\n[0047] 结合第三方面,在第三方面的第二种可能的实施方式中,所述第一查询单元包括:\n[0048] 第一解析子单元,用于若所述第一接收单元接收的所述查询请求中携带至少两个所要查询的字段,获取所述查询请求中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系;\n[0049] 第一查询子单元,用于从所述各字段对应的集中索引表中查询得到所述第一解析子单元获取的所述各字段的查询词对应的采集器标识;\n[0050] 第一过滤子单元,用于根据所述第一解析子单元获取的所述各字段的查询词之间的逻辑关系,从所述第一查询子单元查询得到的所述采集器标识中筛选得到满足所述逻辑关系的采集器标识。\n[0051] 第四方面,本发明还提供了一种数据采集器,所述数据采集器包括:\n[0052] 第二接收单元,用于接收数据查询服务器发送的查询命令,所述查询命令携带所要查询的字段和所述字段中的查询词;\n[0053] 第二查询单元,用于从所述字段对应的本地索引表中查询得到与所述第二接收单元接收的查询命令中的查询词相匹配的数据的存储位置,所述本地索引表中存储所述字段中的查询词与所述数据的存储位置的对应关系;\n[0054] 第二处理单元,用于根据所述第二查询单元查询得到的所述数据的存储位置,获取所述数据并发送给所述数据查询服务器。\n[0055] 结合第四方面,在第四方面的第一种可能的实施方式中,所述数据采集器还包括:\n[0056] 第二索引单元,用于针对所述字段,建立所述字段对应的本地索引表;\n[0057] 所述第二索引单元包括:\n[0058] 获取子单元,用于获取当前数据采集器中的数据和所述数据的存储位置,所述数据中包括至少一个字段的内容;\n[0059] 第二索引子单元,用于针对所述获取子单元获取的每一个字段,将所述数据在该字段的内容作为所述数据的查询词,在所述数据采集器中所述字段的本地索引表中,存储所述数据的查询词与所述数据的存储位置的对应关系。\n[0060] 结合第四方面的第一种可能的实施方式,在第四方面的第二种可能的实施方式中,所述第二索引单元还包括:\n[0061] 第三索引子单元,用于从所述第二索引子单元得到的该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述当前数据采集器的所述字段的上报索引表;\n[0062] 发送子单元,用于将所述第三索引子单元形成的所述字段的上报索引表发送给所述数据查询服务器,用以所述数据查询服务器建立所述字段的集中索引表。\n[0063] 结合第四方面,在第四方面的第三种可能的实施方式中,所述第二查询单元包括:\n[0064] 第二解析子单元,用于若所述第二接收单元接收的所述查询命令中携带至少两个所要查询的字段,获取所述查询命令中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系;\n[0065] 第二查询子单元,用于从所述各字段对应的本地索引表中查询得到与所述第二解析子单元获取的所述查询命令中各字段的查询词相匹配的数据的存储位置;\n[0066] 第二过滤子单元,用于根据所述第二解析子单元获取的所述各字段的查询词之间的逻辑关系,从所述第二查询子单元查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。\n[0067] 第五方面,本发明还提供了一种数据查询系统,所述系统包括:\n[0068] 上述第三方面提供的数据查询服务器和上述第四方面提供的数据采集器。\n[0069] 本发明实施例提供的数据查询方法、数据查询服务器、数据采集器及数据查询系统,通过在数据采集器和数据查询服务器中分别建立本地索引表和集中索引表,可以有效的减轻数据采集器的系统资源占用,使数据采集器可以有更多的资源用于提高采集的性能,从而提升系统整体的处理能力,提高数据查询的处理速度。\n附图说明\n[0070] 图1为本发明实施例提供的数据查询系统的架构图;\n[0071] 图2为本发明实施例一提供的索引建立过程的信令图;\n[0072] 图3为本发明实施例一提供的一种数据查询方法流程图;\n[0073] 图4为本发明实施例一提供的又一种数据查询方法流程图;\n[0074] 图5为本发明实施例二提供的数据查询系统的示意图;\n[0075] 图6为本发明实施例二提供的数据查询服务器和数据采集器的示意图;\n[0076] 图7为本发明实施例三提供的数据查询服务器的示意图;\n[0077] 图8为本发明实施例三提供的数据采集器的示意图。\n具体实施方式\n[0078] 下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。\n[0079] 图1是本发明实施例提供的数据查询系统的架构图,如图1所示,本发明采用分布式架构,包括一台数据查询服务器10和多台数据采集器20,数据采集器20负责对日志源30上报的海量日志等数据的采集(包括接收、格式化、归并)、存储和索引等处理,数据查询服务器10是数据查询的统一入口。\n[0080] 本发明提供的数据查询方法可用于海量数据的快速查询,在下面的实施例中以日志数据为例进行说明。\n[0081] 实施例一\n[0082] 在进行日志数据的查询之前,需预先对系统中已存储的数据建立索引,通常在数据存储时进行,用以系统根据建立的索引表进行数据的查询。\n[0083] 本实施例中在数据采集器和数据查询服务器中分别建立本地索引表和集中索引表。本地索引表用于存储当前数据采集器中的日志数据的索引,其作用是:当给出查询条件时,可以查找到本地数据中符合条件的所有日志的具体存储位置。集中索引表用于存储各字段的查询词与采集器标识的索引,其作用是:当给出查询条件时,可以查找到待查询数据可能存储在哪些数据采集器上,集中索引表中给出了存储有待查询数据的数据采集器的标识信息。\n[0084] 图2是本实施例提供的索引建立过程的信令图,如图2所示,包括:\n[0085] 步骤S101、数据采集器获取当前数据采集器中的数据和所述数据的存储位置。\n[0086] 可选地,数据采集器中存储的数据为日志源上报的原始日志数据。在日志源上报原始日志数据到数据采集器之后,数据采集器还需要为原始日志数据建本地索引。\n[0087] 数据采集器对原始日志数据进行格式化和归并处理,将原始日志数据处理为日志表中每条记录的形式(即日志表中的每行记录),每个日志表可能有多个字段,如下表1所示,该日志表包括字段1和字段2等字段,序号表示数据的存储位置。\n[0088] 表1\n[0089]\n序号 字段1内容 字段2内容 ...\n1 bbb fff ...\n2 aaa ccc ...\n3 aaa ggg ...\n[0090] 步骤S102、数据采集器针对每一个字段,将所述数据在该字段的内容作为所述数据的查询词,建立所述查询词与所述存储位置的映射关系,形成该字段在所述当前数据采集器的本地索引表。\n[0091] 在数据采集器的本地索引中,针对日志表中每条记录的每个字段分别建立本地索引表,每个索引表对应指定的日志表中某个字段内容和含有所述指定的某个字段内容的数据在日志表的存储位置信息。其中,字段内容作为对应数据的查询词。所述查询词与所述存储位置的映射关系可以但不限于采用表格的形式表示,如下表2所示为数据采集器中字段1的本地索引表:\n[0092] 表2\n[0093]\n字段1内容 位置\naaa 2\naaa 3\n[0094]\nbbb 1\n[0095] 通过对应字段的本地索引表可以快速地找到数据在该数据采集器上的具体位置。\n例如,要字段1某个内容的具体位置,则根据字段1的本地索引表,即可快速找到对应的位置。\n[0096] 步骤S103、数据采集器从该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述当前数据采集器的所述字段的上报索引表。\n[0097] 数据采集器根据字段的本地索引表,提取出上报的上报索引表。上报索引表中已经没有每个索引内容对应的具体原始日志位置,而只有各个数据对应该字段的内容,即查询词。通常在上报之前,还会对查询词进行去重处理,使上报的每个字段的不重复内容。例如表2中字段1内容有两个aaa和一个bbb,经过去重处理后,上报索引表中只有一个aaa和一个bbb,如下表3所示。\n[0098] 表3\n[0099]\n字段1内容\naaa\nbbb\n...\n[0100] 对于新增的本地索引表中提取出的查询词,将其与已上报的上报索引表相比对,如果查询词相同,则不添加到上报索引表中,仅上传新增的不重复的上报索引表。\n[0101] 步骤S104、数据采集器将所述字段的上报索引表发送给所述数据查询服务器。\n[0102] 数据采集器将如表3所示的上报索引表上报给数据查询服务器。对于本地索引表中有更新的情况,则仅上传根据更新后的本地索引表生成的上报索引表中新增的内容。\n[0103] 数据查询服务器对于多个数据采集器发送的上报索引表进行汇总,并在数据查询服务器中分别建立各个字段对应的集中索引表,具体包括:\n[0104] 步骤S105、数据查询服务器接收各数据采集器发送的所述字段的上报索引表。\n[0105] 数据采集器的上报索引表中包括该数据采集器中的数据对应于所述字段的查询词。\n[0106] 步骤S106、建立所述查询词与所述采集器标识的映射关系,形成所述字段的集中索引表。\n[0107] 针对不同的字段,数据查询服务器分别建立对应字段的集中索引表。例如对于字段1,数据查询服务器的集中索引表中会存储各个数据采集器上包含的查询词以及对应的采集器标识,如下表4所示:\n[0108] 表4\n[0109]\n字段1内容 采集器ID\naaa 采集器1\naaa 采集器2\nbbb 采集器1\n[0110] 又例如,对于字段2,数据查询服务器建立的集中索引表如下表5所示:\n[0111] 表5\n[0112]\n字段2内容 采集器ID\nccc 采集器1\nddd 采集器2\neee 采集器3\n[0113] 数据查询服务器中对应每个字段有一个集中索引表,将每个数据采集器上报的上报索引表汇总到数据查询服务器的集中索引表中,即在数据查询服务器上所述字段的集中索引表中,存储数据采集器的标识与所述数据采集器上报的上报索引表中该字段的查询词的对应关系。\n[0114] 在建立索引表后,当接收到查询请求时,即可通过索引表找到需要查询的数据。\n[0115] 图3是本实施例提供的数据查询方法流程图,如图3所示,本发明的数据查询方法包括:\n[0116] 步骤S201、数据查询服务器接收输入的查询请求。\n[0117] 用户通过表格检索或表达式检索等方式,输入查询请求。对于表格检索方式,与用户的交互界面中会给出固定的字段,用户可以在多个字段的提示框中输入查询词,最后通过提交按键将查询请求提交给数据查询服务器。对于表达式检索的方式,则是用户直接输入所要查询的字段及该字段的查询词,提交给数据查询服务器。\n[0118] 数据查询服务器接收到的查询请求中携带所要查询的字段和所述字段的查询词。\n[0119] 当查询请求包含多个字段时,数据查询服务器接收到的查询请求还携带各个字段的查询词之间的逻辑关系。例如,用户在不同的检索字段输入查询词,数据查询服务器接收这些在各个不同的检索字段的查询词及各查询词之间的逻辑关系。\n[0120] 例如,输入的查询请求为:(字段1=aaa)AND(字段2=ccc),该查询请求中包括字段1和字段2这两个字段,其对应的查询词分别为aaa和ccc,AND表示这两个查询词之间的逻辑关系是“与”的关系。\n[0121] 步骤S202、数据查询服务器从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识。\n[0122] 当查询请求中包括字段1时,则字段1的集中索引表中得到与查询词相匹配的查询词,得到对应的采集器标识,从而得到所述查询词在哪一个的数据采集器。\n[0123] 例如,查询请求为:字段1=aaa,则从表4所示的集中索引表中查询得到aaa对应的采集器标识为采集器1和采集器3。\n[0124] 对于查询请求包括多个字段的情况,本步骤具体包括:\n[0125] 步骤S2021、获取所述查询请求中各字段的查询词,并记录所述查询请求中携带的所述各字段的查询词之间的逻辑关系。\n[0126] 步骤S2022、从所述各字段对应的集中索引表中查询得到所述各字段的查询词对应的采集器标识。\n[0127] 步骤S2023、根据所述各字段的查询词之间的逻辑关系,从步骤S2022查询得到的所述采集器标识筛选得到满足所述逻辑关系的采集器标识。\n[0128] 例如,查询请求为:(字段1=aaa)AND(字段2=ccc),则从表4所示的集中索引表中查询得到aaa对应的采集器标识为采集器1和采集器3,从表5所示的集中索引表中查询得到ccc对应的采集器标识为采集器1,aaa与ccc之间的逻辑关系为“与”,则可以筛选出满足逻辑关系的采集器标识只有采集器1。\n[0129] 步骤S203、数据查询服务器根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述采集器标识对应的数据采集器。\n[0130] 数据查询服务器生成的查询命令可以与输入的查询请求相同,也可以只包括所发送的目的数据采集器包括的查询词。例如,查询请求为:(字段1=aaa)OR(字段2=ccc),则从表4所示的集中索引表中查询得到aaa对应的采集器标识为采集器1和采集器3,从表5所示的集中索引表中查询得到ccc对应的采集器标识为采集器1,aaa与ccc之间的逻辑关系为“或”,向采集器1发送的查询命令为:(字段1=aaa)OR(字段2=ccc),向采集器3发送的查询命令为:字段2=ccc。\n[0131] 所述数据采集器通过所述数据采集器的本地索引表查询得到与所述查询词相匹配的数据,具体的过程后续结合图3进行详细说明。\n[0132] 步骤S204、数据查询服务器接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出。\n[0133] 数据查询服务器对接收到的数据进行汇总,可以但不限于以表格的形式输出。\n[0134] 例如,对于查询请求为:(字段1=aaa)AND(字段2=ccc),最后输出的查询结果如下表6所示:\n[0135] 表6\n[0136]\n序号 字段1 字段2 字段3\n2 aaa ccc iii\n[0137] 图4是本实施例提供的又一数据查询方法流程图,如图4所示,本发明的数据查询方法包括:\n[0138] 步骤S301、数据采集器接收数据查询服务器发送的查询命令。\n[0139] 所述查询命令包括所述数据查询服务器接收的查询请求中携带的所要查询的字段和所述字段的查询词,可选地,也可以包括多个字段的查询词和所述查询词之间的逻辑关系。\n[0140] 步骤S302、数据采集器从所述字段对应的本地索引表中查询得到与所述查询命令相匹配的数据的存储位置。\n[0141] 对于查询命令中包含多个字段的查询词的情况,本步骤具体包括:\n[0142] 步骤S3021、数据采集器获取步骤S301接收的查询命令中各字段的查询词,并记录所述查询命令中携带的各字段的查询词之间的逻辑关系。\n[0143] 步骤S3022、数据采集器从所述各字段对应的本地索引表中查询得到与所述各字段的查询词相匹配的数据的存储位置。\n[0144] 例如,查询命令为:(字段1=aaa)OR(字段2=ccc),则在字段1的本地索引表中查询得到数据对应的存储位置为2,在字段2的本地索引表中查询得到数据对应的存储位置也为\n2。\n[0145] 步骤S3023、数据采集器根据所述各字段的查询词之间的逻辑关系,从查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。\n[0146] 数据采集器对匹配得到的数据的存储位置根据查询词之间的逻辑关系进行筛选得到满足所述逻辑关系的数据的存储位置。\n[0147] 步骤S303、数据采集器根据所述数据的存储位置,获取所述数据并发送给所述数据查询服务器。\n[0148] 数据采集器根据步骤S302得到的数据的存储位置,获取对应的所述数据,例如:可以获取得到满足所述查询命令的数据为:\n[0149]\n序号 字段1 字段2 字段3\n2 aaa ccc iii\n[0150] 数据采集器将所述数据发送给数据查询服务器,用以数据查询服务器汇总输出所述查询请求的查询结果。\n[0151] 本实施例提供的数据查询方法,通过在数据采集器和数据查询服务器中分别建立本地索引表和集中索引表,在查询数据时,通过对应字段的集中索引表找到查询词对应的采集器标识,从而在采集器标识对应的数据采集器中获取对应的数据,这样可以有效的减轻数据查询服务器和数据采集器的系统资源占用,使数据采集器可以有更多的资源用于提高采集的性能,提高数据查询的处理速度。\n[0152] 以上是对本发明所提供的数据查询方法进行的详细描述,下面对本发明提供的数据查询系统进行详细描述。\n[0153] 实施例二\n[0154] 图5是本实施例提供的数据查询系统的示意图,如图5所示,本发明实施例的数据查询系统包括:数据查询服务器10和数据采集器20。其中,数据采集器20负责数据的采集,包括接收、格式化、归并,数据的存储并对存储的数据建立索引。数据查询服务器10用于对多个数据采集器20上存储的内容进行统一管理,并作为数据查询的统一入口。\n[0155] 图6是本实施例提供的数据查询服务器10和数据采集器20的示意图,如图6所示,数据查询服务器10包括第一索引单元100、第一接收单元101、第一查询单元102、第一处理单元103和第一输出单元104。\n[0156] 数据采集器20包括第二索引单元200、第二接收单元201、第二查询单元202和第二处理单元203。\n[0157] 在进行日志数据的查询之前,数据采集器20和数据查询服务器10需预先对系统中已存储的数据建立索引,通常在数据存储时完成,用以系统根据建立的索引表进行数据的查询。数据查询服务器10利用第一索引单元100针对每一个所述字段,建立所述字段的集中索引表。数据采集器20利用第二索引单元200建立字段的本地索引表。\n[0158] 本地索引表用于存储当前数据采集器中的日志数据的索引,其作用是:当给出查询条件时,可以查找到本地数据中符合条件的所有日志的具体存储位置。集中索引表用于存储待查询数据与采集器标识的索引,其作用是:当给出查询条件时,可以查找到待查询数据可能存储在哪些数据采集器上,集中索引表中给出了存储有待查询数据的数据采集器的标识信息。\n[0159] 其中,第二索引单元200包括获取子单元2001、第二索引子单元2002、第三索引子单元2003和发送子单元2004。\n[0160] 获取子单元2001用于获取当前数据采集器中的数据和所述数据的存储位置,所述数据中包括至少一个字段的内容。\n[0161] 可选地,数据采集器中存储的数据为日志源上报的原始日志数据。在日志源上报原始日志数据到数据采集器之后,数据采集器还需要为原始日志数据建本地索引。\n[0162] 数据采集器对原始日志数据进行格式化和归并处理,将原始日志数据处理为日志表中每条记录的形式(即日志表中的每行记录),每个日志表可能有多个字段,如表1所示,该日志表包括字段1和字段2等字段,序号表示数据的存储位置。\n[0163] 第二索引子单元2002用于针对每一个字段,将所述数据在该字段的内容作为所述数据的查询词,建立所述查询词与所述存储位置的映射关系,形成该字段在所述当前数据采集器的本地索引表。\n[0164] 在数据采集器20的本地索引中,针对日志表中每条记录的每个字段分别建立本地索引表,每个索引表对应指定的日志表中某个字段内容和含有所述指定的某个字段内容的数据在日志表的存储位置信息。其中,字段内容作为对应数据的查询词。所述查询词与所述存储位置的映射关系可以但不限于采用表格的形式表示,如表2所示。\n[0165] 通过对应字段的本地索引表可以快速地找到数据在该数据采集器上的具体位置。\n例如,要字段1某个内容的具体位置,则根据字段1的本地索引表,即可快速找到对应的位置。\n[0166] 第三索引子单元2003用于从该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述当前数据采集器的所述字段的上报索引表。\n[0167] 数据采集器根据字段的本地索引表,提取出上报的上报索引表。上报索引表中已经没有每个索引内容对应的具体原始日志位置,而只有各个数据对应该字段的内容,即查询词。通常在上报之前,还会对查询词进行去重处理,使上报的每个字段的不重复内容。例如表2中字段1内容有两个aaa和一个bbb,经过去重处理后,上报索引表中只有一个aaa和一个bbb,如表3所示。\n[0168] 对于新增的本地索引表中提取出的查询词,将其与已上报的上报索引表相比对,如果查询词相同,则不添加到上报索引表中,仅上传新增的不重复的上报索引表。\n[0169] 发送子单元2004用于将所述字段的上报索引表发送给数据查询服务器10的第一索引单元100,用以所述数据查询服务器建立所述字段的集中索引表。\n[0170] 第一索引单元100包括第一接收子单元1001和第一索引子单元1002。\n[0171] 第一接收子单元1001用于接收各数据采集器发送的所述字段的上报索引表。所述上报索引表中包括发送上报索引表的数据采集器中的数据对应于所述字段的查询词。\n[0172] 第一索引子单元1002用于建立所述查询词与所述采集器标识的映射关系,形成所述字段的集中索引表。\n[0173] 第一索引子单元1002针对不同的字段,分别建立对应字段的集中索引表。例如对于字段1,集中索引表中会存储各个数据采集器上包含的查询词以及对应的采集器标识,如表4所示。\n[0174] 第一索引子单元1002对应每个字段建立一个集中索引表,每个数据采集器上报的上报索引表汇总到数据查询服务器的集中索引表中。\n[0175] 通过第一索引单元100和第二索引单元200分别在数据查询服务器10和数据采集器20中建立索引表后,当接收到查询请求时,即可通过索引表找到需要查询的数据。\n[0176] 第一接收单元101用于接收输入的查询请求。\n[0177] 用户通过表格检索或表达式检索等方式,输入查询请求。对于表格检索方式,与用户的交互界面中会给出固定的字段,用户可以在多个字段的提示框中输入查询词,最后通过提交按键将查询请求提交给数据查询服务器。对于表达式检索的方式,则是用户直接输入所要查询的字段及该字段的查询词,提交给数据查询服务器。\n[0178] 第一接收单元101接收到的查询请求中携带所要查询的字段和所述字段的查询词。\n[0179] 当查询请求包含多个字段时,第一接收单元101接收到的查询请求还包括各个字段的查询词之间的逻辑关系。例如,用户在不同的检索字段输入查询词,第一接收单元101接收这些在各个不同的检索字段的查询词及各查询词之间的逻辑关系。\n[0180] 第一查询单元102用于从所述字段的集中索引表中,查询得到第一接收单元101接收的所述查询请求携带的查询词对应的采集器标识。\n[0181] 当查询请求中包括字段1时,第一查询单元102则从字段1的集中索引表中得到与查询词相匹配的查询词,得到对应的采集器标识,从而得到所述查询词在哪一个的数据采集器。\n[0182] 对于查询请求包括多个字段的情况,第一查询单元102包括:解析子单元、第一查询子单元和第一过滤子单元(图未示)。\n[0183] 第一解析子单元用于获取所述查询请求中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系。\n[0184] 第一查询子单元,用于从所述字段对应的集中索引表中查询得到所述第一解析子单元获取的所述各字段的查询词对应的采集器标识。\n[0185] 第一过滤子单元,用于根据所述第一解析子单元获取的所述各字段的查询词之间的逻辑关系,从第一查询子单元查询得到的所述采集器标识筛选得到满足所述逻辑关系的采集器标识。\n[0186] 第一处理单元103用于根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给第一查询单元102查询得到的采集器标识对应的数据采集器\n20。\n[0187] 第一处理单元103生成的查询命令可以与输入的查询请求相同,也可以只包括所发送的目的数据采集器包括的查询词。例如,查询请求为:(字段1=aaa)OR(字段2=ccc),则第一查询单元102从表4所示的集中索引表中查询得到aaa对应的采集器标识为采集器1和采集器3,第一查询单元102从表5所示的集中索引表中查询得到ccc对应的采集器标识为采集器1,aaa与ccc之间的逻辑关系为“或”,第一处理单元103生成向采集器1发送的查询命令为:(字段1=aaa)OR(字段2=ccc),第一处理单元103生成向采集器3发送的查询命令为:字段\n2=ccc。\n[0188] 数据采集器20的第二接收单元201用于接收数据查询服务器10发送的查询命令。\n[0189] 所述查询命令包括数据查询服务器10接收的查询请求中携带的所要查询的字段和所述字段的查询词,可以包括多个字段的查询词和所述查询词之间的逻辑关系。\n[0190] 第二查询单元202用于从所述字段对应的本地索引表中查询得到与第二接收单元\n201接收的查询命令中的查询词相匹配的数据的存储位置。\n[0191] 可选地,对于查询命令中包含多个字段的查询词的情况,第二查询单元202包括:\n第二解析子单元、第二查询子单元和第二过滤子单元(图未示)。\n[0192] 第二解析子单元用于若第二接收单元201接收的所述查询命令中携带多个所要查询的字段时,获取所述查询命令中各字段的查询词,并记录所述查询命令中携带的各字段的查询词之间的逻辑关系。\n[0193] 第二查询子单元用于从所述各字段对应的本地索引表中查询得到与所述第二解析子单元获取的所述查询命令中各字段的查询词相匹配的数据的存储位置。\n[0194] 第二过滤子单元用于根据所述第二解析子单元获取的所述各字段的查询词之间的逻辑关系,从所述第二查询子单元查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。\n[0195] 第二处理单元203用于根据第二查询单元202查询得到的所述数据的存储位置,获取所述数据并发送给所述数据查询服务器。\n[0196] 第二处理单元203将第二查询单元202查询得到的数据发送给数据查询服务器10的第一输出单元104,用以输出所述查询请求的查询结果。\n[0197] 第一输出单元104用于接收数据采集器20的第二处理单元203返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出。\n[0198] 本发明实施例提供的数据查询服务器、数据采集器及系统,利用第一索引单元在数据查询服务器中建立集中索引表,利用第二索引单元在数据采集器中建立本地索引表,可以提高数据查询的处理速度。对于待查询的数据只存在于少数数据采集器的情况,本发明不用每台数据采集器都去查询,降低了数据采集器的负担。对于需要频繁查询的日志系统,本发明实施例提供的方案可以有效的减轻数据采集器的系统资源占用,使数据采集器可以有更多的资源用于提高采集的性能,从而提升系统整体的处理能力。\n[0199] 实施例三\n[0200] 图7为本实施例提供的数据查询服务器10的示意图,如图7所示,所述数据查询服务器10包括:网络接口71、处理器72和存储器73。系统总线74用于连接网络接口71、处理器\n72和存储器73。\n[0201] 网络接口71用于与数据采集器20进行通信。\n[0202] 存储器73可以是永久存储器,例如硬盘驱动器和闪存,存储器73中具有软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块;设备驱动程序可以是网络和接口驱动程序。\n[0203] 在启动时,这些软件组件被加载到存储器73中,然后被处理器72访问并执行如下指令:\n[0204] 接收输入的查询请求,所述查询请求中携带所要查询的字段和所述字段中的查询词;\n[0205] 从所述字段对应的集中索引表中查询得到所述查询词对应的采集器标识,所述集中索引表中存储所述字段中的查询词与采集器标识的对应关系;\n[0206] 根据所述查询请求生成携带有所述字段和查询词的查询命令,并将所述查询命令发送给所述采集器标识对应的数据采集器,用以所述数据采集器通过所述数据采集器中所述查询命令携带的字段对应的本地索引表查询得到与所述查询命令中携带的查询词相匹配的数据;\n[0207] 接收所述数据采集器返回的所述数据,根据接收到的数据形成所述查询请求的查询结果并输出。\n[0208] 本实施例的数据查询服务器通过字段的集中索引表找到查询词对应的采集器标识,从而在采集器标识对应的数据采集器中获取对应的数据,可以有效的减轻数据查询服务器的系统资源占用,提高数据查询的处理速度。\n[0209] 进一步的,所述处理器访问存储器73的软件组件后,执行以下过程的指令:\n[0210] 针对所述字段,建立所述字段对应的集中索引表;\n[0211] 所述建立所述字段对应的集中索引表,包括:\n[0212] 接收各数据采集器发送的所述字段的上报索引表,所述上报索引表中包括发送所述上报索引表的数据采集器中的数据对应于所述字段的查询词;\n[0213] 建立所述查询词与所述采集器标识的映射关系,形成所述字段的集中索引表。\n[0214] 上述指令过程就是数据查询服务器建立集中索引表的过程,通过建立查询词与采集器标识的映射关系,以便在数据查询时,找到查询词对应的采集器标识,并从对应的数据采集器得到匹配的数据。\n[0215] 进一步的,所述处理器访问存储器73的软件组件后,执行以下过程的指令:\n[0216] 当所述查询请求中携带至少两个所要查询的字段时,获取所述查询请求中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系;\n[0217] 从所述各字段对应的集中索引表中查询得到所述各字段的查询词对应的采集器标识;\n[0218] 根据所述各字段的查询词之间的逻辑关系,从查询得到的所述采集器标识筛选得到满足所述逻辑关系的采集器标识。\n[0219] 上述指令过程就是数据查询服务器针对多个所要查询的字段的查询词查找对应的采集器标识的过程,可以避免访问不能完全满足查询请求的数据采集器。\n[0220] 图8为本实施例提供的数据采集器20的示意图,如图8所示,所述数据采集器20包括:网络接口81、处理器82和存储器83。系统总线84用于连接网络接口81、处理器82和存储器83。\n[0221] 网络接口81用于与数据查询服务器10进行通信。\n[0222] 存储器83可以是永久存储器,例如硬盘驱动器和闪存,存储器83中具有软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块;设备驱动程序可以是网络和接口驱动程序。\n[0223] 在启动时,这些软件组件被加载到存储器83中,然后被处理器82访问并执行如下指令:\n[0224] 接收数据查询服务器发送的查询命令,所述查询命令包括所述数据查询服务器接收的查询请求中携带的所要查询的字段和所述字段中的查询词;\n[0225] 从所述字段对应的本地索引表中查询得到与所述查询命令相匹配的数据的存储位置,所述本地索引表中存储所述字段中的查询词与所述数据的存储位置的对应关系;\n[0226] 根据所述数据的存储位置,获取所述数据并发送给所述数据查询服务器。\n[0227] 本实施例的数据采集器通过字段的本地索引表找到查询词对应的数据,提供给数据查询服务器,可以有效的减轻数据采集器的系统资源占用,使数据采集器可以有更多的资源用于提高采集的性能,提高数据查询的处理速度。\n[0228] 进一步的,所述处理器访问存储器83的软件组件后,执行以下过程的指令:\n[0229] 针对所述字段,建立所述字段对应的本地索引表;\n[0230] 所述建立所述字段对应的本地索引表,包括:\n[0231] 获取当前数据采集器中的数据和所述数据的存储位置,所述数据中包括至少一个字段的内容;\n[0232] 针对每一个字段,将所述数据在该字段的内容作为所述数据的查询词,建立所述查询词与所述存储位置的映射关系,形成该字段在所述当前数据采集器的本地索引表。\n[0233] 上述指令过程就是数据采集器建立本地索引表的过程,通过建立查询词与数据的存储位置的映射关系,从而根据查询词对应的数据的存储位置获取数据。\n[0234] 进一步的,所述处理器访问存储器83的软件组件后,执行以下过程的指令:\n[0235] 从该字段的本地索引表中提取出所述查询词,对所述查询词进行去重处理,形成所述当前数据采集器的所述字段的上报索引表;\n[0236] 将所述字段的上报索引表发送给所述数据查询服务器,用以所述数据查询服务器建立所述字段对应的集中索引表。\n[0237] 上述指令过程就是数据采集器根据本地索引表建立上报索引表并发送给数据查询服务器的过程,以便数据查询服务器建立集中索引表。\n[0238] 进一步的,所述处理器访问存储器83的软件组件后,执行以下过程的指令:\n[0239] 当所述查询命令中携带至少两个所要查询的字段时,获取所述查询命令中各字段的查询词,并记录所述各字段的查询词之间的逻辑关系;\n[0240] 从所述各字段对应的本地索引表中查询得到与所述各字段的查询词相匹配的数据的存储位置;\n[0241] 根据所述各字段的查询词之间的逻辑关系,从查询得到的所述数据的存储位置中筛选得到满足所述逻辑关系的数据的存储位置。\n[0242] 上述指令过程就是数据采集器针对多个所要查询的字段的查询词找到对应的存储位置的过程,可以避免获取不能完全满足查询命令的数据。\n[0243] 专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。\n这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。\n专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。\n[0244] 结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。\n[0245] 以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
法律信息
- 2019-12-27
专利权的转移
登记生效日: 2019.12.10
专利权人由华为技术有限公司变更为广东高航知识产权运营有限公司
地址由518129 广东省深圳市龙岗区坂田华为总部办公楼变更为510000 广东省广州市天河区五山路371号之一主楼2414-2416单元
- 2019-12-27
专利权的转移
登记生效日: 2019.12.10
专利权人由广东高航知识产权运营有限公司变更为邯郸市多飞紧固件制造有限公司
地址由510000 广东省广州市天河区五山路371号之一主楼2414-2416单元变更为056000 河北省邯郸市永年区刘汉乡刘汉村西
- 2016-06-29
- 2013-05-29
实质审查的生效
IPC(主分类): G06F 17/30
专利申请号: 201210566137.4
申请日: 2012.12.24
- 2013-04-24
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2012-11-21
|
2012-06-29
| | |
2
| |
2011-09-21
|
2010-03-01
| | |
3
| | 暂无 |
1999-05-13
| | |
4
| |
2012-03-14
|
2010-08-24
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |