一种对等网络中数据存储和查询的方法及系统

暂无

一种对等网络中数据存储和查询的方法及系统\n技术领域\n[0001] 本发明涉及对等网络数据管理技术，特别是指一种对等网络中数据存储和查询的方法及系统。\n背景技术\n[0002] 对等(Peer to Peer，P2P)网络是一种分布式网络，网络的参与者共享各自所拥有的资源和服务。通常这些资源和服务的共享包括：信息的共享与交换、计算资源，例如CPU的共享、存储资源，例如缓存和磁盘空间的共享等。这些共享资源和服务能被网络中的任意对等节点(Peer)访问。在对等网络中的每个参与者都既是资源和服务提供者(server)，又是资源和服务获取者(client)。\n[0003] 结构化P2P网络通常采用分布哈希表(Disrtibutded Hash Table，DHT)方法作为资源定位技术。DHT方法中同时实现了P2P系统的拓扑构造、消息路由和资源搜索三大功能。\n在DHT方法中，每个节点都有唯一的节点标识，即通过哈希函数根据其IP地址得到或根据某种规则动态创建，系统根据节点标识构建 P2P网络拓扑。每个节点都维护一个“路由表”，其中保存了相关邻居节点的信息。DHT消息路由过程与IP路由过程相似，每个节点根据所述路由表将消息转发到相应的邻居节点上，直到消息最终到达目标节点。当节点加入或退出时，各相关节点需要修改路由表，并动态调整，以维护分布哈希表的一致性。\n[0004] 但是，在这种结构化的P2P网络中存储的数据，通常只能根据主关键词进行精确查找，如果要根据被搜索信息的某个特定搜索属性进行查询则比较困难，例如：根据词语片段进行条件或模糊查询则比较困难。\n[0005] 现有技术中能够实现根据属性进行查找的常用技术是：选择一些性能较高的节点作为超级节点，将元数据随机存储在某个超级节点上。普通节点进行模糊查询时，将查询请求发给某个超级节点，例如超级节点A，然后由该超级节点A向其余所有超级节点转发查询，所有超级节点对本地存储的元数据进行模糊查询，然后将查询结果返回给转发请求的超级节点A，再由超级节点A将查询结果返回给普通节点。针对上述技术现有的数据存储和查询的具体步骤如下所述：\n[0006] 图1为现有技术的数据存储的流程示意图，如图1所示，所述存储流程包括：\n[0007] 步骤101，数据存储请求节点对需要存储的数据的主标识哈希运算后得到数据资源标识，即资源ID；\n[0008] 步骤102，数据存储请求节点通过P2P算法向数据存储节点发送存储请求；\n[0009] 步骤103，数据存储节点根据收到的存储请求将数据存储下来，并向请求节点返回结果；\n[0010] 步骤104，数据存储请求节点随机选择一个超级节点A，向其发送存储元数据的请求，其中包含索引信息，即需要存储的数据的主标识和数据存储节点的索引信息；\n[0011] 步骤105，超级节点A根据收到的请求存储该元数据，并向请求节点返回结果。\n[0012] 这样，粗要存储的数据及其索引信息就存储在P2P网络中了，网络中的节点可以对其进行条件或模糊查询。\n[0013] 图2为现有技术的数据查询的流程示意图，如图2所示，所述查询流程包括：\n[0014] 步骤201，数据查询请求节点指定查询条件，通过一个超级节点向所有超级节点发送查询元数据的请求；\n[0015] 步骤202，所有超级节点都根据收到的查询条件，在本地存储的元数据中进行查询满足条件的元数据；\n[0016] 步骤203，所有超级节点向数据查询请求节点返回查询结果；\n[0017] 步骤204，数据查询请求节点从查询到的元数据中读取数据的主标识，进行哈希运算后得到资源ID；\n[0018] 步骤205，数据查询请求节点根据P2P算法向数据存储节点发送查询数据请求；\n[0019] 步骤206，数据存储节点根据资源ID取得对应的数据，并将其向查询请求节点返回。\n[0020] 这样，数据查询节点就根据部分或全部匹配条件取得了需要的数据。\n[0021] 但在这种方法中所有元数据，即索引数据，都较集中的存储在数量较少的超级节点上，导致超级节点的存储和查询负担较重；而且，每次条件查询都要查询全部超级节点，导致查询效率较低。\n发明内容\n[0022] 有鉴于此，本发明的主要目的在于提供一种对等网络中数据存储和查询的方法及系统，解决了现有技术中必须将索引数据集中的存储在数量较少的超级节点上，导致超级节点的存储和查询负担较重的问题，并且解决了查询效率较低的问题。\n[0023] 为达到上述目的，本发明的技术方案是这样实现的：\n[0024] 本发明提供了一种对等网络中数据存储和查询的方法，所述方法包括：\n[0025] 根据需要存储的数据的标识生成数据资源标识后，将所述需要存储的数据存入数据存储节点；\n[0026] 根据所述数据的各个搜索属性确定索引存储节点，将数据资源标识或数据标识，以及所述搜索属性的索引关系存入所述索引存储节点；\n[0027] 查询数据时，根据搜索属性从所述索引存储节点查询到索引关系后，根据其中的数据资源标识或数据标识查询获得对应的数据。\n[0028] 其中，当指定的数据需要删除时，所述方法还包括：\n[0029] 根据所述指定的数据的标识生成数据资源标识后，将删除请求发送给数据存储节点；数据存储节点删除所述数据后，根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求；各索引存储节点接到删除索引请求后，删除对应的索引关系。\n[0030] 其中，所述搜索属性包括：属性名称和属性值。\n[0031] 其中，所述确定的索引存储节点，包括：针对各个单独的搜索属性预设的一个或多个索引存储节点；或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识，然后根据对等(P2P)算法确定的一个或多个索引存储节点。\n[0032] 其中，所述根据搜索属性从所述索引存储节点查询到索引关系，包括：\n[0033] 根据待查询的搜索属性确定索引存储节点后，发送查询请求；一个或多个索引存储节点根据查询请求进行匹配，得到符合匹配的所有索引关系。\n[0034] 其中，所述根据其中的数据资源标识或数据标识查询获得对应的数据，具体为：\n[0035] 根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点，然后从各数据存储节点获取查询得到的数据。\n[0036] 本发明还提供了一种对等网络中数据存储和查询的系统，所述系统包括：数据存储请求节点、数据存储节点、索引存储节点和数据查询请求节点，其中，[0037] 所述数据存储请求节点，用于根据需要存储的数据的标识生成数据资源标识后，将所述需要存储的数据存入数据存储节点，根据所述数据的各个搜索属性确定索引存储节点，将数据资源标识或数据标识，以及所述搜索属性的索引关系存入所述索引存储节点；\n[0038] 所述数据查询请求节点，用于查询数据时，根据搜索属性从所述索引存储节点查询到索引关系后，根据其中的数据资源标识或数据标识查询获得对应的数据。\n[0039] 其中，所述系统还包括：数据删除请求节点，用于当指定的数据需要删除时，根据所述指定的数据的标识生成数据资源标识后，将删除请求发送给数据存储节点；\n[0040] 所述数据存储节点，还用于删除所述数据，根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求；\n[0041] 所述索引存储节点，还用于接到删除索引请求后，删除对应的索引关系。\n[0042] 其中，所述搜索属性包括：属性名称和属性值；\n[0043] 所述确定的索引存储节点，包括：针对各个单独的搜索属性预设的一个或多个索引存储节点；或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识，然后根据P2P算法确定的一个或多个索引存储节点。\n[0044] 其中，所述数据查询请求节点根据搜索属性从所述索引存储节点查询到索引关系，包括：\n[0045] 所述数据查询请求节点根据待查询的搜索属性确定索引存储节点后，发送查询请求；一个或多个索引存储节点根据查询请求进行匹配，得到符合匹配的所有索引关系。\n[0046] 本发明所提供的对等网络中数据存储和查询的方法及系统，根据需要存储的数据的标识生成数据资源标识后，将所述需要存储的数据存入数据存储节点；根据所述数据的各个搜索属性确定索引存储节点，将数据资源标识或数据标识，以及所述搜索属性的索引关系存入所述索引存储节点；查询数据时，根据搜索属性从所述索引存储节点查询到索引关系后，根据其中的数据资源标识或数据标识查询获得对应的数据。能够将索引数据分散的存储在P2P网络的不同的节点中，不再局限于存储在超级节点中，提高了存储和查询的分散性；在进行条件查询时只查询相关的一个或少数几个节点，查询效率比较高。\n附图说明\n[0047] 图1为现有技术的数据存储的流程示意图；\n[0048] 图2为现有技术的数据查询的流程示意图；\n[0049] 图3为本发明一种对等网络中数据存储和查询的方法流程示意图；\n[0050] 图4为本发明实施例一中数据存储的流程示意图；\n[0051] 图5为本发明实施例一中数据查询的流程示意图；\n[0052] 图6为本发明实施例一中数据删除的流程示意图；\n[0053] 图7为本发明实施例一的网络结构示意图；\n[0054] 图8为本发明一种对等网络中数据存储和查询的系统结构示意图。\n具体实施方式\n[0055] 本发明的基本思想是：根据需要存储的数据的标识生成数据资源标识后，将所述需要存储的数据存入数据存储节点；根据所述数据的各个搜索属性确定索引存储节点，将数据资源标识或数据标识，以及所述搜索属性的索引关系存入所述索引存储节点；查询数据时，根据搜索属性从所述索引存储节点查询到索引关系后，根据其中的数据资源标识或数据标识查询获得对应的数据。\n[0056] 下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。\n[0057] 图3为本发明一种对等网络中数据存储和查询的方法流程示意图，如图3 所示，所述方法具体包括以下步骤：\n[0058] 步骤301，根据需要存储的数据的标识生成数据资源标识后，将所述需要存储的数据存入数据存储节点；\n[0059] 具体的，所述根据需要存储的数据的标识生成数据资源标识，具体为：根据需要存储的数据的唯一标识，进行哈希运算生成数据资源标识。所述将所述需要存储的数据存入数据存储节点，具体为：根据网络所采用的P2P算法确定数据存储节点，然后将数据存入数据存储节点中。\n[0060] 步骤302，根据所述数据的各个搜索属性确定索引存储节点，将数据资源标识或数据标识，以及所述搜索属性的索引关系存入所述索引存储节点；\n[0061] 具体的，所述搜索属性包括：属性名称和属性值。所述确定的索引存储节点，包括：\n针对各个单独的搜索属性预设的一个或多个索引存储节点；或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识，然后根据P2P 算法确定的一个或多个索引存储节点。其中，一种属性的索引关系可以存储在一个索引存储节点上，也可以存储在多个索引存储节点上。\n[0062] 需要进一步说明的是，多个数据同一属性的索引关系可以分散存储在几个节点上，以降低单个索引存储节点的负担。当索引数据量比较小时，可以将同一属性的索引关系只存储在一个节点上，此时属性资源标识直接通过属性名产生即可。\n[0063] 步骤303，查询数据时，根据搜索属性从所述索引存储节点查询到索引关系后，根据其中的数据资源标识或数据标识查询获得对应的数据。\n[0064] 具体的，所述根据搜索属性从所述索引存储节点查询到索引关系，包括：根据待查询的搜索属性确定索引存储节点后，发送索引查询请求；一个或多个索引存储节点根据查询请求进行匹配，得到符合匹配的所有索引关系。其中所述匹配方式可以为模糊匹配。所述确定的索引存储节点，包括：针对各个单独的搜索属性预设的一个或多个索引存储节点；或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识，然后根据P2P算法确定的一个或多个索引存储节点。所述根据其中的数据资源标识或数据标识查询获得对应的数据，具体为：根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点，然后从各数据存储节点获取查询得到的数据。\n[0065] 进一步的，当指定的数据需要删除时，所述方法还包括：根据所述指定的数据的标识生成数据资源标识后，将删除请求发送给数据存储节点；数据存储节点删除所述数据，根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求；各索引存储节点接到删除索引请求后，删除对应的索引关系。其中，删除所述数据可以在发送删除索引请求之前，也可以在收到索引关系已删除之后。\n[0066] 进一步的，所述方法的各步骤中，各个节点根据接收的消息进行处理后，还包括将处理的结果返回给发送消息的节点。其中，需要特别说明的是步骤102 中，所述索引存储节点存储所述索引关系成功后，向发送数据存储请求的节点返回成功结果，所述送数据存储请求的节点进一步还可以将所述索引关系发送到数据存储节点中进行保存，以方便后续进一步对索引关系进行维护。\n[0067] 以下通过具体的实施例对上述方法进行进一步阐述。\n[0068] 图4为本发明实施例一中数据存储的流程示意图，如图4所示，所述存储流程中数据存储请求节点根据数据唯一标识，将数据存储在P2P网络中；该数据有两个属性需要支持条件查询：属性1、属性2，因此需要针对这两个属性建立索引，即根据属性1的名称和属性2的名称分别产生索引数据标识，或者根据属性与索引存储节点对应关系的配置，将其索引关系存储在P2P网络中，并假设每个属性的索引存储节点数为3，具体流程为：\n[0069] 步骤401，数据存储请求节点(设为节点8)将数据1的唯一标识经哈希运算得到其资源标识，称为数据资源标识；\n[0070] 步骤402，数据存储请求节点8根据网络所采用的P2P算法将数据存储在该数据的负责节点(设为节点3)，即数据存储节点3；\n[0071] 步骤403，数据存储节点3将存储请求中的数据存储下来，并向数据存储请求节点8返回结果；\n[0072] 步骤404，数据存储请求节点8取3以内的随机数(例如2)，将属性1的名称与字符“2”拼接，生成一个标识字符串，对其进行哈希运算后得到属性资源标识；\n[0073] 步骤405，数据存储请求节点8根据网络所采用的P2P算法，将数据1的属性1的索引关系，存储在索引存储节点(设为节点9)；\n[0074] 具体的，索引关系至少包括：数据1的数据资源标识或数据1的唯一标识，以及属性\n1的值。\n[0075] 步骤406，索引存储节点9存储数据的属性1的索引关系，并向数据存储请求节点8返回响应；\n[0076] 步骤407，数据存储请求节点8取3以内的随机数(例如1)，将属性2名称与字符“1”拼接，生成一个标识字符串，对其进行哈希运算后得到属性资源标识；\n[0077] 步骤408，数据存储请求节点8根据网络采用的P2P所算法，将数据1的属性2的索引关系，存储在索引存储节点(设为节点20)；\n[0078] 具体的，索引关系至少包括：数据1的数据资源标识或数据1的唯一标识，以及属性\n2的值。\n[0079] 步骤409，索引存储节点20存储数据的属性2的索引关系，并向数据存储请求节点8返回响应。\n[0080] 进一步的，通过选取不同的随机数和属性名称进行组合，可以针对同一个属性名生成多个属性资源标识，这样可以把同一属性名的索引关系存储在多个节点上。例如，属性\n1的名称结合3以内的随机数生成三个标识字符串分别为：属性1名称+i(i＝0，1，2)，对其进行哈希运算后得到三个属性资源标识，分别对应索引存储节点1、索引存储节点9、索引存储节点16，即属性1的索引关系分别存储在索引存储节点1、索引存储节点9、索引存储节点16中。\n[0081] 进一步的，索引存储节点完成索引关系的存储后，想数据存储请求节点返回响应，数据存储请求节点8可以将索引存储节点(例如节点9和节点20)的信息也存入数据存储节点3上，以便维护时使用。\n[0082] 图5为本发明实施例一中数据查询的流程示意图，如图5所示，所述查询流程中数据查询节点根据查询条件对应的属性及索引存储策略，确定该属性的一个或多个索引存储节点，然后向这些索引存储节点查询满足条件的索引关系，再根据索引关系中的数据唯一标识或数据资源标识查询对应的数据。具体流程为：\n[0083] 步骤501，数据查询请求节点14针对待查询数据的属性1设定查询条件；\n[0084] 步骤502，数据查询请求节点14生成根据3以内的随机数生成三个标识字符串分别为：属性1名称+i(i＝0，1，2)，再对所述三个标识字符串进行哈希运算得到三个属性资源标识，根据网络采用的P2P算法，这三个属性资源标识的负责节点分别为：索引存储节点1、索引存储节点9、索引存储节点16；\n[0085] 步骤503，数据查询请求节点14向索引存储节点1发送索引查询请求；\n[0086] 步骤504，索引存储节点1收到请求后，对本地存储的索引关系进行条件匹配(如模糊匹配)，并向数据查询请求节点14返回匹配结果；\n[0087] 步骤505，数据查询请求节点14向索引存储节点9发送索引查询请求；\n[0088] 步骤506，索引存储节点9收到请求后，对本地存储的索引关系进行条件匹配(如模糊匹配)，并向数据查询请求节点14返回匹配结果；\n[0089] 步骤507，数据查询请求节点14向索引存储节点16发送索引查询请求；\n[0090] 步骤508，索引存储节点16收到请求后，对本地存储的索引关系进行条件匹配(可以是模糊匹配)，并向数据查询请求节点14返回匹配结果；\n[0091] 步骤509，综合所有索引存储节点返回的满足匹配条件的索引关系(也可能为空或只有一条)，根据查询的需要从中选择某条或某些索引关系；\n[0092] 步骤510，数据查询请求节点14将索引关系中的数据唯一标识经哈希运算后得到数据资源标识；\n[0093] 进一步的，如果索引关系中包括数据资源标识可以直接采用，则不需要执行步骤\n510。\n[0094] 步骤511，数据查询请求节点14根据网络采用的P2P算法向数据存储节点 3发送数据查询请求；\n[0095] 步骤512，数据存储节点3根据请求读取对应的存储数据，并将查询结果返回给查询请求节点14。\n[0096] 图6为本发明实施例一中数据删除的流程示意图，如图6所示，当指定数据(例如数据1)需要删除时，需要将其相应的所有属性(例如：属性1、属性2)的索引关系也删除。具体流程为：\n[0097] 步骤601，数据删除请求节点19对指定数据的唯一标识进行哈希运算得到数据资源标识；\n[0098] 步骤602，数据删除请求节点19根据网络采用的P2P算法，向数据存储节点3发送删除请求；\n[0099] 步骤603，数据存储节点3收到删除请求后，针对属性1生成三个标识字符串：属性1名称+i(i＝0，1，2)，再将这三个标识字符串进行哈希运算得到三个属性资源标识；\n[0100] 进一步的，本步骤中的这三个属性资源标识，也可以从数据存储节点3获得，其由存储策略决定。\n[0101] 步骤604，数据存储节点3根据网络采用的P2P算法，向索引存储节点1、索引存储节点9、索引存储节点16发送删除属性1的索引关系的请求。\n[0102] 步骤605，属性1的三个属性资源标识的负责节点收到请求后将对应的索引关系删除，并向数据存储节点3返回结果；\n[0103] 步骤606，数据存储节点3收到删除请求删除所述数据后，针对属性2生成三个标识字符串：属性2名称+i(i＝0，1，2)，再将这三个标识字符串进行哈希运算得到三个属性资源标识；\n[0104] 进一步的，本步骤中的这三个属性资源标识，也可以从数据存储节点3获得，其由存储策略决定。\n[0105] 步骤607，数据存储节点3根据网络采用的P2P算法，向网络发送删除属性2的索引关系的请求，相关索引存储节点收到请求后删除索引关系，并向数据存储节点3返回结果，数据存储节点3删除数据后，向数据删除请求节点19 返回删除结果。\n[0106] 由上述三个流程示意图可知本发明实施例一的网络结构，图7为本发明实施例一的网络结构示意图，如图7所示，节点3为数据1的存储节点；节点1、节点9和节点16为数据1的属性1的索引存储节点；节点6、节点11和节点 20为数据1的属性2的索引存储节点；节点8为数据存储请求节点；节点14 为数据查询请求节点；节点19为数据删除请求节点。\n[0107] 图8为本发明一种对等网络中数据存储和查询的系统结构示意图，如图8 所示，所述系统包括：数据存储请求节点81、数据存储节点82、索引存储节点 83和数据查询请求节点84，其中，\n[0108] 所述数据存储请求节点81，用于根据需要存储的数据的标识生成数据资源标识后，将所述需要存储的数据存入数据存储节点82，根据所述数据的各个搜索属性确定索引存储节点83，将数据资源标识或数据标识，以及所述搜索属性的索引关系存入所述索引存储节点83；\n[0109] 具体的，所述数据存储请求节点81根据需要存储的数据的标识生成数据资源标识，具体为：数据存储请求节点81根据需要存储的数据的唯一标识，进行哈希运算生成数据资源标识。所述将所述需要存储的数据存入数据存储节点 82，具体为：根据网络所采用的P2P算法确定数据存储节点82，然后将数据存入数据存储节点82中。\n[0110] 所述搜索属性包括：属性名称和属性值。所述确定的索引存储节点83，包括：针对各个单独的搜索属性预设的一个或多个索引存储节点83；或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识，然后根据P2P算法确定的一个或多个索引存储节点\n83。其中，一种属性的索引关系可以存储在一个索引存储节点83上，也可以存储在多个索引存储节点83上。\n[0111] 需要进一步说明的是，多个数据同一属性的索引关系可以分散存储在几个索引存储节点83上，以降低单个索引存储节点83的负担。当索引数据量比较小时，可以将同一属性的索引关系只存储在一个索引存储节点83上，此时属性资源标识直接通过属性名产生即可。\n[0112] 所述数据查询请求节点84，用于查询数据时，根据搜索属性从所述索引存储节点\n83查询到索引关系后，根据其中的数据资源标识或数据标识查询获得对应的数据。\n[0113] 具体的，所述数据查询请求节点84根据搜索属性从所述索引存储节点83 查询到索引关系，包括：根据待查询的搜索属性确定索引存储节点83后，发送索引查询请求；一个或多个索引存储节点83根据查询请求进行匹配，得到符合匹配的所有索引关系。其中所述匹配方式可以为模糊匹配。所述确定的索引存储节点83，包括：针对各个单独的搜索属性预设的一个或多个索引存储节点83；或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识，然后根据P2P算法确定的一个或多个索引存储节点83。所述根据其中的数据资源标识或数据标识查询获得对应的数据，具体为：根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点82，然后从各数据存储节点82获取查询得到的数据。\n[0114] 进一步的，所述系统还包括：数据删除请求节点85，用于当指定的数据需要删除时，根据所述指定的数据的标识生成数据资源标识后，将删除请求发送给数据存储节点82；\n[0115] 所述数据存储节点82，还用于删除所述数据，根据所述数据的各搜索属性分别向各索引存储节点83发送删除索引请求；\n[0116] 其中，删除所述数据可以在发送删除索引请求之前，也可以在收到索引关系已删除之后。\n[0117] 所述索引存储节点83，还用于接到删除索引请求后，删除对应的索引关系。\n[0118] 进一步的，所述系统中，各个节点根据接收的消息进行处理后，还包括将处理的结果返回给发送消息的节点。其中，需要特别说明的是，所述索引存储节点83存储所述索引关系成功后，向发送数据存储请求的节点81返回成功结果，所述送数据存储请求的节点81进一步还可以将所述索引关系发送到数据存储节点82中进行保存，以方便后续进一步对索引关系进行维护。\n[0119] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。