一种实时数据库订阅系统及方法

暂无

一种实时数据库订阅系统及方法\n技术领域\n[0001] 本发明涉及一种数据处理技术，尤其是涉及一种效率高、成本低的实时数据库订阅系统及方法。\n背景技术\n[0002] 传统的实时数据库系统中，客户端请求的位号数据多采用直接查询或整体订阅，由服务自己保存整个订阅信息的方式。直接查询效率低下，且不支持变化上送，浪费网络流量；整体订阅是目前大多数实时数据库采用的方法，虽然支持变化上送，但订阅信息量较大的时候，难以维护订阅信息，并且当订阅服务异常或重启后，客户端需重新订阅，浪费时间，并且这种方案在主备冗余时，两个订阅服务互相不知晓对方，客户端整体向2个订阅服务订阅位号数据，上送时由客户端判断采用哪个数据，浪费空间效率，增加了客户端成本。\n发明内容\n[0003] 本发明主要是解决现有技术中位号订阅系统存在浪费网络流量、浪费空间效率、增加成本的问题，提供了一种效率高、成本低的实时数据库订阅系统。\n[0004] 本发明还提供了一种实时数据库订阅方法。\n[0005] 本发明的上述技术问题主要是通过下述技术方案得以解决的：一种实时数据库订阅系统，包括若干客户端、主服务器、缓存数据库，所述主服务器包括若干实时数据库、位号订阅分发服务模块，客户端通过系统总线分别与位号订阅分发服务模块连接，实时数据库分别与位号订阅分发服务模块连接，位号订阅分发服务模块与缓存数据库连接；\n[0006] 客户端：发起或取消订阅请求，存储有订阅位号数据块；\n[0007] 位号订阅分发服务模块：接受实时数据库实时变化上送的数据和客户端订阅或取消订阅请求，并建立有n个数据槽，用于存放客户端的订阅信息；\n[0008] 缓冲数据库：建立有n个数据槽，用于存放客户端的订阅信息。该缓存数据库采用分布式key-value缓存数据库，又名NoSQL（Not only SQL）数据库，一种可以快速存取字符或二进制数据结构的索引数据库，支持冗余和分布式。本发明系统将订阅信息分槽放置，细分订阅信息，使每块的信息最小化，解决了订阅信息的冗余和存储问题，即使服务器离线或宕机，订阅信息依旧存储在缓存数据库中，在冗余服务下，使用分槽算法有效减少因客户端订阅位号的改变而进行同步的数据量。分槽存放的算法降低了时间复杂度，使服务达到了百万级别的订阅访问量，比现有的集中存储，顺序遍历的访问方式提高了很大的效率。\n[0009] 作为一种优选方案，还包括有若干备服务器，备服务器包括有若干实时数据库、位号订阅分发服务模块，客户端通过系统总线分别与位号订阅分发服务模块连接，实时数据库分别与位号订阅分发服务模块连接，位号订阅分发服务模块与分布式缓存数据库连接。\n备服务器具有一个或多个，它包括的实时数据库与主服务器、其他备服务器的实时数据库是一样的，即主服务器、若干服务器的位号订阅分发服务连接至同样的实时数据库。本方案结构构成了多服务并存的热备模式：客户端不必在意位号订阅分发服务模块的数量以及它的健康状态，只要有一个位号订阅分发服务模块存在就可以提供服务，提高了数据上送和订阅成功的可靠性，与传统的主备切换存在不能服务的空档期相比，安全性进一步提高。同时本方案使得网络和计算量负载平均，当存在2个或以上的位号订阅分发服务模块分布于不同服务器时，变化数据可以通过不同服务器经过不同位号订阅分发服务模块发送至客户端，提高了上送效率和资源利用率，与传统的备服务器完全不工作的闲置状态相比，充分利用了现有资源。另外，由于订阅信息放置在分布式缓存系统中，增加了主备订阅服务间的同步，并使同一时间只会有一个订阅服务向客户端发生变化数据，减少了50%的数据上送量，直接降低了客户端成本和网络成本。\n[0010] 一种实时数据库订阅方法，包括订阅步骤、取消订阅步骤、变化上送步骤；\n[0011] 订阅步骤包括：处理客户请求订阅位号得到要放入的数据槽号，将订阅位号和客户端信息写入到缓存数据库数据槽内，最后告知实时数据库该位号需要变化上送；\n[0012] 取消订阅步骤包括：处理客户请求订阅位号得到数据槽号，查看本地数据槽中是否有该位号，如果存在则删除与该客户端信息的关联，并同步缓存数据库数据槽；\n[0013] 变化上送步骤包括：实时数据库对已经订阅的位号进行变化数据上送，在订阅分发服务模块收到位号数据后，处理该位号得到数据槽号，查看缓存数据库数据槽中是否存在该位号，如果存在该位号，遍历该位号所关联的所有客户端，依次将数据发送给客户端，如不存在，则停止上送，丢弃数据。本发明将订阅信息分槽放置，细分订阅信息，使每块的信息最小化，解决了订阅信息的冗余和存储问题，即使服务器离线或宕机，订阅信息依旧存储在缓存数据库中，在冗余服务下，使用分槽算法有效减少因客户端订阅位号的改变而进行同步的数据量。分槽存放的算法降低了时间复杂度，使服务达到了百万级别的订阅访问量，比现有的集中存储，顺序遍历的访问方式提高了很大的效率。\n[0014] 作为一种优选方案，订阅步骤、取消订阅步骤和变化上送步骤中处理客户请求订阅位号的过程为：将订阅位号哈希，得到一个哈希值s，将哈希值s余除一个整数n，得到整数值a，整数值a对应数据槽号。这里的整数n与建立的n个数据槽相对应。n根据网络用户和带宽的需要进行设定。\n[0015] 作为一种优选方案，订阅步骤中还包括同步过程，同步过程为：\n[0016] a．在得到数据槽号后，查看本地数据槽和缓存数据库数据槽的数字签名是否一致；本地数据槽指服务器数据槽。\n[0017] b．若一致，则将订阅位号和客户端信息写入本地数据槽，同时重新计算本地数据槽数字签名并存入本地数据槽，然后同步本地数据槽和缓存数据库数据槽内容；这里同步本地数据槽和缓存数据库数据槽内容即上述订阅步骤中的将订阅位号和客户端信息写入到缓存数据库数据槽内，另外还将数字签名也写入到缓存数据库数据槽内。\n[0018] c．若不一致，则删除本地数据槽内容，本地数据槽载入缓存数据库数据槽内容，然后继续步骤b。\n[0019] 作为一种优选方案，取消订阅步骤中还包括查看该位号是否还有其他客户端关联，如有则不做其他操作，保存后通过不缓存数据库，如没有则删除该位号的所有信息，并告知实时数据库停止该位号变化上送。\n[0020] 因此，本发明的优点是：1. 将订阅信息分槽放置，细分订阅信息，使每块的信息最小化，解决了订阅信息的冗余和存储问题，即使服务器离线或宕机，订阅信息依旧存储在缓存数据库中，在冗余服务下，使用分槽算法有效减少因客户端订阅位号的改变而进行同步的数据量。分槽存放的算法降低了时间复杂度，使服务达到了百万级别的订阅访问量，比现有的集中存储，顺序遍历的访问方式提高了很大的效率。2. 多服务并存的热备模式，客户端不必在意位号订阅分发服务模块的数量以及它的健康状态，只要有一个位号订阅分发服务模块存在就可以提供服务，提高了数据上送和订阅成功的可靠性，与传统的主备切换存在不能服务的空档期相比，安全性进一步提高。3. 网络和计算量负载平均，当存在2个或以上的位号订阅分发服务模块分布于不同服务器时，变化数据可以通过不同服务器经过不同位号订阅分发服务模块发送至客户端，提高了上送效率和资源利用率，与传统的备服务器完全不工作的闲置状态相比，充分利用了现有资源。4.由于订阅信息放置在分布式缓存系统中，增加了主备订阅服务间的同步，并使同一时间只会有一个订阅服务向客户端发生变化数据，减少了50%的数据上送量，直接降低了客户端成本和网络成本。\n附图说明\n[0021] 附图1是本发明系统的一种结构框架示意图；\n[0022] 附图2是本发明方法中订阅步骤的一种流程示意图；\n[0023] 附图3是本发明方法中取消订阅步骤的一种流程示意图；\n[0024] 附图4是本发明方法中变化上送步骤的一种流程示意图。\n[0025] 1-客户端 2-主服务器 3-备服务器 4-缓存数据库 5-位号订阅分发服务模块 6-实时数据库。\n具体实施方式\n[0026] 下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。\n[0027] 实施例：\n[0028] 本实施例一种实时数据库订阅系统，如图1所示，包括若干客户端1、主服务器2、缓存数据库4和备服务器2，备服务器可以具有多个，这里以一个备服务器为例，主服务器和备服务器都包括有位号订阅分发服务模块5，两个位号订阅分发服务模块分别与若干实时数据库6相连接，缓存数据库分别与两个位号订阅分发服务模块相连接，若干客户端则是通过系统总线分别连接到两个位号订阅分发服务模块上。\n[0029] 客户端用于发起或取消订阅请求，存储有订阅位号数据。\n[0030] 位号订阅分发服务模块用于接受实时数据库实时变化上送的数据和客户端订阅或取消订阅请求，位号订阅分发服务模块建立有n个数据槽，用于存放客户端的订阅信息。\n[0031] 缓冲数据库：建立有n个数据槽，用于存放客户端的订阅信息。缓存数据库采用分布式key-value缓存数据库，又名NoSQL（Not only SQL）数据库，一种可以快速存取字符或二进制数据结构的索引数据库，支持冗余和分布式。\n[0032] 实时数据库订阅系统的订阅方法包括订阅步骤、取消订阅步骤、变化上送步骤。\n[0033] 如图2所示，订阅步骤包括：\n[0034] 步骤11：客户端发起订阅请求，客户端将请求订阅的位号和客户端资料发送给主服务器或备用服务器中位号订阅分发服务模块；\n[0035] 步骤12：位号订阅分发服务模块收到订阅请求后，首先查看实时数据库中是否存在该位号；\n[0036] 步骤13：如否则放回步骤11，若是则哈希该位号，得到一个哈希值s，将哈希值s余除一个整数n，得到整数值a，该整数a就是要存入的数据槽号；假设主服务器、备服务器、缓存数据库建立10个数据槽，如哈希得到哈希值10003，余除10后得到整数3，则得到数据槽号\n3。\n[0037] 步骤14：根据数据槽号找到相应的数据槽位置，查看本地数据槽和缓存数据库数据槽的数字签名是否一致；\n[0038] 步骤15：若是，则将订阅位号和客户端信息写入本地数据槽，同时重新计算本地数据槽数字签名，数据签名存入本地数据槽，然后同步本地数据槽和缓存数据库数据槽内容，最后告知实时数据库该位号需要变化上送；\n[0039] 步骤16：若否，则删除本地数据槽内容，本地数据槽载入缓存数据库数据槽内容，然后返回步骤15。\n[0040] 如图3所示，取消订阅步骤：\n[0041] 步骤21：客户端发起取消订阅请求，客户端将请求订阅的位号和客户端资料发送给主服务器或备用服务器中位号订阅分发服务模块；\n[0042] 步骤22：查看本地数据槽是否存在该位号；\n[0043] 步骤23：若否，则无法取消订阅，若是，则哈希该位号，得到一个哈希值s，将哈希值s余除一个整数n，得到整数值a，该整数a就是要存入的数据槽号，找到对应的本地数据槽，删除该位号与该客户端信息的关联；\n[0044] 步骤24：查看该位号是否还有与其他客户端关联；\n[0045] 步骤25：若是，则不做其他操作，保存后同步缓存数据库，若否，则删除该位号的所有信息，并告知实时数据库停止该位号变化上送。\n[0046] 如图4所示，变化上送步骤包括：\n[0047] 步骤31：实时数据库变化上送，变化数据发送至主服务器或备服务器的位号订阅分发服务模块；\n[0048] 步骤32：哈希该位号，得到一个哈希值s，将哈希值s余除一个整数n，得到整数值a，该整数a就是要存入的数据槽号；\n[0049] 步骤33：在缓存数据库内找到该数据槽号数据槽，查看数据槽是否存在该位号；\n[0050] 步骤34：若否，停止上送，丢弃数据，若是，则遍历该位号所关联的所有客户端，依次将数据发送给客户端。\n[0051] 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。\n[0052] 尽管本文较多地使用了客户端、主服务器、备服务器、缓存数据库、位号订阅分发服务模块等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。