高速实时数据库的智能化动态负载均衡方法

1.一种高速实时数据库的智能化动态负载均衡方法，包括如下步骤：
1)、在每个客户端中配置内容一致的客户端集群仲裁表，内容包括：
所有客户端统一使用的一个全局的虚拟IP地址；
各个集群服务器节点的物理信息：集群服务器节点的物理IP地址、监听端口；
各个集群服务器节点的逻辑信息：各集群服务器节点可处理的任务的标签范围；
各个集群服务器节点的接替节点：当前集群服务器节点故障时，接替处理任务的集群服务器节点号；
各个集群服务器节点对于各个任务的优先级列表；
2)、在每个集群服务器节点中配置内容一致的服务器端集群仲裁表，内容包括：
各个集群服务器节点的物理信息：集群服务器节点的物理IP地址、监听端口；
各个集群服务器节点的逻辑信息：各集群服务器节点可处理的任务的标签范围；
各个集群服务器节点的接替节点：当前集群服务器节点故障时，接替处理任务的集群服务器节点号；
各个集群服务器节点间的心跳超时间隔、集群服务器节点间的TCP发送和接收超时间隔、通讯失败重试次数；
各个集群服务器节点对于各个任务的优先级列表；
3)、将后台数据存储模块划分为不同的物理存储分区，各个集群服务器节点对应其中一个物理存储分区；
4)、将客户端与每个集群服务器节点建立通讯连接；并不断从可用的集群服务器节点上同步服务器端集群仲裁表的相应内容到客户端集群仲裁表中，用于保证客户端集群仲裁表和服务器端集群仲裁表中相应内容始终保持一致；
5)、各个集群服务器节点开始主控控制过程，用于维护各个集群服务器节点上的服务器端集群仲裁表内容一致；
6)、各个集群服务器节点开始负载配置过程，用于接收并处理客户端发送过来的任务，如果某个集群服务器节点出现故障，则根据服务器端集群仲裁表中的内容，将任务转发到下一个正常服务器上处理该任务；
7)、客户端对全局的虚拟IP地址发起数据读写的请求，该请求中包含该读写操作任务的标签，并根据所述客户端集群仲裁表来判断当前的任务应该被最终发往哪个目标集群服务器节点；
8)、网络通讯管理模块根据请求的类型和请求的数据将当前请求组成一个TCP数据包，在前后加入CRC校验信息以确保数据包的完整性；并与目标集群服务器节点模块建立TCP连接，并最终发送往目标集群服务器节点；
9)、目标集群服务器节点在接收到客户端提交来的请求后，进行必要的校验，然后对合法的请求进行处理，并对后台数据存储模块中对应的物理存储分区进行读写访问，丢弃非法的请求并将错误信息回复给客户端；
所述步骤5)中集群服务器节点的主控控制流程的具体过程是：
5a)、首先从当前集群服务器节点中读取自身的配置信息，用于构成当前集群服务器节点的服务器端集群仲裁表；
5b)、启动心跳接收线程：为每一个集群服务器节点提供一个单独的线程来接收其他集群服务器节点的心跳状态；
启动状态发布线程：为每一个集群服务器节点提供一个单独的线程将当前集群服务器节点的状态定时地发给集群服务器组中其它集群服务器节点；
各个集群服务器节点根据心跳接收线程和状态发布线程实时地将检测到的其他集群服务器节点的状态更新到各自的服务端集群仲裁表，以使各个服务端集群仲裁表内容一致；
所述步骤6)中的负载配置过程的具体步骤如下：
6a)、各个集群服务器节点定时地轮询服务端集群仲裁表，如果发现服务器端集群仲裁表发生变化并表明其中有某个节点不可用时，进入下一步处理；或者，任何时刻，当检测到某个远端集群服务器节点不可用时，也进入下一步处理；
6b)、对不可用的集群服务器节点上的任务进行转移：根据优先级列表的内容，将该故障的集群服务器节点上的所有任务转移到各个任务所对应的最高优先级次级的集群服务器节点上；任务转移成功后，回到步骤6a)。
2.根据权利要求1所述的高速实时数据库的智能化动态负载均衡方法，其特征在于：
所述步骤6b)中将任务转移的具体过程如下：
b1)、对于不可用的集群服务器节点上的每一个任务，检查当前集群服务器节点是不是除故障节点外，最高优先级最高的集群服务器节点，如果不是，结束本流程；否则，进入下一步；
b2)、对于当前任务，发送“请求转换”的信息给其他各个集群服务器节点；
b3)、如果在集群服务器节点间的心跳接收线程的超时间隔内没有收到某个其它的集群服务器节点对该“请求转换”信号的确认回复，结束本流程；否则，进入下一步骤；
b4)、在服务器端集群仲裁表中将检测到的故障的集群服务器节点状态标记为不可用，并更改相应的优先级列表中能够处理该任务的各个集群服务器节点的新的优先级，最后，在当前集群服务器节点上启动相应操作来处理所述的转移的任务，最后，将“转化成功”的结果发布给其它节点。
3.根据权利要求1所述的高速实时数据库的智能化动态负载均衡方法，其特征在于：
所述步骤2)和步骤3)中，各个集群服务器节点对于各个任务的优先级列表具体形式为：对于某一个任务j，14.根据权利要求1所述的高速实时数据库的智能化动态负载均衡方法，其特征在于：
所述步骤6a)轮询服务器端集群仲裁表的时间间隔为100毫秒。
5.根据权利要求1所述的高速实时数据库的智能化动态负载均衡方法，其特征在于：
所述步骤6a)中检测到某个远端集群服务器节点不可用的方式是：对某一个远端集群服务器节点的心跳接收失败；或者，向远端集群服务器节点的状态发布失败。
6.根据权利要求1所述的高速实时数据库的智能化动态负载均衡方法，其特征在于：
所述步骤8)中网络通讯管理模块还处理由于网络故障的超时重发以及在所有集群服务器节点故障宕机时的本地磁盘文件缓存功能，在网络恢复后，再将本地磁盘文件恢复到远程集群服务器节点，以保证任何情况下数据都不会丢失。
7.根据权利要求1所述的高速实时数据库的智能化动态负载均衡方法，其特征在于：
所述步骤7)中客户端请求处理过程中如果请求执行失败了，错误结果会被回复到客户端，客户端根据错误的信息进行进一步的处理，具体过程是：如果失败的原因是因为在处理的过程中先前的集群服务器节点故障，则根据客户端集群仲裁表做出决策，决定当前请求应该被重发到哪一个作为接替节点的集群服务器节点上；如果接替节点不能处理，再寻找下一个接替节点，依次类推，如果经过一定的超时处理重试后，所有的服务器节点都不可用，那么报告这个请求最终执行失败。

高速实时数据库的智能化动态负载均衡方法\n技术领域\n[0001] 本发明涉及一种服务器动态负载均衡方法，具体来说涉及一种高速实时数据库的智能化动态负载均衡方法。\n背景技术\n[0002] 目前，实时/历史数据库系统的部署技术中，无一例外都采用了传统双机热备的传统集群方式：两台服务器主机共享一个物理存储设备，两台主机之间通过心跳信号来决定谁将成为“主机”，谁将成为“备机”。同一时刻，只有其中一台主机可以成为“主机”并接管共享的阵列资源。也就是说，传统实时/历史数据库系统的双机热备技术中同时只有一台服务器主机在提供服务，其余另外一台是闲置的，当且仅当当前“主机”故障时，另外一台服务器才会进行实际的工作负担。如此以来导致的一个问题就是大多数情况下即便两台服务器都无故障，也只能发挥其中一台的业务处理能力而另外一台闲置，本发明将重点解决这个难题。\n[0003] 现有的技术的缺点主要体现在：\n[0004] 1.不能充分利用多台服务器的资源优势，大多数情况下昂贵的服务器资源是闲置的\n[0005] 2.在单机故障时，需要切换和控制权交替的资源数量庞大，造成业务阻塞时间相对较长\n[0006] 3.由于现行技术中的“非A即B”模型，造成对于业务负载逻辑的管理灵活性很差，无法有机地将资源、负载和需求整合到一起，部署更为高阶的技术方案\n[0007] 4.现有一些技术通过网络消息转发的方式来实现负载的分配，虽然一定程度上达到了负载分担的目地，但是多次的网络转发不仅造成了对网络带宽的极大浪费，而且由于转发所引起的性能降低非常明显。\n发明内容\n[0008] 本发明的目的在于提供一种高速实时数据库的智能化动态负载均衡方法，本方法能够实现将多台服务器有机地整合在一起，形成一个服务器集群网络，并共享一个磁盘存储设备，各个服务都正常工作的情况下各自对外提供既定的业务处理负载，本方法灵活地整合了多个服务器节点的硬软件资源，达到硬件平台资源利用调度最优化。\n[0009] 本发明的目的可通过以下的技术措施来实现：\n[0010] 一种高速实时数据库的智能化动态负载均衡方法，包括如下步骤：\n[0011] 1)、在每个客户端中配置内容一致的客户端集群仲裁表，内容包括：\n[0012] 所有客户端统一使用的一个全局的虚拟IP地址；\n[0013] 各个集群服务器节点的物理信息：集群服务器节点的物理IP地址、监听端口；\n[0014] 各个集群服务器节点的逻辑信息：各集群服务器节点可处理的任务的标签范围；\n[0015] 各个集群服务器节点的接替节点：当前集群服务器节点故障时，接替处理任务的集群服务器节点号；\n[0016] 各个集群服务器节点对于各个任务的优先级列表；\n[0017] 2)、在每个集群服务器节点中配置内容一致的服务器端集群仲裁表，内容包括：\n[0018] 各个集群服务器节点的物理信息：集群服务器节点的物理IP地址、监听端口；\n[0019] 各个集群服务器节点的逻辑信息：各集群服务器节点可处理的任务的标签范围；\n[0020] 各个集群服务器节点的接替节点：当前集群服务器节点故障时，接替处理任务的集群服务器节点号；\n[0021] 各个集群服务器节点间的心跳超时间隔、集群服务器节点间的TCP发送和接收超时间隔、通讯失败重试次数；\n[0022] 各个集群服务器节点对于各个任务的优先级列表；\n[0023] 3)、将后台数据存储模块划分为不同的物理存储分区，各个集群服务器节点对应其中一个物理存储分区；\n[0024] 4)、将客户端与每个集群服务器节点建立通讯连接；并不断从可用的集群服务器节点上同步服务器端集群仲裁表的相应内容到客户端集群仲裁表中，用于保证客户端集群仲裁表和服务器端集群仲裁表中相应内容始终保持一致；\n[0025] 5)、各个集群服务器节点开始主控控制过程，用于维护各个集群服务器节点上的服务器端集群仲裁表内容一致；\n[0026] 6)、各个集群服务器节点开始负载配置过程，用于接收并处理客户端发送过来的任务，如果某个集群服务器节点出现故障，则根据服务器端集群仲裁表中的内容，将任务转发到下一个正常服务器上处理该任务；\n[0027] 7)、客户端对全局的虚拟IP地址发起数据读写的请求，该请求中包含该读写操作任务的标签，并根据所述客户端集群仲裁表来判断当前的任务应该被最终发往哪个目标集群服务器节点；\n[0028] 8)、网络通讯管理模块根据请求的类型和请求的数据将当前请求组成一个TCP数据包，在前后加入CRC校验信息以确保数据包的完整性；并与目标集群服务器节点模块建立TCP连接，并最终发送往目地集群服务器节点；\n[0029] 9)、目标集群服务器节点在接收到客户端提交来的请求后，进行必要的校验，然后对合法的请求进行处理，并对后台数据存储模块中对应的物理存储分区进行读写访问，丢弃非法的请求并将错误信息回复给客户端。\n[0030] 所述步骤5)中集群服务器节点的主控控制流程的具体过程是：\n[0031] 5a)：首先从当前集群服务器节点中读取自身的配置信息，用于构成当前集群服务器节点的服务器端集群仲裁表。\n[0032] 5b)：启动心跳接受线程：为每一个集群服务器节点提供一个单独的线程来接收其他集群服务器节点的心跳状态；\n[0033] 启动状态发布线程：为每一个集群服务器节点提供一个单独的线程将当前集群服务器节点的状态定时地发给集群服务器组中其它集群服务器节点；\n[0034] 各个集群服务器节点根据心跳接收线程和状态发布线程实时地将检测到的其他集群服务器节点的状态更新各自的服务端集群仲裁表，以使各个服务端集群仲裁表内容一致。\n[0035] 所述步骤6)中的负载配置过程的具体步骤如下：\n[0036] 6a)、各个集群服务器节点定时地轮询服务端集群仲裁表，如果发现服务器端集群仲裁表发生变化并表明其中有某个节点不可用时，进入下一步处理；或者，任何时刻，当检测到某个远端集群服务器节点不可用时，也进入下一步处理；\n[0037] 6b)、对不可用的集群服务器节点上的任务进行转移：根据优先级列表的内容，将该故障的集群服务器节点上的所有任务转移到各个任务所对应的最高优先级次级的集群服务器节点上；任务转移成功后，回到步骤6a)。\n[0038] 所述步骤6b)中将任务转移的具体过程如下：\n[0039] b1)、对于不可用的集群服务器节点上的每一个任务，检查当前集群服务器节点是不是除故障节点外，最高优先级最高的集群服务器节点，如果不是，结束本流程；否则，进入下一步；\n[0040] b2)、对于当前任务，发送“请求转换”的信息给其他各个集群服务器节点；\n[0041] b3)、如果在集群服务器节点间的心跳接收线程的超时间隔内没有收到某个其它的集群服务器节点对该“请求转换”信号的确认回复，结束本流程；否则，进入下一步骤；\n[0042] b4)、在服务器端集群仲裁表中将检测到的故障的集群服务器节点状态标记为不可用，并更改相应的优先级列表中能够处理该任务的各个集群服务器节点的新的优先级，最后，在当前集群服务器节点上启动相应操作来处理所述的转移的任务，最后，将“转化成功”的结果发布给其它节点。\n[0043] 所述步骤2)和步骤3)中，各个集群服务器节点对于各个任务的优先级列表具体形式为：对于某一个任务j，1=2)节点(现行技术中是2个节点)，灵活地整合了N个节点的硬软件资源，达到硬件平台资源利用调度最优化，形成真正意义上的“N-N集群”技术。相比传统的应用模型，在同样的硬件环境中软件的处理能力将提升到约N-1倍以上。本发明彻底解决了实时/历史数据库系统中的“动态负载均衡”难题，借助于本发明的技术，多台计算机资源可以被灵活地整合在一起，形成一个性能强劲的服务集群组，而对用户层而言，所有的这些服务器群组都是透明的；\n[0051] 3、本方法和现行的虚拟IP地址技术不同的是，本发明的集群阶段各自以节点的物理IP地址运行并提供服务，相比以往的一个内部往的物理地址进行数据转发的模式相比，这种虚拟IP地址技术可以完全屏蔽以往物理虚拟IP节点导致的数据转发延迟。不仅如此，使用物理IP地址的技术实现可以极大地降低内部网络由于转发所引起的带宽占用。\n简而言之，这里实现的虚拟IP技术是一种真正意义上的虚拟IP地址，并不在内部私有网络上实际存在，而是一个纯粹的虚拟地址。每一个物理节点都配置了完全一致的集群节点IP地址列表，列表中的IP地址先后顺序就是单点故障时服务器负载转移的优先级和顺序；\n[0052] 4、本方法使得当集群组中所有的服务器都处于正常工作状态时，由于各自只承担相对小的一部分业务负载，应用的请求被处理会很高效，表现在响应快速并且用户感受好；\n当集群组中有一台或者多台服务器出现故障的情况下，故障节点被转移到可以正常服务的节点上面。\n附图说明\n[0053] 图1是本发明的高速实时数据库的智能化动态负载均衡方法的流程图；\n[0054] 图2是本发明的高速实时数据库的智能化动态负载均衡方法中的集群软件主控算法实现流程图；\n[0055] 图3是本发明的高速实时数据库的智能化动态负载均衡方法中的集群软件仲裁算法实现流程图；\n[0056] 图4是一个典型的集群负载配置模块中的集群仲裁表的内容示意图；\n[0057] 图5是本发明方法中各个集群服务器节点对于各个任务的优先级列表；\n[0058] 图6是拥有3个节点和3个任务的优先级列表结构。\n具体实施方式\n[0059] 下面结合附图对本发明做进一步的详细说明，如图1所示，本发明所示的智能化动态负载均衡技术包含客户端SDK模块(100)、网络通讯管理模块(200)、集群服务器节点模块(300)和后台数据存储模块(400)。其中客户端SDK模块(100)包含集群负载配置模块(110)和SDK通讯仲裁模块(120)；在集群服务器节点模块(300)中，包含服务器端集群负载配置模块(310)、服务器端负载均衡仲裁模块(320)和服务器端数据管理模块（330）。\n其中服务器端数据管理模块（330）就是传统意义上的实时/历史数据库系统实例，不同的实时/历史数据库系统可能包含一个或者多个进程或者配置模块，在本发明的系统实施体系中，是其中一个局部模块。在本发明实施中，集群服务器节点模块(300)可能包含N个，N通常是大于等于2的服务器节点数目，不同于在现行实时/历史数据库系统的双机部署技术中，N为固定为2的双机冗余。后台数据存储模块(400)一般是存储系统，可以是目前主流的存储解决方案。\n[0060] 如图2所示，本发明的高速实时数据库的智能化动态负载均衡方法的完整处理步骤如下：\n[0061] 1)、首先，在每个客户端的集群负载均衡配置模块(110)中配置内容一致的客户端集群仲裁表，如图4所示，内容包括：\n[0062] 所有客户端统一使用的一个全局的虚拟IP地址；\n[0063] 各个集群服务器节点的物理信息：集群服务器节点的物理IP地址、监听端口；（以下将“集群服务器节点”简称为“节点”。）\n[0064] 各个集群服务器节点的逻辑信息：各集群服务器节点可处理的任务的标签范围；\n[0065] 各个集群服务器节点的接替节点：当前集群服务器节点故障时，接替处理任务的集群服务器节点号；\n[0066] 各个集群服务器节点对于各个任务的优先级列表；\n[0067] 2）、在每个集群服务器节点的集群负载配置模块(310)中配置内容一致的服务器端集群仲裁表，内容包括：\n[0068] 各个集群服务器节点的物理信息：集群服务器节点的物理IP地址、监听端口；\n[0069] 各个集群服务器节点的逻辑信息：各集群服务器节点可处理的任务的标签范围；\n[0070] 各个集群服务器节点的接替节点：当前集群服务器节点故障时，接替处理任务的集群服务器节点号；\n[0071] 各个集群服务器节点间的心跳超时间隔、集群服务器节点间的TCP发送和接收超时间隔、通讯失败重试次数；\n[0072] 服务器端集群负载配置模块(310)和客户端集群负载配置模块(110)作用是完全一样的，只不过服务器端集群负载配置模块(310)还包含心跳接收超时设置等其它参数。\n[0073] 各个集群服务器节点对于各个任务的优先级列表；具体形式如图5所示：对于某一个任务j，1=2)个物理IP地址，本发明的实现将客户端SDK对该物理IP地址列表实现封装成一个统一的模块。对于传统的集群部署方式或者其它地方系统，可以在不修改应用逻辑的情况下将本发明的技术集成到现有的应用系统中，当然也可以无缝地替换已经存在的其它集群解决方案。\n[0107] 本发明SDK配置文件主要包含各个几点的物理IP地址、节点默认承担的负载比重和节点的参数，例如负载转移策略、负载恢复策略等。与此同时，我们SDK内部实现会提供一个虚拟IP地址给用户，这个虚拟IP可以是非常特殊的IP地址，不和网络中的物理IP地址冲突即可，例如：“99.99.99.99”,因为它仅仅是一个纯用户层面的虚拟地址。SDK内部智能维护和管理“用户->虚拟IP->配置映射表->远端集群组”的通讯逻辑，实际上因为内部维护的是当前客户端和集群组内各个节点的点对点连接，通过这种技术实现的通讯方式十分高效，避免和传统技术中通过网络数据包转发的方式引起的性能损失。\n[0108] 本发明中服务器端的负载均衡模块的实现和传统的集群实现方式也有很大的区别，和现行的虚拟IP地址技术不同的是，本发明的集群阶段各自以节点的物理IP地址运行并提供服务，相比以往的一个内部往的物理地址进行数据转发的模式相比，这种虚拟IP地址技术可以完全屏蔽以往物理虚拟IP节点导致的数据转发延迟。不仅如此，使用物理IP地址的技术实现可以极大地降低内部网络由于转发所引起的带宽占用。简而言之，这里实现的虚拟IP技术是一种真正意义上的虚拟IP地址，并不在内部私有网络上实际存在，而是一个纯粹的虚拟地址。虚拟IP地址的技术实现需要结合用户层的统一访问技术实现所阐述的技术细节来实现，在这里我们只阐述内部节点的同步转移机制。每一个物理节点都配置了完全一致的集群节点IP地址列表，列表中的IP地址先后顺序就是单点故障时服务器负载转移的优先级和顺序。\n[0109] 本发明可以将多台服务器有机地整合在一起，形成一个服务器集群网络，各个服务器节点通过内部私有网络连接起来，内部的私有网络一般是千兆高速网络。这个服务器集群组共享一个磁盘存储设备，集群组内的任何一台服务器都可以访问这个共享的磁盘存储设备。在集群组内部的各个服务器节点上，运行本发明设计中的实时通讯软件，用于各个节点间必要信息的实时同步和分发同步缓存数据。实时通讯软件将整个集群组有机地组织在一起，对外提供一个统一的IP地址，任何时候上层应用和最终用户只需要向这个统一的IP地址发起请求即可。只有集群组里面有一台服务器能够提供正常的对外服务，其它应用都可以在不间断业务的情况进行日常工作，对应用软件来说是完全透明的，只不过唯一的差别在于：当集群组中所有的服务器都处于正常工作状态时，由于各自只承担相对小的一部分业务负载，应用的请求被处理会很高效，表现在响应快速并且用户感受好；当集群组中有一台或者多台服务器出现故障的情况下，故障节点被转移到可以正常服务的节点上面，导致优先的可用服务节点的负载率较高，极端情况下可能会对上层应用造成延迟。但是这个情况是客观存在且不可避免的，因为最极端的负载率情况和传统现行技术实现是完全等同的。\n[0110] 本发明所述的实时/历史数据库系统的智能化负载均衡技术应用于流程行业需要7*24小时稳定运行的数据库服务器系统上，也可以应用于任何有负载均衡需求同时不想引入其它复杂的第三方硬软件模块的系统中。\n[0111] 本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。