负载均衡环境中多服务器系统及其文件传输方法

暂无

负载均衡环境中多服务器系统及其文件传输方法\n【技术领域】\n[0001] 本发明涉及网络服务器技术，具体的说，涉及其中的文件传输技术。\n【背景技术】\n[0002] 随着因特网的高速发展，基于B\S结构(WEB)开发的业务越来越多，所涉及到范围也越来越广泛，例如，电信增值类业务、消息类业务、以及各种业务或企业应用中的管理信息系统等。众多业务的运行，使得WEB服务器负载量不断增加，每天上网的用户不计其数，并且可能都同时并发访问同一个服务器或同一个文件，这样就很容易产生信息传输阻塞现象，同时低故障率和高性能是人们对服务器的主要目标，但对于单台服务器来讲，这个问题是无法解决的。\n[0003] Web负载量非常大时，应当考虑使用负载均衡技术来将负载平均分摊到多个内部服务器上。如果有多个服务器同时执行某一个任务时，这些服务器就构成一个集群(clustering)。使用集群技术可以用最少的投资获得接近于大型主机的性能。\n[0004] 负载均衡(Load Balance)建立在现有网络结构之上，是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。它提供了一种廉价、有效和透明的方法，来扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡有两方面的含义：首先，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间；其次，单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高。\n[0005] 彩铃用户的快速增长使智能网彩铃多媒体网络服务器面对的访问数量快速增加，服务器需要具备提供大量并发访问服务的能力，服务器的处理和I/O能力成为了提供服务的瓶颈。由于单台服务器的性能总是有限的，必须采用多服务器和负载均衡技术才能满足大量并发访问的需要。搭建负载均衡服务器网络架构时，“负载均衡服务器”是控制服务器，所有用户的请求都首先到此服务器，然后由此服务器根据各个实际处理服务器状态将请求具体分配到某个实际处理服务器中，对外公开的域名与IP地址都是这台服务器。在这种架构中，出现了上传数据存储和访问的问题，譬如用户在负载A机器上执行了上传图片的一个操作，在本地A机器产生了图片文件，但是下次请求被分配到负载B机器上执行读取图片的请求时，却发现需要用的图片文件在本地B机器上不存在，马上程序就会出现远程服务器文件访问异常。\n[0006] 现有的专利文献包括：专利申请号为CN200810156156.3的中国专利申请“基于内容复制的资源负载平衡方法”和专利号为CN200810103137.4的专利“文件分发及下载的方法和系统”。\n[0007] 第200810156156.3号中国专利申请提到了资源负载平衡的概念，根据本地节点的资源访问情况然后再基于内容的复制，本质上是依靠备份来实现负载平衡，一旦复制过程中出现异常，将导致各个服务器出现数据文件不一致的情况，很难修复，同时复制是由资源访问情况来决定的，这个本身就具有不确定性。\n[0008] 第200810103137.4号中国专利申请采用分时下载来减轻文件服务器的压力，一方面对用户的下载时间进行了限制，同时对瞬间请求资源激增的问题没有很好的解决，当主处理器的负担增加时，服务器很容易就会拓机，影响WEB的正常访问。\n【发明内容】\n[0009] 本发明的主要目的是：提供一种有效实现多服务器负载均衡环境中文件传输的系统及方法。\n[0010] 为实现上述目的，首先，本发明提出一种负载均衡环境中多服务器系统，包括负载均衡服务器和负载服务器，还包括：\n[0011] 文件服务器系统，通过物理接口与所述负载服务器通讯；\n[0012] 文件分析模块，用于分析文件，设定文件分界线；\n[0013] FTP上传模块，提供FTP服务，将符合文件分界线的上传文件上传到文件服务器系统上。\n[0014] 上述的负载均衡环境中多服务器系统，还包括FastDFS管理模块，管理所述文件服务器系统的静态文件，在自身的Storge服务器上直接架设http服务，直接通过URL访问静态文件。\n[0015] 上述的负载均衡环境中多服务器系统，还包括NFS共享模块；所述文件服务器系统包括静态文件服务器；针对不符合所述文件分界线的上传文件，NFS共享模块直接共享静态文件服务器的指定目录到负载服务器。\n[0016] 上述的负载均衡环境中多服务器系统，所述文件服务器系统包括文件存储服务器；针对符合所述文件分界线的上传文件，FTP上传模块将其上传到所述文件存储服务器。\n[0017] 上述的负载均衡环境中多服务器系统，所述文件服务器系统还包括用于专门存储图片格式文件的图片服务器。\n[0018] 同时，本发明提出了一种负载均衡环境中实现文件传输的方法，其文件上传包括以下步骤：\n[0019] 步骤61)负载均衡服务器接到用户发送的上传文件请求后，分发给一负载服务器进行处理；\n[0020] 步骤62)该负载服务器调用文件分析模块，进行上传文件的分析；\n[0021] 步骤63)当该上传文件符合文件分析模块设定的文件分界线时，文件服务器系统调用FTP上传模块；\n[0022] 步骤64)FTP上传模块将该上传文件上传到存储静态文件的文件存储服务器上。\n[0023] 上述的负载均衡环境中实现文件传输的方法，所述步骤64)中，由所述文件服务器系统中的文件控制服务器，把上传文件分配到具体的文件存储服务器，并调用FTP上传模块。\n[0024] 上述的负载均衡环境中实现文件传输的方法，所述步骤63)中，当该上传文件不符合文件分析模块设定的文件分界线时，则通过NFS共享模块，共享静态文件服务器的指定目录到web服务器，通过http上传到该目录。\n[0025] 上述的负载均衡环境中实现文件传输的方法，如果所述共享失败，则FTP上传模块将该上传文件上传到存储静态文件的文件存储服务器上。\n[0026] 上述的负载均衡环境中实现文件传输的方法，还包括如下文件访问步骤：\n[0027] 步骤101)负载均衡服务器接到文件请求后，分发给一负载服务器进行处理；\n[0028] 步骤102)该负载服务器调用文件分析模块进行分析；\n[0029] 步骤103)直接通过NFS共享模块共享文件服务器系统的文件存储服务器指定目录到负载服务器，获取请求的文件。\n[0030] 或文件访问步骤包括：\n[0031] 步骤111)负载均衡服务器接到文件请求后，分发给一负载服务器进行处理；\n[0032] 步骤112)该负载服务器调用文件分析模块进行分析；\n[0033] 步骤113)向文件服务器系统的文件存储服务器请求具体的文件资源；\n[0034] 步骤114)文件存储服务器的HTTP服务提供具体的文件访问地址URL。\n[0035] 由于采用了以上的方案，负载均衡网络环境采用负载均衡服务器和众多负载机组成，在此环境的基础上，平行建立一个文件服务器系统；对于较大的文件，可以通过FTP服务将这些文件数据上传到存储静态文件的服务器上，由于采用了独立的文件服务器系统，不再依赖负载均衡环境，解决了存储和负载均衡的问题，可以有效地在负载均衡环境中解决文件传输的问题，使系统的负载均衡性能更佳，有利于扩展网络设备和服务器的带宽，增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。\n[0036] 进一步地，同时针对较小的临时文件采用NFS方式共享静态文件服务器的指定目录到负载均衡环境中的负载服务器中，适用于文件存储、文件同步、文件访问(文件上传、文件下载)等，由于采用了独立的静态文件服务器，不再依赖负载均衡环境，解决了小容量存储和负载均衡的问题。可以有效地在负载均衡环境中解决文件上传和访问的问题。\n[0037] 进一步，同时针对图片文件，文件服务器系统提供专门的图片服务器，满足大量并发访问的图片文件的需要，保证系统的可靠性，提高客户体验。\n【附图说明】\n[0038] 图1是本发明实施例中服务器负载均衡环境和文件服务器系统的结构示意图；\n[0039] 图2是根据本发明实施例的系统实现文件由浏览器客户端上传到文件服务器流程；\n[0040] 图3是根据本发明实施例的系统实现资源文件请求访问的结构示意图。\n【具体实施方式】\n[0041] 下面通过具体的实施例并结合附图对本发明作进一步详细的描述。\n[0042] 请参考图1所示，本例的多服务器系统，负载均衡网络环境采用负载均衡服务器和众多负载服务器组成，在此环境的基础上，平行建立一个文件服务器系统，包括文件控制服务器、图片服务器、TXT文件服务器、文件存储服务器和静态文件服务器。通过文件分析模块，用来分析文件的类型和大小，并以文件的大小来设定文件分界线；对于较大的文件，可以通过FTP上传模块将这些文件数据上传到存储静态文件的文件存储服务器，或图片服务器，或TXT文件服务器上；同时针对较小的临时文件采用NFS方式共享静态文件服务器的指定目录到负载均衡环境中的负载服务器中。\n[0043] 当一个客户端访问WEB服务器地址时，首先由负载均衡服务器指派到具体的负载服务器中，当用户开始上传文件时，通过FTP上传模块，把文件上传到具有独立IP地址的文件服务器系统中，并且可根据具体的文件类型上传到文件服务器系统中不同的服务器中，如图片服务器、TXT文件服务器等。利用FastDFS管理模块，管理文件服务器系统的静态文件，在自身的Storge服务器上直接架设http服务。当该客户端再次访问其上传的资源文件时，因为在文件服务器上直接架设http服务，就可以直接通过URL访问静态文件。本例的发明可以有效地在负载均衡环境中解决文件上传和访问的问题。\n[0044] 为实现多服务器负载均衡环境中文件上传和访问，本例的方法首先包括对负载均衡环境下多服务器系统的建立过程：\n[0045] 步骤1：部署WEB请求处理服务器，也称作负载服务器，专门用来处理用户的上传文件请求或者资源请求，在其上部署WEB应用程序，可由两台或两台以上组成，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助；具有固定的局域网IP。客户端用一个逻辑Internet名称和虚拟IP地址(又称群集IP地址)访问群集，同时保留每台服务器各自的名称。\n[0046] 步骤2：配置负载均衡服务器，所有用户的请求都首先到此服务器，然后由此服务器根据各个实际处理服务器状态将请求具体分配到某个实际处理的负载服务器中，对外公开的域名与IP地址都是负载均衡服务器。\n[0047] 步骤3：实现负载均衡，通过DNS服务中的随机名字解析来实现负载均衡，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，他们也就访问不同地址上的负载服务器，从而达到负载均衡的目的。\n[0048] 步骤4：独立分离的图片服务器，对于Web服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是本例中将图片与页面进行分离，这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃。可由一台或多台服务器组成，固定其局域网IP。\n[0049] 步骤5：搭建文件存储服务器，类似图片服务器，用来存储静态文件，可根据具体情况配置细分，由独立服务器组成，专门用来存储文件。\n[0050] 步骤6：配置文件控制服务器，具有独立外网IP，并架构起HTTP服务，根据负载服务器的请求，把需要上传的资源文件，分配到具体的文件存储服务器，或图片服务器，或TXT文件服务器中；\n[0051] 步骤7：部署FTP服务器，负载服务器中可以提供一个配置文件，用来配置FTP的IP地址、用户名、密码、文件上传路径等信息，严格约定好FTP服务器和其他服务器(负载服务器、文件服务器等)的登陆、文件上传路径等交互信息，以保证FTP服务器的安全访问。\n[0052] 步骤8：配置NFS共享存储服务器，通过一定的规则为用户创建目录空间，然后文件存储服务器通过NFS共享到所有负载均衡的web服务器。\n[0053] 步骤9：FastDFS安装配置，修改conf下的tracker.conf和storage.conf，开启两个daemon，一个是tracker，负责跟踪服务器状态和负载，另一个是storage，负责数据的存储和复制备份。\n[0054] 步骤10：客户端把文件上传到FTP服务器后，需要把文件在服务器上保存的文件名和路径信息记录下来，并在客户端通过HTTP往WEB服务器提交文件信息时一起把路径信息发给WEB服务器。WEB服务器上的服务程序，根据业务需求做相应的实现，只需要能接受客户端提交的信息。\n[0055] 请参考图2和图3所示，在建立负载均衡环境下多服务器系统后，本例实现多服务器负载均衡环境中文件上传方法包括：\n[0056] 步骤1.用户发送上传文件的请求；\n[0057] 步骤2.负载均衡控制服务器接到请求并分发给一个具体的负载服务器进行处理；\n[0058] 步骤3.负载服务器调用文件分析模块，进行上传文件的分析；通过自行设定的文件分界线，部分上传调用NFS方式，共享静态文件服务器的指定目录到web服务器，可以通过http上传到该目录，共享失败则运行步骤F；部分上传，通过文件服务器系统中的文件控制服务器，把需要上传的资源文件，分配到具体的文件存储服务器，并调用FTP上传模块；\n[0059] 步骤4.文件服务器进行处理分发；\n[0060] 步骤5.数据上传到存储静态文件的指定服务器上；\n[0061] 请参考图3所示，本例实现多服务器负载均衡环境中文件访问方法包括：\n[0062] 步骤1.用户请求一个资源文件；\n[0063] 步骤2.负载均衡控制服务器接到请求并分发给一个具体的负载服务器进行处理；负载服务器调用文件分析模块，进行访问(请求)资源的分析；\n[0064] 步骤3.NFS共享模块请求共享目录资源，或文件服务器进行处理；\n[0065] 步骤4.直接通过NFS方式共享静态文件服务器的指定目录到web服务器，获取资源文件；否则执行步骤5；\n[0066] 步骤5.文件控制服务器的HTTP服务提供具体的文件访问地址URL。\n[0067] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。