高性能数据仓库基础架构

1.一种数据仓库数据处理及性能加速方法，包括第二核心交换机(12)、虚拟局域网交换机(15)、第一光纤交换机(13)和第二光纤交换机(14)，其特征在于：还包括内存性能加速器、负载均衡器、开发服务器集群(D01)、集成测试服务器集群(Q01)、模拟测试服务器集群(M01)和生产服务器集群(P01)，各服务器集群分别与第一光纤交换机(13)和第二光纤交换机(14)建立通信链路，各服务器集群分别通过负载均衡器与第二核心交换机(12)和虚拟局域网交换机(15)建立通信链路；负载均衡器(LB4)上配有内存性能加速器，主要完成对生产服务器集群中大数据量的查询检索加速功能；
所述各硬件服务器集群中的每个服务器都包括四个数据端口，每个服务器的第三数据端口连接第一光纤交换机(13)，每个服务器的第四数据端口连接第二光纤交换机(14)，各负载均衡器的请求侧数据端口分别与第二核心交换机(12)和虚拟局域网交换机(15)建立通信链路；
所述开发服务器集群(D01)中服务器的第一数据端口连接第一负载均衡器(LB1)的负载分配侧的相应数据端口，开发服务器集群(D01)中服务器的第二数据端口连接第二负载均衡器(LB2)的负载分配侧的相应数据端口，负载均衡服务器除完成开发程序应用的任务分担外，还承担需求开发程序请求传输的功能，从开发服务器集群传输到集成测试服务器集群；
所述集成测试服务器集群(Q01)中服务器的第一数据端口连接第二负载均衡器(LB2)的负载分配侧的相应数据端口，测试服务器集群(Q01)中服务器的第二数据端口连接第一负载均衡器(LB1)的负载分配侧的相应数据端口，负载均衡服务器除完成集成测试的任务均衡外，还承担需求开发程序请求传输的功能，从集成服务器集群传输到模拟测试服务器集群；
所述模拟测试服务器集群(M01)中服务器的第一数据端口连接第三负载均衡器(LB3)的负载分配侧的相应数据端口，模拟测试服务器集群(M01)中服务器的第二数据端口连接第四负载均衡器(LB4)的负载分配侧的相应数据端口，负载均衡服务器除完成模拟测试应用的任务分担外，还承担需求开发程序请求传输的功能，从集成测试服务器集群传输到生产服务器集群；
所述生产服务器集群(P01)中服务器的第一数据端口连接第四负载均衡器(LB4)的负载分配侧的相应数据端口，生产服务器集群(P01)中服务器的第二数据端口连接第三负载均衡器(LB3)的负载分配侧的相应数据端口。
2.根据权利要求1所述的数据仓库数据处理及性能加速方法，其特征在于：生产服务器分为集团生产服务器(P01)和内部控制服务器(P02)；这两套服务器集群其配置和数据需要相互隔离；为保障服务于集团生产服务器(P01)和内部控制服务器(P02)的应用开发程序传输请求和配置能通过同一套开发服务器集群(D01)、集成测试服务器集群(Q01)、模拟测试服务器集群(M01)的路径传输到对应的(P01)和(P02)，需要构建一套虚拟的模拟测试服务器集群(M02)来将属于(P02)的程序开发和配置传输到对应的系统中；第二虚拟模拟测试服务器(M02)，生产服务器集群(P02)，其中的服务器都包括四个数据端口，服务器的第一数据端口连接第二核心交换机(12)，每个服务器的第二数据端口连接虚拟局域网交换机(15)，每个服务器的第三数据端口连接第一光纤交换机(13)，每个服务器的第四数据端口连接第二光纤交换机(14)；虚拟模拟测试服务器(M02)实际上并无物理机，仅为实现对生产服务器集群P02的对应传输装置而设置。
3.根据权利要求2所述的数据仓库数据处理及性能加速方法，其特征在于：所述负载均衡器为服务器的运算存储器空间形成的负载均衡装置(AP)，并能同时安装和配置内存性能加速及传输处理装置，开发服务器集群(D01)中包括一个开发服务器，测试服务器集群(Q01)中包括一个测试服务器，模拟测试服务器集群(M01)中包括一个模拟测试服务器，生产服务器集群(P01)中包括两个生产服务器，负载均衡装置(AP)中设置4个负载请求分配模块，第二核心交换机(12)和虚拟局域网交换机(15)分别与各负载请求分配模块建立数据访问路由，第一负载请求分配模块(MS01)分别与开发服务器和测试服务器的第一数据端口建立数据访问路由，第二负载请求分配模块(MS02)分别与开发服务器和测试服务器的第二数据端口建立数据访问路由，第三负载请求分配模块(MS03)分别与模拟测试服务器的物理(M01)和虚拟服务器(M02)相连，并对应两个生产服务器的第一数据端口建立数据访问路由，第四负载请求分配模块(MS04)分别与模拟测试服务器和两个生产服务器的第二数据端口建立数据访问路由。
4.根据权利要求3所述的数据仓库数据处理及性能加速方法，其特征在于：在开发服务器集群(D01)上安装开发环境系统，在集成测试服务器集群(Q01)上安装测试环境系统，在模拟测试服务器集群(M01)上安装真实环境调试系统、内存性能加速系统，在生产服务器集群(P01)上安装正式生产系统；在生产服务器集群(P01)中还包括请求交互装置(100)、身份认证装置(200)、性能保障装置(300)和数据表现装置(400)；
请求交互装置(100)，用于向用户提供标准的互联网数据接口，为PRD系统与用户间建立通信链路；
身份认证装置(200)，用于判断用户登录信息真伪，对真实用户给与PRD系统中相应权限的数据访问凭证；
性能保障装置(300)，用于根据用户的访问凭证将PRD系统对用户请求的响应过程调度至高速内存环境处理；
数据表现装置(400)，用于将响应过程处理的数据转换为相关的图形数据，反馈至请求交互装置(100)。

高性能数据仓库基础架构\n技术领域\n[0001] 本发明涉及一种数据存储系统，特别是涉及一种大数据的存储系统。\n背景技术\n[0002] 对于一个集团公司来说，都会存在多个不同地域的分公司，分公司的级别可以从二级、三级直到五级，每一家分公司作为独立的机构更愿意将自己的数据放在单独的服务器上，形成一个单独的数据仓库，这种按公司来划分的数据仓库结构，称之为分布式数据仓库系统。由于每一个分布式数据仓库系统都会由几个相关专业系统形成，其数据作用域受软件系统和硬件系统的结构限制，使得数据的融合和利用受到地域限制，主要表现在：\n[0003] 各分布式数据仓库难以管控。集团公司的生产数据合并报表难以在这种分布式环境下得到很好的出具。合并报表主要的数据之一就是组织机构，每台服务器上都存在一份单独的组织机构图。某一时点，我们假设这个组织机构数据在所有分布式数据仓库中都是一样的。过了1个月，美国分公司并购了ABC公司，那么该项修改在美国分公司的数据仓库中得到了更新，但是，集团的组织机构数据中并不存在ABC公司。非洲分公司和远东分公司的数据仓库中也不存在ABC公司。无法保证各分布式数据仓库的主数据一致性。\n[0004] 各分布式数据仓库的数据同步存在时间差。分布式数据仓库系统必须选择一个同步时间点，将所有网络连接的多个数据仓库进行同步更新，才能保证所有数据仓库中数据的准确性。这种分布式数据仓库局部的人员原则上只能查看局部数据，为了其他目的而查看全局数据将面临2个问题，一是数据一致性问题，同步的时间与ABC公司更新的时间必定有一个时间差，在这个时间差之间数据很难做到一致。\n[0005] 各分布式数据仓库的数据同步过程中的数据安全及完整性传输存在潜在隐患。分布式数据仓库数据传输要素包括传输频率、传输的合法性（跨越作用域），无法确保信息来源于正确的地方，无法设定权限保证只有需要了解ABC公司更新的数据仓库才能接收到。\n[0006] 目前形成分布式数据仓库系统的专业系统通常利用SAP系统软件，必然会出现开发、测试、采集和生产等复杂的系统间连接和与具体生产过程的软硬件衔接，这会造成集团层面数据仓库系统无法进行软硬件两方面的有效优化。\n发明内容\n[0007] 本发明的目的是提供一种高性能数据仓库基础架构，解决分布式数据仓库由于硬件架构分散，造成软件系统受作用域和物理地域限制，数据的一致性和同步性，以及数据安全性无法保证的技术问题。\n[0008] 本发明的高性能数据仓库基础架构，第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机，还包括负载均衡器、开发服务器集群、测试服务器集群、采集与调测服务器集群和生产服务器集群，各服务器集群分别与第一光纤交换机和第二光纤交换机建立通信链路，各服务器集群分别通过负载均衡器与第二核心交换机和虚拟局域网交换机建立通信链路。\n[0009] 所述各硬件服务器集群中的每个服务器都包括四个数据端口，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机，各负载均衡器的请求侧数据端口分别与第二核心交换机和虚拟局域网交换机建立通信链路。\n[0010] 所述开发服务器集群中服务器的第一数据端口连接第一负载均衡器的负载分配侧的相应数据端口，开发服务器集群中服务器的第二数据端口连接第二负载均衡器的负载分配侧的相应数据端口。\n[0011] 所述测试服务器集群中服务器的第一数据端口连接第二负载均衡器的负载分配侧的相应数据端口，测试服务器集群中服务器的第二数据端口连接第一负载均衡器的负载分配侧的相应数据端口。\n[0012] 所述采集与调测服务器集群中服务器的第一数据端口连接第三负载均衡器的负载分配侧的相应数据端口，采集与调测服务器集群中服务器的第二数据端口连接第四负载均衡器的负载分配侧的相应数据端口。\n[0013] 所述生产服务器集群中服务器的第一数据端口连接第四负载均衡器的负载分配侧的相应数据端口，生产服务器集群中服务器的第二数据端口连接第三负载均衡器的负载分配侧的相应数据端口。\n[0014] 还包括第二采集与调测服务器集群，其中的服务器都包括四个数据端口，服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。\n[0015] 所述负载均衡器为服务器的运算存储器空间形成的负载均衡装置，开发服务器集群中包括一个开发服务器，测试服务器集群中包括一个测试服务器，采集与调测服务器集群中包括一个采集与调测服务器，生产服务器集群中包括两个生产服务器，负载均衡装置中设置4个负载请求分配模块，第二核心交换机和虚拟局域网交换机分别与各负载请求分配模块建立数据访问路由，第一负载请求分配模块分别与开发服务器和测试服务器的第一数据端口建立数据访问路由，第二负载请求分配模块分别与开发服务器和测试服务器的第二数据端口建立数据访问路由，第三负载请求分配模块分别与采集与调测服务器和两个生产服务器的第一数据端口建立数据访问路由，第四负载请求分配模块分别与采集与调测服务器和两个生产服务器的第二数据端口建立数据访问路由。\n[0016] 在开发服务器集群上安装开发环境系统，在测试服务器集群上安装测试环境系统，在采集与调测服务器集群上安装真实环境调试系统，在生产服务器集群上安装正式生产系统；在生产服务器集群中还包括请求交互装置、身份认证装置、性能保障装置和数据表现装置，\n[0017] 请求交互装置，用于向用户提供标准的互联网数据接口，为PRD系统与用户间建立通信链路；\n[0018] 身份认证装置，用于判断用户登录信息真伪，对真实用户给与PRD系统中相应权限的数据访问凭证；\n[0019] 性能保障装置，用于根据用户的访问凭证将PRD系统对用户请求的响应过程调度至高速内存环境处理；\n[0020] 数据表现装置，用于将响应过程处理的数据转换为相关的图形数据，反馈至请求交互装置。\n[0021] 本发明的高性能数据仓库基础架构中，将各分布式数据仓库的硬件结构一致化，并形成一个完整的硬件体系，形成与各专业系统对应的数据仓库开发硬件集群、测试硬件集群、采集调试硬件集群和生产控制硬件集群，各硬件集群基于现有的可扩展技术架构，不仅能更好地支持和满足各二级单位对于自主开发、自主管理、自主运维的需求，规避各二级单位自主开发的数据安全风险，实现安全可靠的开发权限下放，而且具有较强的扩展性。\n[0022] 利用数据仓库基础架构，各专业软件系统可以建立并改进企业级数据仓库软件架构，建立清晰的针对不同应用的数据仓库层级，包括数据仓库层，信息交换层，数据集市层，报表分析层，决策支持层等，提供灵活的数据接口，适应二级单位的业务变化。\n[0023] 在数据仓库基础架构的基础上，可以利用集中式数据仓库的硬件体系和各集群的高度可扩展性，灵活实现硬件资源的分配和优化，满足数据仓库容量的与日俱增，同时保证复杂专业软件系统的高效运行。\n[0024] 下面结合附图对本发明的实施例作进一步说明。\n附图说明\n[0025] 图1为本发明高性能数据仓库基础架构实施例的硬件体系结构示意图；\n[0026] 图2为本发明高性能数据仓库基础架构实施例的硬件连接示意图；\n[0027] 图3为利用本发明高性能数据仓库基础架构的数据仓库软件系统的结构示意图；\n[0028] 图4为本发明高性能数据仓库基础架构的硬件连接另一实施例的结构示意图。\n具体实施方式\n[0029] 如图1所示，本实施例中包括第一核心交换机11、第二核心交换机12、虚拟局域网交换机15、第一光纤交换机13和第二光纤交换机14，还包括日志服务器19，第一存储服务器\n16、第二存储服务器17和磁带机18，实例服务器51，核心数据库服务器52，核心数据库服务器52的第一组电数据端口与第一核心交换机11建立冗余数据链路，核心数据库服务器52的第二组电数据端口与第二核心交换机12建立冗余数据链路，核心数据库服务器52的第三组电数据端口与虚拟局域网交换机15的不同网段建立数据链路，实例服务器51的第一组电数据端口与第一核心交换机11建立冗余数据链路，实例服务器51的第二组电数据端口与虚拟局域网交换机15的不同网段建立数据链路。核心数据库服务器52的第一组光数据端口与第一光纤交换机13建立数据链路，核心数据库服务器52的第二组光数据端口与第二光纤交换机14建立数据链路。第一光纤交换机13和第二光纤交换机14通过光数据端口分别与日志服务器19，第一存储服务器16、第二存储服务器17和磁带机18建立数据链路。日志服务器19、磁带机18、第一存储服务器16与光纤交换机在本地部署，第二存储服务器17在异地部署。\n[0030] 以上硬件架构，通过交换机数据端口在核心数据库服务器52、实例服务器51和存储服务器间建立链路网络，使得核心生产系统获得最可靠的运维环境，使得各专业系统在物理架构上有效分离，任何一个项目系统的改变都不会对核心系统直接产生干扰。\n[0031] 如图2所示，本实施例中包括开发服务器集群D01、测试服务器集群Q01、采集与调测服务器集群M01和生产服务器集群P01，还包括四个负载均衡器，硬件服务器集群中的每个服务器都包括四个数据端口，每个服务器的第三数据端口连接第一光纤交换机13，每个服务器的第四数据端口连接第二光纤交换机14；\n[0032] 开发服务器集群D01中服务器的第一数据端口连接第一负载均衡器LB1的负载分配侧的相应数据端口，开发服务器集群D01中服务器的第二数据端口连接第二负载均衡器LB2的负载分配侧的相应数据端口；测试服务器集群Q01中服务器的第一数据端口连接第二负载均衡器LB2的负载分配侧的相应数据端口，测试服务器集群Q01中服务器的第二数据端口连接第一负载均衡器LB1的负载分配侧的相应数据端口；采集与调测服务器集群M01中服务器的第一数据端口连接第三负载均衡器LB3的负载分配侧的相应数据端口，采集与调测服务器集群M01中服务器的第二数据端口连接第四负载均衡器LB4的负载分配侧的相应数据端口；生产服务器集群P01中服务器的第一数据端口连接第四负载均衡器LB4的负载分配侧的相应数据端口，生产服务器集群P01中服务器的第二数据端口连接第三负载均衡器LB3的负载分配侧的相应数据端口；\n[0033] 各负载均衡器的请求侧数据端口分别与第二核心交换机12和虚拟局域网交换机\n15建立通信链路。\n[0034] 以上安装在第二核心交换机12、虚拟局域网交换机15、第一光纤交换机13和第二光纤交换机14之间的硬件架构充分保证了数据仓库性能的稳定性和可伸缩性，可以保证集中式数据仓库的可靠性，通过集中管理可以对本实施例中的任一部分进行调整，在动态适应用户请求增长量同时，使得核心软件系统可以与网络门户等逻辑层应用分离，软硬件系统的优化得以深度实现。\n[0035] 本实施例还包括第二采集与调测服务器集群M02，其中的服务器都包括四个数据端口，服务器的第一数据端口连接第二核心交换机12，每个服务器的第二数据端口连接虚拟局域网交换机15，每个服务器的第三数据端口连接第一光纤交换机13，每个服务器的第四数据端口连接第二光纤交换机14。本集群可以通过第二核心交换机12和虚拟局域网交换机15仿真数据仓库系统外部环境，直接采集生产服务器集群P01的真实运行数据形成调测数据进行系统调试，提高系统数据一致性和完整性的检测。\n[0036] 如图3所示，具体的ERP专业软件系统以SAP为例，在开发服务器集群D01上安装开发环境（DEV）系统，在测试服务器集群Q01上安装测试环境（QAS）系统，在采集与调测服务器集群M01上安装真实环境调试（MOCK）系统，在生产服务器集群P01上安装正式生产（PRD）系统。还包括请求交互装置100、身份认证装置200、性能保障装置300和数据表现装置400四个附加装置用于完成相应的系统功能。\n[0037] 请求交互装置100，用于向用户提供标准的互联网数据接口，为PRD系统与用户间建立通信链路；\n[0038] 身份认证装置200，用于判断用户登录信息真伪，对真实用户给与PRD系统中相应权限的数据访问凭证；\n[0039] 性能保障装置300，用于根据用户的访问凭证将PRD系统对用户请求的响应过程调度至高速内存环境处理；\n[0040] 数据表现装置400，用于将响应过程处理的数据转换为相关的图形数据，反馈至请求交互装置100。\n[0041] 具体的，请求交互装置100可以是富媒体网页服务器，或是综合SSL协议的门户网站。身份认证装置200可以是RADIUS服务器，或是LDAP服务器。性能保障装置300可以是刀片服务器集群，或是DDR5内存阵列。数据表现装置400可以是配置自动化脚本的图形工作站，或是报表服务器。\n[0042] 通过在数据仓库形成的数据层之上，利用以上装置为用户建立了接入层并在数据层和接入层之间形成了数据图形化，通过接入层的标准化和认证机制，使得图形化数据可以标准格式为用户在不同终端上引用，消除了对用户请求终端的限制，为用户理解数据提供了多视角的参考，保证了决策的实时性和准确性。\n[0043] 如图4所示，在以上实施例基础上，在第二核心交换机12、虚拟局域网交换机15与各服务器集群间利用服务器的运算存储器空间形成负载均衡装置AP，用于对指定的不同服务器的运算存储器进行统一寻址。在负载均衡装置AP中加载若干个负载请求分配模块，形成由内存中的负载请求分配模块完成服务器中应用与交换机间的数据连接，实现通过交换机的用户请求可以高速的在内存中由各负载请求分配模块进行分配，充分发挥服务器的效能。\n[0044] 在本实施例中，开发服务器集群D01中包括一个开发服务器，测试服务器集群Q01中包括一个测试服务器，采集与调测服务器集群M01中包括一个采集与调测服务器，生产服务器集群P01中包括两个生产服务器，负载均衡装置AP中设置4个负载请求分配模块，第二核心交换机12和虚拟局域网交换机15分别与各负载请求分配模块建立数据访问路由，第一负载请求分配模块MS01分别与开发服务器和测试服务器的第一数据端口建立数据访问路由，第二负载请求分配模块MS02分别与开发服务器和测试服务器的第二数据端口建立数据访问路由，第三负载请求分配模块MS03分别与采集与调测服务器和两个生产服务器的第一数据端口建立数据访问路由，第四负载请求分配模块MS04分别与采集与调测服务器和两个生产服务器的第二数据端口建立数据访问路由。\n[0045] 考虑到通信链路的可靠性，每一个硬件服务器的任一数据端口都可以配置成一组，实现同一通信链路的冗余连接。\n[0046] 以上所述的实施案例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。