基于虚拟机迁移和负载感知整合的云数据中心节能方法

1.基于虚拟机迁移和负载感知整合的云数据中心节能方法，其特征在于，包括如下步骤：
步骤a：服务器及虚拟机负载资源利用率的监测：通过监测模块对云数据中心中物理服务器及之上的虚拟机负载的运行状态及资源利用率进行实时监控，每隔一段时间，记录一次当前的资源利用率状态，监控模块记录这些物理服务器的信息，并生成一个待迁移的idle
服务器列表S＝{Si，S2，...，Sn}；同时，计算每个物理服务器的空闲资源情况，PM i＝{CPUi，Memoryi，Networki}，通过对虚拟机资源利用的分析，确定其负载的类型，所有这些信息记录完成后，发送给能耗管理中心进行整合决策和迁移决策的制定；
步骤b：负载感知的服务器整合策略的制定：服务器整合管理模块根据待迁移的服务器列表里的虚拟机负载的资源利用率情况，及其他剩余服务器空闲资源情况，并根据虚拟机负载的运行特征，按照负载感知的整合方法，制定合理的整合策略，目标是关闭尽可能多的物理服务器，保证其他服务器正常运行，即资源利用率低于100％；
步骤c：虚拟机迁移策略的确定及迁移的执行：根据计算生成的负载整合策略，确定迁移策略后，通过选择虚拟机在线迁移技术，触发虚拟机迁移的运行；
步骤d：空闲物理服务器的检测及关闭：通过调用远程调用的方式，查询每个物理服务器上的虚拟机运行列表，把只有VMM或Hypervisor运行而无虚拟机运行的物理服务器，确定为空闲服务器，对这些服务器进行关机操作，减少物理服务器的数量，达到节能的目的；
所述的步骤b中的虚拟机负载的运行特征为CPU密集型负载、内存密集型负载、文件I/O密集型负载、网络I/O密集型负载或者混合型的负载；
所述的步骤b中的负载感知的整合方法，具体步骤如下：
①用户首先确定CPU、内存和网络资源的优先级排序；首先根据最优先的那种资源，把待迁移的服务器列表S＝{Si，S2，...，Sn}上所有的虚拟机按最优先的那种资源使用率情况idle
从小到大升序排列，生成一个待迁移的虚拟机列表VM，对物理服务器的空闲资源情况PM从大到小排序；
idle
②遍历VM列表，并将它分配到PM 中空闲资源最多的物理服务器，按资源优先级顺序判断是否能分配成功，如果成功，则记录把该VMi迁移到目标服务器上；如果不成功，则转到下一个VM，继续以上过程，直到VM列表遍历完成，则VM列表遍历结束；最终产生一个可执行的有效负载整合策略。
2.根据权利要求1所述的基于虚拟机迁移和负载感知整合的云数据中心节能方法，其特征在于：所述的步骤a中在记录资源利用率状态过程中，发现物理服务器的资源利用率保持低于预期设定的阈值时，即认为这些服务器处于低利用率状态，需要迁移到其他服务器上去进行节能优化。
3.根据权利要求1所述的基于虚拟机迁移和负载感知整合的云数据中心节能方法，其特征在于：所述的步骤c中的虚拟机在线迁移技术是一种动态在线的不停机的迁移技术，其迁移策略的制定是基于预先整合策略的计算。
4.根据权利要求1所述的基于虚拟机迁移和负载感知整合的云数据中心节能方法，其特征在于：所述的步骤c中的虚拟机在线迁移技术为预拷贝技术。
5.根据权利要求1所述的基于虚拟机迁移和负载感知整合的云数据中心节能方法，其特征在于：所述基于虚拟机迁移和负载感知整合的云数据中心节能方法是基于负载感知的服务器整合技术，该技术是基于多维度的负载特征分析和负载监控信息反馈的优化整合技术。

基于虚拟机迁移和负载感知整合的云数据中心节能方法\n技术领域\n[0001] 本发明涉及计算机系统结构领域的系统级虚拟化技术及节能技术，尤其涉及了一种基于虚拟机迁移和负载感知整合的云数据中心节能方法。\n背景技术\n[0002] 数据中心作为一个传统的概念已经存在很多了，它的建立为特定科研关键领域提供巨大的计算和存储能力，如对地观测、高能物理、科学计算和仿真，石油探测等领域。近年来，随着计算机技术的发展尤其是计算机硬件设计能力和工艺的提升，服务器的能力变得越来越强，数据中心的规模也正变的越来越大，但同时能量的消耗也成为了一个突出的问题。根据有关部门的统计，目前服务器的能耗比10年前翻了10倍。在现代数据中心中，服务器的管理维护以及能源的开销已经超过了服务器设备的花费。面对高能耗问题，传统的节能方法主要从处理器芯片、内存管理和网络等方面开展一些能耗优化，但是这些方法往往针对特定的平台，通用性较差，而且实现较复杂。因此，在云数据中心中迫切需要新的节能技术来减少能耗的开销，基于虚拟机技术的节能方法是一种有效易操作的方法。\n[0003] 虚拟化技术的发展，为云计算的出现奠定了基础，并带动了相关技术的发展。虚拟化技术作为实现云计算基础设施即服务(IaaS)的关键技术，在云数据中心中扮演者越来越重要的角色。它把物理资源虚拟化，有效的提升了物理资源的利用率，并同时获得良好的可扩展性、动态灵活性等。虚拟化技术的两个重要应用场景是服务器整合和虚拟机在线迁移。服务器整合允许一台物理服务器上同时运行多个虚拟机实例，同时保证每个虚拟机之间相互隔离。通过服务器整合技术，可以把多个虚拟机服务器整合到一个物理服务器上，从而减少物理服务器的数目，有效减少能耗的使用，达到节能目的。虚拟机在线迁移技术，即在停机时间很短的情况下，把运行中的虚拟机负载迁移到目标物理服务器上，在这一过程中，用户感觉不出停机的发生。\n[0004] 在典型的云数据中心服务器中，每一种程序负载对资源的需求往往不同，有些负载是CPU密集型，有些是内存密集型的，有些是I/O密集型的。当把多个不同类型的服务器整合到一个服务器上，可以最大化各个维度的资源的使用，从而避免传统数据中心中应用程序对某一种特定系统资源需求很大，而其他系统资源得不到充分利用的状况。在无虚拟化环境下，尽管同一服务器上可以通过多线程的方式同时运行多个应用程序，但是程序之间存在相互干扰，稳定性、隔离性较差，一种应用程序的崩溃可以殃及其他程序的正常运行。引入虚拟化技术之后，多个应用程序在各自虚拟机里运行，虚拟机之间有着良好的隔离性，这样把多个虚拟机整合到一台物理服务器上，既可以提高系统的资源利用率，也维持了各应用程序之间的隔离性。\n[0005] 另外，很多情况下，用户对数据中心提供的服务质量的需求是连续的、不可中断的。传统的停机迁移技术，无法满足不中断服务的需求。虚拟机在线迁移技术，在极少停机时间的情况下(一般为几十毫秒，用户感觉不出来)完成虚拟机的迁移。这对于云数据中心在线设备维护、高可用性等方面有着重要的意义。把服务器整合和虚拟机在线迁移这两种技术结合在一起，并在负载感知的整合策略和自适应的迁移技术的统一协调控制下，可以有效实现云数据中心的节能目的。其过程示例如附图1所示，开始时第一台物理服务器上面运行有一台虚拟机，其占用的系统资源情况如下：CPU：25％，Mem：30％，Net：0％，可见这是一台资源利用率相对较低的服务器，为了节能，应把上面的虚拟机负载迁移到其他服务器上去。第二台物理服务器一开始运行有两台虚拟机，其占用的系统资源情况分别是CPU：\n50％，Mem：50％，Net：0％和CPU：20％，Mem：5％，Net：80％，第二台物理机可用的空闲资源为：CPU：30％，Mem：45％，Net：20％。这样通过负载感知的整合技术可以制定一个合理的整合策略，即把第一台服务器上的虚拟机迁移到第二台服务器上，使得各个维度的资源得到充分利用。最后通过迁移策略的制定，以及迁移的执行，真正把第一台物理机上的虚拟机迁移到第二台物理机上去。这样第二台物理机的系统资源利用率在各个维度上达到一个较理想的状态(CPU：95％，Mem：85％，Net：80％)，充分利用了闲置的系统资源，同时可以把第一台服务器关掉，节省了能耗。\n发明内容\n[0006] 本发明针对现有技术中数据中心能耗消耗过大的缺点，提出了一种通过充分利用系统各个维度的资源，降低云数据中心实际需要的物理服务器数量，实现绿色节能的基于虚拟机迁移和负载感知整合的云数据中心节能方法。\n[0007] 为了解决上述技术问题，本发明通过下述技术方案得以解决：\n[0008] 基于虚拟机迁移和负载感知整合的云数据中心节能方法，包括如下步骤：\n[0009] 步骤a：服务器及虚拟机负载资源利用率的监测：通过监测模块对云数据中心中物理服务器及之上的虚拟机负载的运行状态及资源利用率进行实时监控，每隔一段时间，记录一次当前的资源利用率状态，监控模块记录这些物理服务器的信息，并生成一个待迁idle\n移的服务器列表S＝{Si，S2，...，Sn}；同时，计算每个物理服务器的空闲资源情况，PM i＝{CPUi，Memoryi，Networki}，接收别的虚拟机迁移过来，因数据中心中虚拟机镜像一般存储在第三方的存储服务器上，如SAN存储服务器，因此不考虑磁盘的因素。通过对虚拟机资源利用的分析，确定其负载的类型，所有这些信息记录完成后，发送给能耗管理中心进行整合决策和迁移决策的制定；\n[0010] 步骤b：负载感知的服务器整合策略的制定：服务器整合管理模块根据待迁移的服务器列表里的虚拟机负载的资源利用率情况，及其他剩余服务器空闲资源情况，并根据虚拟机负载的运行特征，按照负载感知的整合算法，制定合理的整合策略，目标是关闭尽可能多的物理服务器，保证其他服务器正常运行，即资源利用率低于100％；\n[0011] 步骤c：虚拟机迁移策略的确定及迁移的执行：根据计算生成的负载整合策略，确定迁移策略后，通过选择虚拟机在线迁移技术，触发虚拟机迁移的进行。\n[0012] 步骤d：空闲物理服务器的检测及关闭：通过调用远程调用的方式，查询每个物理服务器上的虚拟机运行列表，把只有VMM或Hypervisor运行而无虚拟机运行的物理服务器，确定为空闲服务器，对这些服务器进行关机操作，减少物理服务器的数量，达到节能的目的。\n[0013] 作为优选，所述的步骤a中在记录资源利用率状态过程中，发现物理服务器的资源利用率保持低于预期设定的阈值时(如每个维度的资源利用率都必须低于30％，这种状态需维持一定的时间T，避免状态的不稳定导致的迁移颠簸的情况的出现)，即认为这些服务器处于低利用率状态，需要迁移到其他服务器上去进行节能优化。\n[0014] 作为优选，所述的步骤b中的虚拟机负载的运行特征为CPU密集型负载、内存密集型负载、文件I/O密集型负载、网络I/O密集型负载或者混合型的负载。这对于整合策略的制定至关重要，避免虚拟机负载对某一特定资源的需求过重，而其他资源得不到充分利用的情况的出现。\n[0015] 作为优选，所述的步骤b中的负载感知的整合算法，具体步骤如下：\n[0016] (1)用户首先确定CPU、内存和网络等资源的优先级排序。首先根据最优先的那种资源，把待迁移的服务器列表S＝{Si，S2，...，Sn}上所有的虚拟机按最优先的那种资源使用率情况从小到大升序排列，生成一个待迁移的虚拟机列表VM，对物理服务器的空闲资源idle\n情况PM 从大到小排序。\n[0017] (2)遍历VM列表，并将它分配到PMidle中空闲资源最多的物理服务器，按资源优先级顺序判断是否能分配成功，如果成功，则记录把该VMi迁移到目标服务器上；如果不成功，则转到下一个VM，继续以上过程，直到VM列表遍历完成，则算法结束。最终产生一个可执行的有效负载整合策略。\n[0018] 作为优选，所述的步骤c中的虚拟机在线迁移技术是一种动态在线的不停机的迁移技术，其迁移策略的制定是基于预先整合策略的计算。迁移是可执行的，合理和可执行的，有效避免迁移不成功或者颠簸情况的出现。\n[0019] 作为优选，所述的步骤c中的虚拟机在线迁移技术为预拷贝技术。\n[0020] 作为优选，所述的基于虚拟机迁移和负载感知整合的云数据中心节能方法是基于负载感知的服务器整合技术，该技术是基于多维度的负载特征分析和负载监控信息反馈的优化整合技术。\n[0021] 本发明由于采用了以上技术方案，具有显著的技术效果：\n[0022] 本方法不仅实现了基于多维度负载特征分析和负载监控信息反馈的服务器整合优化策略的制定；而且实现了把服务器整合和虚拟机在线迁移技术结合起来，协同实现数据中心的节能。它的主要功能是把负载轻的服务器上的虚拟机服务器尽可能迁移到其他还有空闲资源的服务器上，把完全空闲出来的服务器关闭，从而达到节能的目的。\n[0023] 本发明方法还具有以下特点：\n[0024] 一、动态的负载整合和迁移：本发明是基于物理服务器和虚拟机负载监控数据的实时分析，当数据中心运行一段时间后，各物理服务器资源分配情况出现变化，可以自动根据最新的稳定状态进行动态再整合和迁移。\n[0025] 二、多维目标驱动的优化整合策略的预计算：整合策略的制定是根据系统多维资源的考虑，目标是获得系统各个维度资源的平衡和充分利用，避免了系统某一种资源需求很大，而其他资源得不到充分利用情况的出现。通过整合策略的预先计算，可以制定合理、可执行的迁移策略，有效避免迁移不成功的情况。\n[0026] 三、在线的虚拟机迁移机制：本发现采用在线虚拟机迁移技术实现云数据中心负载的动态迁移，这种迁移机制保证了虚拟机在迁移过程中提供的服务不中断。\n[0027] 四、空闲服务器自动检测及关闭：通过定时调用查询接口查询虚拟机运行列表，如为空，则自动调用关闭命令关闭空闲物理机，该过程自动完成，无需人工干预。\n附图说明\n[0028] 图1是本发明的虚拟机在线迁移示意图；\n[0029] 图2是本发明的架构模块图。\n具体实施方式\n[0030] 下面结合附图1至图2与实施例对本发明作进一步详细描述：\n[0031] 实施例1\n[0032] 基于虚拟机迁移和负载感知整合的云数据中心节能方法，如图1至图2所示，包括如下步骤：\n[0033] 步骤a：服务器及虚拟机负载资源利用率的监测：通过监测模块对云数据中心中物理服务器及之上的虚拟机负载的运行状态及资源利用率进行实时监控，每隔一段时间，记录一次当前的资源利用率状态，监控模块记录这些物理服务器的信息，并生成一个待迁idle\n移的服务器列表S＝{Si，S2，...，Sn}；同时，计算每个物理服务器的空闲资源情况，PM i＝{CPUi，Memoryi，Networki}，接收别的虚拟机迁移过来，通过对虚拟机资源利用的分析，确定其负载的类型，所有这些信息记录完成后，发送给能耗管理中心进行整合决策和迁移决策的制定；\n[0034] 步骤b：负载感知的服务器整合策略的制定：服务器整合管理模块根据待迁移的服务器列表里的虚拟机负载的资源利用率情况，及其他剩余服务器空闲资源情况，并根据虚拟机负载的运行特征，按照负载感知的整合算法，制定合理的整合策略，目标是关闭尽可能多的物理服务器，保证其他服务器正常运行，即资源利用率低于100％；\n[0035] 步骤c：虚拟机迁移策略的确定及迁移的执行：根据计算生成的负载整合策略，确定迁移策略后，通过选择虚拟机在线迁移技术，触发虚拟机迁移的执行；\n[0036] 步骤d：空闲物理服务器的检测及关闭：通过调用远程调用的方式，查询每个物理服务器上的虚拟机运行列表，把只有VMM或Hypervisor运行而无虚拟机运行的物理服务器，确定为空闲服务器，对这些服务器进行关机操作，减少物理服务器的数量，达到节能的目的。\n[0037] 步骤a中在记录资源利用率状态过程中，发现物理服务器的资源利用率保持低于预期设定的阈值时，即认为这些服务器处于低利用率状态，需要迁移到其他服务器上去进行节能优化。\n[0038] 步骤b中的虚拟机负载的运行特征为CPU密集型负载、内存密集型负载、文件I/O密集型负载、网络I/O密集型负载或者混合型的负载。\n[0039] 步骤b中的负载感知的整合算法，具体步骤如下：\n[0040] ①用户首先确定CPU、内存和网络等资源的优先级排序。首先根据最优先的那种资源，把待迁移的服务器列表S＝{Si，S2，...，Sn}上所有的虚拟机按最优先的那种资源使用率情况从小到大升序排列，生成一个待迁移的虚拟机列表VM，对物理服务器的空闲资源情idle\n况PM 从大到小排序。\n[0041] ②遍历VM列表，并将它分配到PMidle中空闲资源最多的物理服务器，按资源优先级顺序判断是否能分配成功，如果成功，则记录把该VMi迁移到目标服务器上；如果不成功，则转到下一个VM，继续以上过程，直到VM列表遍历完成，则算法结束。最终产生一个可执行的有效负载整合策略。\n[0042] 步骤c中的虚拟机在线迁移技术是一种动态在线的不停机的迁移技术，其迁移策略的制定是基于预先整合策略的计算。\n[0043] 步骤c中的虚拟机在线迁移技术还可以为预拷贝技术。\n[0044] 本发明是基于负载感知的服务器整合技术，该技术是基于多维度的负载特征分析和负载监控信息反馈的优化整合技术。\n[0045] 本发明已在Xen虚拟化平台上实现。由于Xen提供一套完善的虚拟机管理和监控工具，因此可以很方便调用其管理接口，这里，我们主要使用了Xen提供的xm/xentop等接口。其中Domain0和DomainU用的都是Ubuntu 8.10，内核版本为2.6.27。采用的物理机为Dell OPTIPLEX 755，配置为4核VCPU，2GB内存。每个虚拟机分配1个VCPU和512MB内存。\n[0046] 表-1给出了4种不同类型虚拟机负载随意整合的性能结果，可以看出，不同的整合策略会带来不同的效果。基于负载感知的整合策略(即SPECjbb和Sysbench整合)可以获得较好的性能，因SPECjbb是CPU密集型的负载，Sysbench是内存密集型负载，这两种负载整合在一起可以获得最优的整合效果。相比于最差的整合情况(SPECjbb和SPECjbb整合，导致CPU需求很大，而其他资源几乎得不到利用)，负载感知的整合方法可以获得\n17.28％的性能提升。\n[0047] 表-2给出了SPECjvm2008标准测试程序进行在线迁移时获得的停机时间数据。从表中可以看出，在各种不同负载下，停机时间基本保持在100ms以内，这在用户看来，感觉不到停机的发生，服务一直没有中断。Compress负载的停机时间特别长是因为它是一种压缩负载，会涉及很多的内存读写操作，因此内存污染比较严重，迁移的数据量就大，导致停机时间较长。\n[0048] 表-14种不同类型负载整合性能比较\n[0049] \n[0050] 表-2 SPECivm2008各子负载在线迁移时的停机时间(ms)\n[0051] \n[0052] 本方法不仅实现了基于多维度负载特征分析和负载监控信息反馈的服务器整合优化策略的制定；而且实现了把服务器整合和虚拟机在线迁移技术结合起来，协同实现数据中心的节能。它的主要功能是把负载轻的服务器上的虚拟机服务器尽可能迁移到其他有空闲资源的服务器上，把完全空闲出来的服务器关闭，从而达到节能的目的。\n[0053] 总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

暂无