一种基于软件定义的混合异构主机系统

1.一种基于软件定义的混合异构主机系统，其特征在于，所述系统包括：基本单元和软件定义单元；
所述基本单元，包括：计算资源节点、存储资源节点和输入/输出I/O资源节点；多个所述基本单元之间通过高速互连网络相连；
所述软件定义单元，包括：应用接口单元、资源管理单元和调度管理单元，使所述混合异构主机系统中的系统资源管理与配置以及系统任务管理与调度均以软件定义的方式进行动态扩展；
所述资源管理单元包括：系统资源配置模块和系统资源管理模块；
所述系统资源管理模块用于：构建可配置的系统硬件资源管理目录，并根据需求的主机系统最大规模对所述系统硬件资源管理目录进行定义；
所述系统资源配置模块用于：采用保留扩展模式或者连续扩展模式对所述系统硬件资源管理目录进行扩展；将扩展后获得的新的所述系统硬件资源管理目录反馈至所述调度管理单元；
其中，所述保留扩展模式是指：在系统地址空间中插入预留地址空间，当系统扩展与原有计算节点相同的节点时，则以在所述预留地址空间中插入与所述原有计算节点相同的节点地址的方式获得新的系统资源目录；
所述连续扩展模式是指：当系统扩展新的计算节点时，则对所述系统地址空间以连续扩展的方式获得新的系统资源目录。
2.如权利要求1所述的系统，其特征在于，所述基本单元还包括协议处理芯片，用于进行高速缓冲存储器cache一致性协议维护，所述协议处理芯片之间通过光互连的方式实现高速互连。
3.如权利要求1所述的系统，其特征在于，所述计算资源节点是指各种处理器规模的计算资源节点，包括：1路、2路、4路、8路。
4.如权利要求1所述的系统，其特征在于，其中，
所述应用接口单元包括应用管理模块，所述应用管理模块用于在包括计算资源、存储资源、I/O资源的系统硬件资源进行扩展时，通过软件配置的方式，动态调整系统硬件资源图，以动态调整所述系统硬件资源的配置；
所述系统资源配置模块，还用于根据所述系统硬件资源的配置对所述系统硬件资源进行重新整合；
所述系统资源管理模块，还用于将所述系统硬件资源的整合配置信息反馈给所述调度管理单元和所述应用接口单元。
5.如权利要求4所述的系统，其特征在于，所述调度管理单元包括任务调度分配模块，用于接收底层硬件资源管理层的资源图信息，在计算任务执行前，通过软件对所述计算任务的特征以及计算需求进行分析，并根据所述分析结果调配执行所述计算任务的硬件资源。
6.如权利要求5所述的系统，其特征在于，
所述任务调度分配模块还用于：接收所述系统资源配置模块反馈的所获得的新的所述系统硬件资源管理目录，根据新的所述系统硬件资源管理目录中的系统硬件资源配置信息对应用任务进行调度，使新的任务分配至新添加的计算资源节点；
所述应用管理模块还用于：当系统减少资源时，将需要减少的所述计算资源节点的任务迁移至其他节点；
所述系统资源管理模块还用于：在所述应用管理模块将需要减少的所述计算资源节点的任务迁移至其他节点后，形成预留地址空间或者删除地址映射目录，并将形成所述预留地址空间或者删除所述地址映射目录的信息反馈至所述应用管理模块。
7.一种基于权利要求1-6任意一项所述系统的系统资源管理与配置方法，其特征在于，所述方法包括：
在包括计算资源、存储资源、输入/输出I/O资源的系统硬件资源进行扩展时，应用管理模块通过软件配置的方式，动态调整系统硬件资源图，以动态调整所述系统硬件资源的配置，并通过系统资源配置模块根据所述配置对所述系统硬件资源进行重新整合，通过系统资源管理模块将所述系统硬件资源的整合配置信息反馈给上层的调度管理单元和应用接口单元。
8.如权利要求7所述的方法，其特征在于，所述基于软件定义的系统资源管理与配置包括以下步骤：
在资源管理单元构建可配置的系统硬件资源管理目录，并根据需求的主机系统最大规模对所述系统硬件资源管理目录进行定义，采用保留扩展模式或者连续扩展模式对所述系统硬件资源管理目录进行扩展；将扩展后获得的新的所述系统硬件资源管理目录反馈至所述软件定义单元的任务调度管理单元。
9.如权利要求8所述的方法，其特征在于，
所述保留扩展模式是指：在系统地址空间中插入预留地址空间，当系统扩展与原有计算节点相同的节点时，则以在所述预留地址空间中插入与所述原有计算节点相同的节点地址的方式获得新的系统资源目录；
所述连续扩展模式是指：当系统扩展新的计算节点时，则对所述系统地址空间以连续扩展的方式获得新的系统资源目录。
10.一种基于权利要求1-6任意一项所述系统的系统任务管理与调度方法，其特征在于，所述方法包括：
任务调度分配模块接收底层硬件资源管理单元的资源图信息，在计算任务执行前，通过软件对所述计算任务的特征以及计算需求进行分析，并根据所述分析结果调配执行所述计算任务的硬件资源。
11.如权利要求10所述的方法，其特征在于，基于软件定义的所述系统任务管理与调度包括以下步骤：
在资源管理单元对系统硬件资源管理目录进行扩展之后，将获得的新的系统硬件资源管理目录反馈至调度管理单元，任务调度分配模块根据新的所述系统硬件资源管理目录 中的系统硬件资源配置信息对应用任务进行调度，使新的任务分配至新添加的计算资源节点。
12.如权利要求11所述的方法，其特征在于，所述步骤还包括：
当系统减少资源时，由应用接口单元的应用管理模块将需要减少的所述计算资源节点的任务迁移至其他节点，系统资源管理模块形成预留地址空间或者删除地址映射目录，并将形成所述预留地址空间或者删除所述地址映射目录的信息反馈至所述应用接口单元。

一种基于软件定义的混合异构主机系统\n技术领域\n[0001] 本发明涉及高端计算机设计领域，具体涉及一种基于软件定义的混合异构主机系统。\n背景技术\n[0002] 随着计算机技术的飞速发展，为了满足经济社会发展的需要，高性能的计算机系统成为制约社会发展关键领域的瓶颈之一。金融、电信等关键领域对计算机系统的性能要求极高，因此需要构建庞大的多路计算机系统，以便更好适应当今各领域的应用需求，但是另一方面也陷入了多路计算机系统扩展的灵活性问题，要求实现各种结构的计算节点的集成，并保障系统的应用性能，从而实现系统灵活的高可扩展性。\n发明内容\n[0003] 为了解决上述问题，本发明提出了一种基于软件定义的混合异构主机系统，能够保证紧耦合共享存储器系统的扩展性，同时大大减少多路系统的设计复杂度及成本，提高了系统的灵活性和可重用性。\n[0004] 为了达到上述目的，本发明提出了一种基于软件定义的混合异构主机系统，该系统包括：基本单元和软件定义单元。\n[0005] 基本单元，包括：计算资源节点、存储资源节点和输入/输出I/O资源节点；多个基本单元之间通过高速互连网络相连。\n[0006] 软件定义单元，用于使混合异构主机系统中的系统资源管理与配置以及系统任务管理与调度均以软件定义的方式进行动态扩展。\n[0007] 优选地，基本单元还包括协议处理芯片，用于进行高速缓冲存储器cache一致性协议维护，协议处理芯片之间通过光互连的方式实现高速互连。\n[0008] 优选地，计算资源节点是指各种处理器规模的计算资源节点，包括：1路、2路、4路、\n8路。\n[0009] 优选地，软件定义单元包括：应用接口单元、资源管理单元和调度管理单元。\n[0010] 应用接口单元包括应用管理模块，应用管理模块用于在包括计算资源、存储资源、I/O资源的系统硬件资源进行扩展时，通过软件配置的方式，动态调整系统硬件资源图，以动态调整系统硬件资源的配置。\n[0011] 资源管理单元包括：系统资源配置模块和系统资源管理模块。\n[0012] 系统资源配置模块，用于根据系统硬件资源的配置对系统硬件资源进行重新整合。\n[0013] 系统资源管理模块，用于将系统硬件资源的整合配置信息反馈给调度管理单元和应用接口单元。\n[0014] 优选地，系统资源管理模块还用于：构建可配置的系统硬件资源管理目录，并根据需求的主机系统最大规模对系统硬件资源管理目录进行定义。\n[0015] 系统资源配置模块还用于：采用保留扩展模式或者连续扩展模式对系统硬件资源管理目录进行扩展；将扩展后获得的新的系统硬件资源管理目录反馈至调度管理单元。\n[0016] 其中，保留扩展模式是指：在系统地址空间中插入预留地址空间，当系统扩展与原有计算节点相同的节点时，则以在预留地址空间中插入与原有计算节点相同的节点地址的方式获得新的系统资源目录。\n[0017] 连续扩展模式是指：当系统扩展新的计算节点时，则对系统地址空间以连续扩展的方式获得新的系统资源目录。\n[0018] 优选地，调度管理单元包括任务调度分配模块，用于接收底层硬件资源管理层的资源图信息，在计算任务执行前，通过软件对所述计算任务的特征以及计算需求进行分析，并根据分析结果调配执行计算任务的硬件资源。\n[0019] 优选地，任务调度分配模块还用于：接收系统资源配置模块反馈的所获得的新的系统硬件资源管理目录，根据新的系统硬件资源管理目中的系统硬件资源配置信息对应用任务进行调度，使新的任务分配至新添加的计算资源节点。\n[0020] 应用管理模块还用于：当系统减少资源时，将需要减少的计算资源节点的任务迁移至其他节点。\n[0021] 系统资源管理模块还用于：在应用管理模块将需要减少的计算资源节点的任务迁移至其他节点后，形成预留地址空间或者删除地址映射目录，并将形成预留地址空间或者删除地址映射目录的信息反馈至应用管理模块。\n[0022] 本发明还提出一种基于上述系统的系统资源管理与配置方法，该方法包括：\n[0023] 在包括计算资源、存储资源、输入/输出I/O资源的系统硬件资源进行扩展时，应用管理模块通过软件配置的方式，动态调整系统硬件资源图，以动态调整系统硬件资源的配置，并通过系统资源配置模块根据配置对系统硬件资源进行重新整合，通过系统资源管理模块将系统硬件资源的整合配置信息反馈给上层的调度管理单元和应用接口单元。\n[0024] 优选地，基于软件定义的系统资源管理与配置包括以下步骤：\n[0025] 在资源管理单元构建可配置的系统硬件资源管理目录，并根据需求的主机系统最大规模对系统硬件资源管理目录进行定义，采用保留扩展模式或者连续扩展模式对系统硬件资源管理目录进行扩展；将扩展后获得的新的系统硬件资源管理目录反馈至软件定义单元的任务调度管理单元。\n[0026] 优选地，\n[0027] 保留扩展模式是指：在系统地址空间中插入预留地址空间，当系统扩展与原有计算节点相同的节点时，则以在预留地址空间中插入与原有计算节点相同的节点地址的方式获得新的系统资源目录；\n[0028] 连续扩展模式是指：当系统扩展新的计算节点时，则对系统地址空间以连续扩展的方式获得新的系统资源目录。\n[0029] 本发明还提出一种基于上述系统的系统任务管理与调度方法，该方法包括：\n[0030] 任务调度分配模块接收底层硬件资源管理单元的资源图信息，在计算任务执行前，通过软件对计算任务的特征以及计算需求进行分析，并根据分析结果调配执行计算任务的硬件资源。\n[0031] 优选地，基于软件定义的系统任务管理与调度包括以下步骤：\n[0032] 在资源管理单元对系统硬件资源管理目录进行扩展之后，将获得的新的系统硬件资源管理目录反馈至调度管理单元，任务调度分配模块根据新的系统硬件资源管理目中的系统硬件资源配置信息对应用任务进行调度，使新的任务分配至新添加的计算资源节点。\n[0033] 优选地，该步骤还包括：\n[0034] 当系统减少资源时，由应用接口单元的应用管理模块将需要减少的计算资源节点的任务迁移至其他节点，系统资源管理模块形成预留地址空间或者删除地址映射目录，并将形成预留地址空间或者删除地址映射目录的信息反馈至应用接口单元。\n[0035] 与现有技术相比，本发明包括：基本单元和软件定义单元；基本单元包括：计算资源节点、存储资源节点和输入/输出I/O资源节点；多个基本单元之间通过高速互连网络相连；软件定义单元用于使所述混合异构主机系统中的系统资源管理与配置以及系统任务管理与调度均以软件定义的方式进行动态扩展。通过本发明方案能够保证紧耦合共享存储器系统的扩展性，同时大大减少多路系统的设计复杂度及成本，提高系统的灵活性和可重用性。\n附图说明\n[0036] 下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。\n[0037] 图1为本发明的基于软件定义的混合异构主机系统框图；\n[0038] 图2为本发明的基于软件定义的混合异构主机系统结构图；\n[0039] 图3为本发明的基于软件定义的混合异构主机系统的地址映射图。\n具体实施方式\n[0040] 为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。\n[0041] 本发明的基于软件定义的混合异构主机系统体系结构设计方法主要考虑多路处理器系统高可扩展性的局限，采用各种计算资源和存储资源节点为基本单位，通过高速互连网络进行互连，并维护系统cache(高速缓冲存储器)一致性，构建大规模紧耦合异构多处理器系统，系统资源通过软件定义的方式实现动态的扩展(增加或者减少)，从而实现系统灵活的高可扩展性。软件定义的设计方法包括系统资源管理与配置，以及系统任务的管理与调度。\n[0042] 具体地，本发明提出了一种基于软件定义的混合异构主机系统01，如图1所示，该系统包括：基本单元02和软件定义单元03。\n[0043] 基本单元02包括：计算资源节点、存储资源节点和输入/输出I/O资源节点；多个基本单元之间通过高速互连网络相连。\n[0044] 软件定义单元03，用于使混合异构主机系统中的系统资源管理与配置以及系统任务管理与调度均以软件定义的方式进行动态扩展。\n[0045] 优选地，基本单元02还包括协议处理芯片，用于进行高速缓冲存储器cache一致性协议维护，协议处理芯片之间通过光互连的方式实现高速互连。\n[0046] cache一致性协议维护的高速互连网络的特征，主要是指以芯片或者模块的方式实现节点间的高速互连，这是由主机系统紧耦合的技术特征，以及系统高性能的要求提出来的，采用cache一致性协议芯片保障系统cache一致性.\n[0047] 优选地，计算资源节点是指各种处理器规模的计算资源节点，包括：1路、2路、4路、\n8路。\n[0048] 混合异构的计算单元的特征，主要是指根据主机系统结构特点，以及规模扩展的需求，提出的基于异构计算单位构建计算资源集合的设计方法，混合异构的主机系统体系结构中可以集合各种处理器规模的计算节点(1路、2路、4路、8路等)，因此可大大提高系统扩展的灵活性。混合异构主机系统结构图可参考图2所示。\n[0049] 优选地，软件定义单元03包括：应用接口单元031、资源管理单元032和调度管理单元033。\n[0050] 应用接口单元031包括应用管理模块0311，应用管理模块0311用于在包括计算资源、存储资源、I/O资源的系统硬件资源进行扩展时，通过软件配置的方式，动态调整系统硬件资源图，以动态调整系统硬件资源的配置。\n[0051] 资源管理单元032包括：系统资源配置模块0321和系统资源管理模块0322。\n[0052] 系统资源配置模块0321，用于根据系统硬件资源的配置对系统硬件资源进行重新整合。\n[0053] 系统资源管理模块0322，用于将系统硬件资源的整合配置信息反馈给调度管理单元和应用接口单元。\n[0054] 优选地，\n[0055] 系统资源管理模块0322还用于：构建可配置的系统硬件资源管理目录，并根据需求的主机系统最大规模对系统硬件资源管理目录进行定义。\n[0056] 系统资源配置模块0321还用于：采用保留扩展模式或者连续扩展模式对系统硬件资源管理目录进行扩展；将扩展后获得的新的系统硬件资源管理目录反馈至调度管理单元\n033。\n[0057] 其中，保留扩展模式是指：在系统地址空间中插入预留地址空间，当系统扩展与原有计算节点相同的节点时，则以在预留地址空间中插入与原有计算节点相同的节点地址的方式获得新的系统资源目录。\n[0058] 连续扩展模式是指：当系统扩展新的计算节点时，则对系统地址空间以连续扩展的方式获得新的系统资源目录。\n[0059] 优选地，调度管理单元033包括任务调度分配模块0331，用于接收底层硬件资源管理层的资源图信息，在计算任务执行前，通过软件对计算任务的特征以及计算需求进行分析，并根据分析结果调配执行计算任务的硬件资源。\n[0060] 优选地，任务调度分配模块0331还用于：接收系统资源配置模块反馈的所获得的新的系统硬件资源管理目录，根据新的系统硬件资源管理目中的系统硬件资源配置信息对应用任务进行调度，使新的任务分配至新添加的计算资源节点。\n[0061] 应用管理模块0311还用于：当系统减少资源时，将需要减少的计算资源节点的任务迁移至其他节点。\n[0062] 系统资源管理模块0322还用于：在应用管理模块0311将需要减少的计算资源节点的任务迁移至其他节点后，形成预留地址空间或者删除地址映射目录，并将形成预留地址空间或者删除地址映射目录的信息反馈至应用管理模块0311。\n[0063] 这种计算机系统体系结构的设计采用软件定义的方法实现了多路处理器系统的灵活扩展，构建了异构的主机系统体系结构，有效实现了全局存储器共享，均衡系统传输带宽和延迟，软件定义的灵活性有效解决了多路处理器系统的灵活扩展问题，具有很高的技术价值。\n[0064] 高可扩展的多路计算机系统设计的关键技术之一在于如何实现系统资源的异构集成，提高系统扩展的灵活性以及效率。\n[0065] 本发明还提出了一种基于以上系统的系统资源管理与配置方法，该方法包括：\n[0066] 在包括计算资源、存储资源、输入/输出I/O资源的系统硬件资源进行扩展时，应用管理模块通过软件配置的方式，动态调整系统硬件资源图，以动态调整系统硬件资源的配置，并通过系统资源配置模块根据配置对系统硬件资源进行重新整合，通过系统资源管理模块将系统硬件资源的整合配置信息反馈给上层的调度管理单元和应用接口单元。\n[0067] 优选地，基于软件定义的系统资源管理与配置包括以下步骤：\n[0068] 在资源管理单元构建可配置的系统硬件资源管理目录，并根据需求的主机系统最大规模对系统硬件资源管理目录进行定义，采用保留扩展模式或者连续扩展模式对系统硬件资源管理目录进行扩展；将扩展后获得的新的系统硬件资源管理目录反馈至软件定义单元的任务调度管理单元。\n[0069] 其中，资源管理目录并不是无限扩展的(拥有目录上限)，因此，需要根据需求的主机系统最大规模定义系统资源目录，并采用保留扩展模式，或者连续扩展模式对资源管理目录进行扩展。不论哪种扩展方式，当系统资源目录达到主机系统地址空间上限时，系统即不可继续扩展。该方法的地址映射图如图3所示。\n[0070] 优选地，保留扩展模式是指：在系统地址空间中插入预留地址空间，当系统扩展与原有计算节点相同的节点时，则以在所述预留地址空间中插入与所述原有计算节点相同的节点地址的方式获得新的系统资源目录。\n[0071] 连续扩展模式是指：当系统扩展新的计算节点时，则对系统地址空间以连续扩展的方式获得新的系统资源目录。\n[0072] 本发明还提出了一种基于以上系统的系统任务管理与调度方法，该方法包括：\n[0073] 任务调度分配模块接收底层硬件资源管理单元的资源图信息，在计算任务执行前，通过软件对计算任务的特征以及计算需求进行分析，并根据分析结果调配执行计算任务的硬件资源。\n[0074] 优选地，基于软件定义的系统任务管理与调度包括以下步骤：\n[0075] 在资源管理单元对系统硬件资源管理目录进行扩展之后，将获得的新的系统硬件资源管理目录反馈至调度管理单元，任务调度分配模块根据新的系统硬件资源管理目中的系统硬件资源配置信息对应用任务进行调度，使新的任务分配至新添加的计算资源节点。\n[0076] 优选地，该步骤还包括：\n[0077] 当系统减少资源时，由应用接口单元的应用管理模块将需要减少的计算资源节点的任务迁移至其他节点，系统资源管理模块形成预留地址空间或者删除地址映射目录，并将形成预留地址空间或者删除地址映射目录的信息反馈至应用接口单元。\n[0078] 基于软件定义的混合异构主机系统体系结构保证了紧耦合共享存储器系统的扩展性，同时异构的结构特征也大大减少了多路系统的设计复杂度及成本，提高了设计的灵活性和可重用性。\n[0079] 需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。