并行计算平台的建立及性能分析
|
摘要
传统的并行计算任务往往由大型的并行计算机来完成，因而并行机的研究也就成为并行计算的主要研究方向，典型的并行计算机系统包括阵列处理机、向量处理机、共享存储多处理机、分布式存储多计算机和分布式共享存储多处理机，而进行并行研究的也大多为实力雄厚的科研机构和企业。随着网络的快速发展，基于机群网络的并行计算也成为并行计算研究的一个重要方向。
只是拥有机群网络是无法直接进行并行计算的，研究人员在机群网络上实现了一系列的网络通信工具和辅助编程工具以支持基于机群网络的并行计算。本文提出并实现了一个并行计算平台。以往并行计算平台的研究主要集中在对并行程序通信的支持以及辅助并行程序的编写。本文研究的重点是并行计算平台对并行计算资源的管理以及对并行程序的管理。
机群网络易于构建，同时也经常发生变化。这种特点就要求在机群网络上运行的程序有较好的移植性能。本文对并行计算和并行程序进行分析，提出了一个具有普遍意义的并行程序模型；为了检验并行模型的可用性，本文实现了一个基于该模型的算例程序。
机群网络结构松散，如何对机群网络中的计算节点进行管理也就成了并行计算平台研究的一个重要问题。本文中提出的并行计算平台可以对机群网络中提供并行计算服务的计算节点进行管理。用户需要进行并行计算时，只要在本地机器通过并行计算平台的控制台就可以获得计算节点的信息。控制台还支持对并行程序进行管理，因此用户在提供并行程序后，通过进行简单的操作就可以实现并行程序的任务分配和并行程序任务的运行。
本文首先对并行计算进行介绍和分析，对并行程序模型以及并行程序各个任务之间的通信进行分析，给出了一个并行程序的实际例子；然后重点对现有的并行计算平台进行分析，提出并行计算平台的设计方案；接下来根据设计实现并行计算平台，运行算例程序；最后根据算例程序的运行数据对平台的性能进行量化分析。
在实现并行计算平台的过程中，主要的研究内容有网络的消息通信，消息队列的实现，机器问文件的传输以及并行程序通信的实现。
Traditional parallel computing tasks are often a large parallelcomputer to complete, thus parallel research on parallel computerhas become the main direction of research. With the rapiddevelopment of the network, network-based cluster of parallelcomputing has become an important research direction.
Cluster network is not directly used for parallel computing.Cluster research in the network to achieve a series of networkcommunication tools and programming tools to support cluster-based parallel computing. In this paper, a parallel computingplatform is built. Previous study of parallel computing platformfocused on communications support, and supporting the preparationof parallel programming. This paper focuses on parallel computingplatform for parallel computing resources management and theparallel program management.
Cluster easy to build networks, but also frequent changes. Thisfeature requires that the parallel program on cluster network havebetter performance on transplantation.
How to manage the network node will be an important issue ofparallel computing platform. This paper presents a parallelcomputing platform on cluster network for parallel computingservices and the management of network node.
This paper first introduced parallel computation and analysisParallel procedures for parallel programming model andcommunications between the tasks; then focus on the existingparallel computing platform, a parallel computing platform isproposed and designed; next, the parallel computing platform is built; finally process the running data of the parallel programrun on this platform for quantitative analysis.
只是拥有机群网络是无法直接进行并行计算的，研究人员在机群网络上实现了一系列的网络通信工具和辅助编程工具以支持基于机群网络的并行计算。本文提出并实现了一个并行计算平台。以往并行计算平台的研究主要集中在对并行程序通信的支持以及辅助并行程序的编写。本文研究的重点是并行计算平台对并行计算资源的管理以及对并行程序的管理。
机群网络易于构建，同时也经常发生变化。这种特点就要求在机群网络上运行的程序有较好的移植性能。本文对并行计算和并行程序进行分析，提出了一个具有普遍意义的并行程序模型；为了检验并行模型的可用性，本文实现了一个基于该模型的算例程序。
机群网络结构松散，如何对机群网络中的计算节点进行管理也就成了并行计算平台研究的一个重要问题。本文中提出的并行计算平台可以对机群网络中提供并行计算服务的计算节点进行管理。用户需要进行并行计算时，只要在本地机器通过并行计算平台的控制台就可以获得计算节点的信息。控制台还支持对并行程序进行管理，因此用户在提供并行程序后，通过进行简单的操作就可以实现并行程序的任务分配和并行程序任务的运行。
本文首先对并行计算进行介绍和分析，对并行程序模型以及并行程序各个任务之间的通信进行分析，给出了一个并行程序的实际例子；然后重点对现有的并行计算平台进行分析，提出并行计算平台的设计方案；接下来根据设计实现并行计算平台，运行算例程序；最后根据算例程序的运行数据对平台的性能进行量化分析。
在实现并行计算平台的过程中，主要的研究内容有网络的消息通信，消息队列的实现，机器问文件的传输以及并行程序通信的实现。
Traditional parallel computing tasks are often a large parallelcomputer to complete, thus parallel research on parallel computerhas become the main direction of research. With the rapiddevelopment of the network, network-based cluster of parallelcomputing has become an important research direction.
Cluster network is not directly used for parallel computing.Cluster research in the network to achieve a series of networkcommunication tools and programming tools to support cluster-based parallel computing. In this paper, a parallel computingplatform is built. Previous study of parallel computing platformfocused on communications support, and supporting the preparationof parallel programming. This paper focuses on parallel computingplatform for parallel computing resources management and theparallel program management.
Cluster easy to build networks, but also frequent changes. Thisfeature requires that the parallel program on cluster network havebetter performance on transplantation.
How to manage the network node will be an important issue ofparallel computing platform. This paper presents a parallelcomputing platform on cluster network for parallel computingservices and the management of network node.
This paper first introduced parallel computation and analysisParallel procedures for parallel programming model andcommunications between the tasks; then focus on the existingparallel computing platform, a parallel computing platform isproposed and designed; next, the parallel computing platform is built; finally process the running data of the parallel programrun on this platform for quantitative analysis.
引文
[1] (美)Ananth Grama．并行计算导论．北京：机械工业出版社，2005．1
[2] 孙世新．并行算法导论及其应用．北京：机械工业出版社，2005．1
[3] 安虹．并行程序设计模型和语言．软件学报，2002．13(01)：118-124
[4] (印)C．Xavier(美)S．S．Iyengar．并行计算导论．北京：机械工业出版社，2004．2
[5] 严蔚敏 吴伟民．数据结构(C语言版)．北京：清华大学出版社，1997．4
[6] Oliver Sinnen, Leonel Augusto Sousa, Frode Eika Sandnes, "Toward a Realistic Task Scheduling Model", IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS, VOL. 17, NO. 3, MARCH 2006, pp263-275
[7] 陈国良等编著．并行算法实践．北京：高等教育出版社，2004．1
[8] Anna Swiecicka, Franciszek Seredynski, Albert Y. Zomaya, "Multiprocessor Scheduling and Rescheduling with Use of Cellular Automata and Artificial Immune System Support", IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS, VOL. 17, NO. 3, MARCH 2006, pp253-262
[9] 陆林生等．并行程序概念设计方法的研究．计算机学报，Vol．26，NO．9．2003．9：1086-1093
[10] 宋安军等．并行计算模型在集群环境下的适应性．计算机工程，Vol．29，NO．18，2003．10：3-5
[11] 张志立等．基于Scilab的分布式并行计算方法的研究．计算机应用与软件，Vol．22，NO．10，2005．10：23-25
[12] 李代平等．基于网格的CG并行计算研究．计算机应用研究， 2005．7：73-75
[13] 章文等．PVM onWin32平台上的PC集群技术．广东工业大学学报，Vol．20，NO．1，2003．3：40-43
[14] 张信一等．并行程序开发平台的可视化实现．计算机应用研究，2004．11：266-269
[15] 李代平等．并行程序开发平台体系结构的形式化研究．计算机应用研究，2004．12：73-75
[16] 罗伟刚等．基于部件与连接器的并行程序可视化开发平台的设计．计算机应用研究，2005．4：176-179
[17] 李代平等．网络并行计算平台新架构．计算机应用研究，2004．10：225-227
[18] (美)Jack Dongarra．并行计算综论．北京：电子工业出版社，2005．5
[19] 罗伟刚．网络并行计算网格化平台的构建研究．硕士学位论文，广东：广东工业大学图书馆，2004
[20] (美)Anany Levitin．算法设计与分析基础．北京：清华大学出版社，2004．6
[21] (美)Andrew S．Tanenbaum．计算机网络．北京：清华大学出版社，2004．8
[22] Foster I, Kesselman C. The Grid: Blueprint for anew computing infrastructure. San Fransisco: Morgan Kaufmann Publisher, 1999.
[23] 周激流，杨柳。Grid技术的研究与应用进展[J]。四川大学学报，2003，Vol．35 No．6：9-14
[24] 陶志良，顾宏，石教英。PVM结构分析(1)——配置管理和处理机启动[J]。计算机工程与应用。1996．4：60-64。
[25] Robert Mandek, Design and Implementation of PVM Version3, Masterthesis University of Tennessee, 1994
[26] 孙家昶。网络并行计算虚拟平台PVM 3[J]。计算机系统应用。1994．10：18-26。
[27] http://msdn.microsoft.com/library/chs/default.asp?url=/lib rary/CHS/vccore/html/_core_multithreading_with_c.2b2b_.and_mfc.asp
[28] 候俊杰：深入浅出MFC[M]。华中科技大学出版社。2001
[29] 谢希仁：计算机网络[M]。电子工业出版社。1999
[30] Anthony Jones著：WINDOWS网络编程技术[M]。京京工作室译。机械工业出版社。2000
[31] Andrew S．Tanenbaum著：计算机网络[M]。熊桂喜，王小虎译。清华大学出版社。2003
[32] 陈焰，潘志庚，石教英。PVM结构分析(3)——PVM监护进程与任务消息处理[J]。计算机工程与应用，1996，4：65-69
[33] Foster I, kesselman C, Tuecke S. The anatomy of Grid: Enabling scalable virtual organizations. International Journal of Supercomputer Applications, 2001, 15 (13): 200-222.
[34] Foster I. What is the Grid? A Three Point Checklist. 2002
[35] 李丙辰，徐志伟。GSML网格编程语言的一种实现方法[J]。计算机研究与发展。2003，40(12)：1715-1719。
[36] 桂小林，钱德沛。基于Internet的网格计算模型研究[J]。西安交通大学学报。2001，35(10)：1008-1011。
[37] Geist, A., Beguelin, A., Dongarra, J. et al. PVM: Parallel Virtual Machine. Boston: The MIT Press, 1994
[38] I Foster, C kesselman, S Tuecke. The anatomy of Grid: Enabling scalable virtual organizations. International Journal of Supercomputer Applications, 2001, 15 (13): 200-222.
[39] I Foster. What is the Grid? A Three Point Checklist. 2002
[40] I Foster, C kesselman, J Nick et al. The Physiology of grid: An Open Grid Services Architecture for Distributed Systems Integration[R]. 2002
[41] Baker M., Buyya R., Cluster Computing: The Commodity Supercomputing, Software-Practice and Experience. 1988, 1(1): 1-4
[42] Flynn, M. J., K. W. Rudd. Parallel Architectures. ACM Computing Surveys, 1996, 28(1): 67-70
[43] 章勤，鄢娟，金海，韩宗放。昊宇网格计算平台体系结构研究。计算机研究与发展，2003，40(12)：1725-1730
[44] 李丙辰，徐志伟。GSML网格编程语言的一种实现方法。计算机研究与发展。2003，40(12)：1715-1719。
[45] 桂小林，钱德沛。基于Internet的网格计算模型研究。西安交通大学学报。2001，35(10)：1008-1011。
[46] I Foster, C kesselman, J Nick et al. Grid services for distributed systems integrations. IEEE Computer, 2002 35 (6): 37-46.
[47] I. Foster. Designing and Building Parallel Programs.北京:人民邮电出版社,2002
[2] 孙世新．并行算法导论及其应用．北京：机械工业出版社，2005．1
[3] 安虹．并行程序设计模型和语言．软件学报，2002．13(01)：118-124
[4] (印)C．Xavier(美)S．S．Iyengar．并行计算导论．北京：机械工业出版社，2004．2
[5] 严蔚敏 吴伟民．数据结构(C语言版)．北京：清华大学出版社，1997．4
[6] Oliver Sinnen, Leonel Augusto Sousa, Frode Eika Sandnes, "Toward a Realistic Task Scheduling Model", IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS, VOL. 17, NO. 3, MARCH 2006, pp263-275
[7] 陈国良等编著．并行算法实践．北京：高等教育出版社，2004．1
[8] Anna Swiecicka, Franciszek Seredynski, Albert Y. Zomaya, "Multiprocessor Scheduling and Rescheduling with Use of Cellular Automata and Artificial Immune System Support", IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS, VOL. 17, NO. 3, MARCH 2006, pp253-262
[9] 陆林生等．并行程序概念设计方法的研究．计算机学报，Vol．26，NO．9．2003．9：1086-1093
[10] 宋安军等．并行计算模型在集群环境下的适应性．计算机工程，Vol．29，NO．18，2003．10：3-5
[11] 张志立等．基于Scilab的分布式并行计算方法的研究．计算机应用与软件，Vol．22，NO．10，2005．10：23-25
[12] 李代平等．基于网格的CG并行计算研究．计算机应用研究， 2005．7：73-75
[13] 章文等．PVM onWin32平台上的PC集群技术．广东工业大学学报，Vol．20，NO．1，2003．3：40-43
[14] 张信一等．并行程序开发平台的可视化实现．计算机应用研究，2004．11：266-269
[15] 李代平等．并行程序开发平台体系结构的形式化研究．计算机应用研究，2004．12：73-75
[16] 罗伟刚等．基于部件与连接器的并行程序可视化开发平台的设计．计算机应用研究，2005．4：176-179
[17] 李代平等．网络并行计算平台新架构．计算机应用研究，2004．10：225-227
[18] (美)Jack Dongarra．并行计算综论．北京：电子工业出版社，2005．5
[19] 罗伟刚．网络并行计算网格化平台的构建研究．硕士学位论文，广东：广东工业大学图书馆，2004
[20] (美)Anany Levitin．算法设计与分析基础．北京：清华大学出版社，2004．6
[21] (美)Andrew S．Tanenbaum．计算机网络．北京：清华大学出版社，2004．8
[22] Foster I, Kesselman C. The Grid: Blueprint for anew computing infrastructure. San Fransisco: Morgan Kaufmann Publisher, 1999.
[23] 周激流，杨柳。Grid技术的研究与应用进展[J]。四川大学学报，2003，Vol．35 No．6：9-14
[24] 陶志良，顾宏，石教英。PVM结构分析(1)——配置管理和处理机启动[J]。计算机工程与应用。1996．4：60-64。
[25] Robert Mandek, Design and Implementation of PVM Version3, Masterthesis University of Tennessee, 1994
[26] 孙家昶。网络并行计算虚拟平台PVM 3[J]。计算机系统应用。1994．10：18-26。
[27] http://msdn.microsoft.com/library/chs/default.asp?url=/lib rary/CHS/vccore/html/_core_multithreading_with_c.2b2b_.and_mfc.asp
[28] 候俊杰：深入浅出MFC[M]。华中科技大学出版社。2001
[29] 谢希仁：计算机网络[M]。电子工业出版社。1999
[30] Anthony Jones著：WINDOWS网络编程技术[M]。京京工作室译。机械工业出版社。2000
[31] Andrew S．Tanenbaum著：计算机网络[M]。熊桂喜，王小虎译。清华大学出版社。2003
[32] 陈焰，潘志庚，石教英。PVM结构分析(3)——PVM监护进程与任务消息处理[J]。计算机工程与应用，1996，4：65-69
[33] Foster I, kesselman C, Tuecke S. The anatomy of Grid: Enabling scalable virtual organizations. International Journal of Supercomputer Applications, 2001, 15 (13): 200-222.
[34] Foster I. What is the Grid? A Three Point Checklist. 2002
[35] 李丙辰，徐志伟。GSML网格编程语言的一种实现方法[J]。计算机研究与发展。2003，40(12)：1715-1719。
[36] 桂小林，钱德沛。基于Internet的网格计算模型研究[J]。西安交通大学学报。2001，35(10)：1008-1011。
[37] Geist, A., Beguelin, A., Dongarra, J. et al. PVM: Parallel Virtual Machine. Boston: The MIT Press, 1994
[38] I Foster, C kesselman, S Tuecke. The anatomy of Grid: Enabling scalable virtual organizations. International Journal of Supercomputer Applications, 2001, 15 (13): 200-222.
[39] I Foster. What is the Grid? A Three Point Checklist. 2002
[40] I Foster, C kesselman, J Nick et al. The Physiology of grid: An Open Grid Services Architecture for Distributed Systems Integration[R]. 2002
[41] Baker M., Buyya R., Cluster Computing: The Commodity Supercomputing, Software-Practice and Experience. 1988, 1(1): 1-4
[42] Flynn, M. J., K. W. Rudd. Parallel Architectures. ACM Computing Surveys, 1996, 28(1): 67-70
[43] 章勤，鄢娟，金海，韩宗放。昊宇网格计算平台体系结构研究。计算机研究与发展，2003，40(12)：1725-1730
[44] 李丙辰，徐志伟。GSML网格编程语言的一种实现方法。计算机研究与发展。2003，40(12)：1715-1719。
[45] 桂小林，钱德沛。基于Internet的网格计算模型研究。西安交通大学学报。2001，35(10)：1008-1011。
[46] I Foster, C kesselman, J Nick et al. Grid services for distributed systems integrations. IEEE Computer, 2002 35 (6): 37-46.
[47] I. Foster. Designing and Building Parallel Programs.北京:人民邮电出版社,2002