网格环境下的集群系统作业管理研究

网格计算已经逐渐形成一个重要的新领域。相对于传统的分布式计算,它的显著之处在于它能够共享网络上的各种资源,包括地理上分布的各种计算资源。PBS是广泛应用于并行计算机的作业管理系统,它可以按照用户定义的配置参数相对公平地为每个作业分配系统资源。但是在网格环境范围内对集群系统进行管理仍然是一门有待研究的课题。利用网格系统软件和集群系统管理软件,实现了一种在网格环境下对集群系统作业进行管理的方法。     

集群并行作业管理系统自动生成器的原理与实现

集群提供了基于命令行、Web界面或图形用户界面的多种作业管理方式,但各有缺点,要么要求用户会编写命令脚本,要么占用过多的计算资源。文章在此提出一种全新并行作业管理方式,并开发出集群并行作业管理系统自动生成器,可根据用户集群环境自动生成常见有限元分析软件接口源程序,经编译后可运行在大多数集群上。     

基于Jini的集群作业管理系统的实现

集群作业管理系统对于集群的使用很重要,本文研究如何基于Jini技术构建集群作业管理系统-Jcluster。文章首先介绍Jini技术和该技术的特点,然后阐述了基于Jini技术的Jcluster的设计思想和系统结构,并在自强2000集群系统上实现。经过测试,证实了该系统的具有即插即用的特性和良好的健壮性、同时Jcluster实现了对资源的多级资源池管理。     

基于TORQUE的高性能计算平台记账系统

高性能计算已成为继理论研究和实验科学之后的第三种科研方法。如何高效地利用高性能计算平台上众多的设备为科研提供有效服务是管理者需要面对的主要问题。主要介绍基于开源软件TORQUE的高性能计算平台记账系统的设计与实现,包括计算算法、系统架构、主要功能模块、数据设计及代码实现。通过归纳法分析TORQUE日志记录模式,给出从作业角度和资源角度进行资源使用率的计算方法。该记账系统架构划分为五层,系统具有很好的灵活性和开放性,可以很容易地移植到其他平台或者其他类型的作业调度系统上。该系统更着重于当前资源的使用情况、用户资源使用情况、任务等待时间,而非简单的费用计算和账单打印,所以它更能为管理者和决策者提供有效且强大的数据支撑。     

一个基于Web的集群作业管理系统的设计与实现

PBS是广泛应用于高性能计算机的作业管理系统，它可以公平地为每个作业分配系统资源。其特点是，具有大量的命令行参数、环境变量、选项和结点配置信息，用户使用十分不便。本文主要介绍了一个基于Web的作业管理系统CWPBS，该系统使用简便，并且具有较好的平台无关性和可移植性。     

利用PBS搭建可自由扩展高性能集群研究

目前国内流行的高性能计算集群一般都是固定的资源,对于扩展都是固定的采购机器。目前各个高校机房的空闲时间都很多,存在大量计算资源浪费的情况。论文通过对PBS系统进行分析,了解其内部原理及实现方式,对空闲计算资源加以整合利用,依托河南理工大学高性能计算平台进行深入研究和探讨。     

高性能计算集群实验室的构建与优化研究

本文构建了面向计算密集型任务的高性能计算集群实验室(High Performance Computing Cluster Lab,HPCCL),介绍了该集群的主要硬件和软件配置。为了提高集群实验室的管理效率,结合深度强化学习技术,提出了计算作业管理优化方法,即JoSHH (Job Scheduling for HPCCL)。基于所构建的集群实验室,进行实验评估该方法的性能。实验结果表明,与现有方法相比,该方法减少了计算任务的运行时间。     

集群作业管理系统的分层实现模型

集群服务器模式的作业管理系统通过在集群系统中提供多虚拟服务模式的作业管理服务器,能够解决用户响应效率低、资源利用率低等问题,提高了作业的执行效率。提出了集群作业管理系统的分层实现模型,并具体分析了各层的详细实现,该模型显著提高了作业管理系统的可用性和可扩展性。     

高性能集群系统架构研究

为满足日益增长的计算能力的需求，分布式计算系统得到了广泛的研究和发展。文章叙述了高性能集群系统的原理，给出了高性能服务器集群系统解决方案，并实现了4结点的集群。     

面向空间数据处理的集群作业管理系统研究

从分析目前集群的通用批处理系统出发,基于空间数据及应用特点,选用回填算法作为处理空间信息的集群作业调度算法。最后对面向空间数据处理的原型系统进行设计和实现,并验证了方法的可行性。     

基于OpenPBS的机群作业管理系统的设计与实现

机群作业管理系统直接关系到机群性能的发挥和使用率的提高,是机群的一个重要组成部分。该文主要介绍了当前比较流行的作业管理系统OpenPBS的结构及工作过程,以及在其基础上开发的好用的web方式的作业提交系统。基于web的使用策略增加了系统的好用性。     

基于PBS的机群任务调度管理中间件的设计与实现

介绍了基于PBS的机群任务调度管理中间件，是基于现在比较流行的调度系统PBS进行开发和封装，对上层提供了统一的接口．同时在该中间件中还封装了用户管理模块、配置模块和任务调度模块，采用基于XML的通信协议．该中间件具有很强的扩展性，可以扩展应用于LSF等多种流行的机群任务调度系统．最后，在该中间件之上，使用Java开发了前台图形界面，实现了一整套完备的具有实时监控和远程管理能力的机群任务管理系统．     

云及高性能计算集群环境中配置管理系统设计

比较主流的配置管理工具和代码托管服务平台的特点,分析其适用性,结合气象部门项目存在的问题,提出气象私有云平台上基于Perforce的分布式版本控制系统和基于Git的代码托管协作平台的设计,以及高性能计算集群架构上基于Subversion的版本控制系统设计,并分别给出三套系统的项目配置管理实例,实践显示适用性良好。     

集群资源管理系统PBS及其应用

集群技术已经成为高性能计算的主流方向,集群资源管理系统的好坏直接影响到集群系统性能的发挥。文中简单介绍了几种主流的集群资源管理系统,重点介绍了PBS资源管理系统的组成、功能,给出一个应用实例,并针对网格研究的发展,指出集群资源管理系统今后应该加强资源的动态加入退出、作业的迁移、资源使用的计费和安全问题的研究。     

基于Web的集群管理系统结构

介绍高性能计算集群管理现状, 并根据目前管理缺点与不足, 对集群管理系统进行了总体框架设计, 利用Linux中/proc文件系统、MySQL数据库及Web技术, 对管理数据采集、数据存储及应用接口进行了功能设计, 最终实现了在统一Web界面中对集群系统运行实时情况、历史数据统计与分析进行管理.     

弹性体系结构的高性能机群管理监控系统设计与实现

本文提出了基于控制器设计思想的、具有弹性体系结构的高性能服务器管理监控系统的设计和实现方法,弹性的分层结构精简了管理系统通信路径,提高了机群规模扩展性和管理效率,利用控制器思想把具体的业务逻辑与通用的业务逻辑进行分离的弹性功能扩展方法,提高了系统功能扩展性.实践证明,该系统能够适应机群管理系统规模变化和功能变化的要求,方便高效的管理和监控异构高性能服务器系统.     

基于数据库的文件系统管理工具设计与实现

传统的文件系统管理工具通过实时遍历文件目录树获取文件元数据信息,以实现管理监视功能。但对于大型文件系统,元数据信息的获取需要耗费大量时间,传统管理工具无法适应当前大数据背景下的管理需求。为此,基于数据库技术设计一种新的文件系统管理工具。该工具集成Robinhood策略引擎与TORQUE作业管理系统,通过分布式并行计算获取文件系统元数据信息,并将信息保存到MySQL数据库,同时基于数据库中的元数据信息,实现文件系统的监视、管理和备份功能。实验结果表明,采用分布式并行计算能够充分利用集群的计算资源,提高文件系统的遍历速率,保证文件系统监视、管理和备份的顺利进行。     

基于PBS的勘探数据处理作业管理

高性能集群不具备作业自动调度和负载均衡的功能。采用开源的作业管理系统定制开发集群管理系统,解决集群“难用难管”的问题。作为一种开源的队列管理和作业调度系统,PBS目前已经广泛应用于集群管理当中。通过Shell脚本应用开发,将不同类型的应用作业转换为相应的PBS作业脚本纳入系统管理。利用PBS系统进行必要的定制开发工作,在较少改变科研人员工作习惯的前提下,实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理。     

高性能计算与作业调度技术在核电工程领域的应用

介绍了工程计算的主要技术以及高性能计算与作业调度技术在核电工程领域的应用。通过高性能计算集群与作业调度系统的技术实现,将设计和仿真相关的软硬件环境进行统一规划和实施,为设计人员提供高效统一、安全可靠的高性能计算环境和许可证使用平台,实现了软硬件最大程度的共享,从而提高IT投资回报和生产效率。     

曙光机群资源管理的设计与实现

机群资源管理负责机群系统内计算所需资源的管理，该文介绍机群资源管理的主要功能和重要的研究问题，着重介绍曙光3000机群系统的资源管理的设计与实现，包括分区管理，任务管理和通信管理功能及其对高可用性，可扩展性，动态特性的支持；并给出相应的性能分析结果，此外，还介绍了相关系统的资源管理和对未来该领域研究的方法。