智算中心IB及RoCE网络技术探究

增强智算中心的网络可靠性、降低网络传输中的时延,是提升GPU集群算力水平的关键。因此,RDMA成为了智算中心的关键网络技术。本文详细论述了RDMA中智算中心参数网络普遍使用的IB和RoCE网络技术,并对其组网方式进行了探讨研究。对于智算中心需要极致性能的大模型训练场景时,建议采用IB组建参数网络集群。只需普通性能的大模型训练或中小模型训练场景时,考虑成本问题,可优先采用RoCE组建参数网络。     

一种RDMA传输控制方法研究

面对高性能计算、分布式存储等应用的快速发展,新兴的RDMA技术解决了传统网络架构的性能瓶颈,但RDMA传输过程中需要不断交互实现内存状态同步,本文提出一种滑动窗口传输控制方法,有效减少收发双方交互次数,降低RDMA单边操作的成本。     

RGraph:基于RDMA的高效分布式图数据处理系统

图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemini等经典的分布式大图数据处理系统.然而,与当前先进的基于单机的图处理系统相比,这些经典的分布式图处理系统在处理真实的图数据时并没有充足或稳定的性能优势.分析了几个有代表性的分布式图处理系统,总结并归纳出了影响其性能的主要挑战.通过对这些挑战的深入研究,提出了RGraph——一个基于RDMA的高效分布式大图数据处理系统. RGraph旨在通过充分利用RDMA的优势来提升图处理系统多个方面的性能.在图划分方面,RGraph采用基于块的划分方式避免破坏原始图数据的局部性,从而保证顶点的高效访问.在负载方面,RGraph提出了基于RDMA单边READ的任务迁移机制和线程间细粒度的任务抢夺方式来分别保证计算节点间以及计算节点内线程间的动态负载均衡,确保集群中的所有计算资源能够被充分利用.在通信方面, RGraph通过对IB verbs的有效封装,实现...     

MPICH2-CMEX:可扩展消息传递接口实现技术

在大规模并行计算系统中,为了更有效地利用系统的并行性,实现一个高性能、可扩展的MPI系统是非常重要的。CMEX是无连接模式的用户级通讯软件接口,提供了高性能的报文传输和RDMA通讯操作,MPICH2-CMEX是基于CMEX的MPI实现,结合RDMA读和RDMA写通讯操作的特性,MPICH2-CMEX实现了多种数据传输通道,并利用并行应用的近邻通讯模式,实现了混合通道数据传输方法,实际的应用测试表明,MPICH2-CMEX系统具有良好的性能和可扩展性。     

Infiniband网络架构下RTI通信机制研究

复杂系统的协同仿真中需要运行支撑软件RTI(Run Time Infrastructure)来解决异构模型、异构仿真软件间的数据交互的问题.但RTI的TCP/IP通信机制却无法使得HPC(High Performance Computer)的高速网络Infiniband(IB)在仿真中发挥最大的优势.针对这一问题,本文提出在IB网络架构下基于RDMA(Remote Direct Memory Access)通信机制对RTI进行优化,并以开源HLA项目CERTI软件为基础,研制运行在IB网络下的IB-CERTI软件,最后在不同网络环境下进行对比实验,实验结果证明了IB-CERTI软件在仿真通信中的高效性,特别是仿真邦员间的交互数据量越大,越能提高仿真数据传输效率.     

基于RDMA协议的零拷贝技术研究

RDMA协议是一个比较新的规范,它允许一台计算机直接访问另一台计算机的内存。该文分析了当前网络通信中零拷贝技术的特点及缺陷,提出了使用RDMA方式对其进行改进,并对RDMA通信方式进行了研究。     

基于IBA的SRP Target的研究与实现

SRP Target的功能主要是接收SRP Initiator发送的SRP请求,调用内核函数完成请求任务和在SRP Initiator和SCSI存储设备之间以RDMA方式进行数据传输。本文研究了SRP target的实现,搭建了IBA存储网络的实验环境,并进行了性能测试。     

基于InfiniBand的高性能计算机技术研究

网络性能一直是制约高性能计算技术发展的瓶颈,无论是面向计算的网络还是面向存储的网络,通信速度的发展远落后于CPU的发展．InfiniBand互连结构能够缩短网络和CPU之间的性能差距,使高性能计算机的性能趋于平衡．2000年在InfiniBand协议发展初期,国家并行计算机工程技术研究中心就在国家“八六三”计划的支持下开始对InfiniBand协议展开了深入研究,旨在改进高性能计算特别是集群系统的互连性能,研制出符合InfiniBand标准规范的高性能互连部件,并最终开发出了具有自主知识产权的InfiniBand互连网络产品．论述了以自行研制的InfiniBand部件技术为基础的高性能集群计算机系统的组成、结构和应用,并对系统性能进行了实验分析．     

磁盘阵列中基于IB通信的内存镜像技术的设计与实现

基于镜像原理,设计和实现了磁盘阵列中基于RDMA通信的内存镜像方案.其原理是在数据读写时,将数据同时写入到两个独立的内存区域中,相对于现在内存访问只在单内存区域上进行的情况,有效地防止了多控制器中的任一控制器由于意外故障而导致缓存里的数据丢失.测试证明,该设计较好地在保证数据完整性的前提下,最大带宽损失不到10％,最大...     

支持RDMA的高速网络对大数据与云计算平台效率的影响

大数据逐渐成为电信业实现业务分析与创新无可替代的技术手段。云计算平台在电信行业的实施也成为不可逆转的事实。如何部署高效、高性价比的大数据与云计算平台是行业用户面临的共同挑战。本文中探讨的支持RDMA技术的高性能网络在性能、效率、易管理性、可扩展性等多维度为构建高效大数据与云计算平台提供关键技术支撑。