面向Storm的数据流编程模型与编译优化方法研究

数据流编程模型将程序的计算与通信分离,暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题,但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战。针对数据流程序在分布式架构下所面临的问题,设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。框架包括两个模块:面向Storm的层次性任务划分与调度,以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上。层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水,并生成相应的目标代码。实验以多核集群为目标平台,在集群上搭建Storm分布式架构,选取数字媒体处理领域典型程序作为测试程序,对面向Storm的编译优化后的程序进行实验分析。实验结果表明了结合方法的有效性。     

面向多核集群的数据流程序层次流水线并行优化方法

数据流编程语言是一种面向领域的编程语言,它能够将计算与通信分离,暴露应用程序的并行性.多核集群中计算、存储和通信等底层资源的复杂性对数据流程序的性能提出了新的挑战.针对数据流程序在多核集群上执行存在资源利用低和扩展性差等问题,利用同步数据流图作为中间表示,文中提出并实现了面向多核集群的层次性流水线并行优化方法.方法包含任务划分与调度、层次流水线调度和数据局部性优化,经过编译优化后生成基于MPI的可并行执行的目标代码.其中任务划分与调度是利用程序中数据和任务并行性将任务映射到计算核上,实现负载均衡和低通信同步开销;层次性流水线调度是利用程序中的并行性构造低延迟流水线调度;数据局部性优化是针对数据访问存在的Cache伪共享做面向存储的优化.实验以X86架构多核处理器组成的集群为平台,选取媒体处理领域的典型应用算法作为测试程序,对层次流水线优化进行实验分析.实验结果表明了优化方法的有效性.     

基于多核的多线程程序优化研究

随着主流芯片厂商的大力推广,多核处理器已经变得越来越普及.以往串行化的程序设计方法在多核环境下已经不能充分利用多核CPU的资源.怎样高效地利用多核处理器的计算性能,已经成为软件开发者面临的新的课题.文中在传统的多线程编程基础上,根据Intel处理器的微架构(Microarchitecture)特点,以及Linux内核提供的CPU绑定技术,通过采用Cache优化和CPU亲和力(CPU affinity)优化,消除了多核环境下局部多线程Cache行竞争和伪共享,减少了线程的调度开销,提高了多线程程序的运行效率.     

一种非对称多核SDR的任务调度和分配算法

针对软件无线电(SDR)应用同步数据流的特点,提出一种非对称多核SDR的任务调度和分配算法。该算法综合考虑任务之间的通信时间和任务固定流水,保证任务调度和分配的通用性和并行性。利用整数线性规划(ILP)方法对任务调度和分配进行建模,采用任务拆分方法优化调度和分配的结果,进一步提高任务调度和分配的执行效率。在目标SDR平台上实现IEEE 802.11a频偏估计处理的任务调度和分配,实验结果表明,该算法能提高5.97%的软件无线电平台吞吐量和3.03%的处理器核平均利用率,并减少34.31%的处理器核最长空闲等待时间。     

一种海量数据流应用并行优化模型

计算进入了多核时代,处理器的发展不再由更快的主频带动,而是依靠增加片上的多个核心.但是,对于高性能应用来说,多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶段,对应用的优化需要对底层线程结构的深入了解和正确使用.从海量数据流应用的特点出发,提出了三级流水多线程模型,它的线程同步机制没有竞争,并且实现了不同特征数据流的差别服务.然后,在遥感图像处理和骨干网网络入侵检测系设计中,应用了海量数据流应用模型,并在多个多核平台下对骨干网网络入侵检测系统进行了性能评价.对SPARC T1平台上的线程映射方法进行研究,测试了不同映射方法的性能,并归纳出应用在体系结构方面的特征;采用Sun SPARC T1架构8核32线程服务器和曙光x86架构8处理器16核服务器对系统吞吐率进行了测试,实验结果都表现了良好的可扩展性;使用真实骨干网络流量记录文件回放产生的模拟流量,对比测试了模型应用前后数据流的服务时间,改进系统的响应时间获得了显著的提高;针对系统连接数大、负载重和处理多样性的特点,采用基于探针流的采样算法准确测试了在精确预测IP网段策略下系统的服务质量,同时也测试了增加服务质量优化后系统的延迟开销,实验结果表明,系统在引入较少延迟下提高了数据流的服务质量.     

面向粗粒度数据流网络处理器的混合定制硬件加速

本文针对控制流网络处理器固定拓扑结构的限制及指令集并行性开发的不足,将粗粒度数据流设计思想引入到网络处理器体系结构设计中,提出了一种新型粗粒度数据流网络处理器体系结构-DynaNP。DynaNP利用处理引擎(PE)内控制流执行方式获得较高的可编程性,还利用PE间数据流执行方式开发了报文处理中的任务级并行性。为了进一步提高DynaNP的系统流量,面向DynaNP的多核及数据流特性,设计了混合定制硬件加速机制,并详细介绍了实现混合定制硬件加速的关键技术,通过提供统一的混合定制硬件加速接口,可以支持定制指令和协处理器两种典型硬件加速器。     

数据流驱动的多线程模式在嵌入式多核系统中的应用

数据流驱动相比控制流驱动计算模式,更容易发掘应用程序的并行性,多线程是其必然结果.在嵌入式多核系统中,采用分布和并行的多个处理核来提供高计算能力.数据流驱动的多线程计算模式抽象其中的并行计算、通信、存储和资源限制等模式.适合用来描述多核系统的行为,对性能进行分析和预测.并指导系统设计和开发.     

基于Cilk++的遗传算法并行化改造实现

遗传算法是模拟生物进化过程的一种计算模型,在同一代种群间进行基因的选择、交叉和变异时,具有良好的并行性.遗传算法在实际的应用中,选取的种群数目往往比较大,处理的数据量巨大,因此算法性能比较低.目前,处理器已经进入多核时代,但传统的程序还是基于单核编写,程序性能并没有随着处理器数目增加而增加.因此,通过对遗传算法进行并行化改造,使得算法能够充分利用多核处理器资源,算法的性能大大提升.并行遗传算法的实现,符合未来多核程序设计的发展方向,有利于遗传算法更广泛的运用.     

多核平台上B-NIDS的优化

计算进入了多核时代,处理器的发展不再由更快的主频带动,而是依靠增加片上的多个核心.但是,对于高性能应用来说,多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶段.一个串行B-NIDS的优化需要对底层线程结构的深入了解和正确使用.发现了现有并行系统基于细粒度锁同步机制的瓶颈,根据应用的数据流特点提出了没有竞争的同步机制.然后,提出了改进系统三级流水的多线程结构,并实现了不同特征流的差别服务.在性能评价中,改进系统在8核32线程服务器上从资源占用、吞吐率及响应时间3个方面都表现出了更好的性能.     

基于多核处理器并发计算软件构架设计与实现

目前在诸多IT应用领域中,对处理器芯片的实时并发处理能力的要求越来越高,促使多核处理器芯片以及以多核处理器为核心的高性能应用系统迅猛发展.本文提出的基于异构多核处理器系统在高性能并发处理应用中的三层软件构架,充分利用了异构处理器的多核结构,为并发处理应用进行加速;同时,该构架大大简化了异构多核平台的应用开发编程.该软件构架的有效性在基于Cell处理器平台的面向电信应用的语音会议原型系统中得到了初步试验验证.