钻井数据库集群监测系统的设计与实现

为了及时了解制约整个钻井数据库集群系统在海量数据的OLTP商业应用中执行效率的主要性能瓶颈,有必要实施对集群的管理维护,保证系统件能的优化.因此,论文以钻井数据库集群系统为背景,分析集群系统的体系结构和性能优化,设计并实现了一种基于C#的轮询监测数据库集群系统的体系结构模型,还详细介绍了数据采集、管理以及数据可视化各个模块的具体实现.通过对钻井数据库集群系统进行轮询监测,周期的从节点中采样CPU利用率、网络流量以及各磁盘的状态情况等性能指标,进一步验证了该软件的町用性和有效性.     

分布式入侵检测中基于能力与负载的数据分割算法

针对高速网络环境下分布式入侵检测中海量数据并行检测处理的效率和检测率问题,提出一种基于能力与负载的数据分割算法。该算法依据采集到的集群内各数据分析节点的系统性能指标及运行状态,评估节点的数据处理能力与负载程度。基于节点的能力与负载适应因子,权衡节点在集群中检测和分析数据能力的权重,实现海量数据在集群内各数据分析节点间的动态数据分割,为节点分配适应其能力与实时负载的数据粒度。仿真测试结果表明,该算法具有较好的负载均衡性,降低了系统的检测时间,提高了数据并行处理的效率和检测率。     

影像数据分布并行计算处理平台体系架构研究

遥感影像数据并行处理系统大多依赖于国外商用产品,而国内自主化并行计算处理系统的任务流程化支撑能力以及并行计算性能难以适应规模化生产。为此,基于Hadoop的HDFS,MapReduce集群并行架构、CPU和GPU协同并行处理、内存映像、BMP等技术,提出流程驱动执行的高性能分布式并行计算处理平台体系架构。实验结果表明,工作站集群和工作站内多粒度混合的并行计算架构提高了平台并行处理性能,为海量遥感影像数据产品的批量生产提供一种自主化解决方案。     

云系统中面向海量多媒体数据的动态任务调度算法

在云计算环境下,对处理海量多媒体数据的作业以及任务调度与资源分配算法进行建模,在此模型下提出一种云计算环境下面向海量多媒体数据的动态任务调度算法.算法以云系统中海量多媒体数据文件的分块多副本存储形式为基础来规划并行处理任务,以文件块和副本的映射关系为特征对云系统中数据节点执行聚类,以已执行完毕任务的历史反馈信息为基础来动态调度未执行任务.实验结果表明提出的算法对提高系统资源利用率和负载均衡有显著效果.     

CPU+GPU海量信息集群高速显示技术

针对集群显示系统中存在的CPU多核闲置、GPU利用不足、CPU与GPU结合困难等问题,研究了CPU多核多线程处理、GPU并行处理及CPU+GPU整合运算等技术,提出并构建了CPU+GPU集群并行显示系统,提升了集群并行显示系统的综合运算能力,实验结果表明CPU+GPU集群并行显示技术是有效的,为海量信息高速显示提供了有效的解决方案。     

基于GPU异构平台的实时CT图像重建系统的研究

摘要：针对采用单CPU CT图像重建时间长,采用CPU集群重建成本及能耗高的问题,本文提出了CPU多线程+GPU的异构重建模型。这种模型采用CPU多线程流水线模式,将整个任务分解为若干个处理阶段,相邻的两个阶段之间以循环缓存连接,上一阶段完成一次计算任务后将数据放到循环缓存里,然后继续下一次的计算任务,下一阶段探测到循环缓存里有数据后,从缓存里取出数据开始计算。各个任务是并行处理任务的,针对某一耗时瓶颈模块再采用GPU并行加速,充分发挥CPU和GPU的计算资源。CPU多线程+GPU模型相对于CPU多线程模型加速16.45倍,相对于串行CT图像重建加速20.5倍以上。将CPU多线程+GPU模型重建的图像与CPU串行程序重建的CT图像比较,数据结果在误差范围内,满足实验设计要求。本文提出的图像重建模型采用成本较低的GPU显卡就实现了性能大幅提升,大大降低了CT图像重建系统的成本及功耗,而成本及功耗的降低会引起CT医疗诊断费用的降低,最终惠及广大病患。     

CPU的多层次并行调度优化模型仿真

通过CPU多调度模式优化,提高CPU运行效率.由于海量数据进行运算的过程中,存在调试不均衡的问题,传统的CPU调度模型不能很好的均衡所有的调度任务关系,无法满足数据运算的实际需求,导致CPU负载不均衡,降低了调度效率.提出基于二叉树搜索算法的CPU多层次并行调度方法.针对CPU中不同层次的任务量进行预测,建立多层次并行调度模型,实现海量调度任务的多层次并行调度.在每个层次中,进行二叉树搜索,完成各个层次独立的CPU任务调度.将二叉树搜索方法运用到多层次并行调度模型中,完成CPU的多层次并行调度.实验结果表明,利用改进算法进行CPU多层次并行调度,能够提高调度效率,缩短调度时间,完成CPU合理调度,保证CPU的运算速率.     

Hadoop异构集群中数据负载均衡的研究

Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。     

海量数据Delaunay三角网的并行构建算法

对并行环境下Delaunay三角网的构建进行了研究。针对海量数据处理的高效性要求,提出了一种归并构网方法。该方法根据构网数据的实际分布特点,对数据点按x坐标进行排序,并将排序后的数据按给定的阈值点数依次分配给各工作线程,构建出一系列的初始子三角网,然后逐轮对相邻的子三角网进行两两归并,直至最终归并为一个三角网。该构网方法过程中子三角网间的相关性小,易于并行处理和流水线作业。该算法既适用于单机串行、多线程和多核并发环境处理,同时也适用于集群计算模式下的分布式并行处理。实验表明,该算法的时空效率较高,最坏的串行时间复杂度为O(nlogn),一般情况下不超过O(n2)。     

高度可扩展的3D叠前Kirchhoff时间偏移并行算法

为适应海量地震数据以及集群并行规模不断增大的趋势,提出了多维度成像空间分解算法.根据大规模集群系统有多个并行层次的特征,首先沿炮检距方向分解成像空间;然后再沿in-line方向继续切分,直到成像空间小于计算节点物理内存;最后在二维地表上以面元为单位分解成像空间.算法实现上,共炮检距成像空间映射到计算节点组上,计算节点内的CPU核之间按照round-robin均分面元.该并行算法在不增加数据通信量的情况下,降低了内存的需求,减少了通信开销和同步时间,提高了数据的局部性.实际资料测试表明,该并行算法比传统的输出并行和输入并行算法具备更好的性能与可扩展性,实验作业调度多达497个节点、7 552个线程,仍然具备较好的加速效果.     

P- and SV-wave separation by polarization-dependent velocity filtering: application to vertical seismic profiles from Kola superdeep borehole, Russia

In multicomponent seismic surveys, separation of interfering compressional (P) and shear-wave (S) energy provides valuable information for the interpretation of mode conversions and seismic anisotropy. We present a technique for such a separation using a polarization-dependent velocity filtering. At the first step of the procedure, a linear two-channel filter is designed in the frequency-wavenumber domain, with filter coefficients determined by the angles of incidence of respective seismic waves. Due to several physical reasons, the filter is unstable near the high end of the P-wave spectrum. We stabilize the filter with the use of S-wave spectrum balancing. This operation results in a robust decomposition into P- and SV-responses, while retaining the full energy of the vector wavefield. We implement this method in a module of our seismic processing system. The module employs a versatile parametrization scheme, as well as structured data input/output. It is able to process VSP or surface data, with velocities varying by either depth or offset. Application of the module to the processing of an offset VSP from the Kola Superdeep Borehole demonstrates that the program successfully separates P- and S-wave phases in crustal VSP data.     

地震处理叠前时间偏移并行作业运行效能研究

文章围绕运行在惠普集群Omega地震处理软件平台上的“常家围子西部大连片深层叠前偏移处理”重点项目,研究了Omega软件叠前时间偏移并行作业运行机制,改进了系统运行环境,提高了系统运行的稳定性,保障了西部大连片深层5158．73平方千米叠前偏移处理任务的顺利进行,提高了叠前时间偏移作业并行运行效率,使得惠普集群运行效能得到了整体发挥。     

面向物联网的高速数据交换节点设计方法

针对当前高速数据交换节点设计方法存在功耗高、整体性能低下的问题,提出一种新的面向物联网的高速数据交换节点设计方法.设计了节点所处物联网的拓扑结构,并分析设计了调制模块、码字相加模块和解调模块.令每个和高速数据交换节点的IP模块经输入端口与输出端口和交换节点相连,在各输入端口处设置一个缓冲队列,通过调制模块读取数据,传输至码字加法器模块进行加法运算,将计算结果发送至各个解调模块进行处理后,把数据传输至目的IP模块.通过码分多址技术实现高速数据交换节点的软件设计.实验结果表明,所提方法带宽使用率高、传输速度快、响应能力强.     

实时SAR成像系统中矩阵转置的设计和实现

矩阵转置是多维图像和信号处理中常用的处理过程，在SAR成像系统中也有非常重要的应用，重点讨论了数据流处理中行进列出的一类转置问题，结合SAR成像算法，分析成像系统中矩阵转置的特点，提出了输入输出平衡的数据流转置方式，解决由于硬件实现中存储器读写速度不同和输入输出数据量不同所带来的输入输出负载不平衡问题，还介绍了SAR成像系统中转置存储部件的实现问题，转置存储部件采用双总线的结构，图像数据的输入和输出可以并行进行，具有非常高的数据传输速度，在66MHz的工作频率下，能达到340MB/s的数据吞吐率。     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.     

逆变器并联系统中基准信号同步的一种方法

提出了逆变器并联或冗余并联系统中基准信号同步的一种方法,实现逆变器模块直接并联（系统不附加额外的控制模块、分散在各模块中的基准电路自动同步）、模块热插拔,又不影响逆变器单机工作。研究了该方法的具体实现电路及工作原理,进行了定量误差分析,并给出了仿真和实验结果。     

Parallel merging of lists in database management system

This paper presents a novel parallel merge element (PME), which permits not only more than one key of both input runs compared concurrently, but also all the confirmed keys to be retrieved at one time, which enhances the throughput of hardware merger. The PMEs can be combined to build a merge module in which some hardware queues are placed for maintaining the high throughput. To estimate the merge parallelism of the merge module, a procedure is introduced and its running results are also described. The proposed merge module can be used as a passive high speed module to match the data processing rate of other parallel hardware modules, such as parallel sorter and data filters, in the backend computer or database machine.     

基于多级片上总线的并行图像处理系统设计*

采用基于平台级FPGA的SOC设计方法, 设计了一种基于多级PLB总线的可扩展并行图像处理系统。系统采用总线桥并行扩展处理单元来增加系统处理性能和扩展存储访问带宽;通过数据分发模块实现图像数据输入与处理流水线操作。时序功能仿真与硬件实现表明,该设计能灵活高效地实现系统结构的并行扩展,显著提高了系统并行处理性能。     

基于FPGA的HEVC后处理CNN硬件加速器研究

针对高效视频编解码标准中后处理CNN算法在通用平台运行时产生的高延时缺点,提出一种基于现场可编程逻辑门阵列（FPGA）的后处理卷积神经网络硬件并行架构。提出的并行架构通过改进输入与输出缓冲的数据并发过程,调整卷积模块整体并行度,加快模块硬件流水。实验结果表明,基于本文所提出的并行架构设计的CNN硬件加速器在Xilinx ZCU102上处理分辨率为176×144视频流,计算性能相当于每秒360.5 GFLOPS,计算速度可满足81.01 FPS,相比时钟频率4 GHz的Intel i7-4790K,计算速度加快了76.67倍,相比NVIDIA GeForce GTX 750Ti加速了32.50倍。在计算能效比方面,本文后处理CNN加速器功耗为12.095 J,能效比是Intel i7-4790K的512.90倍,是NVIDIA GeForce GTX 750Ti的125.78倍。     

基于FPGA+DSP的智能车全景视觉系统

为实现智能车全景视觉系统的应用研究平台,设计了一种基于FPGA+双DSP的实时6通道数字图像采集与处理系统.该系统由两片FPGA与两个DSP组成.第一个FPGA进行多通道视觉图像采集的同步控制、逻辑处理,第二片FPGA辅助DSP进行海量图像数据的高速并行处理.两个ZBTSRAM芯片作为数据输入和输出的高速缓存,每通道的...