检查点系统中进程地址空间的优化存储策略

机群系统的规模增大,部件增多,导致了机群的组合错误率也不断上升。节点失效使运行于机群节点上的作业面临中途失败,从而造成巨大的资源浪费,甚至导致大量的作业无法完成。检查点系统为节点提供了较好的容错性能,因此成为机群操作系统软件的重要组成部分。进程的地址空间是检查点系统需要记录的一部分重要内容,对它的存储效率直接影响检查点操作的性能。论文提出了两种检查点系统中进程地址空间的优化存储策略。其中组合式检查点文件写策略解决了并发写机制在应用内存接近物理内存时的性能突降问题,A-O(Access-Order)进程地址空间存储策略调整传统地址空间的存储顺序,使大内存应用的检查点操作性能得到了大幅度提升。在实验中,A-O进程地址空间存储策略最高可以将传统的存储策略的时间开销缩减至原来的50%。     

内核多线程直接存储PCIE驱动设计

在Linux系统中,高速存储驱动会将大量数据从内核空间复制到用户空间进行存储,这将导致存储速度下降和剧烈波动。针对该问题,结合自行设计开发的PCIE接口高速图像存储系统,分析Linux下PCIE驱动的一般组成及实现,提出一种在驱动中实现多线程多缓存直接存储的方法。首先图像数据乒乓DMA传输到双DMA缓存中,然后将数据乒乓转存到内核空间双大缓存中,最后由内核线程直接写入SSD。经该方法优化后的SSD存储速度达到100MB/s以上,比常规方法提升了65%以上。在实际工程中,输入512×512@200Hz的14位灰度图像能够实现稳定存储,避免了原来的丢帧现象,且性能稳定,取得了良好的优化效果。     

基于OpenCL的HMAC-SHA256算法优化与实现

HMAC算法作为主流消息认证算法之一,面临着以纯软件方式运行速度慢,以传统的FPGA硬件实现方式更新维护困难的问题。针对上述问题,设计了HMAC-SHA256算法的定制计算架构并基于OpenCL以高层次描述方式进行了实现。具体包括计算路径优化、存储结构与查找表优化、HMAC-SHA256全流水结构设计。基于OpenCL的计算任务分组优化、数据存储优化、数据通道矢量化等手段实现了HMAC-SHA256算法的FPGA定制计算架构。实验结果表明：在Intel Stratix 10 FPGA平台上,所实现的HMAC-SHA256吞吐率达到174.236Gbps,与Intel Core I7-10700 CPU相比,性能提升了656%,能效提升了1514%;与NVIDIA GTX 1650 SUPER GPU相比,性能提升了14%,能效提升了288%。     

基于DPDK的高速存储I/O优化方法

网络I/O在Redis存储过程中是限制存储性能的关键因素,而默认参数或人工参数配置会制约存储性能。针对参数配置不当导致存储吞吐性能下降及时延较高的问题,提出一种存储I/O优化方法GTS。考虑各阶段参数对存储性能的影响,在DPDK的优化原理基础上通过分析处理特性,采用分层模型策略实现对存储性能预测,从而寻找出最优参数调优方案。实验结果表明,与默认参数相比,GTS方法能够有效提升存储吞吐量,且在写密集下较ATH算法具有更低的时延。     

基于Trevni行列混合的分布式嵌套存储研究

为提升树形结构模式和级联关系模式下的查询执行效率，提出一种行列混合式存储方法。通过在列存中引入分组概念，形成逻辑上完整但局部上独立的列组物理单元。研究分析了现有单纯行存储和列存储的优势和潜在不足，并在此基础上通过模式驱动对这一存储方法进行物理设计，使得研究能够适用主流的列存架构。基于开源框架Avro的列存内核Trevni，研究对所提方法予以实现以期显著降低列存到元组转换过程中的开销，同时保证数据交换仅限于查询所需的列。为提高在复杂模式下的可用性，基于union对存储结构进行优化，使得访问能够集中于有效的单元中，并基于空值支持关系查询场景中不满足外关键字约束的模式。实验基于十亿条TPCH数据进行，通过构建三层嵌套分组模式执行查询。结果表明，所提方法较传统行列存储方法效率有显著提升。     

嵌套NEMO中的路由优化方案研究

针对嵌套NEMO中存在的乒乓路由和数据包多层封装问题进行深入分析,提出一种嵌套NEMO的优化方案,改变NEMO中传统的MR嵌套转发报文的做法,使得MR的HA能够将发送到MR的数据直接重定向到整个嵌套NEMO所连接的外地网络,减少了嵌套的次数,并使得小范围的切换更新报文能控制在NEMO内部,减少了切换时延。分析表明,与NEMO基本支持协议相比,方案有效地解决了NEMO路由优化问题,提高了数据包的传输效率。     

基于位图的键值存储哈希优化

内存键值存储系统中索引方法决定了系统的时间性能和空间开销,是改进和优化的关键因素。哈希索引提供了O（1）时间复杂度的访问操作,但会产生存储冲突,引起访问性能下降。为此,提出了一种基于位图的键值存储哈希优化方法,可以避免存储冲突提升访问性能。该方法将共前缀的键哈希到同一个块,减少键存储空间;在块内使用层次位图结构,全域位图表示所有键的后缀部分来避免存储冲突,摘要位图支持快速定位和范围查询加速。实验结果表明,优化后的哈希索引在多种负载上均能取得较高吞吐量并具有良好的并发性能,同时内存占用较现有方案大大降低。     

基于Kalman算法的大数据存储架构可扩展性优化算法

为了优化大数据存储架构可扩展性能,提高大数据架构资源利用率,通过引入Kalman算法设计了一种大数据存储架构可扩展性优化算法。首先,综合考虑大数据存储架构与多核环境内存布局之间的兼容性,设计架构内存布局。其次,设计分布式共享内存协议,确保各个进程在访问共享内存时能够正确地协同工作,提高存储架构的容错性。在此基础上,利用Kalman算法,动态调整存储节点的负载,进而优化大数据存储架构,以提高其可扩展性。实验结果表明,应用该算法后,大数据存储架构的资源利用率始终高于对照组,均达到了96%以上,最高达到了98%,架构可扩展性优化效果显著,服务器资源利用更充分,大规模数据处理更高效。     

swLLVM: 面向神威新一代超级计算机的优化编译器

异构众核架构具有超高的能效比, 已成为超级计算机体系结构的重要发展方向. 然而, 异构系统的复杂性给应用开发和优化提出了更高要求, 其在发展过程中面临好用性和可编程性等众多技术挑战. 我国自主研制的神威新一代超级计算机采用了国产申威异构众核处理器SW26010Pro. 为了发挥新一代众核处理器的性能优势, 支撑新兴科学计算应用的开发和优化, 设计并实现面向SW26010Pro平台的优化编译器swLLVM. 该编译器支持Athread和SDAA双模态异构编程模型, 提供多级存储层次描述及向量操作扩展, 并且针对SW26010Pro架构特点实现控制流向量化、基于代价的节点合并以及针对多级存储层次的编译优化. 测试结果表明, 所设计并实现的编译优化效果显著, 其中, 控制流向量化和节点合并优化的平均加速比分别为1.23和1.11, 而访存相关优化最高可获得2.49倍的性能提升. 最后, 使用SPEC CPU2006标准测试集从多个维度对swLLVM进行了综合评估, 相较于SWGCC的相同优化级别, swLLVM整型课题性能平均下降0.12%, 浮点型课题性能平均提升9.04%, 整体性能平均提升5.25%, 编译速度平均提升79.1%, 代码尺寸平均减少1.15%.     

自适应两阶段分组求解大规模全局优化问题

协同进化是解决大规模全局优化问题的一种有效策略，但是该策略不能对存在相关性变量的大规模问题进行有效分组，最终导致算法性能下降.针对上述问题，提出一种基于自适应两阶段分组的差分协同进化算法.首先，在第1阶段分组中，根据决策变量贡献度，将其分为正促进组和负抑制组；然后，在第2阶段分组中，分别对两组内的变量进行相关性识别，根据相关变量所占比例进行自适应分组；最后，采用差分协同进化算法对分组后的组件进行优化.实验结果表明本文所提方法能够实现对大规模全局优化问题中相关变量的有效分组，提高了算法的收敛性，通过标准大规模优化测试函数集验证了算法的有效性和适用性.     

Hybrid hierarchy storage system in MilkyWay-2 supercomputer

With the rapid improvement of computation capability in high performance supercomputer system, the imbalance of performance between computation subsystem and storage subsystem has become more and more serious, especially when various big data are produced ranging from tens of gigabytes up to terabytes. To reduce this gap, large-scale storage systems need to be designed and implemented with high performance and scalability.MilkyWay-2 (TH-2) supercomputer system with peak performance 54.9 Pflops, definitely has this kind of requirement for storage system. This paper mainly introduces the storage system in MilkyWay-2 supercomputer, including the hardware architecture and the parallel file system. The storage system in MilkyWay-2 supercomputer exploits a novel hybrid hierarchy storage architecture to enable high scalability of I/O clients, I/O bandwidth and storage capacity. To fit this architecture, a user level virtualized file system, named H²FS, is designed and implemented which can cooperate local storage and shared storage together into a dynamic single namespace to optimize I/O performance in IO-intensive applications. The evaluation results show that the storage system in MilkyWay-2 supercomputer can satisfy the critical requirements in large scale supercomputer, such as performance and scalability.     

公有云存储系统性能评测方法研究

随着云存储系统的迅速发展和广泛使用,许多企业开发者和个人用户将其应用从传统存储迁移至公有云存储系统,因此,云存储系统性能成为企业开发者和个人用户关注的焦点。由于传统测试难以模拟足够多的用户同时访问云存储系统;测试环境构建复杂,测试时间长,准备测试环境成本高;受网络因素及外界其他因素影响,评测结果不稳定。针对以上所述云存储系统性能评测的重点和难点,提出一种“云测试云”的公有云存储系统性能评测方法,该方法通过在云计算平台动态申请足够数量的实例,对公有云存储系统性能进行评测。首先,构建通用的性能评测框架,可动态伸缩申请实例,自动化部署评测工具及负载,控制并发访问云存储系统,自动释放实例及收集并反馈评测结果;其次,提出多维度的性能评测指标,涵盖不同典型应用、不同云存储接口;最后,提出一种可扩展通用的性能评测模型,该模型可以评测常见典型应用的性能,分析云存储性能影响因素,可适用于任何的公有云存储平台。为了验证该方法的可行性、合理性、通用性和可扩展性,利用所提方法对Amazon S3云存储系统进行性能评测,并使用s3cmd验证评测结果的准确性。实验结果表明,评测结果可以为企业开发者和个人用户提供参考意见。     

Novel research on main-lobe jamming polarization suppression technology

A novel main-lobe blanketing interference suppression method which named as spatial virtual multiple channel concurrent polarization filter technology is proposed.It processes sample data using the slow varied polarization property of a scanning antenna.The orthogonal polarized signal and polarization states of the receiving signal can be obtained.The optimal polarization is then calculated for use in polarization filtering to achieve the objective of suppressing noise jamming.The effect of elevation measurement error on interference suppression performance is eliminated by concurrent processing.Theoretical and simulation results show that,this technology enabled self-polarization information processing for single polarized radar which improved its working performance.     

负载自适应的存储池数据重构策略

大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增.新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列(RAIS)已在各种存储系统中广泛使用.传统RA IS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力.针对该问...     

海量视频数据分布式存储性能优化方法研究

针对文件系统存储效率低、多余副本导致空间浪费以及磁盘能源损耗严重的问题,提出一种新型分布式优化存储策略(distributed optimized storage strategy,DOSS).首先,引入Bcache混合存储技术在磁盘阵列前增设固态硬盘,作为高速缓冲区对多路视频流进行临时数据组织,变多线程并发写任务为单线程顺序写入任务,规避磁盘内部碎片产生,有效提高系统写入效率.其次,提出改进的liberation码对视频数据进行压缩存储,在保证系统可靠性的同时提高磁盘空间利用率.最后,基于ioctl系统调用编写盘片转速控制函数,实现磁盘多级休眠和低延迟唤醒,减低磁盘能耗,提高使用寿命.结果表明单台存储服务器在500路4 Mbps并发视频流下存储效率提高约36％,存储空间节省约40％,系统应对12000路并发视频流时仍存在休眠磁盘约10％.     

The TianHe-1A Supercomputer: Its Hardware and Software

This paper presents an overview of TianHe-1A (TH-1A) supercomputer, which is built by National University of Defense Technology of China (NUDT). TH-1A adopts a hybrid architecture by integrating CPUs and GPUs, and its interconnect network is a proprietary high-speed communication network. The theoretical peak performance of TH-1A is 4700 TFlops, and its LINPACK test result is 2566 TFlops. It was ranked the No. 1 on the TOP500 List released in November, 2010. TH-1A is now deployed in National Supercomputer Center in Tianjin and provides high performance computing services. TH-1A has played an important role in many applications, such as oil exploration, weather forecast, bio-medical research.     

降低参数规模的卷积神经网络模型压缩方法

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法。通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少。通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题。将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97%,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95%,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量。     

基于过程划分技术的服务组合拆分方法

针对集中式服务组合内的中心控制器瓶颈问题,提出一种基于过程划分技术的非集中式服务组合构建方法。首先,利用类型有向图对业务过程进行建模;然后,基于图转换的方法提出分组算法,根据分组算法对过程模型进行拆分;最后,根据拆分后的结果来构建非集中式服务组合。经实验测试,分组算法对模型1的耗时与单线程算法相比降低了21.4%,构建的非集中式服务组合拥有更低响应时间和更高吞吐量。实验结果表明,所提方法能有效地拆分服务组合中的业务过程,所构建的非集中式服务组合能提升服务性能。     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

一种MongoDB应用优化策略

为了解决不断增长的文件存储需求,和高流量高并发的访问量,增强系统的响应性能,提出一种Web应用优化策略,通过MongoDB GridFS对网站文件存储容量、可用性和可靠性进行扩展,并且通过Nginx和Keepalived,对后台访问进行负载均衡和双机热备,优化并发性能.实验表明,当并发访问数上升至80以上时,平均访问响应时间缩短9%.文件通过Nginx Gridfs进行高并发上传时非常稳定,在较大文件下载时比直接通过本地文件系统EXT4下载速度更高.