基于HDF5文件格式的数据管理系统

随着科学技术的发展,获取的科学数据越来越多,如何有效的存储及管理这些海量数据,成为当前一个突出的问题。介绍了基于delphi,hdf5格式以及Python脚本语言的系统体系设计,并给出了一个基于HDF5文件格式的数据管理系统实例。     

基于HDF5格式的FAST望远镜数据重分布策略

目前,世界上最大的单口径射电望远镜FAST (Five-hundred-meter Aperture Spherical radio Telescope)处于调试期,采集的数据面临着加载效率上的瓶颈,给后续的数据处理效率带来了挑战。本文结合科学数据存储格式HDF5（Hierarchical Data Format Release 5）和数据降维,提出一种适合大多数FAST望远镜数据处理场景的存储优化方法。通过优化,硬盘中的数据从二进制表格模型转换为按类型分布的多个数据集。实验结果表明本文提出的方法能够显著提高FAST望远镜的数据加载效率。     

基于HDF5的结构网格计算流体动力学程序并行I/O技术

大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。     

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统（NFS）实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterL...     

基于内存映射文件的进化算法数据存储引擎

为了观察和分析进化算法的执行情况,往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB（Evolutionary Algorithm Database）提供了简便灵活的数据存储接口,通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎,EADB大大加快了存储速度。     

基于HD F5实现多区结构网格CFD程序的并行I/O

计算流体动力学（computational fluid dynamics ,CFD）是高性能计算重要应用领域之一,其计算涉及大量数据访问．在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈．并行I/O 是解决这一问题的主要途径之一．针对一个真实多区结构网格CFD 并行程序 HOSTA （high‐order simulator for aerodynamics）,基于HDF5（hierarchical data format v5）数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O．在一套有6个I/O服务器结点的高性能计算机系统上,采用实际C FD算例进行了性能测试．对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21．27,最高获得5．81 GBps的I/O吞吐率,并使程序整体性能提高10％以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6．72 GBps的I/O吞吐率．     

基于Intel 80321的RAID5系统性能优化

结合磁盘存储阵列的应用，实现了基于Intel 80321 I/O处理器的RAID系统。该文利用了I/O处理器应用加速单元的硬件特性，在软件方面用高效读、写高速缓存的管理策略，实现了RAID5系统性能的优化，实际运行结果表明，该性能优化能达到预期效果。     

基于位图的远程备份数据统一存储和管理方法

容灾系统中多任务的备份数据并发存储时,现有的磁盘镜像存储方法导致备份中心大量存储空间闲置和磁盘频繁寻址,造成存储I/O性能低下的现状,为解决这个问题,设计并实现了一种远程备份数据的存储和管理方法.该方法通过基于位图的空间动态管理、空间映射、数据封装等技术,实现多任务远程备份数据的存储和空间管理.实验结果表明,该方法不仅提高了存储效率,而且节约了存储空间.     

基于ARM—Linux的网络门禁控制器软件研究与实现

分析了当前主流门禁控制器软件的基本功能需求,通过对非阻塞I／O及网络信息安全技术的研究,设计并实现了一款基于ARM-Linux的网络门禁控制器软件,采用select机制进行读卡和采用RC6及MD5算法相结合对传输信息进行加密,提高了网络门禁控制器的性能与信息安全。     

OHPSS:一种基于对象的高性能存储系统

现有存储系统主要存在以下问题:信息存储规模有限、系统结构限制了高速应用范围以及系统实时性和可靠性不够.为了满足大容量、高效、可扩展和高服务质量的存储系统需求,提出了一种基于对象的高性能存储体系结构--OHPSS.其特点是充分利用对象属性并采用适应性服务,达到提高访问性能的目的;基于对象存储设备(OBSD)有处理器和操作系统的硬件支持,既可避免系统性能瓶颈,又能提供异步I/O方式;存储磁盘采用SRAID(similar RAID)结构,提高了磁盘的并行性和可扩展性.测试结果表明,与其他存储系统相比,该存储结构显著提高了小块数据的随机读/写性能,并且多线程 异步I/O的工作方式也使系统扩展性得到了显著提高.     

ExaHDF5: Delivering Efficient Parallel I/O on Exascale Computing Systems

Scientific applications at exascale generate and analyze massive amounts of data.A critical requirement of these applications is the capability to access and manage this data efficiently on exascale systems.Parallel I/O,the key technology enables moving data between compute nodes and storage,faces monumental challenges from new applications,memory,and storage architectures considered in the designs of exascale systems.As the storage hierarchy is expanding to include node-local persistent memory,burst buffers,etc.,as well as disk-based storage,data movement among these layers must be efficient.Parallel I/O libraries of the future should be capable of handling file sizes of many terabytes and beyond.In this paper,we describe new capabilities we have developed in Hierarchical Data Format version 5(HDF5),the most popular parallel I/O library for scientific applications.HDF5 is one of the most used libraries at the leadership computing facilities for performing parallel I/O on existing HPC systems.The state-of-the-art features we describe include:Virtual Object Layer(VOL),Data Elevator,asynchronous I/O,full-featured single-writer and multiple-reader(Full SWMR),and parallel querying.In this paper,we introduce these features,their implementations,and the performance and feature benefits to applications and other libraries.     

Data Transfer Over the Internet for Real Time Applications

Efficient real time data exchange over the Internet plays a crucial role in the successful application of web-based systems. In this paper, a data transfer mechanism over the Internet is proposed for real time web based applications. The mechanism incorporates the extensible Markup Language (XML) and Hierarchical Data Format (HDF) to provide a flexible and efficient data format. Heterogeneous transfer data is classified into light and heavy data, which are stored using XML and HDF respectively; the HDF data format is then mapped to Java Document Object Model (JDOM) objects in XML in the Java environment. These JDOM data objects are sent across computer networks with the support of the Java Remote Method Invocation (RMI) data transfer infrastructure. Client's defined data priority levels are implemented in RMI, which guides a server to transfer data objects at different priorities. A remote monitoring system for an industrial reactor process simulator is used as a case study to illustrate the proposed data transfer mechanism.     

基于串行FRAM的固态存储器构建

为简化嵌入式系统利用NAND闪存保存大容量数据的设计复杂性,提出一种利用铁电随机存储器( FRAM)构建固态存储器实现快速高效存取的方法。制定串行 FRAM 与 RAM 相结合的最优存储协议,给出查询存储器块的概念和串行FRAM存储数据的快速查询算法,介绍串行 FRAM 与 RAM 相结合的存储协议和FM24 W256的块读写算法。51单片机的电机驱动总成载重测试仪设计与工业性实验结果表明,利用FRAM设计的固态存储器,具有软硬件开销小、存取速度快、实现简单可靠的特点,能满足嵌入式系统长期存储的要求。     

快速数字影像重建的2维/3维医学图像配准

目的 针对2D/3D医学图像配准过程中数字影像重建技术(DRR)生成图像和相似性程度测量两个步骤计算量大、耗时较长这一问题,提出了一种基于Bresenham直线生成算法改进的模式强度与梯度相结合的混合配准算法.方法 首先利用Bresenham直线生成算法原理改进传统光线投射算法(Ray-Casting),完成DRR图像的生成;其次模式强度与梯度相结合并引入多分辨率策略来降低相似性测度的计算复杂度;最终利用改进的鲍威尔优化算法对参数进行优化,完成整个配准过程.结果 实验结果表明,改进的混合配准算法与基于相关系数、互信息和模式强度的配准算法相比,配准效率大幅提升.模拟配准实验和临床配准实验完成时间分别为76.2 s和64.9 s,比传统配准算法效率提升3~6倍.结论 提出的算法在保证配准精度和高鲁棒性的前提下,大幅度地提高了2D/3D医学图像配准算法的运算速度,可以满足临床上精确引导手术进行的实时性要求.