航空货运系统数据库的存储优化设计

开源数据库MySQL越来越广泛地应用于航空公司的信息系统,在深入分析航空货运系统数据特点的基础上,提出了联合使用内存和磁盘存储引擎的方法,用InnoDB存储业务数据,用Memory存储基础数据,大大提高了表连接操作的性能。针对内存表的永久保存问题,用写回相关磁盘表的方法加以解决。     

一种面向实时数据库存储引擎的设计与实现

卫星地面设备监控中,需研究实时数据库技术来管理大量的分布式环境下的实时数据.为此文章设计了一种实时数据存储引擎.该引擎借助内存文件映射机制实现内存表,以LRU算法和页面缓冲池实现了磁盘表,通过位图方法管理数据库表的文件空间,以影子页面法实现了事务的提交与回滚,并设计了数据库表的逻辑结构.通过使内存表和磁盘表结构保持一致,确保了数据库运行时内存表和磁盘表的灵活转换,影子页面法确保了数据库具有实时的故障恢复速度.结果表明,该引擎适用于存储卫星地面设备监控中的大量实时数据.     

基于内存数据库的HLA仿真数据收集方法研究

分析了几种常用的HLA仿真数据收集方法,设计实现了一种通用的基于内存数据库的仿真数据收集方法,重点介绍了仿真数据收集数据库的建表原则和内存数据库的使用方法.     

基于内存数据库的HLA仿真数据收集方法研究

分析了几种常用的HLA仿真数据收集方法,设计实现了一种通用的基于内存数据库的仿真数据收集方法,重点介绍了仿真数据收集数据库的建表原则和内存数据库的使用方法。     

μC／OSII内存管理的一种改进方法

研究了μC／OSII的内存管理，发现当对一个申请到的内存块进行越界写操作或产生了指向空闲内存块指针区(头几个字节)非法指针时可能会破坏它指向下一个空闲内存块的指针，这样，空闲内存块链表就会被破坏。出于安全性要求，必须将控制信息与用户使用的空闲内存块分开，内存块的控制信息属于系统数据，必须对其进行保护。利用μC／OSII的就绪表(Ready List)中任务的调入和删除原理，构造一个内存管理表，实现内存块的分配和释放。由此，μC／ISII在内存管理中存在的安全性问题得到了解决。     

多表多记录存储管理及其应用

本文提出了以表工作区为主的多表多记录的存储管理方法。该方法允许用户自行定义表工作区大小和内存中表的大小，如果用户把控制权交给系统，系统将为用户安排最大可能的表工作区和最多的进入内存的表个数。     

基于SCDMA内存数据库的设计与实现

在SCDMA接入系统的运行过程中,同时存在大量的用户鉴权、呼叫,对数据的访问实时性要求高。针对此情况,提出一种内存数据库的设计开发思路。通过哈希表的形式,把业务需要访问的数据和表加载到内存中,采用统一数据库接口的方式进行数据交互,实现内存与物理数据库之间的数据同步问题。该内存数据库已在上线的SCDMA接入系统中成功使用,其可靠性、安全性得到检验。     

PC/104系统数据存取技术在工业色谱仪中应用

主要介绍了工业色谱仪PC／104系统中大容量扩展内存存取大量过程数据以及数据存储的结构化方法。在简要介绍工业色谱仪PC／104系统内存结构的基础上，提出了大容量扩展内存在用于过程数据的分析方法和内存优化措施。并以实例（Borland C 语言）介绍了在中断方式下，使用32M扩展内存存储A／D转换的大量数据，数据存储的结构化以及将内存存储的大量数据再存入硬盘的方法与技巧。     

数据流与磁盘存贮表的连接计算算法

数据流与存贮表的连接查询经常出现在主动式数据仓库的维护中,与传统的关系数据库的连接计算不同,数据流快速处理的要求不允许将数据流先存入磁盘再计算,而计算机内存无法存储无界增长的数据流,因此数据流查询采用先处理再存储结果的计算方式。数据流与存贮表的连接计算算法重点要解决内存开销和处理速率二个问题。MESHJOIN算法最早提出将存贮表划分为若干个数据块,将数据块交替放入内存与数据流窗口完成连接计算。在MESHJOIN算法思想的基础上将存贮表的内存数据块也划分为若干逻辑分区,每次连接计算仅替换其中的一个逻辑分区,有效地降低了数据流滑动窗口所需的I/O代价,从而提高滑动窗口的计算速率。最后通过实验对二种算法在内存开销和计算速率进行了比较。     

ATC系统中高速内存缓存的设计与实现

由于空中交通管制系统在航空领域里的特殊应用,系统中部分数据实时性强,并且不需要长期存储,针对这一存储需求设计并实现了基于高速内存缓存的数据存储模型.模型基于key-value的内存池的内存管理方法,采用预申请和分组方式管理内存.通过实验分析比较了T数索引和哈希表索引的优点和适用范围,最终选择T树索引作为模型的索引数据结构.实验结果表明,该模型极大的提高了系统对该类数据的存取能力和系统性能.     

Efficient combination of index tables and hashing

It is shown that for data stored on direct access devices access time can be reduced without increasing storage demand, through a single level index table which itself is accessible by hashing. If the complete index table can be stored in main memory this method is always superior to direct hashing and to sequentially organized index tables. If the index table is stored on disk it always yields smaller access time than multi-level index tables and—depending on the size of the index table and on the number of records per track—it is comparable or better than hashing the data directly. Expressions are given to determine in this case which method is more efficient.     

ARM对SDSM操作系统虚地址转换支持研究

单一数据存储模型操作系统(SDSM)是一个新型的操作系统,它只存在一种数据类型-文件,现使用ARM的内存管理单元MMU部件提供的地址映射功能和ARM MMU中所创建的页表的方法,结合单一数据存储模型操作系统中内存管理的特点建立段表,给出单一数据存储模型操作系统在使用ARM一级页表中虚地址地址转换方法,说明ARM可以使用页表对单一数据存储模型OS的虚地址转换提供支持。     

Suggest a format for intelligence control and structure of holographic data storage system

Data storage related with writing and retrieving requires high storage capacity, fast transfer rate and less access time. Today any data storage system cannot satisfy all of these conditions, however holographic data storage system (HDSS) can perform faster data transfer rate because it is a page oriented memory system using volume hologram in writing and retrieving data. System can be constructed without mechanically actuating part therefore fast data transfer rate and high storage capacity about 1Tb/cm3 can be realized. In this research, to reduce errors of binary data stored in HDSS, a new method for bit error reduction is suggested. Firstly, find fuzzy rule using test bed system for Element of Holographic Digital Data System and make fuzzy rule table using subtractive clustering algorithm and genetic algorithm and Reduce prior error element and recording digital data. Secondly, Reduce prior error element and recording digital data using the particle filter method. Finally, Recording ratio and reconstruction ratio show good performance and we suggest intelligence control method and filter method. Our format table include intelligence control algorithm and filter method.     

NTC温度转换的无损压缩解压缩算法

提出一种NTC(负温度系数热敏电阻)温度转换的无损压缩解压缩算法,主要用于在使用单片机进行温度转换时,将调用的表格数据进行压缩,解决了单片机A/D转换时存在的表格数据量大、占用存储空间大的问题。本算法大大压缩了表格的数据量,减少了单片机的内存空间使用,提高了单片机的利用率,降低了系统运行的出错率,同时也节省了单片机的使用成本。     

Cloud computing burst system (CCBS): for exa-scale computing system

Computational scientific applications tend to be very data I/O intensive, producing a large amount of data as the execution result. In this research, we propose a new storage system using next-generation non-volatile memory that is suitable for exa-scale computing systems. This storage system is called the Cloud Computing Burst System (CCBS) and is composed of a unified table management module, data scoring module, and CCBS storage. In particular, CCBS operates as a workload enlightened storage system using its own data scoring module. The CCBS storage architecture consists of PCM/NAND Flash arrays and a data migration engine. CCBS storage cannot only provide a scaling out feature, but also improve the overall performance of the storage system. In addition, by using new non-volatile memory array, many benefits, such as low energy consumption, density scaling, and high performance, can be achieved. We demonstrate the effectiveness of our proposed system by simulating the storage system using scientific benchmarking tool. Our data scoring algorithm can provide 7% more hit rate than other methods for CCBS. In addition, our proposed system has improved storage system speed by 1.64 times, compared with only NAND Flash conventional model.     

Performance anomalies in boundary data structures

A Δ-shaped data structure that is more compact and efficient under certain conditions than existing ones is proposed. The method has excellent storage efficiency (6E, with E being the total number of edges) and provides improved access time in a virtual memory environment. The discussion covers previous work, virtual memory and databases, determining record access costs, constant-time data schemes, multiple entities, and implementation methods     

面向持久化键值数据库的自适应热点感知哈希索引

针对现有键值数据库存储系统缺乏热点意识,导致系统在高度倾斜的工作负载下性能较差且不可靠,提出了一种自适应热点感知哈希索引模型,该模型基于key值摘要信息实现了一个高性能哈希表。首先,利用key的摘要信息代替key值,压缩key的存储空间,优化哈希表中桶的数据结构;其次,利用CPU的数据级并行技术以及CPU cache line,对哈希表的探查操作进行优化;最后,为解决摘要信息导致key值无法精准比较,需要额外磁盘I/O的问题,设计了一种自适应key值调度算法,该算法根据当前可用内存大小、哈希索引负载以及访问热点情况动态地调整key值的存储位置。在YCSB仿真数据集上进行了实验,实验表明,相较于最先进的哈希表,自适应热点感知哈希索引在相同内存使用率的情况下,将速度提升至1.2倍。     

RRTA：一种基于顺序读取的有效Top-K查询算法

Top-K查询是一种被广泛应用的操作,它根据给定的评分函数在潜在的海量数据中返回k个分值最高的元组。传统的TA算法要求能够支持随机读,NRA算法虽然放宽了对随机读的限制,但是增长阶段需要在内存中维护大量的元组,运行时将占用大量的内存资源。提出的RRTA算法相比NRA算法对数据的存储进行了重新的规划,创建一个新的表将内存上的开销转换到较廉价的外存开销,只需顺序读取就可以进行有效的Top-K查询,同时将表进行了划分,在并行处理的情况下更能提高程序的效率,能够很好地运行在内存有限的环境中。     

Improving performance by creating a native join-index for OLAP

The performance of online analytical processing (OLAP) is critical for meeting the increasing requirements of massive volume analytical applications. Typical techniques, such as in-memory processing, column-storage, and join indexes focus on high performance storage media, efficient storage models, and reduced query processing. While they effectively perform OLAP applications, there is a vital limitation: mainmemory database based OLAP (MMOLAP) cannot provide high performance for a large size data set. In this paper, we propose a novel memory dimension table model, in which the primary keys of the dimension table can be directly mapped to dimensional tuple addresses. To achieve higher performance of dimensional tuple access, we optimize our storage model for dimension tables based on OLAP query workload features. We present directly dimensional tuple accessing (DDTA) based join (DDTAJOIN), a technique to optimize query processing on the memory dimension table by direct dimensional tuple access. We also contribute by proposing an optimization of the predicate tree to shorten predicate operation length by pruning useless predicate processing. Our experimental results show that the DDTA-JOIN algorithm is superior to both simulated row-store main memory query processing and the open-source column-store main memory database MonetDB, thanks to the reduced join cost and simple yet efficient query processing.