内存数据库中存储结构的实现机制

内存数据库是外存数据库的"工作版本",它们无论在数据上、结构上等都应该保持一致性.怎么定义内存数据库的存储结构,特别当外存数据库中表的结构发生改变时,内存数据库中表结构的相应改变,都直接影响系统的性能.研讨了内存数据库结构的定义以及实现,并对静态和动态存储结构的机制作了详尽的分析,突出地反映了动态特性.     

内存数据库的架构设计与应用

内存数据库是把外存全部或部分数据加载到内存中,在内存中维持数据的主拷贝。与传统的磁盘数据库相比,内存数据库中的所有事务,都是在内存中完成,它不与磁盘进行I/O交互。内存处理速度快,内存数据库适合于对信息及时性要求较高、信息并发量大的系统。基于此,笔者根据内存数据库的特性,设计出一个内存数据库架构并应用在项目中。     

嵌入式内存数据库的恢复及重装算法研究

在嵌入式内存数据库系统中,系统崩溃时数据库主拷贝存于易失性内存中,因此需要把数据库主拷贝从外存重装到内存。本文在嵌入式内存数据库恢复技术的基础上讨论了几种重装算法,提出了嵌入内存数据库的数据优先级重装算法,并进行了实验验证。结果表明,数据优先级重装算法比顺序重装算法性能高。     

实时事务的预分析,预处理

对实时事务的有效预分析、预处理,是实时数据库系统高性能的必然要求。本文首先阐述了以内存数据库支持实时事务的预分析、预处理的必要性,然后主要说明了一个主动实时内存数据库ARTs-Ⅱ中实时事务的"三段式"预分析、预处理方法,分析各阶段的目标任务,并提出一套实现策略．     

基于影子页面和混合日志的MMDB恢复方法

为了提升内存数据库从各种故障中恢复的速度,提出了基于影子页面技术、混合日志策略以及模糊检查点思想的内存数据库恢复方法。在分析内存数据库运行过程中主要的时间消耗点的基础上建立了内存数据库的系统模型,通过分析事务过程和检查点过程,讨论了该恢复策略的执行过程以及优点,讲述了内存数据库在此系统模型和恢复策略下的事务故障和系统故障的恢复过程以及系统的性能分析。     

SIP应用服务器内存数据库的设计

在SIP应用服务器中,由于大量用户及各种不同业务呼叫的存在,在用户检索、数据存储的速度及实时计费等方面对数据库的性能要求高,内存数据库的特性可以满足这种需求,本文介绍在SIP应用服务器中内存数据库的一种设计思路及实现方法,并对该内存数据库提供的接口进行说明;该内存数据库已经在实际的产品中使用,其可靠性及性能已经得到验证。     

内存数据库相关技术的研究与分析

所谓内存数据库,简单地说就是任何时刻任意一个活动事务所操作的数据集都要存放在内存中,换句话说,内存数据库系统就是数据库的“工作版本“常驻内存的数据库系统.显然.它要求较大的内存量,至少应能存储当前处理的数据,但并不要求在任何时刻整个数据库都存放在内存.内存数据库是支持高性能信息处理的有力工具,是实现诸如实时数据库、智能数据库等的基础,其核心问题是数据库的存储结构及存取方法,以提高空间利用率.为此,首先讨论了内存数据库的定义,接着分析了并发控制、MMDB的逻辑优化规则、动态降低锁粒度和动态提高锁粒度,最后做了总结.     

基于非易失性内存的持久化嵌入式内存数据库

随着近年来嵌入式应用的复杂化和多样化,工业界和学术界提出来用内存数据库满足嵌入式系统对数据处理性能不断提升的要求.然而,现有的内存数据库需要在磁盘或闪存等外存上持久化存储真实的数据库备份,并且以I/O操作的方式将数据库的更新操作同步回外存,有极大的性能开销.此外,这类数据库即便直接部署在新型非易失性内存（non-volatile memory,简称NVM)中,也因为缺乏内存中的持久化机制而不能脱离外存.针对现有内存数据库的不足,提出一套面向NVM的持久化内存数据库设计方案.该方案直接用数据库独立管理NVM,持久化存储NVM的空间信息以及内存数据库的元数据.依据该方案,在典型的内存数据库Redis的基础上实现了可在NVM上持久化的内存数据库.实验结果表明,该方案与既有Redis的持久化方案AOF相比,数据库的启动速度可提高2 400倍,关闭速度可提高5倍,set操作的速度可提高58倍,delete操作的速度可提升34倍.     

内存数据库相关技术的研究与分析

所谓内存数据库,简单地说就是任何时刻任意一个活动事务所操作的数据集都要存放在内存中,换句话说,内存数据库系统就是数据库的“工作版本”常驻内存的数据库系统。显然,它要求较大的内存量,至少应能存储当前处理的数据,但并不要求在任何时刻整个数据库都存放在内存。内存数据库是支持高性能信息处理的有力工具,是实现诸如实时数据库、智能数据库等的基础,其核心问题是数据库的存储结构及存取方法,以提高空间利用率。为此,首先讨论了内存数据库的定义,接着分析了并发控制﹑MMDB的逻辑优化规则﹑动态降低锁粒度和动态提高锁粒度,最后做了总结。     

高并发集群监控系统中内存数据库的设计与应用

在具有大量并发连接的高并发集群监控系统中,传统磁盘数据库由于内外存交换开销过大,无法支撑数据的实时存储与处理,因此大量实时系统都选择采用内存数据库作为数据支撑模块。从介绍内存数据库的关键技术点出发,通过引入虚拟影子内存和粗粒度意向锁来分别改进内存数据库的数据组织和并发控制,设计实现了一个用于支撑高并发集群监控系统的高效内存数据库模块,并且研究了其在实际系统中的应用情况。     

Integrating reliable memory in databases

Recent results in the Rio project at the University of Michigan show that it is possible to create an area of main memory that is as safe as disk from operating system crashes. This paper explores how to integrate the reliable memory provided by the Rio file cache into a database system. Prior studies have analyzed the performance benefits of reliable memory; we focus instead on how different designs affect reliability. We propose three designs for integrating reliable memory into databases: non-persistent database buffer cache, persistent database buffer cache, and persistent database buffer cache with protection. Non-persistent buffer caches use an I/O interface to reliable memory and require the fewest modifications to existing databases. However, they waste memory capacity and bandwidth due to double buffering. Persistent buffer caches use a memory interface to reliable memory by mapping it into the database address space. This places reliable memory under complete database control and eliminates double buffering, but it may expose the buffer cache to database errors. Our third design reduces this exposure by write protecting the buffer pages. Extensive fault tests show that mapping reliable memory into the database address space does not significantly hurt reliability. This is because wild stores rarely touch dirty, committed pages written by previous transactions. As a result, we believe that databases should use a memory interface to reliable memory. Received January 1, 1998 / Accepted June 20, 1998     

HT树：缓存敏感的内存数据库索引

在内存数据库系统中,针对处理器缓存对提高内存数据库的性能有重要影响的情况,在B＋树的基础上提出一种新的缓存敏感的索引——HT索引。将Hash方法和树结构相结合,构造一种适用于内存数据库的索引。结果证明,该索引结构能提高处理器缓存的利用率,其整体操作性能优于传统的缓存敏感索引。     

基于LRU算法的Web系统缓存机制

Web系统嵌入缓存机制将被访问的对象保存在内存缓冲区中，在频繁创建和销毁对象时，降低了系统开销、提高了系统的整体快速响应能力、避免了频繁的数据交互。该文分析了Cache技术的设计原理和实现策略、LRU算法的设计模式，构造了缓存机制的基本框架。     

用于HLA实时仿真的内存机制数据库开发

介绍了内存机制数据库的研究与开发的主要内容.随着计算机技术的发展和仿真应用的变化和高层体系结构HLA的出现,改变了计算机仿真技术研究和应用的格局.针对体系仿真对实时性的高要求,提出一种新的提高体系仿真实时性能的方法,即利用内存机制数据库技术来解决实时性需求.它能够高速缓存后台数据库中的数据,依靠内存机制数据库对这些数据进行管理,构成内存数据库管理系统.并通过选用FCS-DBS系统作为实例验证了理论研究部分的可行性.     

基于Fermi架构的Join算法

在列数据库中,连接操作依然是最核心和最耗时的操作,GPU强大的计算能力可为此提供新的优化手段。基于Fermi架构,提出了新的Hash Join算法和Sort merge Join算法,其基本思想是充分利用该架构新增的缓存结构来减少连接操作的cache缺失率。与CUDA stream技术相结合,新算法在输出结果较多时可以有效地隐藏主存与显存间数据传输带来的延迟,进一步提升其执行效率。实验结果证实了基于Fcrmi架构的Hash Join算法处理偏抖数据的高效性及Sort merge Join算法的稳定性,并且通过比较表明,这两种算法的性能全面优于基于多核CPU充分优化的Join算法,最大加速2.4倍,在外键分布高偏抖时新的Hash Join算法的执行速度甚至达到每秒217M元组。     

分布式和缓存技术在大并发量网站中的应用

对于高访问量网站,Web服务器端经常面临大并发量和海量数据流请求的问题,导致用户访问延时,利用负载均衡和内存缓存相结合技术可以解决这一问题。在服务器端采用集群下的负载均衡策略,将工作任务相对均衡地分配到各个节点上执行;采用内存缓存机制,通过优先读取内存中的缓存数据以减少对数据库的访问次数,进而减轻数据库负载。性能测试结果和用户体验反馈信息显示,该方法在大并发量访问时能极大地提高系统的吞吐量。     

pT-树:高速缓存优化的主存数据库索引结构

随着主存速度和现代处理器速度之间的差距逐渐扩大,系统对主存的存取访问成为新的瓶颈,Cache行为对主存数据库系统更加重要.索引技术是主存数据库系统设计的关键部分.在CST-树的基础上应用预取技术提高查找操作的性能,提出了一种Cache优化的索引结构预取T-树(pT-tree).pT-树使用预取技术有效地创建比正常数据传...     

支持内存数据库索引缓存优化的CST树的设计与实现

针对目前内存数据库中索引缓存失配的问题,在分析了现有内存数据库索引结构基础上,提出了一种缓存敏感T树（CST树）的索引数据结构,详细数据结构描述和操作算法也已给出。通过CST树的缓存次数分析和进行查询、插入等操作性能测试,结果表明CST树能有效减少缓存敏感次数,并且在数据量较小时,CST树的插入、删除速度比T树略慢,而查询速度比T树要快。在数据量较大时,CST树的插入、删除、查询效率都比T树要高。     

Cache-based Computer Systems

A cache-based computer system employs a fast, small memory -the " cache" - interposed between the usual processor and main memory. At any given time the cache contains as much as possible the instructions and data the processor needs; as new information is needed it is brought from main memory to cache, displacing old information. The processor tends to operate with a memory of cache speed but with main memory cost-per-bit. This configuration has analogies with other systems employing memory hierarchies, such as "paging" or "virtual memory" systems. In contrast with these latter, a cache is managed by hardware algorithms, deals with smaller blocks of data (32 bytes, for example, rather than 4096), provides a smaller ratio of memory access times (5:1 rather than 1000: 1), and, because of the last factor, holds the processor idle while blocks of data are being transferred from main memory to cache rather than switching to another task. These are important differences, and may suffice to make the cache-based system cost effective in many situations where paging is not.     

组态软件内存实时数据库性能测试

介绍了内存实时数据库在工业控制DCS组态软件中的应用及其在数据采集过程中的重要性;针对组态软件内存实时数据库的特点,测试了在不同的数据组织形式、内存置换页面大小以及缓存大小下数据库的性能,通过测试,得出了不同的配置组合对内存实时数据库性能的影响,从而为下一步的研究工作打下了基础。