一种高效的合作实时事务并行检验点算法

许多数据和活动上都有很强时间性的应用在地理上同时具有分布性,这种应用需求使得分布式实时数据库的研完成为数据库研究领域的热点。在实时事务执行时,事务故障或数据竞争会导致事务重启,为了减少因重启而损失的工作量,可以采用检验点技术以利于事务时间正确性的满足。在一些分布式实时数据库应用中,不同结点的事务通过消息交换形成合作关系,当某一事务记检验点时,为保证合作事务间的全局一致性,相关事务也要相应地记检验点。传统的协同检验点方法没有考虑应用的定时约束,不能很好地支持分布式实时事务处理。本文提出了一种高效的并行协同检验点方法,该算法既具有最小协同检验点特性又使全局检验点过程延时最小。实验表明该算法减少了全局检验点阻塞时间,有利于分布式实时事务截止期的满足。     

支持分布式合作实时事务处理的协同检验点方法

在实时事务执行时，事务故障或数据竞争会导致事务重启，为减少事务重启损失的工作量，可以采用检验点技术保证事务的时间正确性．在一类分布式实时数据库应用中，不同结点的事务通过消息交换形成合作关系，为保证合作事务间的全局一致性，当某一事务记检验点时，相关事务也要记检验点．传统协同检验点方法没有考虑应用的定时约束，不能很好地支持分布式合作实时事务处理．该文提出了一种基于图论的协同检验点方法，利用在每个计算结点上为每个合作事务集维护的局部有向图，使用一个基于图论的计算过程标识出应记检验点的事务，该方法既具有最小协同检验点特性，又使全局检验点的时延最小．实验表明该算法减少了全局检验点时延，有利于实时事务截止期的满足．     

实时内存数据库分区模糊检验点策略

检验点技术是实时内存数据库恢复的关键技术之一．在分析实时内存数据库数据特征基础上，给出了综合考虑数据和事务定时约束的数据检验点优先级计算方法．然后，结合内存数据库段式存储结构，讨论了一种基于数据段检验点优先级的分区模糊检验点策略PFCS—SCP．通过性能测试，表明所提出的检验点策略能减低超截止期事务比率．     

支持嵌入式实时内存数据库的检验点策略及重做起点确定策略

嵌入式环境下实时内存数据库系统发生故障时要求能快速恢复,检验点策略是实时内存数据库恢复的关键技术.本文基于一个自主开发的嵌入式实时内存数据库原型系统ART-I,提出一种支持该系统故障恢复的模糊检验点策略,并给出两种故障恢复时重做起点的确定策略.通过性能测试表明:所提出的检验点策略及重做起点的确定策略能提高实时事务满足截止期的比率,提高了整个系统的性能.     

同步协同设计中并发控制的研究

为解决协同设计过程中存在的数据一致性不高、数据传输量大、实时性差等问题,通过分析分布式CSCW环境中并发控制的各种方法,并根据同步协同设计特点和用户操作意愿,设计了并发控制网络模型.在该模型中,计算数据传输的最小延时确定主控站点,提出了基于事务优先权的混合并发控制策略,以保证协同用户在操作过程中的并发率.实例证明,以上措施的实现保证用户自由共享资源,提高了并发控制的实时性和数据的一致性.     

HybridTCache:一种基于专用事务Cache的软硬件协同事务内存系统

文中提出一种高效的软硬件协同事务内存系统HybridTCache.在通常情况下,事务完全由硬件执行,当事务大小超出了硬件限制时,操作系统将协同硬件执行.HybridTCache提出了一种新的专用事务Cache,称为TCache,缓存事务执行过程中的临时数据,由操作系统协同管理TCache溢出.文中给出了基于GEMS模拟器的HybridTCache原型系统.系统的评测显示HybridTCache比传统系统在性能、可扩展性、设计复杂度方面有较好的改进.     

一种时序数据的离群数据挖掘新方法及其应用

在许多数据挖掘应用中,例外情况或者离群点的监测比常规知识的发现更有意义。文章在自回归AR(p)模型和统计诊断的基础上,建立了一种时序数据的离群点检测模型。并将该模型的应用于海表水温的预测,建立海表水温的时间序列预测模型,动态地掌握海洋的变化规律,并且利用该模型可以得到海表水温的异常之处,从而为厄尔尼诺年的预测提供了良好的方法。实验结果表明AR模型及相应的score检验可以较好地用于时序数据的离群数据挖掘问题。     

基于MVCC的嵌套事务研究与实现

探讨了用保存点模拟嵌套事务的思想,给出了基于多版本并发控制技术的保存点实现方法,并在PostgreSQL系统上,通过改进其日志管理器、内存管理器和版本选择算法,成功地实现了嵌套事务。     

时间序列异常点及突变点的检测算法

针对传统突变点检测算法具有大延时的问题以及实际数据中同时含有突变点、异常点的实际情况,提出一种基于小波变换有效分数向量的异常点、突变点检测算法.该方法通过引入有效分数向量作为检测统计量,有效避免了传统检测统计量随着数据增多而无限增大的缺点;提出利用小波分析统计量的办法,有效地克服了传统突变点检测算法中存在大延时的缺陷;利用李氏指数及小波变换的关系,实现了在一个检测框架内同时在线检测异常点以及突变点,使得该检测算法更符合突变点及异常点同时存在的实际情况.仿真实验和性能比较结果证明了提出的异常点、突变点检测算法具有一定的有效性和实用性.     

柔性协同事务模型

提出了一个 CSCW领域中的高级事务处理模型—柔性协同事务模型 FCTM(flexible cooperativetransaction model) .首先给出了协同事务的定义 ,并描述了协同事务的状态 ,然后从协同事务的状态角度刻画协同事务之间、协同事务与外部环境之间的复杂依赖关系 ,最后用协同事务的状态依赖描述了可串行化正确性准则 .FCTM的优点在于用户能够根据不同的 CSCW应用领域的需求 ,灵活地定义协同事务的状态和状态依赖.     

面向更新密集型应用的内存数据库高效检查点技术

面向更新密集型应用的内存数据库系统,其检查点技术应符合几个关键的要求,包括检查点操作对正常事务处理的干扰尽可能小、能够处理存取倾斜状况、支持数据库系统的快速恢复、提供恢复过程中的系统可用性等.该文提出一种事务一致的分区检查点技术,采用基于元组的动态多版本并发控制机制,避免了读写事务的加锁冲突,提高系统吞吐能力;检查点操作以只读事务形式实现,存多版本并发控制下,避免检查点操作对正常事务处理的堵塞;由于检查点文件是事务一致的,只需要记录事务的Redo 日志信息,在系统恢复过程中,只需要对日志文件进行一遍扫描处理,加快恢复过程;基于优先级的数据分区装载和恢复,使得恢复过程中新事务的数据存取请求迅速得到满足,保证了恢复过程中的系统可用性.由于采用两级版本管理机制以及动态版本共享技术,多版本管理的空间开销降低到可以接受的水平.实验结果表明,文中提出的检查点技术方案获得比模糊检查点技术高27%的系统吞吐量,同时版本管理的空间开销在可接受的范围之内,满足高性能应用的要求.     

A Low-Cost Checkpointing Technique for Distributed Databases

For distributed databases, checkpointing is used to ensure an efficient way to perform global reconstruction. However, the need for global reconstruction is infrequent. Most current checkpointing approaches for distributed databases are too expensive during run time. Some of them allow the checkpointing process to run in parallel with normal transactions at the cost of more data and resource contention, which in turn causes longer response time for normal transactions. Thus, an efficient way to checkpoint distributed databases is needed to avoid degrading the system performance. This paper presents a low-cost solution, called Loosely Synchronized Local Fuzzy Checkpointing (LSLFC), to these problems. LSLFC supports global reconstruction, and our performance study shows that LSLFC has little overhead during run time.     

Adaptive checkpointing in message passing distributed systems

Determining consistent global checkpoints is common to many distributed problems such as fault-tolerance, distributed debugging, properties detection, etc. Uncoordinated and coordinated checkpointing algorithms have been traditionally used for such determinations. This paper addresses a third technique, namely adaptive checkpointing, that has recently emerged. This technique assumes processes take local checkpoints independently and requires them to take additional local checkpoints in order that all local checkpoints be members of some consistent global checkpoint. We first study the characteristics of such adaptive algorithms. Then, a general adaptive checkpointing algorithm is designed from a condition, first stated by Netzer and Xu, that answers the following question: ‘does a given local checkpoint belong to a consistent global checkpoint’' (such a local checkpoint is not useless). The resulting algorithm has the nice property to reduce the number of additional local checkpoints taken to ensure the property ‘no local checkpoint is useless’. Futhermore, it provides each local checkpoint with a consistent global checkpoint to which it belongs. Compared to uncoordinated and coordinated checkpointing algorithms, this algorithm combines the advantages of both without inheriting their drawbacks.     

可扩展的多周期检查点设置

提出了一种多周期检查点设置方法.它允许各个进程采用不同周期进行检查点设置.为了保证一致全局检查点的向前推进,检查点周期可以根据一个P模式进行调整.在所提出的方法中,进程可以进行组划分处理,从而用于检查点周期调整的依赖跟踪可被限定在组内,同时也将使基于时间的多周期检查点设置具有较好的可扩展性.     

An implementation of using remote memory to checkpoint processes

Process checkpointing is a procedure which periodically saves the process states into stable storage. Most checkpointing facilities select hard disks for archiving. However, the disk seek time is limited by the speed of the read‐write heads, thus checkpointing process into a local disk requires extensive disk bandwidth. In this paper, we propose an approach that exploits the memory on idle workstations as a faster storage for checkpointing. In our scheme, autonomous machines which submit jobs to the computation server offer their physical memory to the server for job checkpointing. Eight applications are used to measure the remote memory performance in four checkpointing policies. Experimental results show that remote memory reduces at least 34.5 per cent of the overhead for sequential checkpointing and 32.1 per cent for incremental checkpointing. Additionally, to checkpoint a running process into a remote memory requires only 60 per cent of the local disk checkpoint latency time. Copyright © 1999 John Wiley & Sons, Ltd.     

基于Lustre文件系统的MPI检查点系统实现技术与性能测试

基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点：1）协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2）采用Lustre文件系统简化检查点映像文件管理的复杂性;3）通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性.     

减少检查点开销的一种方法

设置检查点（ｃｈｅｃｋｐｏｉｎｔｉｎｇ）是容错计算机系统进行故障恢复的重要手段。设置检查点的开销则是影响其性能的一个主要因素。文章提出了一种预先保存部分检查点数据的新方法。该方法不仅能够有效地减少检查点开销,而且具有比较短的检查点延迟。     

A Survey of Distributed Database Checkpointing

Checkpointing a database is a vital technique to reduce the recovery time in the presence of a failure. For distributed databases, checkpointing also provides an efficient way to perform global reconstruction. In this paper, we survey and classify previous approaches for checkpointing a distributed database. Since the need for global reconstruction is infrequent in most distributed databases, a less restrictive and less resource-consuming approach to checkpoint distributed databases in an integrated distributed database system is recommended over a transaction consistent checkpoint approach. For a federated or multidatabase system, any type of global consistent checkpoint is difficult to achieve without violating local autonomy.