支持动态操作的多副本数据完整性验证方案

针对云存储环境下外包数据面临的安全隐患，并结合现有云数据完整性验证方案的不足，提出了支持动态操作的多副本数据完整性验证方案。方案考虑了多副本应用场景，并在现有云数据完整性验证方案的基础上以较小的代价实现了文件的多副本验证，并通过引入认证的数据结构—基于等级的Merkle哈希树，实现了文件的可验证动态更新。通过对多副本进行关联，可以实现多个副本的同步更新。安全性分析与实验表明了该方案的安全性与有效性，实现了数据的安全存储与更新，并有效保证了数据多副本的隐私安全。     

一种基于分布式环境的副本自动审视技术研究

分布式环境中副本的大量存在满足了系统安全性、可靠性、通信代价以及查询效率方面的要求,同时,副本的访问策略以及一致性维护一直也是困扰分布式数据库理论和实践的重要问题。文章在分析副本更新同步策略的基础上,提出了一种基于分布式环境的副本自动审视技术。详细阐述了该技术指导下的全局字典扩充方法,提出了基于松散一致性维护的同步更新算法和执行策略。该技术在很大程度上提升了现有DDBMS的功能,从而对分布式数据库技术的应用和推广产生了积极的作用。     

多副本分布式事务处理关键技术及典型数据库系统综述

数据复制是分布式数据库提高可用性的重要手段,通过在不同区域放置数据库的部分副本,还可以提高本地读写操作的响应速度,增加副本数量也会提升读负载的线性扩展能力.考虑到这些优良特性,近年来国内外都出现了众多多副本分布式数据库系统,包括Google Spanner、CockroachDB、TiDB、OceanBase等一系列主流的工业界系统,也出现了包括Calvin、Aria、Berkeley Anna等一系列优秀的学术界系统.然而,多副本数据库带来诸多收益的同时,也带来了一致性维护、跨节点事务、事务隔离等一系列挑战.总结分析现有的复制架构、一致性维护策略、跨节点事务并发控制等技术,对比几个代表性多副本数据库系统之间在分布式事务处理方面上的差异与共同点,并在阿里云环境下搭建跨区域的分布式集群环境,对几个代表性系统的分布式事务处理能力进行了实验测试分析.     

多副本动态更新数据无重复挖掘仿真

网络动态更新时,需要存储和传输大量数据,有时还会对网络更新数据重复复制,产生副本,浪费大量存储空间、减缓传输速度,产生网络拥堵、数据泄露等现象。针对这些问题提出一种多副本动态更新数据无重复挖掘。先依据网络数据特性构建多副本动态更新数据模型,再采用密文方法对更新数据做加密处理,并存储到网络服务器中,最后利用密文防御特性将该数据重复部分挖掘,并做解密处理,保证了网络服务器中的动态更新数据都是无重复的。实验结果表明,多副本动态更新数据无重复挖掘,可以有效避免数据泄露、传输速度慢、拥挤等问题,实现了多副本动态更新数据的无重复。     

分布式数据库知识

一、引言前二讲中,已向读者介绍了分布式数据库系统的基本概念和结构等方面的知识,本讲主要介绍分布式数据库的并发控制问题。分布式数据库的并发控制问题是分布式数据库设计和实现中的难题之一,它已越来越多地引起国内外许多人的重视,提出了许多解决这一问題的方法。首先,让我们看一下什么是数据库系统的并发控制。在一个数据库系统中,对数据库的查询与更新換     

基于多数法的分布式并发控制的实现及改善

对分布式事务采用多副本并发控制的多数法,实现了一个多层分布式数据库应用系统的模型设计;引入了协调对象并使用COM＋技术,在实现分布式事务执行无阻塞、数据正确恢复的前提下,对模型进行了改善,提高了数据库模型执行的效率。     

分布式数据库系统中多分割副本复制智能推断及控制研究

针对分布式数据库系统发展过程中多分割副本复制问题提出了单次传播复制策略、二次传播吞吐复制策略和并行二次传播吞吐复制策略;三种策略的基础思想是将多分割副本分解再还原复制,并吞吐转播;主要解决副本数据不重复传播问题、未修改数据不进行传播问题及并行链路中多分割副本复制问题。     

副本放置中的更新策略及算法

副本技术广泛应用于云计算及分布式系统中,合理的数据副本放置是降低网络运行成本的重要手段,也是副本技术的核心问题。副本更新是针对网络中数据访问请求的动态变化而进行的副本添加与删除。针对副本放置问题,提出了一种基于多访问策略的副本动态更新算法MPFSF(min_placement far servers first)。该算法在引入通信距离限制的同时,尽可能多地重用网络中已存在的副本,并根据需要实施必要的副本更新,最大使用每个副本的处理能力,以便降低数据访问的时延,提高数据访问效率。最后通过实验结果和分析证明,该算法在不同的通信距离限制下,网络的运行成本得到了明显的降低,对原有算法的改进最高可达84.6%。     

海量存储网络中的虚拟盘副本容错技术

大规模存储网络中的数据可用性和读写性能越来越重要．在海量存储虚拟化系统的基础上,实现了多副本虚拟盘技术来提高网络存储的数据容错能力．同时,通过多副本选择调度与异步副本更新以及副本盘空间布局的动态调整算法,提高了系统的数据读写能力．测试结果表明,加入虚拟盘副本后,在设备数量充足情况下的读性能可提高26％;即使少量磁盘失效,读写操作也能正确执行,且读性能仍然比无副本时提高10％以上．     

基于副本索引的P2P副本一致性维护策略

P2P中副本应用从静态逐渐转变到动态更新,研究如何管理动态改变数据的一致性问题成为关键。该文提出一种基于副本索引的无结构P2P副本一致性维护策略,在创建副本时将副本所在节点的索引发送至种子节点保存,同时自身保存种子节点的索引。当副本节点发生更新后,主动发送信息通知种子节点,种子节点根据副本索引表进行副本的一致性维护。仿真实验和分析表明,该副本一致性维护策略能有效地提高副本的一致性,减少冗余消息数目。     

分布式数据库并发控制方法研究

并发控制机制是数据库事务管理中重要的组成部分,是衡量一个数据库系统功能强弱和性能好坏的重要标志之一。分布式并发控制的目的是保证分布事务和分布式数据库的一致性,实现分布事务的可串行性,使事务具有良好的并发度以保证系统具有用户满意的效率。本文首先就分布式数据库并发事务的可串行化进行探讨并在此基础上提出分布式数据库并发控制的基本方法。     

分布式数据库并发控制方法研究

并发控制机制是数据库事务管理中重要的组成部分，是衡量一个数据库系统功能强弱和性能好坏的重要标志之一。分布式并发控制的目的是保证分布事务和分布式数据库的一致性，实现分布事务的可串行性，使事务具有良好的并发度以保证系统具有用户满意的效率。本文首先就分布式数据库并发事务的可串行化进行探讨并在此基础上提出分布式数据库并发控制的基本方法。     

Global scheduling for flexible transactions in heterogeneousdistributed database systems

A heterogeneous distributed database environment integrates a set of autonomous database systems to provide global database functions. A flexible transaction approach has been proposed for the heterogeneous distributed database environments. In such an environment, flexible transactions can increase the failure resilience of global transactions by allowing alternate (but in some sense equivalent) executions to be attempted when a local database system fails or some subtransactions of the global transaction abort. We study the impact of compensation, retry, and switching to alternative executions on global concurrency control for the execution of flexible transactions. We propose a new concurrency control criterion for the execution of flexible and local transactions, termed F-serializability, in the error-prone heterogeneous distributed database environments. We then present a scheduling protocol that ensures F-serializability on global schedules. We also demonstrate that this scheduler avoids unnecessary aborts and compensation     

Analyzing Concurrency Control Algorithms When User and System Operations Differ

Concurrency control algorithms for database systems are usually regarded as methods for synchronizing Read and Write operations. Such methods are judged to be correct if they only produce serializable executions. However, Reads and Writes are sometimes inaccurate models of the operations executed by a database system. In such cases, serializability does not capture all aspects of concurrency control executions. To capture these aspects, we describe a proof schema for analyzing concurrency control correctness. We illustrate the proof schema by presenting two new concurrency algorithms for distributed database systems.     

Efficient execution of read-only transactions in replicatedmultiversion databases

Multiple versions of data are used in database systems to increase concurrency. The higher concurrency results since read-only transactions can be executed without any concurrency control overhead and, therefore, read-only transactions do not interfere with the execution of update transactions. Availability of data in a distributed environment is improved by data replication. We propose a protocol for managing data in a replicated multiversion environment, where execution of read-only transactions or queries becomes completely independent of the underlying concurrency control and replica control mechanisms, and the data availability for read-only transactions increases significantly since they can be executed as long as any one copy of the object is available in the system. In order to validate the feasibility of our approach, we developed a simple prototype to measure the performance improvement in the response times of queries. The results clearly establish the viability of the approach as a useful paradigm for the design of efficient and fault-tolerant distributed database systems     

Experimental Study of Concurrency Control Algorithms in Main-memory Database Systems

The concurrency control algorithm is a key approach for a database system to guarantee the correctness and efficiency of the transaction execution. Thus, substantial effort has been devoted to proposing new concurrency control algorithms in both the database industry and academia. In this paper, we take the lead in summarizing the fundamental ideas of concurrency control algorithms as ``ordering-and-verifying''. We then redescribe and sort out the existing concurrency control algorithms following the ordering-and-verifying paradigm. On the basis of extensive comparative experiments on an open-source main-memory distributed transaction testbed called 3TS, we systematically investigate the advantages and disadvantages of the mainstream concurrency control algorithms and finally summarize the preferable application scenario for each algorithm to provide valuable references for follow-up research on concurrency control algorithms used in main-memory databases.     

内存数据库并发控制算法的实验研究

并发控制算法是数据库系统保证事务执行正确且高效的重要手段,一直是数据库工业界和学术界研究的核心问题之一.将并发控制算法的基本思想归纳为“先定序后检验”,并基于该思想对现有各类并发控制算法进行了重新描述和分类总结.基于在开源内存型分布式事务测试床3TS上的实际对比实验,系统性地探究了各类算法的优缺点和适用场景,为面向内存数据库的并发控制算法的后续研究提供参考.     

Real-time concurrency control in a multiprocessor environment

Although many high-performance computer systems are now multiprocessor-based, little work has been done in real-time concurrency control of transaction executions in a multiprocessor environment. Real-time concurrency control protocols designed for uniprocessor or distributed environments may not fit the needs of multiprocessor-based real-time database systems because of a lower concurrency degree of transaction executions and a larger number of priority inversions. This paper proposes the concept of a priority cap to bound the maximum number of priority inversions in multiprocessor-based real-time database systems to meet transaction deadlines. We also explore the concept of two-version data to increase the system concurrency level and to explore the abundant computing resources of multiprocessor computer systems. The capability of the proposed methodology is evaluated in a multiprocessor real-time database system under different workloads, database sizes and processor configurations. It is shown that the benefits of the priority cap in reducing the blocking time of urgent transactions are far greater than the losses involved in committing less urgent transactions. The idea of two-version data also greatly improves the system performance because of a much higher concurrency degree in the system     

分布式数据库系统

本文对分布式数据库系统进行了评价，着重讨论分布式数据库的设计，分布式查询处理以及分布式数据库的设计并发控制和恢复等有关问题。