发布/订阅系统中的缓存副本一致性研究

针对发布/订阅系统中缓存副本一致性维护问题,首先,对原有基于谣言的一致性维护算法进行改进,提出一种基于轨迹标签的谣言一致性维护算法。该算法通过在更新消息报文中添加节点轨迹信息,避免向已更新节点发送冗余更新消息。其次,为提高系统消息传播的可靠性,设计一种基于轨迹标签的层次化反馈恢复机制,结合发布/订阅系统推拉传输模式,减少反馈消息数目,避免反馈爆炸。模拟实验结果证明,改进的一致性维护算法降低了一致性维护消息开销和时间开销,提高了系统的可靠性和可扩展性。     

基于模式识别的分布式存储信息一致性控制

为降低主副本数据更新延时、减少存储开销大的问题,解决分布式存储信息出现不一致的情况,提出基于模式识别的分布式存储信息一致性控制方法.通过组建中心控制端、传输控制端以及移动端构成分布式信息存储机制,了解其具有主副本数据延时更新的问题;将数据全相关一致性更新技术与模式识别法相结合,选取最优特征子集,将添加、修改、删除三种操作下形成的数据集定义为结构序列,以状态向量的记录作为数据一致性主要参考,分析对比两个节点数据库的状态向量,完成分布式存储信息一致性控制.通过仿真表明,所提方法可以实时更新主副本数据,节省存储开销.     

一种解决更新相关的更新冲突协商算法

针对数据一致性维护过程中存在的更新相关问题,本文提出一种更新冲突协商算法,利用Bloom Filter压缩技术表示更新,通过结点间的分工协作发现和解决更新相关冲突,并实现副本最终一致。模拟测试结果表明,该方法在一致性维护开销方面具有较好的性能。     

P2P存储系统副本一致性维护策略

副本策略是提高P2P存储系统的可扩展性、容错性、可用性的有效手段。随着新的应用发展,P2P中副本应用从只读静态文件共享转变为读写动态文件交互,副本的一致性维护变得越来越重要。提出一种副本信息传播树的维护策略,该策略把文件副本的相关信息保存在二叉树上,通过订阅和取消订阅算法维护副本的一致。实验证明该策略能有效减少维护开销,避免相关问题的出现。     

基于P2P网络环境下的副本一致性维护算法

目前副本策略已经被广泛地应用于提高P2P系统的性能和可扩展性.随着越来越多的业务的发展,需要文件更新频繁以及网络的高度动态性,使得副本的一致性维护亦变得越来越重要.针对这个问题,研究在高度动态的网络环境下,将结点离线率和副本点与非副本之间的转换概率作为依据,构建维护责任点分担owner责任.并用分层式混合推拉式谣言机制传递更新信息,减少冗余信息.实验证明,新算法在更新过程中能维持高的更新成功率和较低的流量开销,更适应动态网络的扩展.     

云环境下元数据弹性分级一致性保障机制研究 *

云存储环境下,元数据提供数据定位与资源描述服务,云存储系统利用副本技术保障元数据的可用性。为了解决元数据的动态更新导致的元数据副本的不一致,本文从云存储系统中不同元数据对一致性强度需求的差异性出发,提出了基于元数据弹性分级的一致性保障机制。根据元数据访问频率以及更新属性敏感度对元数据更新弹性分级,结合基于读优化的Quorum算法实现元数据更新的分级一致性保障。实验证明该机制可以有效权衡元数据副本可用性、一致性和系统开销,相比单一的一致性策略更为灵活。     

基于环境一致性的分布式并行数据更新协议

为了保证服务器节点完全对等的分布式并行数据库系统更新结果一致性,提出基于数据环境一致性的分布式并行更新协议DEC-DP2PC(Distributed and Parallel 2PC Based on Data-Environment-Consistency),对经典2PC(two phase commit)在执行条件、表决内容和次数、全局提交和撤销定义等方面进行了针对性改进。性能分析和测试表明,DEC-DP2PC可有效过滤数据副本分布和版本号等数据环境信息不一致情况下事务的执行,减少全局数据环境一致性维护开销和降低系统平均响应时间。     

面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一，多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突，但是限制了系统的可用性、连通性以及副本数量；弱一致性确保副本的最终一致，提高了系统的容错能力。本文从已有的一致性维护方法出发，结合海量数据的特点，对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析，提出了相应的解决方法。     

结构化P2P系统中副本一致性管理的一种新算法

结构化P2P系统通常使用数据复制来提高数据可用性,但P2P环境中的节点搅动、多节点并发更新以及恶意节点的存在也为副本的一致性管理带来了新的挑战.基于协商的算法要求节点间以全交换的方式通讯,在P2P环境中其可伸缩性不够理想.本文针对结构化P2P系统提出一种基于Quorum的副本管理算法:使用混合失效模型降低容错开销,利用DHT服务处理节点搅动,将数据存储与其元信息管理分离,使数据可靠性和数据可用性得以独立调整.模拟实验表明该算法可以明显改善系统的可伸缩性,减少系统的容错开销.     

一种基于有限编码的多副本分簇管理方法

针对大量数据副本所带来的资源管理问题,提出一种基于有限编码的多副本分簇管理方法.在该方法中,根据单副本复制产生新副本的过程对副本分级和分簇,通过定义"副本级别+副本顺序"的编码规则对划分后的副本进行编码和组织,并依据编码规则对由于副本的动态调整(增加或撤消)而引起的簇的动态变化进行有效管理.通过该方法,在大量副本之间建立局域集中、广域对等的管理模式,再结合定义的"最小更新传播时间"可以降低大量副本的一致性维护开销.讨论了方法中编码规则与副本规模之间的关系,以及副本失效和恢复时的解决方法.性能测试结果表明,该方法能够有效组织大规模的数据副本,具有较好的可扩展性,对适度的结点失效不敏感,适合更新频繁的应用.     

远程复制系统数据一致性研究与实现

针对远程数据复制容灾系统中的数据一致性问题,提出了保证数据一致性和视图一致性并优化系统性能的实现思想,即使用日志卷记录用户请求顺序,通过保持主、从两端数据卷上数据块的更新顺序来保证数据一致性,对于不同的数据类型采用不同的传输方法。论述了它的组织结构、实现流程以及关键技术。     

数据复制系统的主端IO策略研究

在数据复制系统中,主端IO策略必须在保证主端数据视图一致性和从端数据一致性的同时,提高主端请求响应速度。针对已有的主端IO策略中存在的各种缺陷,设计并实现了并行IO策略。在该策略中制定了五条规则,通过按照请求提交的顺序来返回请求成功及更新日志控制信息,保证了主端数据视图一致性和从端数据一致性的要求,同时它对请求进行了并行处理,大大提高了主端IO效率。     

公共数据安全访问模型CDSA

本文提出了一个能够保持数据访问一致性的模型CDSA,给出了本机进程间、远程进程间安全访问公用数据的方法。     

Consistency Algorithms for Multi-Source Warehouse View Maintenance

A warehouse is a data repository containing integrated information for efficient querying and analysis. Maintaining the consistency of warehouse data is challenging, especially if the data sources are autonomous and views of the data at the warehouse span multiple sources. Transactions containing multiple updates at one or more sources, e.g., batch updates, complicate the consistency problem. In this paper we identify and discuss three fundamental transaction processing scenarios for data warehousing. We define four levels of consistency for warehouse data and present a new family of algorithms, the Strobe family, that maintain consistency as the warehouse is updated, under the various warehousing scenarios. All of the algorithms are incremental and can handle a continuous and overlapping stream of updates from the sources. Our implementation shows that the algorithms are practical and realistic choices for a wide variety of update scenarios.     

一种网络备份系统的数据一致性检测方法*

为了消除原始数据持续变化对数据一致性检测带来的影响,设计并实现了一种基于Windows操作系统的网络备份系统数据一致性检测方法。本方法在一致性检测过程中使用实时的Windows卷影拷贝数据来替代原始的动态变化数据执行与备份数据的一致性检测。通过实验结果证明,本方法的检测结果和使用原始数据与备份数据进行检测的结果一致。     

嵌入式Linux导航电子地图数据的组织及应用

为满足嵌入式系统中电子地图显示、导航的需要,研究了电子地图的数据组织与存储,提出采用地理数据分块实现数据的存储,并针对地理数据的存储方法所造成的数据不连贯性,研究了数据断点的处理方法。试验结果表明,研究的数据动态组织方法大大提高了地图显示的速度及数据连贯性。     

Linux平台远程逻辑卷复制系统的设计

提出了一种Linux平台上远程逻辑卷复制系统的设计方案,论述了它的系统结构及实现方法。该系统不依赖于特殊的存储设备或网络,在复制过程中通过保持主、从两端逻辑卷上数据块的更新顺序来保证数据一致性。系统支持同步和异步两种复制模式,可以适合不同的应用环境,为实现通用、经济的远程数据容灾系统提供了可能。     

数据复制与一致性

数据复制是分布式数据库和数据仓库中常用的方法,以提高数据的可用性和系统的性能。文中介绍了在数据库系统中广泛使用的数据复制方法,分析了其优缺点和适用的范围,重点讨论了异步复制方法中的一致性恢复、一致性偏离的度量和数据存取的限制等问题,给出了数据复制策略的评价目标。     

Maximum Consistency of Incomplete Data via Non-Invasive Imputation

We present an algorithm to impute missingvalues from given dataalone, and analyse its performance. Theproposed procedure is based onnon-numeric rule based data analysis, and aimsto maximise consistency of imputation from known values. Incontrast to the prevailingstatistical imputation algorithms, it does notmake representationalassumptions or presupposes other modelconstraints. Therefore, it is suitablefor a wide variety of data – sets, and can beused as a pre-processing step beforeresorting to harder numerical methods.