DRCSM:一种新的非集中副本一致性服务模型

为解决现有副本更新策略的瓶颈问题,提出一种基于时间戳和副本标识的非集中副本更新一致性模型DRCSM,该模型将更新的功能转移到各个次副本节点,可以有效地解决单一的从主副本节点更新带来的弊端.对新的模型DRCSM做了框架设计和过程设计,并加以比较分析.用仿真软件Optorsim实现了DRCSM和现有两种副本一致性模型Aggressive copy,Lazycopy.仿真结果也表明,DRCSM能有效地减少平均作业执行时间以及网络负载,并在复制的次数上优于积极拷贝,具有整体更优的性能.     

一种自适应的分布式副本定位方法

提出了一种在数据网格环境下的自适应的分布式副本定位方法SADRL．该方法利用索引结点和本地副本定位结点实现对同一个数据文件的多个副本的快速定位；将副本定位索引信息平均分布在多个索引结点上，并且能够自适应索引结点的动态加入或退出：同时利用本地副本定位节点完成本地副本的查询定位。理论分析和实验表明，SADRL能够快速由逻辑文件名定位其索引结点。具有负载均衡、可扩展和高效的特点。     

分布式数据库系统中多分割副本复制智能推断及控制研究

针对分布式数据库系统发展过程中多分割副本复制问题提出了单次传播复制策略、二次传播吞吐复制策略和并行二次传播吞吐复制策略;三种策略的基础思想是将多分割副本分解再还原复制,并吞吐转播;主要解决副本数据不重复传播问题、未修改数据不进行传播问题及并行链路中多分割副本复制问题。     

基于副本索引的P2P副本一致性维护策略

P2P中副本应用从静态逐渐转变到动态更新,研究如何管理动态改变数据的一致性问题成为关键。该文提出一种基于副本索引的无结构P2P副本一致性维护策略,在创建副本时将副本所在节点的索引发送至种子节点保存,同时自身保存种子节点的索引。当副本节点发生更新后,主动发送信息通知种子节点,种子节点根据副本索引表进行副本的一致性维护。仿真实验和分析表明,该副本一致性维护策略能有效地提高副本的一致性,减少冗余消息数目。     

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

网格中基于访问频率的数据复制管理策略

网格中涉及到大量数据文件的复制和传输，数据的有效复制可以节省带宽、减少时延、均衡负载、改善系统可靠性。文中提出的采用基于访问频率的复制管理技术可以使用户有效地获得所需的数据，并采用一种改进的Fast Upload方法来更新文件的副本，减少了复制和更新所用的时间，提高系统的效率。     

一种新的分布式并行索引树——DPB^＋-Tree

随着数据规模的增大,查询越来越复杂,分布式并行索引以其高性能而逐渐成为解决复杂查询问题的有效手段。本文提出一种适合于分布式并行的新索引树结构——DPB~ -Tree,该索引树以B~ 树和 hash结构为基础,其叶子结点被组织为有n个散列表元的hash表链,从树的根结点到叶子结点,结点副本数量逐渐减少,并且其数量的变化是动态的。对DPB~ -Tree响应时间的仿真结果表明 DPB~ -Tree系统提高了系统的查询效率,与其它相关策略,如CPB方法比较具有较明显优势。     

对等网络中一种优化的副本分布方法

数据复制技术是一种提高P2P系统中数据可靠性和可用性的常用策略.现有复制方法大多只考虑副本数量,副本数量越多就越能提高资源访问效率,但采用这样的数据复制方法将会带来高昂的副本一致性维护代价.为平衡副本一致性维护的开销和多副本带来的访问性能提升之间的关系,该文提出了动态副本分布方法.文中首先给出了副本目录的设计和副本信息的获取方法,能够获得某一逻辑资源的所有副本信息.然后,根据逻辑资源的全局副本信息,对访问频率高且平均响应时间长的数据资源进行复制,并给出副本数量的计算方法.最后,根据用户访问特征和节点实时带宽等信息计算放置副本的最佳地点,使副本分布能够适应数据访问请求和网络带宽的动态变化.模拟实验结果显示,该方法能够实现全局优化的副本分布,以少量数据副本提升资源访问的性能.     

网格中基于访问频率的数据复制管理策略

网格中涉及到大量数据文件的复制和传输,数据的有效复制可以节省带宽、减少时延、均衡负载、改善系统可靠性。文中提出的采用基于访问频率的复制管理技术可以使用户有效地获得所需的数据,并采用一种改进的Fast Upload方法来更新文件的副本,减少了复制和更新所用的时间,提高系统的效率。     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

QoS-aware,access-efficient,and storage-efficient replica placement in grid environments

In this paper, we study the quality-of-service (QoS)-aware replica placement problem in grid environments. Although there has been much work on the replica placement problem in parallel and distributed systems, most of them concern average system performance and have not addressed the important issue of quality of service requirement. In the very few existing work that takes QoS into consideration, a simplified replication model is assumed; therefore, their solution may not be applicable to real systems. In this paper, we propose a more realistic model for replica placement, which consider storage cost, update cost, and access cost of data replication, and also assumes that the capacity of each replica server is bounded. The QoS-aware replica placement is NP-complete even in the simple model. We propose two heuristic algorithms, called greedy remove and greedy add to approximate the optimal solution. Our extensive experiment results demonstrate that both greedy remove and greedy add find a near-optimal solution effectively and efficiently. Our algorithms can also adapt to various parallel and distributed environments.     

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。     

数据网格中一种基于滑动窗口的副本创建和替换策略

数据网格中,数据副本技术提高了数据的访问速度,减少了带宽的消耗.副本创建策略是数据副本研究中的重要问题之一.提出了在P2P网络环境下,一种基于滑动窗口技术的副本创建和替换策略.使用传输时间比作为副本创建和替换的依据.分析和模拟显示,该方法能在控制访问空间的同时,获得良好的性能.     

学习索引:现状与研究展望

索引是数据库系统中用于提升数据存取性能的主要技术之一.在大数据时代，随着数据量的不断增长，传统索引（如B+树）的问题日益突出：（1）空间代价过高.例如，B+树索引需要借助O（n）规模的额外空间来索引原始的数据，这对于大数据环境而言是难以容忍的.（2）每次查询需要多次的间接搜索.例如，B+树中的每次查询都需要访问从树根到叶节点路径上的所有节点，这使得B+树的查找性能受限于数据规模.自2018年来，人工智能与数据库领域的结合催生了“学习索引”这一新的研究方向.学习索引利用机器学习技术学习数据分布和查询负载特征，并用基于数据分布拟合函数的直接式查找代替传统的间接式索引查找，从而降低索引的空间代价并提升查询性能.首先对学习索引技术的现有工作进行了系统梳理和分类;然后，介绍了各种学习索引技术的研究动机与关键技术，对比分析了各种索引结构的优劣;最后，对学习索引的未来研究方向进行了展望.     

多核处理器中支持频繁访问的B+-Tree

针对传统B+-Tree自顶向下访问模式的缺点,提出了支持频繁访问的FAB+-Tree（Frequent Access B+-Tree）。在B+-Tree的基础上增加了Hash辅助索引,使得访问B+-Tree时直接定位到叶结点,并利用基于内存的直接访问表及位矢量列表提高更新性能。同时基于共享Cache多核处理器,提出了基于流水线的FAB+-Tree多线程访问模块,并优化了该模块的共享Cache访问性能。在实验中,基于开源数据库INGRES实现了FAB+-Tree和多线程访问模块,实验结果表明B+-Tree的访问性能得到显著提高。     

基于区域性分割索引节点的分布式副本定位方法

提出了一种在数据网格环境下的基于区域性分割索引节点的分布式副本定位方法。利用将副本定位索引信息按着区域特点或访问的频繁程度分布存储在多个索引节点上,同时利用本地副本定位节点完成本地副本的查询。此方法实现简单且具有区域特性。     

An optimized strategy for update path selection in unstructured P2P networks

With the growth of P2P file sharing systems, people are no longer satisfied with the sharing of the read-only and static files, and thus the systems with mutually writable and dynamic files have emerged, resulting in the replica inconsistency problem. To maintain the replica consistency, too many update messages need to be redundantly propagated due to the lack of the sharing of globally updated path information in the existing strategies. To address this problem, we propose an optimized strategy for update path selection, which makes the nodes share the update path information by using clone, variation and crossover operations for the update paths. We also present a repeated update strategy to cope with the churn problem so as to maintain replica consistency as far as possible even if some nodes temporarily leave the network. The simulation results show that our strategy can significantly reduce the number of the redundant update messages without lowering the message coverage, thus improving the availability of the unstructured P2P networks.     

网格环境下的数据副本一致性维护解决方案

副本技术是网格中提高数据访问和处理效率的关键技术。针对目前副本管理存在的局限性和亟待解决的一致性维护关键问题,以Globus提供的副本技术为基础,从副本创建与更新的角度出发,采用日志管理思想,提出了一种副本创建与一致性维护相结合的解决方案。     

Dynamic replica placement and selection strategies in data grids— A comprehensive survey

Data replication techniques are used in data grid to reduce makespan, storage consumption, access latency and network bandwidth. Data replication enhances data availability and thereby increases the system reliability. There are two steps involved in data replication, namely, replica placement and replica selection. Replica placement involves identifying the best possible node to duplicate data based on network latency and user request. Replica selection involves selecting the best replica location to access the data for job execution in the data grid. Various replica placement and selection algorithms are available in the literature. These algorithms measure and analyze different parameters such as bandwidth consumption, access cost, scalability, execution time, storage consumption and makespan. In this paper, various replica placement and selection strategies along with their merits and demerits are discussed. This paper also analyses the performance of various strategies with respect to the parameters mentioned above. In particular, this paper focuses on the dynamic replica placement and selection strategies in the data grid environment.     

云存储副本优化选择策略

为了提高云计算环境中系统的整体数据调度效率,对云存储系统中的副本选择问题进行研究,提出一种基于蚁群觅食原理的云存储副本优化选择策略。该策略利用蚁群算法在解决优化问题上的优势,将自然环境中蚁群的觅食过程与云存储中的副本选择过程相结合;再充分应用信息素的动态变化规律以及高斯概率分布特性优化副本的选择方式,得出一组副本资源的最优解,从而为数据请求响应合适的副本。在OptorSim仿真平台上对该算法进行实现,实验结果表明该算法具有不错的表现,如在平均作业用时这一性能指标上相比原始蚁群算法提升了18.7%,从而在一定程度上减少了副本选择过程的时间消耗,降低了网络负载。