分布式数据缓存技术研究

缓存技术在系统中的应用越来越广泛.主要对数据缓存进行研究,着重研究了分布式模式下的数据缓存技术.将数据缓存技术应用到社区平台的开发中,增加分布式解决方案.实验证明,分布式数据缓存技术能优化系统性能,提升数据访问效率.     

基于分布式数据缓存技术的Web-OLAP系统研究

为了解决在分布式环境下,Web-OLAP系统并发访问量急剧增加导致OLAP服务器负担过重的问题,提出一种基于分布式数据缓存技术的Web-OLAP系统。给出了该系统的总体框架和分布式缓存数据的表示,并设计了分布式缓存数据的管理算法。具体的应用实例表明,该方法可以有效地提高分布式环境下Web-OLAP系统的访问效率,较大缩短系统的响应时间。     

一种P2P环境下分布式文件存储系统的缓存策略

在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。     

云计算环境下分布式缓存技术的现状与挑战

作为云平台提升应用性能的一种重要手段,分布式缓存技术近年来受到了工业界和学术界的广泛关注.从云计算与分布式缓存技术的结合入手,分析介绍了分布式缓存的特性、典型应用场景、发展阶段、相关标准规范以及推动缓存技术发展的若干关键要素.为系统地了解分布式缓存技术的现状和不足,建立了一个云环境下分布式缓存技术的分析框架--DctAF.该框架从分析云计算的特点和缓存技术的边界出发,涵盖6个分析维度.基于DctAF框架,对当前缓存技术进行总结和分析,并对典型系统进行比较.在此基础上,深入阐述了云环境下分布式缓存系统面临的挑战;围绕上述挑战,分析和比较了已有的研究工作.     

对象存储中基于高斯分布的分层缓存淘汰算法

在分布式存储系统中,引入分层缓存技术是优化系统读写的重要方法。目前分层缓存技术多使用LRU及其改进算法管理缓存空间,该方式虽然一定程度上改善了缓存性能,但有限的缓存命中率也使其成为性能瓶颈。针对此问题,本文研究聚焦于分布式对象存储在云计算场景下的应用特点,设计了一种基于高斯分布的淘汰算法。算法基于高斯分布的形态特征设计淘汰规则,规避了LRU及其改进算法采用频率估计概率的误差影响。通过仿真实验结果表明,在用户访问符合高斯分布时,本文提出的基于高斯分布的分层缓存淘汰算法能有效提高缓存命中率。     

基于Storm的连续范围查询优化技术

移动大数据环境下,传统基于位置服务LBS技术面临来自系统扩展性、性能等方面的挑战。首先针对LBS应用的特点,提出了基于Storm的查询框架。然后结合基于Storm的LBS查询框架,设计并实现了并行连续范围查询算法,优化查询性能。针对分布式环境中的一致性问题,设计使用基于ZooKeeper的分布式锁服务,保证查询结果的正确性。进一步,针对基于Storm并行连续范围查询算法中存在访问数据库开销较大的问题,提出了基于TimeCacheMap的缓存优化算法及两种缓存策略,减少了访问数据库的开销,提高了查询效率。     

一种纯分布式P2P协作缓存PWCache

针对目前纯分布式点对点(P2P)协作缓存没有结合用户访问Web特性的问题,提出一种纯分布式协作缓存——PWCache。在PWCache中,其下层路由机制使用SA-Chord,上层缓存定位机制使用基于URL划分的缓存定位机制,既能克服节点之间的差异性带来的性能问题,又能利用用户访问Web的特性。实验结果表明,相对于其他基于P2P的协作缓存机制,PWCache具有更好的查询性能。     

一种应用于分布式缓存系统中的缓存部署算法

缓存技术能有效的节省网络带宽,减少用户的访问延迟.在分布式缓存系统中,一个值得研究的问题是如何根据用户的请求动态的进行缓存部署,使得系统的收益最大.描述了缓存部署问题并建立了优化模型,在此基础上提出一种新的协作缓存部署算法,该算法利用对象的热度、网络距离,以及系统中各节点接收的请求和系统缓存分布信息,依次对请求路径上的节点进行缓存部署决策,同时该算法将计算分布到请求路径的各个节点上进行.仿真结果表明,该算法具有比LRU和Graph算法更高的缓存命中率和更低的访问延迟.     

一种新型分布式代理缓存系统—双层集群缓存

为了提高代理系统的整体性能,基于内部网络用户访问时间的局部性和相似性,并结合现有的分布式缓存系统,本文提出了一种新型的分布式代理缓存系统——双层缓存集群.双层缓存集群系统分为网内集群缓存层和代理集群缓存层,采用双层代理缓存结构,充分利用现有内部网络资源,分散了代理的负担.降低了代理之间的通信开销,还增强了缓存资源的利用率,提高了用户请求命中率,降低了代理系统的整体资源消耗.     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.     

无污染Cache访问控制技术

制造工艺的快速进步给集成电路设计提供了广阔的空间,而发展较慢的设计能力导致难以对片上资源高效利用。目前,高性能处理器片上Cache普遍占到芯片总面积的一半以上,而如何高效、智能地利用片上Cache空间,构建高性能存储系统是处理器微体系结构研究的重要内容。分析了Cache数据污染和猜测执行对处理器性能的影响,并在此基础上提出一种基于数据Tag有效位分裂的无污染Cache访问控制技术-Pease,将原先D-Cache Tag中的一位数据有效位扩展为读数据有效位（RVB）和写数据有效位（WVB）两位,根据RVB和WVB值的不同组合对数据读写访问进行控制。不但充分保留了猜测执行的数据预取性,使污染数据透明化,写入数据时无需对污染数据进行替换操作,消除了污染数据对Cache效率的影响。Pease技术相对于baseline结构来说,IPC的提升幅度为1.05%~8.40%,平均提升4.04%;L1 D-Cache缺失率降低幅度为19.05%~48.16%,平均降低29.66%。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

分布访问环境中的数据缓存体系研究

本文讨论了一种分布信息访问环境下提高数据利用率和减少通信流量的分布缓存体系。通过引入缓存节点,该缓存体系能缓存集成多数据源的信息,并能使多个用户相互重用数据缓存,提高缓存的命中率。该缓存体系采用了多种方法,很好地解决了单数据源和集成多数据源的数据缓存一致性问题。     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

Replication algorithms in a remote caching architecture

Studies the cache performance in a remote caching architecture. The authors develop a set of distributed object replication policies that are designed to implement different optimization goals. Each site is responsible for local cache decisions, and modifies cache contents in response to decisions made by other sites. The authors use the optimal and greedy policies as upper and lower bounds, respectively, for performance in this environment. Critical system parameters are identified, and their effect on system performance studied. Performance of the distributed algorithms is found to be close to optimal, while that of the greedy algorithms is far from optimal     

集群协作缓存机制研究

计算机集群中的节点使用内存一般不均衡,往往有些节点使用太多内存,而其他节点又有较多的空闲内存.为了改进集群操作系统,将集群节点的内存作全局分布的资源使用,我们首先提出一个内存互操作高速缓存方案:通过使用集群范围内的内存作文件高速缓存,从其他节点的高速缓存中读文件,可以避免很多低速的磁盘访问,改进集群文件系统的总体吞吐量.然后利用我们提出的缓存页面代替策略GCAR来支持这种内存互操作的高速缓存方案.该算法与CAR相比,对缓存中被"经常"使用的页面的管理粒度更细,更适合集群协作缓存的计算环境.实验结果表明,GCAR对本地缓存的命中率比CAR略好,在集群协作缓存下能取得更好的缓存命中率.     

基于分布式缓存的消息中间件存储模型

消息中间件的存储模型对中间件性能影响极大。基于此,分析消息中间件的多种存储模型原理,并通过性能测试对各种存储模型进行比对分析。分布式缓存在读写速度和扩展性上较传统存储方式有较大优势。在传统存储模型的基础上,提出一种基于分布式缓存的消息中间件存储模型。实现基于该模型的原型系统,并通过性能测试数据证明该模型的可行性。     

SonD系统中虚拟存储设备共享Cache方法的设计

蓝鲸服务点播系统(SonD系统)是一个基于网络存储的新型计算环境，为大规模计算环境中计算机的部署和管理提供了有效手段。SonD系统中虚拟存储设备共享cache方法，在文件一级实现了对SonD系统中虚拟存储设备间物理共享数据在内存中cache的共享，有效地避免了共享cache后带来的数据的一致性问题。实验数据表明，虚拟存储设备共享cache方法提高了SonD系统的整体性能。     

虚拟现实环境下的分布式服务器架构策略研究

虚拟现实环境下,数据实时性和系统稳定性的高要求对服务器架构的设计和优化提出了新的挑战。针对虚拟现实环境下海量数据存储效率的提升和系统性能的优化,提出了一种新的分布式服务器架构,该架构基于分布式协调框架ZooKeeper、分布式缓存架构Redis以及MongoDB分片机制,并改进一致性Hash算法来优化Redis缓存架构,同时优化MongoDB分片的负载均衡机制。经过相应的仿真验证,该架构在虚拟现实环境下具有有效性。     

适用于多核环境的混合Cache一致性协议

提出一种适用于多核环境的混合Cache一致性协议。该协议采用混合值传播策略,引入小容量目录D-Cache,克服传统监听一致性协议发送数据请求时盲目广播的缺点,通过数据块状态的扩展,有效避免乒乓现象的发生。仿真实验结果表明,该协议能减少测试程序的运行时间,降低多核处理器私有L1 Cache的失效率,提高系统性能。