数据网格环境下一种动态自适应的副本定位方法

在数据网格中，数据常常会由于性能和可用性等原因进行复制，如何有效地定位数据的一个或多个副本的物理位置是数据网格系统需要解决的重要问题，提出了一种可扩展、动态自适应的分布副本定位方法——DSRL，DSRL使用宿主结点来支持对同一数据多个副本的同时高效定位，使用本地副本定位结点来支持对副本的本地查询。DSRL提出了一种动态均衡映射方法，将全局副本定位信息均衡分布在多个宿主结点上，并且能够自适应宿主结点的动态加人或退出，详细描述了DSRL的组成，并对DSRL方法的正确性和负载平衡等特性进行了证明，分析和实验表明，DSRL方法有着良好的可扩展性、可靠性、自适应性和性能，并且实现简单，有着较好的实用性。     

CSWL: Cross-SSD Wear-Leveling Method in SSD-Based RAID Systems for System Endurance and Performance

Flash memory has limited erasure/program cycles.Hence,to meet their advertised capacity all the time,flashbased solid state drives(SSDs) must prolong their life span through a wear-leveling mechanism.As a very important part of flash translation layer(FTL),wear leveling is usually implemented in SSD controllers,which is called internal wear leveling.However,there is no wear leveling among SSDs in SSD-based redundant array of independent disks(RAIDs) systems,making some SSDs wear out faster than others.Once an SSD fails,reconstruction must be triggered immediately,but the cost of this process is so high that both system reliability and availability are affected seriously.We therefore propose cross-SSD wear leveling(CSWL) to enhance the endurance of entire SSD-based RAID systems.Under the workload of random access pattern,parity stripes suffer from much more updates because updating to a data stripe will cause the modification of other all related parity stripes.Based on this principle,we introduce an age-driven parity distribution scheme to guarantee wear leveling among flash SSDs and thereby prolong the endurance of RAID systems.Furthermore,age-driven parity distribution benefits performance by maintaining better load balance.With insignificant overhead,CSWL can significantly improve both the life span and performance of SSD-based RAID.     

无线传感器网络中对等数据存储策略研究

在无线传感器网络中,除了基于基站的数据传输和管理模式以外,对等数据传输以及网内数据管理同样具有非常重要的现实意义。本文论述了传感器网络中对等数据传输的应用特点和研究挑战,以及数据存储策略与对等数据传输的关系。如何设计有效的数据存储策略是对等数据传输和网内数据管理、查询的关键技术和重要研究课题。本文分析了无线传感器网络中对等数据存储策略的分类、负载平衡和查询成功率等相关问题。本文采取基于位置的分类方法,根据策略是否依赖节点的位置信息,将节点间的对等数据存储分为基于位置的策略和无位置策略。本文综述了目前的相关研究,比较了各种策略适用的网络环境和数据查询成功率、网络负载平衡等性能指标。     

网络存储系统中低开销高性能的第二级缓存替换算法的研究

针对网络存储访问特性所带来的第二级缓存性能降低的问题,提出了一种高性能的第二级缓存替换算法。本算法采用顺序页面检测机制,能根据缓存页面顺序程度的不同做出替换选择,以减少缓存失效引起随机访问磁盘的次数,避免不必要的磁头寻道和旋转开销,从而改善整个存储系统的性能。实验结果表明,在多种缓存大小下,本文算法能显著降低有效响应时间,使网络存储系统达到更优的性能。     

大规模集群中一种自适应可扩展的RPC超时机制

在基于RPC(remote produce call)构建的分布式系统中,超时是一种通用的失效检测手段.在超大规模Lustre存储集群的压力测试中,发现传统的固定超时机制会导致很多不必要的超时而存在缺陷.提出了一种综合考虑了网络条件、服务器负载、扩展性和性能等因素的自适应可扩展的RPC超时机制(Adaptive Scalable RPC Timeout mechanism,简称AST).在其控制下,客户端超时值可以根据网络和服务器的拥塞情况动态地调整设置,而且服务器可以通过额外消息传递通知客户端修改原超时值.经过一系列的模拟和验证,其结果表明,AST是一种更适合的RPC失效检测模型,增强了系统的响应性、可靠性和稳定性,而且对系统的性能没有过大的负面影响.     

基于整数小波变换的彩色图像水印算法

随着Internet的普及和多媒体技术的发展,多媒体信息的安全及版权问题引起了越来越多人的关注,数字水印技术应运而生。整数小波变换能实现从整数到整数的变换,减少了由于浮点数的存在带来的误差,在整数小波变换的基础上设计了一种新的水印嵌入算法,采取了对整数系数进行二值分解后的最后一位进行水印嵌入的方法,且提取时完全不需原始图像,是一种有效的盲水印算法,对各种攻击均具有较好的稳健性。     

一种分布式磁盘缓存的设计与实现

为了提高系统10性能，针对松散耦合环境下，高带宽、低延迟的传输特点，提出了一种通过扩展存储器层次结构来提高系统10性能的分布式系统——分布式磁盘缓存系统DRACO。通过利用分布式环境中空闲内存节点的剩余内存，扩充系统整体缓存容量，减小访问磁盘数据的频度，最终达到提高系统整体性能的目的。     

Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

大规模网络存储系统的数据布局算法研究

可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。