基于重复数据删除的多用户文件备份系统

针对在文件备份服务器中存在大量重复数据的问题,设计了一种基于重复数据删除的文件备份系统,为位于不同地理位置的多个用户提供备份服务。该系统不仅删除用户内部的重复数据,也删除不同用户之间的重复数据,进一步节省存储空间,与此同时,采用了一定的安全机制来防止数据丢失以及用户数据信息泄漏。实验结果表明了系统的可行性,为多用户构建统一的备份中心提供了一种新的解决方案。     

大规模文件上传接收服务的负载均衡引擎研究

针对大规模网络环境下的文件上传接收服务系统的需求,设计了一个集群架构的文件接收服务系统,采用多台接收服务器来实现文件接收服务,提高了系统的稳定性和可用性。根据文件传输的特点,综合考虑文件流量负载情况和服务器当前负载情况,提出了一个综合负载统计的负载均衡算法,测试结果表明基于该算法的文件接收集群系统具有较好的负载均衡效果。设计并实现了文件上传接收服务系统的负载均衡引擎,解决了系统的负载失衡问题,提高了系统的运行效率。     

大规模文件上传接收服务的负载均衡引擎研究

针对大规模网络环境下的文件上传接收服务系统的需求,设计了一个集群架构的文件接收服务系统,采用多台接收服务器来实现文件接收服务,提高了系统的稳定性和可用性.根据文件传输的特点,综合考虑文件流量负载情况和服务器当前负载情况,提出了一个综合负载统计的负载均衡算法,测试结果表明基于该算法的文件接收集群系统具有较好的负载均衡效果.设计并实现了文件上传接收服务系统的负载均衡引擎,解决了系统的负载失衡问题,提高了系统的运行效率.     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

一种基于HDFS的远程文件备份系统的设计和实现

针对传统远程文件备份系统,备份数据存储在单节点服务器存在的存储空间受限、多用户情况下的读写性能以及备份数据单副本问题,提出了一种基于HDFS的远程文件备份系统的设计方案。将用户的备份数据分布式存储于多台不同的数据存储服务器,元数据存储在单独的控制服务器。该存储架构可以有效解决单存储服务器存储空间受限的问题,改善面对多用户并发读性能问题,提供了文件多副本存储策略,并且该系统增强了备份文件存储的安全性。     

海量存储系统的发展与展望

从存储网络技术、系统架构、数据保护、绿色存储等方面综合分析了海量存储系统的发展趋势,并对新一代海量存储-并行海量存储系统的相关理论和关键技术做了分析。并行海量存储系统应具有自动负载均衡、高可用、支持重复数据删除、自动分层存储、绿色节能等先进特性。     

基于Swift的可去重校园云存储系统的设计与实现

随着高校信息化的发展以及教学、科研和管理应用系统的广泛应用,数据资源如:图片、文档、视频等非结构化资源增长十分迅速。如何应对校园网络环境中不断增大的存储需求,提高存储资源的利用效率,是校园数据中心运维中一个比较重要的问题。本文介绍了基于开源软件 Swift 的云存储平台的搭建,以及带有重复数据删除功能的校园云存储系统(Dedupe_swift) 的设计与实现。通过重复数据删除功能的引入,提高了底层存储空间利用率;采用源端去重机制,为用户缩短了重复文件的上传时间;通过 Web 服务将存储作为服务提供给用户,为用户提供良好的云存储访问体验。     

基于云计算的水电站数据安全存储系统

水电站的众多项目会生成海量信息，为保证数据存储安全，减少存储空间，提出基于云计算的水电站数据安全存储系统。设置云计算星形节点拓扑结构，结合处理器性能、任务规模等因素建立云计算负载模型，保证云端负载均衡；将系统整体架构分为视图层、控制层、接口层与云端层；设计系统的数据加密、安全访问与云灾备三大功能模块，利用初始密钥对数据加密，获取属性集合，完成密文异或计算，建立基于阈值的安全访问结构，实现水电站数据安全存储。实验结果表明系统存取延时小，可去除重复数据，大量节省存储空间。     

基于分数阶Fourier变换的云存储系统重复数据删除算法

云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删除处理,因此提出一种改进的基于分数阶Fourier变换累积量检测的云存储系统重复数据删除算法。首先分析云存储系统重复数据删除机制体系架构,定义数据存储点的适应度函数,得到云存储节点的系统子集随机概率分布;采用经验约束函数对存储节点中的校验数据块分存,通过分数阶Fourier变换对云存储系统中的幅度调制分量进行残差信号滤波预处理。采用4阶累积量切片后置算子,把每个文件分为若干个块,针对每个文件块进行重删,进行重复数据检测后置滤波处理,实现存储资源上的重复数据检测及其删除。仿真实验表明,该算法能提高集群云存储系统计算资源的利用率,重复数据准确删除率较高,有效避免了数据信息流的干扰特征造成的误删和漏删,性能优越。     

基于异构分布式存储系统的动态反馈负载均衡技术

Samba分布式存储系统通过根服务器向用户提供全局名字空间,当用户提出访问请求时,根服务器只按照静态的方式返回逻辑名对应的物理目标位置.当存在多个物理目标时,大多数用户的访问请求都将被定位在一台服务器上.多目标只保证了服务可用性,而没有对系统的负载均衡作出贡献.针对这一问题,提出了一种基于服务器性能指标的动态反馈负载均衡策略,并给出了基于Samba分布式存储系统的实现方案,旨在提高整个系统的存储能力、网络吞吐率、服务平均响应时间等指标.实验表明,优化后系统的I/O性能得到了很大提升.     

支持错误定位的远程数据完整性批量验证方案

远程数据完整性验证技术是保证云数据安全的一种重要技术,能通过与服务器进行少量交互,验证外包数据是否完整。在现实中,云存储服务通常是在多用户与多服务器之间存在的,最近多用户与多服务器环境下的批处理验证方案陆续被提出。但这些方案在数据出错后,往往于一次挑战中无法判定错误数据的拥有者或所在服务器。利用Merkle Hash Tree（MHT）提出了一种支持错误数据定位的批处理校验方案,可以在批处理校验不通过后,同时定位出错误数据的拥有者与其所存储的服务器。     

基于均衡数据放置策略的分布式网络存储编码缓存方案

为了保证网络存储的负载平衡并避免在节点或磁盘故障的情况下造成不可恢复的损失,提出一种基于均衡数据放置策略的分布式网络存储编码缓存方案,针对大型高速缓存和小型缓存分别给出了不同的解决办法。首先,将Maddah方案扩展到多服务器系统,结合均衡数据放置策略,将每个文件作为一个单元存储在数据服务器中,从而解决大型高速缓存问题;然后,将干扰消除方案扩展到多服务器系统,利用干扰消除方案降低缓存的峰值速率,结合均衡数据放置策略,提出缓存分段的线性组合,从而解决小型缓存问题。最后,通过基于Linux的NS2仿真软件,分别在一个和两个奇偶校验服务器系统中进行仿真实验。仿真结果表明,提出的方案可以有效地降低峰值传输速率,相比其他两种较新的缓存方案,提出的方案获得了更好的性能。此外,采用分布式存储虽然限制了将来自不同服务器的内容组合成单个消息的能力,导致编码缓存方案性能损失,但可以充分利用分布式存储系统中存在的固有冗余,从而提高存储系统的性能。     

影响多媒体服务器性能的关键因素研究

在构建大规模视频服务系统时 ,基于层次型多服务器群的体系结构在吞吐率、可扩展性、经济性等方面都有其突出的优势 ,尤其适合于在因特网上的应用 .但是 ,要充分发挥和提高视频服务系统的性能 ,还要针对一些主要的瓶颈(如服务器磁盘 I/ O带宽与网络带宽 ) ,解决好一系列的问题 .本文分析了影响多媒体视频服务器性能的一些主要因素 ,如视频服务器的体系结构、服务器与客户端之间的数据传送方式、媒体数据在视频服务器存储子系统中的分布与放置方式、对磁盘访问请求的调度、单服务器中的缓存及多服务器间协同缓存的管理、接入控制策略、流调度策略等 ,这些因素对视频服务器的性能与吞吐率有着极大的影响 .本文还介绍了一些适用于大规模视频服务系统的性能优化技术 ,如广播、批处理等流调度策略 .在构建视频服务器系统时 ,只有综合考虑这些因素 ,才能真正提高服务器乃至整个视频服务系统的吞吐率 ,并较好地满足客户的 Qo S要求     

A secure cloud storage system supporting privacy-preserving fuzzy deduplication

Deduplication is an important technology in the cloud storage service. For protecting user privacy, sensitive data usually have to be encrypted before outsourcing. This makes secure data deduplication a challenging task. Although convergent encryption is used to securely eliminate duplicate copies on the encrypted data, these secure deduplication techniques support only exact data deduplication. That is, there is no tolerance of differences in traditional deduplication schemes. This requirement is too strict for multimedia data including image. For images, typical modifications such as resizing and compression only change their binary presentation but maintain human visual perceptions, which should be eliminated as duplicate copies. Those perceptual similar images occupy a lot of storage space on the remote server and greatly affect the efficiency of deduplication system. In this paper, we first formalize and solve the problem of effective fuzzy image deduplication while maintaining user privacy. Our solution eliminates duplicated images based on the measurement of image similarity over encrypted data. The robustness evaluation is given and demonstrates that this fuzzy deduplication system is able to duplicate perceptual similar images, which optimizes the storage and bandwidth overhead greatly in cloud storage service.     

基于存储网关的数据安全去重方案

在实行客户端去重的云存储系统中,通过所有权证明可以解决攻击者仅凭借文件摘要获得整个文件的问题。然而,基于所有权证明的去重方案容易遭受侧信道攻击。攻击者通过上传文件来观察是否发生去重,即可判断该文件是否存在于云服务器中。基于存储网关提出一种改进的所有权证明去重方案,存储网关代替用户与云服务器进行交互,使得去重过程对用户透明,并采用流量混淆的方法抵抗侧信道攻击和关联文件攻击。分析与比较表明,该方案降低了客户端计算开销,并提高了安全性。     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

Online Bicriteria Load Balancing Using Object Reallocation

We study the bicriteria load balancing problem on two independent parameters under the allowance of object reallocation. The scenario is a system of $M$ distributed file servers located in a cluster, and we propose three online approximate algorithms for balancing their loads and required storage spaces during document placement. The first algorithm is for heterogeneous servers. Each server has its individual tradeoff of load and storage space under the same rule of selection. The other two algorithms are for homogeneous servers. The second algorithm combines the idea of the first one and the best existing solution for homogeneous servers. Using document reallocation, we obtain a smooth tradeoff curve of the upper bounds of load and storage space. The last one bounds the load and storage space of each server by less than three times of their trivial lower bounds, respectively; and more importantly, for each server, the value of at least one parameter is far from its worst case. The time complexities of these three algorithms are $O(log M)$ plus the cost of document reallocation.     

基于云平台的高并发WebGIS服务

随着Internet技术的发展,传统的WebGIS服务器在面对大用户群高并发访问时会出现服务延迟甚至拒绝服务的现象.针对该问题,本文提出了一种基于云平台的应对高并发的WebGIS服务器架构.架构使用云平台为WebGIS服务器提供弹性计算和存储资源,并从负载均衡、缓存设计、数据库集群三方面缓解高并发瓶颈.选择开源服务器端软件GeoServer作为WebGIS应用实验部署.实验数据表明使用缓存机制明显降低了WebGIS服务响应时间.与单物理服务器相比,云平台WebGIS服务器集群架构能够有效处理高并发请求,且随着集群规模扩展,云平台WebGIS系统能够获得良好的加速比.     

协同虚拟环境中的主动动态负载平衡算法

在基于多服务器体系结构的协同虚拟环境中，用户的随意运动引起某些服务器负载过大而导致系统性能的下降。主动动态负载平衡算法定义了3个主动触发条件，当服务器计算代价过大或任务划分不当引起服务器之间通信量过大或服务器负载接近饱和时，将兴趣隶属度大的用户转移给邻域服务器管理，保证了对虚拟环境中的用户代理进行合理划分。试验数据显示，该方法在均衡各个服务器负载的前提下，可以提高系统的实时性和服务质量。     

The performance improvements of highly-concurrent grid-based server

Server performance is one of the critical activities in the data grid environment. A large number of applications require access to huge volumes of data from grid servers. In this case, efficient, scalable and robust grid server which can deal with large file transfer concurrent is needed. In this paper, we analyze the bottleneck of our grid servers and introduce user-space I/O scheduling, zero copy and event-driven architecture in our grid server to improve the servers’ performance. The user-space I/O scheduling can save almost 50% I/O time in a huge number of small files transfer. Grid servers can elimination CPU consumptions between kernel and user space by zero copy and cut 63% times for context switches. Event-driven architecture will save 30% CPU usage to reach the best performance by thread-driven architecture. Optimization method combination of these three above are used in our grid servers, the full-load throughput of our system is 30% more than traditional solutions and only 60% CPU consumed compared with traditional solutions.