SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统( Hadoop distributed file system,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQL-DFS在文件平均耗时( file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.     

敏感数据自主可控的云存储平台元数据管理

针对传统云存储平台的敏感数据的安全问题,将元数据管理分成客户端元数据管理与云端元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据,在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障元数据子服务器与云端元数据服务器之间的数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性.在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,该存储系统在自主管理敏感信息元数据的前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力.     

分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析

对现有HDFS的设计架构进行分析,并借与LinuxFS架构的对比凸显HDFS的分布式特性。通过分析得出:现有的HDFS架构使用Java的Map界面,不利于任务的分解和并行处理,因此HDFS仅在数据的存储上实现分布式,数据处理依然是集中式的,这就形成了对NameNode的依赖,随着集群的扩大,NameNode的性能成为系统瓶颈,并提出了解决方向。     

HDFS平台上以能效为考量的小文件合并

为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题,建立Hadoop节点集群的能耗模型进行分析推导,证明了在Hadoop平台上,存在能使程序运行能耗成本最低的最优文件大小,并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略. 此策略可以对存放在HDFS上的小文件合并进行效益计算,将小文件合并为成本最优文件大小以获得最佳收益. 通过实验证明了能效最优数据块大小的存在,并通过实验证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性.     

基于Struts框架的智能小区物业管理系统的设计

设计一个基于Web的智能小区物业管理系统,采用J2EE平台及Struts架构的分布式多层结构体系。该系统的所有功能都通过服务器和用户浏览器之间交互完成,与系统相关的数据由数据库服务器来维护和组织。整个系统具有良好的可移植性、扩展性和安全性,能方便地与其他子系统进行信息交互。     

基于云计算的一种全新元数据管理方案

为有效减少云计算过程中不同元数据的工作量,本研究提出了一种全新的管理方案。通过改进的Chord算法和协同双层缓存机制使得元数据服务性能随着聚类上元数据服务器数量增加而增强;采用亲密算法控制客户端与服务器端的协作以便对元数据集进行缓存。基于以上方案能表现出较高性能和良好的可扩展元数据服务,实验表明本文提高的方案性能优于其它方案,更能体现出元数据访问性能与亲密值之间变化的关系。     

基于虚拟仪器技术的齿轮箱状态诊断实验平台

利用虚拟仪器技术,研制了多方法、多参量综合应用的齿轮箱状态诊断创新实验教学平台.利用LabVIEW的Datasocket技术,实现了服务器与客户机之间的数据交互.在该平台上,可通过模式识别技术将齿轮箱的振动信号进行融合,对齿轮箱状态进行智能诊断.该实验平台有利于激发学生参与创新性实验的积极性,更好地培养学生的创新意识、动手能力以及勇于探索的创新精神.通过服务器和客户机的通讯,形成了以学生为主体、教师与学生间进行良性互动的良好机制.     

某煤矿主动定位系统业务服务器模块设计

业务服务器是新一代煤矿主动定位系统中的核心模块,根据主动定位系统的需求划分子模块,并为不同子系统模块之间信息沟通提供基础平台.整个模块基于.Net平台,利用C#基于Windows编程思想进行开发设计,多种仿真情况和实时应用情况测试结果表明该业务服务器在功能、响应时间等方面均能满足多用户需求,在程序关键部分使用了异常处理...     

基于HDFS的高校教育资源云存储平台研究与实现

详细阐述了云存储技术概念和优势,重点介绍了HDFS体系结构及其工作原理,将HDFS与云存储体系相结合,构建了基于HDFS的高校教育资源云存储平台。实验结果表明,该云存储平台能够实现教育资源的海量存储和数据共享,进一步提高高校教育资源的利用率。     

基于B/S模式的Sensor Web查询系统

设计并实现了基于B/S模式的传感器网络远程查询系统.通过把该查询系统划分为用户界面层、事物逻辑层和数据库层,层与层之间以组件完成信息的交互.用Java的Servlet方式和Applet分别进行服务器端和客户端的开发,并在实际的网络平台中实现测试相关系统功能.结果表明采用了基于Java平台的3层B/S模式,具有良好的可扩展性和较好的安全性.服务器和用户端分布式的处理数据方法可使系统具备良好的容错能力和负载平衡能力.     

移动云环境下的数据安全处理模型研究

针对移动云环境下用户身份认证和数据安全处理等安全需求,提出了一种移动云数据安全处理模型,通过采用基于属性的身份管理、多租户安全数据管理和ESSI数据处理模型,为移动云计算提供了强身份认证和细粒度信任管理、数据存储与传输安全的个人数据隐私保护和移动终端低负载的能力。     

面向分布式存储的安全云存储系统研究

云环境下的分布式存储主要研究数据在数据中心上的组织和管理,数据中心通常由百万级以上节点组成,云存储系统所存储的数据规模往往达到PB级甚至EB级,一些数据安全的隐患也由此产生。本文首先介绍了云存储系统的安全需求;然后阐述了安全云存储系统的研究现状;并采用一些关键技术设计了一种安全云存储系统。其中包括密钥分发与管理、用户与存储节点身份认证机制、安全分布式文件系统的基本操作等。最后指出了下一步研究的方向。     

支持不同粒度运算的远程数据完整性验证

用户数据安全和隐私保护是云计算面临的巨大挑战。公开验证方案中的数据通信、数据存储、完整性与可用性验证、动态数据、数据签名等不同操作对数据粒度的需求不同。本文将数据文件组织为块、子块和基本块三种不同的粒度,提出一种支持不同粒度运算的完整性验证方案。该方案支持公开审计和数据块动态操作。分析了方案的安全性、通信性能、存储性能,结果表明新方案是高效的、安全的。     

一种基于密文策略属性加密技术的云安全存储方案

针对云存储数据共享特性安全问题,提出了一种基于可信第三方密文策略属性加密技术的云存储共享方案.利用可信第三方有效地解决了用户端负载量过大、密钥分发与管理负担等问题.采用密文控制访问技术,保证了数据在不完全可信云环境下的安全性.分析结果表明能保证数据安全性,而且有效地减少了用户端的工作量,符合云存储的发展趋势.     

基于IDAs算法的云存储系统研究

云存储是基于云计算的在线网络存储模式,为用户提供了直接访问大范围资源和应用程序的能力.为了进一步提高用户数据的安全性和隐私性,对信息传播算法IDAs进行了分析,在此基础上提出了采用IDAs的云存储系统结构,并详细介绍了该系统的核心部件和写文件的过程.结果表明:该系统可以提高云存储数据的安全性、完整性和可用性.     

信任实体与ABE密码体制相结合的云存储加密模型

为了实现云存储加密数据快速检索及确保数据存储和传送的安全,提出了一种云计算环境下基于信任实体与ABE密钥体制相结合的云存储加密模型.在分析现有云存储加密技术面临问题的基础上,将ABE密钥体制中非对称公私密钥对模型,结合介于数据提供者、云服务器和云用户三者都信任的第三方机构来实现云存储加密设计,给出了云中数据在存储和传送中的访问控制流程.该模型对云存储密钥由谁控制、在哪儿管理进行了重新界定,保证了云存储环境下数据的安全性和可靠性,并且具有较好的灵活性.     

WindowsAzure平台数据存储的访问控制研究

访问控制是保证信息机密性和完整性的关键。针对微软的云平台——windowsAzure平台,着重研究其具有存储功能服务的访问控制技术,其中具有存储功能的服务包括Windows Azure的Storage Service和数据库SQLDatabase,从用户验证和授权两个过程对这两种存储服务的访问控制技术进行分析探讨。最后根据这两种服务的存储特点,以基于Windows Azure的门禁管理系统为例,给出系统在Windows Azure平台的安全存储的部署方案,保证系统的安全性和灵活性。     

云环境下基于信任的入侵防御研究

云计算从提出以来就具备着动态性、虚拟化和开放性,频频出现的各种大型的云安全事故使得云环境中的安全性受到质疑。为了能够确保云环境的安全,将入侵防御技术与可信计算的信任理论相结合,提出了一个云环境下基于可信计算的入侵防御框架模型。该模型从入侵防御的原理出发,首先实时监控采集、获取行为特征,然后将这些特征进行规范化,并逐步确定各个特征的权重后得出用户节点的可信度。利用多种云端的集群服务器引擎进行检测防御以及综合分析决策和聚类分析,使云端能够及时快速、高效地抵御恶意行为的攻击,改变传统入侵防御各自为营,检测防御滞后的状况,为云用户提供最大安全限度的入侵防御服务,同时也能够确保云端抵御攻击,做到云端和云用户双向安全的效果。     

云存储系统安全技术研究

目前,云计算应用日益普及,其中云存储是使用比较广泛的云应用之一,它的便利性毋庸置疑,已经成为数据存储的一种趋势。但是,其安全问题也日益突出,本文在对云存储系统结构进行介绍的同时,重点分析了与云存储系统安全性相关的重要技术,主要包括数据加密、身份认证和访问控制等。经过深入分析,提出使用混合加密算法、挑战-应答身份验证、Kerberos身份验证、基于角色的访问控制等安全技术可以有效提高云存储系统的安全性。     

云服务中数据完整性验证技术综述

随着业务量的不断增长,越来越多的企业接受了云计算,数据也从本地迁移到了云端.这种新的数据存储模式也引发了众多安全问题,而如何确保云服务器中数据的完整性是其中的关键问题.数据拥有者亟需一个稳定、安全、可信的完整性审计方案,用于审核云服务器中数据的完整性和可用性.阐述了云计算环境下数据完整性系统模型和安全模型,以及云存储数据完整性审计的研究现状,并重点分析了部分经典方案,通过方案对比,指出当前方案存在的优点、缺陷,以及云服务中数据完整性验证当前仍然面临的安全与隐私挑战,并探讨了该领域未来的研究趋势.