基于纠删码的云文件系统数据放置方法

当前,在分布式云文件系统中,纠删码冗余技术以较高的容错性能和较大的空间利用率逐步取代副本冗余技术来保证数据的可靠性。多数基于纠删码的云文件系统中,数据放置方法采用随机放置策略并假设集群节点同构,然而在实际的云存储系统中节点的同构性并不理想,且节点的存储性能会随着系统的运行动态地发生变化,所以随机地选取节点进行数据放置并不能有效地保证系统的均衡性。为此,文中分析确定了影响节点负载性能的关键因素,并采用层次分析法建模求出不同存储数据类型的负载影响因子。同时基于节点负载性能,计算提出了一种全局随机、局部顺序的数据放置算法,该算法在选择节点的过程中综合考虑节点内的实时负载均衡和数据可靠性两个因素。实验结果显示,相比于随机放置方法,提出的该数据放置方法不仅能够实现存储系统节点内的实时负载均衡,还能加快数据写入和恢复的速度。     

非服从性分布式系统中博弈分析法下的副本放置问题

为解决非服从性分布式系统中多数据、多节点、有容量限制的副本放置问题,建立了副本放置模型以及向博弈模型的映射,分析了在无容量限制及有容量限制下纳什均衡的存在性问题以及纳什均衡的优化程度。考虑到纳什均衡获取的时间不可行,提出了无删除副本放置局面的定义,设计了该局面的获取算法并分析算法的相关性质。模拟实验显示了无删除副本放置局面获取算法下系统平均副本数和总代价随节点的容量及放置代价变化的过程,同时在小节点规模下与最优副本放置结果进行比较,结果显示纳什均衡带来的系统总代价不会与最优系统总代价有大的差别,说明在保证个体利益最大化时,全局的效益并不会有大的损害。     

分布式并行BOD系统资源管理算法研究

研究分布式并行宽带点播服务系统中资源的优化存储,以充分发挥系统性能;提出了最大化访问成功率的资源放置算法,以均衡分布式并行服务器系统负荷;提出了动态阈值预测机制的副本自适应放置算法,以提高系统吞吐量。通过实用系统,验证了它们在宽带点播服务系统中提高访问成功率及系统性能方面优于其他算法的良好特性。     

基于结构化P2P系统的SDYA负载均衡算法

在基于分布式哈希表（DHT）的结构化对等网络（P2P）系统中,DHT的使用及节点的计算能力和带宽等方面的异构性导致系统中节点负载不均衡,进而影响了系统的效率. 基于虚拟服务器的策略,提出一种混合式负载均衡算法,统称为静态负载分配算法和动态负载调整算法（SDYA）. 该算法可根据节点的能力为其分配相应大小的可动态调整的地址空间及合理的负载. 仿真结果表明,相对于传统虚拟服务器均衡算法,SDYA算法的负载均衡效果显著,均衡速度快,均衡开销小,系统稳定性好.     

一种拓扑感知的虚拟网络重构算法

针对底层物理网络负载不均衡问题,根据节点和链路的负载状态,动态地选择负载过大的物理节点和物理链路进行重构。通过建立拓扑感知的虚拟网络重构模型,将虚拟节点迁移到距离其邻居映射节点最近的物理节点上,优化底层物理网络中虚拟重构节点的映射位置,降低虚拟网络重构的资源开销。模拟结果表明,TA-VNR算法有效地均衡了底层物理网络的负载水平,降低了虚拟链路的重构路径长度,提高了虚拟网络请求接受率。     

一种综合的结构化P2P系统负载均衡机制

提出了基于异构节点的标识空间分割算法,实现节点异构条件下分布式散列表空间的均衡分割,从而均衡各个节点的存储负载;其次提出基于虚拟环负载转移算法,将路由和响应负载由重载节点转移到轻载节点,从而缓解由于对象查询不平衡带来的路由和响应负载不均衡.在OverlayWeaver上进行实验的结果表明,通过采用包含基于异构节点的标识空间分割算法和基于虚拟环负载转移算法的综合机制可以很好地均衡对等网络(P2P)系统中异构对等方的负载.     

基于M-Chord的分布式视觉监控交互检索算法

为对城域视觉监控系统产生的海量多媒体数据进行高效索引和检索,提出基于M-Chord的分布式交互检索和负载均衡算法.对象以颜色柱状图、Gabor纹理描述和轨迹系数空间特征组成的特征向量描述,由M-Chord算法进行分布式索引分发和检索.提出基于线性和非线性支持向量机的分布式相关反馈算法,将支持向量机模型建立的度量空间与M-Chord索引所处的度量空间结合,利用分片中心点减少了对节点和对象的访问.实验表明提出的算法可以准确反映用户的查询语义,仅需要检索分布式监控网络中的少部分节点即可达到与顺序扫描接近的查准率,同时较好实现了分布式监控网络中的负载均衡.     

分布式存储中数据分布策略的分析与研究

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基于节点容量感知的负载均衡策略.最后,针对当前分布式存储中数据应用环境中数据分布策略可扩展性以及灵活性的不足,并结合所得的研究成果写出了个人心得,提出一种更加合理的数据分布策略.     

网格环境中基于p-中值选址的副本放置算法

针对现有的副本放置中存在的问题,基于p-中值选址的方法,提出了一种动态的多副本放置算法.该算法预先设置副本的数量,根据网络带宽、存储空间和文件请求次数等条件,求解目标函数--全局费用的最小化,从而确定副本的位置,并随着网格环境的变化而调整.采用Optor-Sim模拟器实验,分析了副本数量、存储空间与副本放置的关系.结果表明:与LRU和基于经济模型的方法相比,该算法能减少数据访问时间和网络利用率.     

基于消息的加权负载均衡算法

在研究EAP协议与Diameter协议的基础上,为解决分布式认证系统节点间会话一致性的问题,以及尽可能减少服务节点数量改变时产生的会话迁移数量,提出了一种基于消息的加权负载均衡算法(MOLB)。该算法使用散列法、虚拟节点和红黑树相结合的技术,实现了客户端请求在服务节点间的合理分布。Diameter网络环境中的实验结果表明:与其他常用的负载均衡算法相比,本文算法具有较小的负载均衡度和会话破坏度以及较低的会话破坏分布度。     

基于键值存储的元数据集群副本一致性研究

设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。     

基于价值模型的数据副本替换算法

针对网格环境下数据的高度动态性特点，提出了一种基于价值模型的数据副本替换算法，给出了副本价值计算方法，并把它应用到数据副本替换中，即在进行数据复制过程中存储空间不够用时，删除掉价值最低的副本。该数据副本替换算法实现了数据分布和复制的优化，有效提高了数据网格环境下网格任务访问数据的最大吞吐量。实验表明，采用基于价值模型的副本替换算法，有效的提高了网格任务访问数据副本的效率。     

一种可扩展的分布式副本定位方法

提出了一种在数据网格环境下的可扩展的分布式副本定位方法. 该方法利用索引结点和本地副本定位结点实现对同一个数据文件的多个副本的快速定位;将副本定位索引信息平均分布在多个索引结点上,并且能够自适应索引结点的动态加入或退出;同时利用本地副本定位节点完成本地副本的查询定位. 理论分析和实验表明,SDRL能够快速由逻辑文件名定位其索引结点,具有负载均衡、可扩展和高效的特点.     

基于小世界的物联网中副本定位算法

物联网具有数据量大,节点异构且分布广泛等特点。采用副本存储可以提高数据访问性能。针对物联网中对副本定位快速高效要求的问题,提出一种基于小世界的类-域层次的物联网中副本定位方法。从物联网中数据访问的局部聚类性考虑,将节点划分为类层次和域层次,分别采用根据类-域数据访问特点的双向环形消息扩散机制,实现副本的局部和全局定位,从而提高副本定位的效率。     

基于层次聚类法的网络延迟监测点放置

针对Internet网络延迟监测点的放置问题,将其转化为网络拓扑图聚类问题。根据网络层次结构特性,使用层次聚类法对网络节点进行聚类。利用网络节点的差异性,提出使用递归去除1度异常节点算法,在保证网络拓扑结构基本不变的前提下减少异常节点对聚类结果的影响。提出在聚类结果的每个类中选取度数最大的节点作为对应的类中心,监测点被放置在类中心位置上。实验结果表明,层次聚类法中最长距离法更适合对网络节点进行聚类,递归去除1度异常节点算法能够进一步提高聚类效果,有效地解决了监测点的放置问题。     

一种在数据网格中的快照管理的量化分析方法

从数据库的观点看,在执行单一查询前进行复制数据集是容易实现的,但查询处理器指派一次查询给那些没有充分操作和存储合适副本的结点时,从而引起在同步机制中副本快照经常过时和副本定位时带来昂贵的网络开销。讨论一种在全局数据网格中多个结点的非一致性及快照管理的量化分析方法。     

802.11 WLAN中一种基于竞争窗口的分组调度算法

IEEE 802.11 MAC层中的分布式协调功能DCF（distributed coordination function）使用随机退避机制来解决信道竞争问题，导致信道资源不能充分利用.特别是在高负载的网络系统中，信道带宽在碰撞状态下浪费严重.本文提出了基于竞争窗口的分组调度算法，通过增加一个竞争窗口将节点间的竞争划分为两个阶段进行，其中只有通过第一退避阶段的节点才能进入下一个退避阶段，完成第二退避阶段的节点才能开始访问信道.根据具体网络情况，选择合适的第二阶段的最小窗口值，得到相应的网络性能.仿真结果表明该算法在高负载的网络中能够提高信道带宽利用率.