基于简单再生码的带宽感知的分布式存储节点修复优化

分布式存储系统为保证可靠性会采用一定存储冗余策略如多副本策略、纠删码策略.纠删码相对于副本具有存储开销小的优点,但节点修复网络开销大.针对修复网络开销优化,业界提出再生码与以简单再生码为代表的局部可修复码,显著降低了修复网络开销.然而,现有基于编码的分布式容错存储方案大都假设节点处于星型逻辑网络结构中,忽略了实际的物理网络拓扑结构和带宽信息.为实现拓扑感知的容错存储优化,相关研究在纠删码和再生码修复过程结合网络链路带宽能力,建立树型修复路径,进一步提高了修复效率.但由于编码和修复过程的差异性,上述工作并不适合于简单再生码修复.针对该问题,本文结合实际物理网络拓扑结构,将链路带宽能力引入到简单再生码的修复过程中,对带宽感知的简单再生码修复优化技术开展研究.论文建立了带宽感知节点修复时延模型,提出了基于最优瓶颈路径和最优修复树的并行修复树构建算法.并通过实验对所提算法性能进行了评估.实验结果表明,与星型修复方式相比,论文所提算法有效地降低了节点修复时延,提高了修复效率.     

基于Hadoop平台的高阶矩阵相乘MapReduce算法研究

目前,针对基于单一节点的中高阶矩阵相乘存在着计算瓶颈,甚至因内存溢出导致计算机崩溃等问题,结合利用云计算分布式处理和虚拟化技术的优势,提出一种基于Hadoop平台的高阶矩阵相乘的MapReduce算法。实验结果表明:该算法能够有效地解决高阶矩阵相乘中存在的计算瓶颈问题,同时提高了计算效率。     

基于多级网络编码的多副本云数据存储

云数据存储的快速发展对数据的可用性提出了较高要求.目前,主要采用纠删码计算数据编码块进行分布式冗余数据存储来保证数据的可用性.虽然这种数据编码技术保证了存储数据的安全性并减少了额外的存储空间,但在损坏数据恢复时会产生较大的计算和通信开销.提出一种基于多级网络编码的多副本生成和损坏数据恢复算法.算法基于多级网络编码对纠删码的编码矩阵进行改进形成多级编码矩阵,利用其级联性生成多级编码(hierarchical coding,HC码)来构成多副本数据,使得各副本之间存在编码关系.在损坏数据恢复时,利用数据所有者提供的数据编码信息和云存储中保存的数据块直接计算进行恢复,从而避免从云存储中远程下载数据.理论分析和实验表明,所提算法在相同的存储空间下显著减少了损坏数据恢复时的通信开销并提高了数据的可用性.     

一种基于纠删码的区块链账本分组存储优化方法

传统区块链系统采用全副本冗余的存储方式,每个节点存储相同的账本,使得区块链的存储负担非常大。目前,相关的区块链存储优化方法能够降低数据存储开销,但仍存在可扩展性差和可用性低的问题。为此,提出了一种基于纠删码的区块链账本分组存储优化方法。该方法引入一种新的区块链节点——分组存储(Grouping Storage, GS)节点,来解决上述问题。区块链账本的主要存储开销位于区块文件中,GS节点采用纠删码对区块文件编码,并以组为单位存储编码后的区块文件,如此,每个组织维持相同的账本,极大地降低了区块链的存储开销且提高了区块链的可用性。针对联盟链的存储扩展,基于GS节点对超级账本文件系统进行改进,重新设计了其存储、恢复和同步区块文件流程,使得本方案能够在实际的区块链架构上工作。最后,理论分析和实验结果表明,所提出的GS节点在存储开销方面取得了显著的进步,且具有较好的可扩展性和可用性。     

分布式存储中精确修复最小带宽再生码的性能研究

分布式存储系统为保证数据可靠性,需要对数据进行冗余存储来应对由于节点失效所带来的数据不可靠性.基于矩阵积构造的精确修复最小带宽再生码除了能够显著降低系统的存储冗余,而且编码的构造参数之间没有约束限制,还能够显著降低修复带宽的开销,具有广阔的应用前景.然而,基于此编码方案所设计的分布式存储系统的性能开销并没有得到充分的研究和分析.针对该编码在分布式存储系统中数据上传、修复、下载3个阶段,分别比较CPU使用率、文件大小、缓冲区大小以及有限域大小对上述3个阶段中运算速度的影响,发现通过对相关参数进行合理配置,可以使得基于相应编码方案的分布式存储系统能够获得良好的运行性能.     

基于RBEC的副本动态存储方法

随着云存储技术的飞速发展,现有的云存储架构和存储模式都以一种静态的方式呈现在用户和攻击者面前,使得数据面临着更多的安全威胁。针对这种数据静态存储模式的不足,文中提出了一种基于二元随机扩展码(RBEC)的副本动态存储方法。该方法利用一种网络编码将数据块存储在云节点上,通过基于二元随机扩展码进行节点数据变换,可随机时变地改变节点的数据信息,通过变换攻击面来增加攻击者实施攻击的复杂度和成本,降低系统的脆弱性曝光和被攻击的概率,提高系统的弹性。理论分析和仿真实验结果表明,该方法对变换时的编码计算时间开销在整个动态变换中的占比不高,主要的时间开销是在节点间数据编码块的传输上。此外,文中还将该方法与一般再生码拟态变换方案做了性能对比分析。REBC的特性,即重新生成的编码矩阵满足MDS性质的概率几乎为1,所以文中所提方法的编码过程的性能开销优于一般再生码可能多次变换的性能开销。     

一种面向网络边缘任务调度问题的多方向粒子群优化算法

任务调度是云计算及网格计算环境中的重要问题,已有的调度算法往往仅致力于最小化任务的总执行时间而不设置其他约束条件,以致难以实现多种性能指标的同时优化。所提出的面向网络边缘任务调度问题的多方向粒子群优化算法,用于解决并发任务在网络边缘服务节点中的分布式调度问题,调度的目标是在任务执行的资源开销不超过阈值的情况下,最小化任务完成的总时间。该方法与现有的离散粒子群优化算法相比同时降低了任务的总完成时间及资源开销,且在合理预设资源开销上限的情况下,其计算复杂度实现了较大程度优化。仿真表明,所提出的方法比现有的离散粒子群优化算法的任务总完成时间缩短约10.52%~13.23%,资源开销减少约10.32%~13.29%。同时,在合理降低资源开销阈值的情况下,该方法的程序运行时间比现有的粒子群调度方法明显缩短。     

数据依赖约束下的任务调度资源选择算法

大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑。在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2DC)。任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略。实验结果表明：所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率。     

基于模式识别的分布式存储信息一致性控制

为降低主副本数据更新延时、减少存储开销大的问题,解决分布式存储信息出现不一致的情况,提出基于模式识别的分布式存储信息一致性控制方法.通过组建中心控制端、传输控制端以及移动端构成分布式信息存储机制,了解其具有主副本数据延时更新的问题;将数据全相关一致性更新技术与模式识别法相结合,选取最优特征子集,将添加、修改、删除三种操作下形成的数据集定义为结构序列,以状态向量的记录作为数据一致性主要参考,分析对比两个节点数据库的状态向量,完成分布式存储信息一致性控制.通过仿真表明,所提方法可以实时更新主副本数据,节省存储开销.     

图因子分解的故障节点快速修复

为了提高分布式存储系统中故障节点的修复效率, 提出一种新的部分重复(fractional repetition, FR)码的构造算法. 该算法利用完全图的因子分解进行构造, 称为CGFBFR (complete graph factorization based FR)码. 该算法首先对完全图进行因子分解, 分解完成以后确定完全图的因子分解个数, 根据需要存储数据块的重复度来选择完全图的因子个数, 将完全图选中的因子所有顶点当做分布式存储系统中需要存储的数据块, 然后对选中因子图的边进行标记, 标记的边当做分布式数据节点进行存储. 最后根据选中的因子的顶点和边生成编码矩阵, 在分布式存储系统中按照编码矩阵中的数据对数据块分别进行存储. 实验仿真结果显示, 本文提出的一种新的部分重复码构造算法, 与分布式存储系统中的里所(reed-solomon, RS)码、简单再生码(simple regenerating codes, SRC)以及最新的循环可变部分重复(variable fractional repetition, VFR)码相比, 在系统修复故障节点时, 能够快速地修复故障节点, 有效降低了故障节点的修复带宽开销、修复局部性、修复复杂度, 而且构造过程简单, 同时可以灵活选择构造参数, 广泛适用于分布式存储系统中.     

基于安全多方计算的匿名认证方案

把匿名认证抽象为一个具体的安全多方计算问题,转而寻求对该具体问题的求解。基于线性方程组的求解理论,构建了一个匿名认证模型。继而设计了一个两方安全计算矩阵与向量乘积协议,并基于该协议提出了一个完整的匿名认证方案。该方案安全、高效,存储开销小,特别适宜于资源受限的设备或网络。     

基于逻辑密钥树的无线传感网络密钥管理方案

针对层次型无线传感网络（HSN）中的安全通信问题，提出了一种基于逻辑密钥树（LKH++）的组密钥管理方案——W-LKH++。针对无线传感器节点的低配置特点，首先，对LKH++树的组密钥初始化计算方法进行修改，降低传感器节点的计算消耗；其次，对LKH++的组密钥持有方式进行改进，减少传感节点的存储消耗；最后，提出适用于簇头节点的动态密钥更新方法，在降低通信消耗的基础上增强簇头节点的抗捕获能力，提高无线通信网络的安全性。性能分析和仿真实验结果表明，W-LKH++在保证低计算、存储和通信消耗的基础上，进一步提高了网络安全性。     

无线传感器网络中一种改进的密钥管理方案

提出了一种用于无线传感器网络中的改进的矩阵密钥预分配的方法。该方案能够支持网络拓扑结构的变化,并且能动态管理密钥信息,从而解决了密钥泄漏等问题。同时基于分簇结构,该方案能减少普通传感器节点的通信和计算开销,节约存储空间,从而解决普通节点资源受限的问题。仿真结果显示,与已有的一些密钥方案相比,该方案提高了网络的安全性,减小了存储空间。     

结合社区发现和局部恢复码的区块链扩容研究

区块链全节点需要存储完整的账本,不能满足数据快速增长的需求,其存储扩容成为当前研究热点之一。现有最优研究成果虽然结合分片和RS(Reed-Solomon)纠删码技术,降低了存储开销,实现了数据可恢复,但存在网络开销较高和跨节点数据请求效率较低的问题。因此,提出了一种基于社区发现和局部恢复码（local reconstruction codes,LRC）的区块链存储扩容方案,一定程度上解决了这些问题。改进现有基于传导性的社区发现方法,在此基础上提出了一种区块链节点分组方法,使平均连接速度更快的节点分为一组,有效地缩短了跨节点请求区块的响应时间;采用了更优的LRC码来替代RS纠删码,利用更少的原始数据实现单点故障数据恢复,降低了网络开销。大量实验结果表明提出的存储方案在保持目前最优方案的数据恢复能力和存储开销的基础上,能有效减少网络开销和跨节点请求区块的时间。     

Benefits of using parallelized non-progressive network coding

Network coding helps improve communication rate and save bandwidth by performing a special coding at the sending or intermediate nodes. However, encoding/decoding at the nodes creates computation overhead on large input data that causes coding delays. Therefore the progressive method which can hide decoding delay in waiting time is proposed in the previous works. However, the network speed has been greatly accelerated and progressive schemes are no longer the most efficient decoding method. Thus, we present non-progressive decoding algorithm that can be more aggressively parallelized than the progressive network coding, which can diminish the advantages of hidden decoding time of progressive methods by utilizing the multi-core processors. Moreover, the block algorithm implemented by non-progressive decoding helps to reduce cache misses. Through experiments, our scheme which relies on matrix inversion and multiplication shows 46.0% improved execution time and 89.2% last level cache miss reduction compared to the progressive method on multi-core systems.     

基于蚁群优化算法的纠删码存储系统数据更新方案

由于纠删码具备高可用性和高存储空间有效性的特点,采用纠删码为大规模分布式存储系统提供数据持久性已成为事实标准.然而,纠删码的密集型更新操作将导致大量的数据传输和I/O开销.如何减少数据传输量,优化现有网络资源的利用率,以提高纠删码的更新效率,成为纠删码存储系统面临的重要挑战.然而,在多重服务质量(quality of service,QoS)指标下,目前对纠删码更新效率的优化研究很少.针对此问题,提出一种基于蚁群优化算法的多数据节点更新方案(ant colony optimization algorithm based multiple data nodes update scheme,ACOUS),采用2阶段数据更新方式以优化多数据节点更新过程.具体而言,基于多目标蚁群优化更新路由算法(multi-objective ant colony optimization update routing algorithm,MACOU)所构建的多目标更新树,2阶段数据更新方式能有效地进行数据增量收集和校验增量分发.大量的实验结果表明,在典型的数据中心网络拓扑结构下,与TA-Update方案相比,所提方案能够在保证算法收敛的前提下,以可忽略的计算开销为代价,将更新时延降低26%~37%.     

一种混合云环境下基于Merkle哈希树的数据安全去重方案

重复数据删除技术是云存储系统中一种高效的数据压缩和存储优化技术,能够通过检测和消除冗余数据来减少存储空间、降低传输带宽消耗。针对现有的云存储系统中数据安全去重方案所采用的收敛加密算法容易遭受暴力攻击和密文计算时间开销过大等问题,提出了一种混合云环境下基于Merkle哈希树的数据安全去重方案MTHDedup。该方案通过引入权限等级函数和去重系数来计算去重标签,高效地实现了支持访问控制的数据安全去重系统;同时通过执行额外的加密算法,在文件级和数据块级的数据去重过程中构造Merkle哈希树来生成加密密钥,保证了生成的密文变得不可预测。安全性分析表明,该方案能够有效地抵制内部和外部攻击者发起的暴力攻击,从而提高数据的安全性。仿真实验结果表明,MTHDedup方案能有效地降低密文生成的计算开销,减少密钥的存储空间,而且随着权限集数目的增加,性能优势将更加明显。     

高效可撤销的共享数据云存储审计

共享数据的云存储审计是指对群用户共享的云数据的完整性进行审计. 由于在共享数据云存储审计中, 用户可能因各种原因加入和离开用户群, 因此这种方案通常支持群用户撤销. 在大多数现存的共享数据云审计方案中, 用户撤销的计算开销与用户群要上传的文件块总数成线性关系, 造成很大的计算和通信代价, 如何减少用户撤销产生的计算和通...     

无线传感器网络中自适应数据存取

数据存取,也称信息中介,是指生产者(传感器节点)将产生的感知数据按照某种策略存放在特定的位置上,而消费者(基站、用户、传感器节点)将查询请求按照对应策略路由到数据存放位置获得感兴趣的数据.利用数据速率和地理位置信息来减少网状拓扑结构传感器网络中数据存取的代价.首先,依据生产者和消费者的关系建模为"一对一"(一个生产者,一个消费者)、"多对一"(多个生产者,一个消费者)、"多对多"(多个生产者,多个消费者)3种模型来对存取代价进行分析.其次,基于上述模型,提出利用数据速率和地理位置来确定数据存放位置的自适应全局最优贪婪算法ODS(optimal data storage)和局部最优近似算法NDS(near-optimal data storage)以及最优数据传输模式.最后,ODS和NDS都依据数据速率、生产者和消费者地理位置、网络拓扑来决定存放位置,并且通过自适应地调整来减少数据存取能量消耗.实验结果表明:NDS不仅能够节省能耗,而且在70%的情况下达到与ODS相同的效果.