发布/订阅系统中的历史数据分布式存储算法

在分析当前发布/订阅系统在历史数据存储方面相关工作的基础上,提出了一种利用系统中的存储代理对历史数据进行分布式存储的算法.算法将存储代理组成覆盖网,利用一致性哈希定位主题元数据位置,主题数据分段存储在存储设备上,并采用文件索引、并行读取等方法来提高数据存取性能.在对比实验中,验证了算法在负载均衡和扩展性方面的优势.     

改进一致性哈希优化存储邮政数据算法的研究

随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统（HDFS）存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。     

物联网中分布式监控和查询系统仿真研究

在大规模的物联网系统中,基于查询计划的方法严重依赖于中心节点的查询优化技术。提出一种基于状态迁移的分布式推理和连续查询的处理方法,并对查询处理状态进行压缩。根据各种体系结构的优势和不足,结合RFID标签自带存储介质的特性,提出一种利用RFID自带存储介质进行状态迁移的方法。最后将上述提出的数据清理、存储方法和复杂事件处理方法相结合,形成对物联网中物品的监控。对于离线查询处理,设计了基于分布式哈希表的单标签查询方法(RfidDHT)以及基于多层超级节点对等网MLSP的查询处理方法。     

一种微服务架构下的负载均衡策略

基于一致性哈希算法的负载均衡技术,常被用于解决分布式系统的横向扩展问题。微服务架构与传统的分布式软件架构不同,采用了客户端负载均衡策略,由于一致性哈希算法本身并没有相关的负载均衡措施,在请求过度集中的情况下,会导致服务节点间的数据倾斜。文章提出基于线性同余法的一致性哈希访问策略,结合了随机算法和哈希算法的优势,为解决客户端负载均衡问题提供了一种新的思路。     

一种改进的一致性哈希算法

一致性哈希算法常用于分布式系统的负载均衡,常见的算法存在一些弊端,如传统的带虚拟节点的一致性哈希算法在工程应用中节点负载不完全均衡,谷歌跳跃一致性哈希和腾讯PaxosStore存储系统的一致性哈希算法只能从后往前删除节点,同时难以应用于异构系统。针对上述问题,文章提出了一种改进的一致性哈希算法,优化了虚拟节点的分配,在同构系统中通过初始化时均匀分配虚拟节点、添加删除节点时从盈余向不足迁移虚拟节点的方法,保证了算法的一致性,并且当虚拟节点数远大于实节点数时系统可实现接近完全的均衡,增删节点也不受位置的限制。在异构系统中,算法通过按节点性能比例分配和迁移虚拟节点的方法,实现了对负载和流量的精准分配。对初始的虚拟节点数(N值)也进行了讨论,可以根据系统均衡性要求配置N值,并给出了重新均衡系统时分裂虚拟节点和扩大N值的算法。     

基于智能盘点的电力企业固定资产分类查询

传统固定资产分类查询技术在应用过程中，易出现通信冗余问题，导致分类查询计算开销较大。因此，设计基于智能盘点平台的电力企业固定资产分类查询方法。优化RFID标签数据存储格式，规范RFID标签数据，建立无线接收器和数据通信网络结构，优化查询通信方式，减少冗余。结合SVM分类和K近邻算法，对不同的资产分类情况选择不同算法，计算K近邻算法中的欧氏距离，实现固定资产分类查询。实验结果表明：分类维度偏大时，所设计的分类查询技术在智能盘点平台和用户端的计算开销均小于传统方法。     

一种云存储目录元数据管理系统

目前在云存储系统的实现中,一致性哈希算法及其改进算法是常用的技术之一。但是,基于一致性哈希算法实现的云存储往往表现为键值对系统,本身不具备层次的树形目录结构,因此不适用于传统的文件系统应用。针对上述技术缺陷,本文提出一种云存储目录元数据管理方案,在一致性哈希数据分布基础上构建层次目录,不需要专门的元数据服务器即可实现键值对和分布式存储系统相结合的层次目录管理。基于该方案实现的云存储系统已经大规模部署,很好的兼容了传统的文件系统应用,具有较好的可扩展性和灵活性。     

一种面向移动终端的云存储方法研究

在分析HDFS和Dynamo架构的基础上,引入数据库技术以及动态一致性哈希算法分类处理不同对象组的方法.本方法可根据各个存储节点存储代价,进行综合调度,对外提供最优存储节点.通过算法描述和仿真结果分析表明,此方法可以使系统达到负载均衡,并且从整体上提高了系统的效率,在数据查找定位上也可以满足要求.     

Windows7专题问答

分布式缓存是通过哈希值来判断文件的一致性的,在进行分布式缓存的时候会创建一个哈希列表,每个分支机构会根据哈希算法算出文件的哈希值,通过与哈希表的对比,来判断文件是否一致。     

浅析分布式系统数据分布

分布式系统面临的第一个问题就是数据分布,即将数据均匀地分布到多个存储节点。分布式系统区别于传统单机系统在于能够将数据分布到多个节点,并在多个节点之间实现负载均衡。数据分布的方式主要有两种,一种是哈希分布,如一致性哈希,代表系统为Amazon的Dynamo系统;另外一种方法是顺序分布,即每张表格上的数据按照主键整体有序。     

基于FSM的物联网大数据清洗算法

在定长滑动窗口算法的基础上,应用有限状态机,按照标签的状态,对RFID标签数据进行清洗。算法解决了在清洗算法中重复窗口的问题,通过创建多阶哈希表存储标签读写记录,针对在海量标签数据中存在的多读、冗余读的现象,通过改进滑动窗口的数据清洗方法,解决其在处理效率方面的不足。对阈值等影响清洗算法准确率的相关因素进行仿真,结果表明基于FSM的海量RFID标签数据清洗算法可以有效清洗标签数据,且性能优于SMURF等算法。     

电力企业互联网舆情数据规格化存储系统设计

为避免舆情焦点损伤电力企业形象，设计了电力企业互联网舆情数据规格化存储系统，实时采集、处理并存储公共舆情数据。利用基于TF-IDF改进算法的聚焦网络爬虫爬取原始数据层的舆情数据，构建正则表达式描述语义模型；应用基于负载权重的负载均衡算法的存储负载均衡机制，根据负载差值计算存储节点执行任务的概率，更新存储节点的负载，实现各存储节点负载均衡。实验结果表明：读取时间均值为72.9ms,写入时间均值为425.3ms,数据读写效率高，各存储节点负载均衡，对大规模数据的处理及存储性能更佳。     

簇态量子模糊哈希与隐蔽信息搜索(英文)

提出一种采用经典-量子ε-universal哈希类的簇态量子模糊哈希构造方法.传统哈希与模糊哈希算法不能有效抵抗量子攻击.通过采用diamond范数方法,构建了一种哈希函数类最优子集并且提供信息论意义上的更优安全性.基于量子簇态独特的物理级单向计算属性,相应算法更接近于物理可实现.进一步,构造了一种在信息安全与生物特征识别方面的隐蔽信息搜索策略.该生物识别搜索算法基于簇态量子ε-universal模糊哈希构建.该策略能有效抵抗量子算法攻击,确保数据存储安全,并降低了计算复杂度.相比于其他类似策略,此算法具有更精简的结构,理论分析表明此算法具有较高的识别效率与更好的数据安全性.     

分布式光纤传感数据编码存储方法研究

现有分布式光纤传感数据存储方法由于节点分布较为广泛,节点故障致使数据丢失现象常有发生,无法适应现今分布式光纤传感技术的发展与应用,故提出分布式光纤传感数据编码存储方法研究.依据现今光纤传感数据存储需求,结合网络编码与云存储优点,搭建基于网络编码的数据云存储架构,以此为基础,选取纠删码形式对分布式光纤传感数据进行编码,以...     

基于属性加密的组合文档安全自毁方案

为保护组合文档全生命周期的隐私安全,提出了一种基于属性加密的组合文档安全自毁方案.该方案引入多级安全思想创建新的组合文档结构,采用访问密钥加密组合文档内容、基于属性的加密算法加密访问密钥,两者的密文经过一系列算法提取和变换后获得密文分量和封装自毁对象,分别存储在两个分布式哈希表网络和云服务器中.当组合文档过期后,该网络节点将自动丢弃所存密文分量,使得原始组合文档密文和访问密钥不可恢复,从而实现安全自毁.安全分析表明,该方案既能抵抗传统的密码分析或蛮力攻击,又能抵抗分布式哈希表网络的Sybil攻击.     

铁路通信数据HBase分布式查询系统设计

目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。     

无线传感器网络中基于值的kNN查询处理

提出一种基于值的kNN查询处理算法,该算法运用哈希函数将节点的数据映射到一个子区域中存储,采用基于位置路由实现了查询处理,并通过多点存储和可变存储区域减少节点的能量开销.实验结果显示该算法在生命周期和延迟方面都取得较好的效果.     

半配对的多模态询问哈希方法

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence, NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。     

一种基于多阶邻居的网络环境下多标签分类算法

随着标签分类应用的增长,社交网络环境下多标签分类已成为一个重要的数据挖掘研究领域.关系分类模型基于一阶邻居做标签分类,其性能优于传统的多标签分类器.但现有的关系分类模型也存在问题：第一,仅利用一阶邻居做分类,未能充分使用邻居信息.第二,网络数据通常包含大量不连通的孤立部分,其标签无法利用现有的关系分类模型分类.考虑基于共引规则为非孤立节点挖掘二阶邻居和基于节点特征向量相似度为孤立节点挖掘高阶邻居,本文提出一种新的基于多阶邻居的网络数据多标签分类算法,称为MORN算法.在多个真实数据集上将MORN与现有的关系分类模型作对比,实验表明,MORN算法能够学习到更多节点的标签且精度优于传统关系分类方法.     

基于哈希算法的动态TDMA时隙分配研究

动态时隙分配机制是Ad Hoc网络提高组网效率的重要方面。提出了一种基于哈希算法的动态时隙资源分配机制-HP_TDMA算法。该算法将节点的时隙需求划分为3种情况:节点不需要使用时隙、只需要使用主时隙和需要竞争额外时隙。在时隙竞争阶段采用哈希算法获得节点对时隙使用的优先级顺序表,按照优先级表配置节点对时隙的使用。经过仿真分析得出采用哈希算法的时隙分配策略能够高效地利用时隙资源,提高信道利用率。