浅析分布式系统数据分布

分布式系统面临的第一个问题就是数据分布,即将数据均匀地分布到多个存储节点。分布式系统区别于传统单机系统在于能够将数据分布到多个节点,并在多个节点之间实现负载均衡。数据分布的方式主要有两种,一种是哈希分布,如一致性哈希,代表系统为Amazon的Dynamo系统;另外一种方法是顺序分布,即每张表格上的数据按照主键整体有序。     

云计算环境中多维数据集的查询与分布策略研究

针对多维数据集的特点,首先定义了查询等价集等概念,并结合云计算环境提出了多维数据集的查询算法.根据算法过程中各类因素的影响,提出了一种云计算环境中多维数据集的数据分布策略.理论分析与实验结果均表明,将本文提出查询与分布策略应用于云计算环境中的多维数据集,能有效的优化数据分布,提高数据查询的效率.     

一种云存储目录元数据管理系统

目前在云存储系统的实现中,一致性哈希算法及其改进算法是常用的技术之一。但是,基于一致性哈希算法实现的云存储往往表现为键值对系统,本身不具备层次的树形目录结构,因此不适用于传统的文件系统应用。针对上述技术缺陷,本文提出一种云存储目录元数据管理方案,在一致性哈希数据分布基础上构建层次目录,不需要专门的元数据服务器即可实现键值对和分布式存储系统相结合的层次目录管理。基于该方案实现的云存储系统已经大规模部署,很好的兼容了传统的文件系统应用,具有较好的可扩展性和灵活性。     

浅谈描述性统计在管理评审中的应用

正一、描述性统计的概念描述性统计是指以揭示数据分布特性的方式汇总并表达定量数据的方法。通常,组织所关心的数据特性是其中心值(最常用的是均值)     

区块链环境中基于局部敏感哈希的协同过滤推荐研究

针对区块链环境中海量高维的数据使得推荐性能低下的问题,通过对局部敏感哈希算法的优化,降低其在近邻搜索过程中带来的额外计算和存储开销.利用数据分布的主成分减少传统LSH中不良捕获的投影方向,同时对投影向量权重进行量化,以减少哈希表和哈希函数的使用;通过对哈希桶的间隔进行调整,并且根据冲突次数的大小进一步细化查询结果集,以...     

Improving MapReduce Performance by Balancing Skewed Loads

MapReduce has emerged as a popular computing model used in datacenters to process large amount of datasets.In the map phase,hash partitioning is employed to distribute data that sharing the same key across data center-scale cluster nodes.However,we observe that this approach can lead to uneven data distribution,which can result in skewed loads among reduce tasks,thus hamper performance of MapReduce systems.Moreover,worker nodes in MapReduce systems may differ in computing capability due to（1） multiple generations of hardware in non-virtualized data centers,or（2） co-location of virtual machines in virtualized data centers.The heterogeneity among cluster nodes exacerbates the negative effects of uneven data distribution.To improve MapReduce performance in heterogeneous clusters,we propose a novel load balancing approach in the reduce phase.This approach consists of two components：（1） performance prediction for reducers that run on heterogeneous nodes based on support vector machines models,and（2） heterogeneity-aware partitioning（HAP）,which balances skewed data for reduce tasks.We implement this approach as a plug-in in current MapReduce system.Experimental results demonstrate that our proposed approach distributes work evenly among reduce tasks,and improves MapReduce performance with little overhead.     

基于 Improved-Hash方法的多维数据划分

针对并行数据库系统的数据分布不合理而引起的操作并行化程度不高的问题,依据均匀的数据划分有利于提高查询效率的思想,提出了以Improved-Hash方法为基础的多维数据划分。此方法在优化并行数据库系统的查询操作,提高系统资源利用率方面有一定的指导作用。     

基于分布式的通信网络地理信息系统

分布式应用有着可扩展性、可配置性、灵活可靠性及跨平台等优点。在设计CNGIS(通信网络地理信息系统)的实践中，系统的分布式需求日益突出。该文提出了CNGIS的分布式解决方案，针对不同的应用提出了相应的设计原则及策略，较好地解决了CNGIS设计中的用户分布，特别是数据分布的问题。     

数据分布识别及参数估计的新方法

针对一般统计检验方法的缺点，提出利用模糊数学的方法实现数据分布的识别，并用常用的九种经验分布做了检验和应用。     

一种新的用于图象处理的存储系统

本文介绍了一种新的图象存储系统，它支持对图象矩阵的任意位置进行ｐ×ｑ块方式存取，该图象存储系统具有ｐｑ个存储模块，采用新提出的存储模块分配函数和地址分配函数。其地址计算电路极其简单，仅含３个加法器和ｐｑ个４：１多路器，能够同时为ｐｑ个存储模块计算地址；数据分布电路只有一个，用来完成读出和写入时数据在数据寄存器和存储模块之间的分布。与同类存储系统比较，该存储系统高效、简单。