基于内存数据库的存储集群的关键技术研究

基于磁盘数据库的存储集群由于内外存交换开销过大,无法支撑数据的实时存储与处理,因此使用基于内存数据库的存储集群成为目前很多业务数据存储的设计方案。本文主要研究了基于内存数据库的存储集群中的数据库代理、单点故障恢复等关键技术。     

广电媒体云存储的数据迁移方案与应用

媒体云存储是广电素材媒资库的核心设备,其为电视节目的制作及存储提供了物理支持.目前,在媒体融合及县级融媒体技术中心的持续推进下,单集群存储的容量急剧下降.本文利用灾备技术和灾备策略提出采用双集群基于存储的远程复制功能来解决单集群容量不断下降的难题,应用结果表明,该方案完全可以解决存储集群不通过节点扩容而采用迁移的方式进...     

对象存储系统的自动化管理技术

物联网视频监控领域中的对象存储系统不仅轻松突破了传统存储系统SAN的性能瓶颈,而且可以实现性能与容量的线性扩展;然而,对象存储系统资源的远程管理成为困扰管理者的一个问题。针对该问题,研究能够实现对象存储集群的自动化管理的方法和相关技术,提高存储集群的使用效率。该自动化管理系统功能主要包括：集群组件的远程启动、停止、重启;运行状态监测;集群扩张和日志查看及存储等功能。基于Ceph对象存储集群,实现了面向Web应用服务平台的存储集群自动化管理系统,最终有效地对对象存储系统进行监视和管理,并能够自动化扩展集群的节点和存储容量。     

硬盘播出系统二级存储的设计与应用

本文对南京广播电视集团电视硬盘播出系统的二级存储的总体设计要求及Isilon集群存储的关键技术等进行了分析,并详述了Isilon集群存储在南京广播电视集团电视硬盘播出系统中的应用.     

一种面向视频监控的云存储系统设计与实现

提出一种面向视频监控大容量存储的分布式云存储系统,系统包括元数据节点集群、存储节点集群、客户端;元数据负责管理所有的存储服务器,存储所有的文件基本信息,负责客户端连接请求等,是存储系统的核心;存储节点集群是实际数据存储的节点,负责存储数据;客户端负责连接云存储系统,与客户端上的应用交付,进行数据的存储和读取。整套系统可以实现存储容量的动态增加、多客户端并发读写、存储节点的动态扩容等,非常符合视频监控大规模存储的需求。     

基于对象存储的Lustre文件系统的研究

随着高性能计算网络集群系统的高速发展，传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足，新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点，并针对基于对象存储的Luster文件系统进行了初步测试，通过和传统的NFS文件系统对比，分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。     

Cfslight:一个新型的轻量级对象存储集群文件系统

对象存储技术是国际上提出的集群文件系统的新技术，已成为国际上的研究热点。文章基于Linux操作系统实现了一个新型的轻量级对象存储集群文件系统Cfslight，它的优点是配置安装简单，使用方便．大大提高了集群系统的易用性、易管理性。此外，由于采用了对象存储技术的核心思想和多线程技术以及对象存储体在操作系统内核实现，因而Cfslight还具有较好的性能。     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

甘肃省气象大数据云平台的存储与服务系统设计

针对甘肃省CIMISS系统在汛期接口用户并发访问时数据库僵死及接口应用支撑能力不足等问题,设计了甘肃省气象大数据云平台的存储与服务系统.首先,在气象大数据云平台存储与服务系统的基础之上,采用IB交换机进行数据服务库集群内部私网数据同步,结合NVMe大容量固态盘作数据存储的架构,提高了集群内部数据同步的效率,为数据存储提...     

一种Infiniband结构下的进程通信机制

InfiniBand技术凭借其高速互联的特性在集群计算机中得到了很好的运用.该技术以处理器级的带宽连接服务器、系统I/O和存储网络形成服务器互连、服务器与存储互连、存储网络在内的高速网络,是目前主流集群服务器间的互联技术.本文研究了InfiniBand技术的结构,设计了一种Infiniband结构下的进程通信机制.     

构建稳定可靠的网络管理系统

介绍了对网管系统起提高稳定性和可靠性作用的服务器集群、存储区域网络和镜像数据库技术,分析了黑龙江省移动话务网管系统的现状,提出了建设省移动网管系统的建议方案,认为采用服务器集群、存储区域网络(SAN)和镜像数据库技术可以提高网管系统的稳定性和可靠性.     

基于Hadoop的分布式集群平台构建方法研究

随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了Hadoop发展前景趋势和三大核心技术,详细分析了分布式集群的构建方法,成功构建分布式集群平台。     

新版并行计算工具箱

新版Parallel Computing Toolbox（并行计算工具箱）提供了改进的分布式数组，可以让MATLAB用户直接访问多核计算机或计算机集群上存储的MATLAB进程数据。     

基于HADOOP的数据挖掘平台分析与设计

云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上,从而实现了对超大数据集的巨大的存储和计算能力。HADOOP是一个用于构建云平台的Apache开源项目。使用HADOOP框架有利于我们方便、快速的实现计算机集群。在HADOOP平台上,采用了HDFS(分布式文件系统)来实现超大文件的存储和容错,而使用了MapReduce的编程模式来进行计算。     

一种基于云芯一号的分布式文件多维混合存储机制

近年来,硬件加速逐渐广泛用于分布式存储服务,各种存储服务的稳定性受到用户的额外关注。FPGA是最常用的硬件加速设备,用来对存储文件进行存储前的压缩和读取前的解压。长时间的压缩/解压工作,使得FPGA存在服务中断等不稳定因素。尽管存储服务中断并不像以前其他云服务中断那样具有灾难性,但它们的影响可能比以前更广泛。为了解决上述问题,文章提出了一种基于拥有自主产权的云芯一号加速卡的分布式多维混合文件存储机制。首次在多Hadoop集群中,考虑芯片温度、芯片频率、文件存储大小等三个方面的因素,结合层次分析法(AHP),进行多维度的存储节点选择。文章利用传统的软件压缩和其他FPGA加速卡作对比实验,实验结果表明本文提出硬件加速设备和所述多维文件存储机制可以有效地降低多Hadoop集群的宕机率,提高文件存储压缩率和集群中各个节点的利用率。     

Ubuntu9．10安装Hadoop

Hadoop是一个分布式系统基础架构，让用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储.     

eXtremeDBCluster：数据库系统

McObject推出eXtremeDBCluster，是完全自主开发的集群数据库系统，主要面向分布式嵌入式软件以及实时企业应用程序，eXtremeDBCluster可在多个硬件节点管理数据存储。     

电视台网络化制播业务中的存储选择

本文简要介绍了电视台制播领域对存储的性能要求,存储的关键指标,以及典型的SAN、NAS、集群存储的架构特点。通过对几款典型设备的对比,阐述了其结构、性能和应用方式。最后对存储的技术发展趋势——统一存储做了介绍。     

一种实现公专结合的集群系统的研究

公网集群和专网集群各有自己的应用场景和优缺点,目前公专网结合主要采用两个集群系统对接的方式实现.文章提供一套统一的公网和专网融合的集群系统实现方法,实现了基于B-TrunC标准的LTE专网集群功能和基于OMA标准的公网集群POC的深度融合,实现统一调度,统一号码,统一网管,统一存储等功能.     

基于区块链与可信度函数的电子加密信息上链存储方法

为优化加密信息在区块链的存储空间占比，提高上链存储速度，提出了基于区块链与可信度函数设计电子加密信息上链存储方法。建立基于区块链和可信度函数的信息加密分类模型，获取溯源凭证判定函数，对电子信息进行代理重加密；计算集群存储空间容量，使用加密密文直接匹配访问结构树；区分主体可信度与客体可信度，基于可信度函数分类电子加密信息，设计电子加密信息上链存储方法。实验结果表明，应用所提方法后，当文件数量在1 000～10 000个时，数据存储速度最快，存储空间占比以及存储速度上均有较大优化。