数据库集群在社会信用平台设计与实现

信息化技术发展日新月异,传统数据库管理系统对于海量数据存储与访问已无法满足业务需要,数据库集群技术应运而生.该技术可以提高数据吞吐量,同时可大大缩小数据库请求响应时间,并可解决数据访问单点瓶颈的问题.集群模型设计的重难点在于系统的负载均衡、数据一致性和高可用性.新疆社会信用信息共享交换平台建设项目根据实际需求及数据量测算采用了一种高可用的数据库集群模型.     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中，大量工业设备产生的时序性日志数据量呈爆炸式增长，业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据，但由于未考虑特定业务场景中数据与访问行为特征的关联，现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题，基于分布式存储系统HBase，利用工业场景中数据与访问行为特征的关联性，提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题，提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类，并将热数据分散存储在不同节点；同时，为进一步降低存储集群中跨节点的通信开销，以提升工业时序数据高维索引的查询效率，提出索引主数据同Region化策略，设计索引RowKey字段及拼接规则，将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明，引入优化策略后的数据负载分布倾斜度降低28.5%，查询效率提升27.7%，验证了所提优化策略能够有效地挖掘特定时序数据的访问模式，合理地分配负载，降低数据访问开销，有能力满足对特...     

一个办公文档类的逻辑文件系统设计

针对当前办公系统所面临的有关海量数据存储和数据访问等若干问题,提出了一个基于数据库的逻辑文件系统的设计方案.该系统不仅能够存储海量数据,还继承了语义文件系统基于内容的访问方式,因而具有了语义访问功能.同时系统将访问方式拓宽到支持内容属性和内容结构的访问.     

一种关系型数据库自动划分方法的设计

随着互联网、物联网的发展,软件系统收集和产生了海量的数据,单个数据库由于各种限制已经无法满足海量数据存储和访问的要求,必须将数据分散在多个数据库中,以达到存储海量数据、平衡负载、提高系统可用性的目的。如何将单个数据库中的数据划分到不同的数据库中成为数据库管理员面临的首要问题。本文提出一种综合考虑SQL语句、SQL语句执行频率,服务器性能,数据量等多因素的数据库划分方法,满足数据存储和访问要求,从而为数据库设计人员划分数据库提供帮助。     

基于SQLite的LOD模式海量影像数据管理系统的设计与实现

如何实现海量影像数据的合理化存储、高效的访问是视景仿真领域的一个瓶颈问题。本文提出了一种运用SQLite数据库实现基于嵌入式数据库的集中式数据管理方法,将海量影像数据以数据库的形式进行管理,同时又以类似文件操作的方式实现快速访问,为解决基于LOD模式海量影像数据难以管理维护的问题提供了一种可行方案。本文方法有效而稳定地实现了海量影像数据的管理和调度,具有良好的实际应用价值。     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

基于内存数据库的分布式数据库架构

本文通过引入内存数据库层,建立了两层多分区分布式数据库架构,用于解决海量高并发系统的数据存储和访问问题,尤其适用于电子商务等数据模型复杂且业务复杂的互联网站。     

基于NoSQL的海量航空物流小文件分布式多级存储方法

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于Nosql的海量小文件分布式多级存储方法,充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。     

基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

A real-time distributed cluster storage optimization for massive data in internet of multimedia things

With the rapid growth of massive data in the Internet of Multimedia Things, there are some problems of insufficient storage space and unbalanced load in the current methods. For the problem of massive real-time data storage, a distributed cluster storage optimization method is proposed. Considering the impact of replica cost and the generation of intermediate data on the replica layout, a replica generation and storage strategy is given with consideration of cost and storage space. In the data center, the data sensitivity and data access frequency is used as migration factors to achieve massive data migration. The improved collaborative evolution method is used to code the task scheduling particle swarm in massive data storage to obtain the optimal solution, and achieve massive real-time data distributed cluster storage for the Internet of things. The experimental results showed that the cost of data management by this method was only between 10 and 15, which showed that this method can effectively improve data access speed, reduce storage space, lower cost and better load balancing.

     

基于关系数据库的海量地学真三维体数据组织

在地学领域,体数据的海量性已经成为制约真三维GIS发展的瓶颈之一。由于受到目前数据库访问技术的限制,传统海量体数据的组织还主要依靠文件系统,从而导致安全性和共享性差、并发访问异常、数据冗余以及无法统一管理等诸多问题。针对以上缺陷,提出一种类八叉树空间划分思想,在此基础之上,给出了基于关系数据库的海量地学真三维体数据组织方法,并实现了相关的空间查找、多分辨率和海量数据内外存交换策略。实践证明,该方法在性能上可以满足海量数据的组织及三维可视化等实际应用的需要。鉴于关系数据库是目前实用性、普及性最高的数据库,因此该方法具有较高的推广性和实用价值。     

基于HBase 的农业无线传感信息存储系统

无线传感网络由于分布的跨区域性,随着无线传感网络的扩张,如何高效组织存储这些跨区域的大规模的传感数据是近年来研究的热点和难点。根据大规模传感器数量大、分布广的特点,设计使用分层次的分布式存储方案。Hadoop的HBase是一个分布式的数据库,提供实时读写、随即访问、高可扩展性和高可用性的存储服务。使用HBase构建两层存储架构,分别存放区域内传感器数据和传感器数据的元数据。实验表明,该系统有良好的扩展性、存储和查询效率,能够满足大规模传感器数据的存储问题。     

基于实时同步的分页缓存及分区存贮的海量数据查询优化研究

随着海量数据的集中出现,对数据中心的海量数据的组织、查询和存取日益成为影响其性能的关键因素。传统的数据库优化技术只能实现降低查询处理时间或减少存储以及维护开销中的某一个或者某几个,无法达到同时优化的效果。提出一种基于实时同步的分页缓存及分区存贮（DBMS-Cache-DCS）的海量数据查询优化方法,实验结果表明,通过该方法可以同时降低访问处理时间。     

基于云计算的自动气象监测网络系统研究与实现

针对目前自动气象监测系统在建设和运行中出现的硬件成本高和信息孤岛等问题,提出了基于微软的Windows Azure云计算平台的自动气象监测网络系统。系统采用通用分组无线服务（GPRS）组网技术实现自动气象站的接入,运用微软的Blob、Table存储和SQL Azure数据库进行海量数据存储,结合ASP.NET及Flash技术在Windows Azure平台上开发和部署Web的门户网站,为用户提供统一访问平台。结果表明该系统的实现较好地解决了问题,对各种范围内自动气象监测网络系统的开发具有建设性意义。     

一种Shared—Nothing分布式数据库的构建方法

分布式数据库能够以相对低廉的代价满足海量数据分析处理的性能需求,兼具良好的可扩展性。文中采用Shared—Nothing架构及MySQL数据库来实现分布式数据库访问层的功能架构及模块设计,提出了使用列存储机制提升分布式数据库系统查询性能的思路,包括数据存储的方法及策略。对所设计实现的系统进行了基准性能：侧试及扩展性能测试,结果表明,文中所实现系统相较传统列式数据库具有出色的查询性能表现,同时具有优秀的可扩展性,能够以较低的代价满足海量数据分析处理所带来的额外数据库性能提升要求。     

基于大数据应用的地质灾害数据存储策略

针对人工智能算法和大数据技术在地质灾害监测和预警上的应用需求,基于分布式文件系统(HDFS)和列式存储非关系型数据库(HBase)提出了地质灾害相关数据的存储策略。分析了地质灾害监控系统、地质灾害预测预报系统所需使用数据的数据种类、数据格式、数据容量、数据频率及数据增长速度等信息。从数据粒度大小的角度来对数据进行分类和组织,对不同粒度的数据设计了不同的存储模式,以实现高效的存取效率。根据数据的应用特性对数据进行类别划分,为不同类型的数据提供不同的存储结构和访问接口,以获得最优的数据访问性能。     

多源异构电网运行时标量测数据接入方案设计

海量准实时数据服务平台是电网运行时标量测数据集中存储的场所;为了满足电网调度自动化、计量自动化等电网运行数据的接入需求,提出一种多源异构电网运行时标量测数据接入方案;该方案综合采用关系数据库和实时数据库存储数据,结合实时数据库存储数据的测点特性定义了电网时标量测数据存储命名规范,通过配置服务实现数据接入任务的启停控制和运行状态监控,使用接入调度器调度接入插件执行接入任务并引入主备冗余技术保证调度器的高可用;方案引入组件化程序设计思想,通过可插拔、易扩展的插件设计满足多源异构数据的接入需求;方案在南方电网公司海量准实时数据服务平台建设项目中得到实际应用,很好地满足了南方电网运行时标量测数据的接入需求。