基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于Java的数据库通用转储工具的研究

当今企业的信息化生产实践中,数据库的使用十分广泛,企业为了满足不同业务需求,需要配置不同类型的数据库。为了确保数据库使用的安全性,兼顾高效性,降低数据存储迁移的难度,提高了数据的共享,研究了软件企业在生产实践中进行数据库间数据转储的实际需求,针对关系型数据库的数据库间数据转储的问题进行了调查,提出了一种基于Java技术开发实现的数据库转储工具的解决方案。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

从Caché看后关系型数据库

关系型数据库把数据表示为简单的两维模型，即表示为行与列的记录来进行存储处理。关系型数据库产生的时间较早，只是一种适合于对简单数据进行存储处理的技术。存在很多局限性。虽然关系型数据库简单，易于理解，并被广泛的应用，但是随着Internet的发展。多种复杂数据的使用，这种简单两维模型的关系型数据库显然已经难以应付各类复杂的应用。于是，更多的数据库专家开始了对后关系型数据库的研究。     

轻量级缓存策略的关系型数据库全文搜索加强与扩展

针对关系型数据库（RDB）现有的全文搜索方案存在的效率低下、资源占用高的问题，提出一种具有增强式辅助缓存的轻量级关系型数据库全文搜索模型。首先，该模型构建基于Redis的倒排索引，并利用缓存索引缩小搜索范围，从而用内存高效的数据处理能力解决关系型数据库I/O瓶颈，并提升系统整体性能；其次，为保证搜索结果的准确性和时效性，进一步提出索引同步策略，而且设计并实现了增量索引组件来隐藏索引处理细节，从而提高模型的易用性和通用性；最后，对于热点数据提供一种基于访问热度的索引更新机制，以降低倒排索引的内存占用。实验结果表明，所提模型在保证关系型数据库全文搜索响应速度和准确度的前提下，空间资源消耗比MySQL全文索引降低了48.8%～60.9%，比Elasticsearch降低了85.2%～96.2%，证明所提模型在实际应用中可行且有效。     

大数据时代非关系型数据库教学与实验改革探索

分析了大数据时代数据库系统新技术和需求的迫切性,从多个方面比较了传统的关系型数据库和非关系型数据库的差异,针对关系型数据库存在的问题及缺陷,提出了使用非关系型数据库的必要性。给出了非关系型数据库课程理论和实验教学内容,并结合实例描述了非关系型数据库的用法。引入非关系型数据库的教学必能极大地增强大数据时代的信息化人才培养的力度,带来较好的经济效益和社会效益。     

数据流数据库机(DDM)上的数据分布与处理分布

文献[1]提出了一种对关系型数据库进行合理划分的思想与方法。本文继而给出几种将划分后的数据尽可能均匀地分布到系统的各个处理单元上去的方法,并对它们进行了比较和评价。还讨论了有关的处理分布问题,指出了影响处理效率的主要因素以及在处理中应遵循的基本原则。     

传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究

为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到NoSQL文档型数据库中。针对RDBMS中的关系模型向MongoDB中的集合模型转化方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,和基于关系型数据模型向MongoDB文档模型自动转化算法;实现了RDBMS中迁移数据到MongoDB的插入算法。针对上述方案和算法,结合典型开源RDBMS--MySQL实例,对上述关系有向图模型的生成、基于有向图模型的转化算法以及数据迁移算法应用验证。实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到MongoDB中。     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

PostgreSQL与MongoDB处理非结构化数据性能比较

互联网技术的发展产生的海量非结构化数据在传统关系型数据库中难以被高速有效地进行存储和处理,各类NoSQL数据库可以有效存储处理非结构化数据,但是对关系运算功能的弱化难以满足应用场景的需求。具备非结构化数据处理能力的新型关系型数据库提供了适用多种应用场景的高效存储方式。为了能够定量地比较关系型数据库和面向文档的NoSQL数据库的数据存储与处理能力,比较了PostgreSQL的hstore数据类型和MongoDB的内嵌文档对非结构化数据的储存方式,并通过非结构化数据的批量加载、磁盘占用、主键查询、非主键查询、地理空间坐标查询等方面的对比来以分析性能特征与适用场景。