海量水文管理数据信息整合与更新机制研究

针对海量水文管理数据使用价值开发不足的问题,结合水文管理数据的特点与索引建设需求,提出可扩展索引类型的水文管理数据信息整合与自动化更新机制。通过异构系统访问与编码映射机制,屏蔽各独立管理系统的异构性与复杂性,提供统一的数据互操作接口;构建索引类型可扩展与定制模型,提供数据源与索引类型扩展功能接口,实现索引类型可更新与建立规则可定制;封装流程化自动更新模块,实现索引数据库自动化与定时更新。在此基础上,研发实现水文管理数据资源整合与索引服务系统。经测试表明,该服务系统可实现快速挖掘与整合海量水文管理数据碎片化信息,建立水文管理索引数据仓库,在数据整合质量与更新效率上均表现出良好的性能,能够为水利信息化建设与管理提供可靠、灵活的技术支撑。     

Hadoop整合Cassandra处理海量数据

Hadoop作为开源组织Apache的一个分布式计算开源框架,可高效的对海量数据进行运算和处理,可以应对互联网上数以千万计的并发处理和访问,但其不支持数据的实时读写和修改。Cassandra是一款面向列的功能强大的Key-Value分布式数据库系统,具有良好的实时读写性能和可扩展性,但缺乏对海量数据进行分析运算的能力。将Hadoop与Cassan dra结合起来,取长补短,就能为云计算模型的实施提供一个高效的切实可行的方案。该文首先阐述了Hadoop整合Cas sandra处理海量数据的必要性,然后提出了具体的整合方案和实现,最后总结了Hadoop整合Cassandra所遇到的主要问题。     

信息内容整合发布平台设计及应用

本文介绍了中国黑龙江信息网,采用TRS＋VPN架构的信息内容整合发布平台的系统功能、设计和应用体会。希望为信息资源整合领域的研究开发,能提供有益的参考。     

Hadoop平台的海量数据并行随机抽样

在“信息爆炸”的当今社会,海量数据对数据挖掘提出新的挑战。在数据挖掘转向云计算平台实现并行化的同时,研究并行化数据随机抽样进一步降低处理的数据规模。提出一种单次扫描即可实现清理脏数据并实现等概率抽样的mapreduce并行抽样算法。在hadoop平台上实现并与普通随机抽样方法进行比较,得出其时间效率非常高,是一种行之有效的方法。为以后数据挖掘中的抽样研究和推动数据挖掘在海量数据下的发展奠定良好基础。     

海量农业数据云平台的研究

在传统的关系型数据库模式的使用中,存在大量的农业数据存储容量小和管理不够完善的问题。基于对Hadoop的分析,提出运用Hadoop框架构建海量农业数据处理云平台,并给出了平台架构和部分实验结果。通过实验数据表明,该方法可以为搭建农业海量数据云平台提供方法论基础,并实现了农业大数据有效的存储和管理。     

海量环境监测数据存储与共享平台

以湿地保护、呼伦湖流域生态环境综合信息采集及共享云计算平台建设项目为研究背景,针对环境监测数据大流量、大并发量的问题,采用基于物联网协议建立网络传输架构,提出采用Linux+Nginx+Mongo DB+PHP环境集成方法构建数据共享平台。详细阐述了数据中心服务器环境部署;重点分析和研究了Go语言创建beego框架的RESTful API,为第三方应用程序提供接口服务,实现了数据库的安全访问。数据共享平台应用消息队列遥测转传输(MQTT)协议,实现了环境数据的订阅和推送。     

多源异构海量数据实时处理平台研究与应用

目前许多业务部门以多种形式记录各种海量且异构多源的业务数据,在进行高端决策时,对数据的读取及多维计算分析等方面效率较低,特别是对具有"时空"特性的数据处理。针对这类数据的多源异构性、海量性、高度时空性等特点,结合数据实时性需求,设计并实现了"多源异构海量数据实时处理平台"。该平台从多途径实时获取、处理多种海量数据文件,并实时保存到数据库,方便其他各业务系统更加直接、实时地使用各种实时数据,最终实现各业务系统间的多源异构海量数据的实时共享,同时该平台对其他领域的复杂数据处理也具有很好的参考价值。     

图书馆元数据信息发布平台及其应用

文中研究了图书馆信息服务。信息服务呈现多元化、个性化的趋势,根据需求定制服务十分重要,图书馆信息可以重复利用是服务定制的保障。提出元数据信息发布平台设计方案,发布平台利用中国机读目录抽取信息,并结合互熵一信息检索方法提高抽取信息的正确性,抽取的信息以元数据形式存储,通过OAI协议发布。给出发布平台的应用实例,说明信息发布平台如何为毕业设计过程管理系统提供数据服务。     

从海量数据中找寻高质量信息

CA公司总部设在美国纽约长岛．其在全球的员工达到14700人．如何有效地管理遍布世界各地的子公司是CA总部的主要工作。这其中．保证即时有效的信息沟通是实现管理的关键。像其他许多企业一样．CA也发现自己的安全基础架构不得不管理好几套安全系统所产生的海量数据。诚然．多样化的安全解决方案能够提高人们的安全感．但伴随着解决方案数量的增加．与安全有关的数据也随之增加。     

TDM平台的海量试验数据展现优化

为了满足新的试验数据展现应用的需求,综合试验数据量大、试验数据展现灵活性、交互性等因素,提出了一种基于XML技术的海量试验数据展现的思路.对TDM理念以及TDM关键技术作简要介绍,在此基础上,通过分析主流的试验数据展现方式,指出目前试验数据展现存在的问题和弊端.针对这些弊端,结合控件、XML、OpenGL等多种技术阐述了海量试验数据展现的解决方案,并讨论了如何使TDM平台中的试验数据后处理功能具有丰富的交互性、强大的展现逻辑和良好的用户体验.     

一种海量数据处理平台的解决方案

该解决方案采用构建高性能计算的大型集群系统,进行海量数据处理,并可以减少分散投资的建设成本,降低整体管理成本,为科研机构提高科研水平及企业高效运营提供统一的高性能平台。     

基于SWIFT的海量数据存储平台设计

随着我国航天事业的迅速发展,利用海量数据存储平台存储产生的海量科研数据变得越来越重要。文中提出了一种基于SWIFT分布式存储系统的云存储方案,并构建了存储平台的基础架构。存储平台中SWIFT系统的设计主要包含数据存储的哈希过程、Ring优化、Partition优化和Replica副本决策4部分,通过数据模拟的方式验证了关键设计的有效性。     

云计算平台的海量数据知识提取框架

针对从海量数据中分析与提取知识计算时间高的问题,提出一种基于Hadoop的知识提取算法.本文结合Hadoop的并行处理能力与分布式存储特点,设计了一种知识提取框架,可兼容不同的原型约简方法.基于MapReduce编程方法将约简方法并行化处理,并且设计了分类准确率高、计算速度快的原型约简组合规则.最终基于真实UCI大数据集进行实验,本框架将最近邻分类器的分类时间提高两个数量级.     

Hadoop 平台下海量数据排行榜过滤算法

排行榜作为现代社会很受关注的一项事物深入大家的生活,但对于海量数据的排行,即使在分布式环境下,依然需要耗费大量硬件资源和很长的时间,有时甚至无法产出榜单。首先对贝叶斯方法进行了改进,提出了一种基于hadoop分布式环境下的行榜海量数据过滤算法,该方法利用熵值理论对缺损数据进行填补得到完整数据;再利用改进的贝叶斯方法计算某商品当日销量进榜单的概率,并对概率低于概率阈值的商品数据进行过滤使其不参与排行计算,从而在确保排行榜精确度的前提下大大缩短榜单的产出时间。对淘宝网中400万条销售记录数据进行实验仿真,结果验证了上述方法的有效性和优越性能。     

当当网系统分级与海量信息动态发布实践

当当网自成立以来,内部技术体系的发展已经有15年左右的历史了。系统架构也经历了从高度集成的软件向分布式、低耦合、SOA化系统的演进过程,形成全面支持网上零售业各种业态模式的系统架构,每天支撑着千万级的PV访问,承载了超过100亿元人民币的年营业额,2013年双11峰值流量达到日常的10倍。     

信息整合数字化平台——地理信息系统应用发展趋势

越来越多的城市，甚至是社区都在使用涉及经济、人口、交通等多方面的地理信息系统，构成各种大小不一的空间管理平台，发展空间数字服务业。[编者按]     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

打造税务信息整合平台

当前税务系统的数据环境存在着异构性,由于税务决策应用的需要,结构化数据与非结构化数据需要进行关联和整合。这就要求税务业务中需要增加信息整合的技术,建立税务信息整合平台。税务信息整合平台建设整体思路税务信息整合平台的信息来源于已有的各个业务系统,所整合的信息也是存放在各个业务系统中的业务信息,从信息来源来分,包括内部信息和外部信息。信息整合平台所要整合的信息包括各种各样的形式,主要包括结构化信息和非结构化信息这两种形式。信息整合平台需要整合的信息从信息内容的定义来说,也包括两方面信息:静态信息,如内部管理的…     

应用于海洋平台安全保障系统的海量数据管理

根据海洋平台这一环境的实际设计需要,提出从使用主键和索引,改进SQL语句,改进分页显示存储过程等三个方面进行数据库查询优化的方案,解决系统开发过程中对高速数据存储的实际需要,通过实现大量数据的快速查询和快速数据分页显示,得到针对海洋平台这一特定环境的数据管理解决方案,为同类型的软件设计和实施提供新的思路.     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。