基于Hadoop的云存储系统的设计与研究

针对海量数据的存储和处理,设计了一个基于Hadoop的云存储系统.该系统在分布式文件系统和MapReduce编程模型2个核心技术的基础上建立基于Hadoop的云存储模型,优化了存储方式,提高了集群中网络带宽和磁盘的利用率,同时MapReduce编程框架的设计使系统拥有更强的计算能力.该系统可通过Linux集群技术搭建Hadoop平台,进行测试和分析.应用实践表明,该系统具有低成本、高效率、易扩展和安全可靠等特点,能稳定高效地满足海量数据的处理要求.     

基于Hadoop的食品安全预警系统架构

针对海量的食品安全数据,传统食品安全预警系统架构往往存在运算速度慢、处理效率低等缺点,本文提出了一种基于Hadoop的食品安全预警系统架构,该架构以Hadoop框架为基础,分别设定了基于分布式爬虫的数据获取模块、基于数理统计和数据挖掘的数据分析、存储模块和预警模块。该架构具有层次清晰、扩展性高等特点,适合运用和推广。     

基于Hadoop和Hive的电信行业数据仓库研究

分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M／R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。     

数据仓库技术在青干统计系统中的应用

针对传统青干管理工作中存在数据分散、数据规则不统一、数据信息化水平低等问题,提出了基于数据仓库技术的青干工作信息年度统计系统的设计方案.系统采用组件式开发技术,按照C/S体系结构搭建系统框架,采用MVC架构模式实现程序的表现层、控制层和模型层的分离,并运用数据仓库的数据组织理念使数据的信息化水平和基于数据的多维分析能力都得到极大提高.以河南省为应用实例,验证了该系统设计方案的合理性和有效性.     

计量、终端故障专家库的生成及应用

计量、终端故障专家库基于当前计量自动化系统基础应用,采用Hadoop的分布式处理技术,构建了以传统计量的关系库为基础,引入大数据技术的新型计量自动化系统;此外,利用Spark大数据技术实现提高海量数据分析性能,在数据库、应用以及数据采集等方面采用集群技术,提高系统的高效性、扩展性和可用性。根据专家专业经验分析,形成数据库,解决当前计量、终端故障判据单一的问题,并在计量自动化系统形成可视化页面,可以有效辅助计量工作的开展,提高效率。     

大数据时代的企业信息化管理

近年来企业产生的数据量急剧增长,传统信息化技术和分析模式已经无法应对新的挑战。以Hadoop为代表的大数据分布式处理技术的出现,为企业处理日益增长的海量非结构化数据提供了高效、可扩展的低成本解决方案。大数据技术可以有效弥补传统数据仓库的不足,深化和拓展企业的商业智能,提高决策水平,形成数据驱动的决策机制,推动企业信息化管理进入全新的阶段。     

卷烟工业企业的数据仓库构建方法

数据仓库技术能跨越多个应用系统,集成、转换和汇总所需要的数据,表达完整的数据视图,并通过OLAP技术提供各种数据分析手段。数据仓库的体系结构包含4个层次:数据源、数据的存储与管理、数据访问服务、数据展现分析;数据建模包括概念模型、逻辑模型和物理模型设计,并构建了卷烟工业企业数据仓库的架构,以及在此基础上建立了企业级数据仓库BW系统,实现了企业数据的全面共享。     

VoIP通信架构在航管内话系统的探讨与应用

文中阐述了传统内话系统现状,从点对点方式到互联网方式的航管内话通信的特点,探讨在传统的内话系统中引入网关设备,以实现传统内话系统与互联网络之间的通信。并进一步探讨基于VoIP网络的内话系统架构,以替代传统内话系统的可能性。     

基于大数据Hadoop框架的数据处理流程研究与案例实践

随着信息技术的发展及云时代的来临,大数据不仅将成为信息社会的重要财富,同时也将带来巨大的挑战。在许多领域数据都是源源不断的产生,形成了"数据灾难",要发挥数据的作用,数据处理与分析起到了关键作用。Hadoop被公认为大数据行业标准开源软件,在分布式环境下提供了海量数据的处理能力,其最核心的设计是为海量数据提供存储的HDFS(Hadoop分布式文件系统)和对海量数据进行计算的Map Reduce。本文将对大数据Hadoop框架进行介绍以及简要描述基于Hadoop架构的数据处理流程与实践。     

一种元数据驱动数据仓库设计与应用

数据仓库技术广泛服务于业界信息系统建设之需求,大数据分布式架构的兴起也促进了数据仓库技术带的发展。文章结合一个应用项目的需求,设计开源技术方案,实施多种异构数据整合、元数据驱动、主题标签及Extjs架构的图形显示。实现了一套可视化的数据仓库系统,用以解决复杂的异构数据以及数据的展示,也为后续的决策支持系统构建和数据挖掘工作提供基础     

基于元数据管理的可扩展数据仓库系统设计

数据仓库系统在创建、维护过程中,随着数据的飞速膨胀与用户需求的不断变化,应根据应用的实际情况增减新的组件以提高数据仓库的综合性能。结合新形势下的多应用组件需求,文章提出了基于元数据管理的设计方案实现可扩展的数据仓库系统,通过元数据管理与接口设计对数据仓库进行规范和组织,解决了数据仓库系统各层数据的交互问题,同时增强了数据仓库系统的扩展性,提高其应用的多样性和适应性。     

基于Kudu的电力辅助设备实时监控业务解决方案

目前Hadoop分布式大数据平台不支持电力辅助设备实时监控业务,加入Kudu存储系统可以有效支撑实时监控数据实时入库、实时查询、数据实时分析等各类场景,并根据实际需要选择Impala-JDBC连接的方式向实时监控业务的分析系统和展示系统提供快速的联机事务处理和联机分析处理的数据共享能力。首先对电力辅助设备实时监控业务应用的难点进行分析,然后介绍相关解决方案和基于Kudu的解决方案。     

海量MES监控数据的高效存储与处理

随着云制造和工业大数据时代的来临,传统的MES监控系统正面临着新的挑战。海量的工业数据存储需要更高的性能,日益增多的半结构化和非结构化数据则需要更加高效的存储功能。为了解决这一问题,文章研究并实现了基于Hadoop技术存储数据的MES监控系统,采用物联网技术,通过传感器网络,监控网络,RFID网络来获取MES监控系统有关设备,产品,人员的有关数据,数据存储使用Hadoop技术,将数据存储在远端的分布式存储数据库中,减轻了本地数据库的存储压力,提高了存储能力和存储速度。最后,文章以MES生产制造中的钻攻机为测试用例,验证了海量MES监控数据的高效存储与处理。     

基于Hadoop的工业大数据存储分析系统

工业大数据具有规模庞大、业务复杂等的特点,为数据存储、查询和分析计算带了难度。为了优化工业大数据存储管理,提高系统存储、查询、分析效率,利用基于Hadoop技术针对业务库和实时监控数据库的存储管理进行优化。系统设计业务库的集群化同步存储架构,基于Maxwell组件将MySQL业务库数据实时同步到HBase,实现业务库的读写分离、提高数据查询和数据分析的效率;其次,基于Kafka和Flink对业务库同步数据进行实时计算处理,实现高并发数据写入场景下的低延迟响应;最后,实验进行了HBase和MySQL的性能对比测试,结果表明本系统在大规模数据场景下具有更好的计算效率表现,能够有效进行工业大数据分析存储。     

全媒体信息发布系统实现图书馆服务架构的构建

图书馆全媒体信息发布系统,通过采用先进的多媒体处理技术以及计算机网络通信手段,解决由于传统的通过人工发布信息造成的困难,很大程度的加快了信息数据的采集以及发布,而且增加了信息程度的准确性。图书馆的信息发布管理模块经过全媒体信息发布系统架构的构建控制来实现,大大的降低了运行成本,于此同时降低了其应用难度,并且还提供了强有力的技术支持,不但提高了服务效率,而且还提高了安全机制。     

基于大数据的棉纺织设备数据管理系统开发

以大数据时代棉纺织企业的数据管理为背景,介绍了当前常用的棉纺织设备数据采集方式,分析了棉纺织企业数据管理的需求,建立了大数据时代棉纺织企业数据管理系统的基本架构。系统通过终端数据采集设备能够完成数据采集功能并存入数据库,形成大数据,然后由系统对存放在数据库中的数据进行处理、分析,以便为企业管理和领导决策提供支持。应用结果表明,使用系统以后,棉纺织企业的信息化水平得到了全面的提高,数据的精度、及时性得到了大幅的提升,同时为企业节能减排提供了充足的数据支持。     

高可用航班信息显示系统的设计与实现

国内经济的飞速发展带动机场的旅客吞吐量逐年上升,更加凸显了机场信息化支撑环境、特别是航显系统的重要性。然而,传统的单层B/S架构航班信息显示系统存在客户端数量有限、扩展不易等实际问题。因此,本文通过对国内西部某大型机场的原有航班信息显示系统进行兼容性改造,引入负载均衡及数据、应用分层架构、模板显示等新技术,使原有系统的系统容量、可扩展性、稳定性等获得了较大的提高。     

基于Hadoop的校园网盘的设计与实现

目前,大多数学生均使用U盘进行数据存储,但这种方式存在数据容易中毒、U盘容易丢失、无法在实验室和寝室间同步等弊端,为此,需要开发一个以校园局域网为依托,可供学生使用的校园网盘。利用该网盘,学生可不再使用U盘进行数据存储,在校期间所涉及的所有数字化文件均可存储其中,同时,还可实现教学区域与寝室的数据同步,既保证了数据存储的安全性,又极大地提高了数据的应用效率。此外,校园网盘采用Hadoop架构完成整个底层系统的搭建,属于"云计算"应用的技术范畴,能够充分利用学校目前已有的PC机资源,降低项目投入。     

面向电力大数据的数据管理工具对比

随着电力系统信息化的进步和智能电网的发展,电力系统相关的数据量急增,这些数据是客观的记录,是系统运行情况的真实反映,如果我们想要通过对数据的挖掘来把握电力系统运行行为,那么首先我们就需要对数据进行管理,如何更加科学的管理电力大数据是我们所面临的一个问题。文章综述了数据库一体机、基于Hadoop平台hive数据仓库以及面向列数据库hbase的内部构成和应用范围,详细地分析各自的优势和缺点,并梳理这些数据管理电力大数据时面临的问题。     

毛毯企业销售管理系统的研究与开发

从上海凤凰毯业有限公司的销售现状出发,提出了以提货单为主线组织实施销售管理系统的设计思想和系统架构,从而改善了企业的业务操作流程,并利用数据仓库和数据挖掘技术提升了企业的决策能力,对于毛毯行业的信息化工程的实施具有重要的指导意义.