基于大数据的数据分析平台构建研究

大数据中隐含了许多有价值的信息,能够辅助人们做出科学决策,但是大数据很难被充分利用起来,其根本原因在于数据量巨大.为此,为提高大数据利用率,构建一个基于大数据的数据分析平台.该平台首先利用多功能采集卡将采集的数据集中到一起,并转存到中心处理器当中,在中心处理器中根据数据类型和数据挖掘目的选择合适的大数据挖掘技术,进行大...     

民机运行大数据全寿命周期处理技术研究

针对日益增长的民用航空海量数据,本文对其从数据采集到大数据分析全寿命周期过程进行了研究。首先梳理了民机运行所涉及的数据源,并根据数据类型,对各数据源进行了分类。基于不同类型的数据,研究了各类数据的采集方式及大数据分析技术,并对大数据离线分析工具及实时在线分析工具进行了研究。研究成果能够为构建民用飞机运行大数据平台提供技术支撑,有助于提高我国民机运行效率。     

基于云计算的大数据分析平台设计

基于云计算的数据分析平台构建,可以对复杂的数据结构、关联度较高的数据进行处理,同时也能及时响应用户请求.该平台可以实现对大量数据的管理和处理,实现智能、高速的数据分析,为企业业务处理提供一定的帮助,从而挖掘更具有价值的数据.     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求.通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求...     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

密码大数据平台框架研究

缺乏科学合理的系统架构是密码大数据平台建设面临的首要问题,这个问题继而产生密码数据汇聚难、流动难、应用难等一系列问题。文章结合了密码数据应用场景,分析了密码数据类型、数据来源,提出了一种以数据为中心的密码大数据分层架构模式。     

大数据平台网络数据库云计算技术优化与平台搭建研究

以云数据库的具体结构以及实际优势作为切入点,结合大数据技术和云计算技术的相关原理进行阐述以及分析.网络数据库在使用的过程中需要注重平台的安全性、稳定性建设,同时也要满足当前日益增长的信息技术使用需求.因此利用云计算技术进行大数据平台网络数据库的优化,构建具有稳定性的平台模型,搭建具有联动性的云数据库处理模块,不仅能够提...     

核电企业面向开放架构的大数据平台的研究与应用

本文对核电企业建设大数据平台的背景、建设目标以及预期收益进行分析,阐述了大数据平台架构设计需要遵循的前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理等原则。以面向开放为架构设计准则,采用分层架构,详细分析了数据产生层、数据交换层、数据计算层、数据存储层、数据服务层、数据应用层等各个层次所起到的作用以及各个层次所使用到的具体技术方案。文章以基于大数据与机器学习的信函智能分发功能以及基于实时计算的阀门缺陷分类统计这两个案例为例,阐述了大数据技术平台在核电企业实际业务中的应用场景,介绍了各自的详细技术架构和应用效果,说明了大数据技术平台的应用对核电企业所带来的变化与业务收益。     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.     

基于大数据云分析平台的企业经营分析系统建设

针对现有经营分析系统的海量数据存储、海量数据处理及企业业务发展需求,我们设计并构建了基于大数据云分析平台的企业经营分析系统.本文重点介绍了该系统的建设技术路线、总体框架图、系统实现及运行效果.结果证明,该系统能够较好的提高数据综合利用效率,为企业运营提供数据支撑.     

基于大数据的发电量预测分析数据平台建设

现有电力企业发电指标统计渠道较分散,发售配电各个环节产生的数据种类繁杂且体量较大,因此针对电力数据质量差、已挖掘价值低的问题,本文采用大数据预测神经网络和数据平台可视化展示的方法,以某发电企业为研究对象,构建了发电量预测的模型及以此为核心的数据平台。发电量预测的应用服务支持PC和APP端,涵盖了某电力企业所有控股电厂及新能源项目,以滚动预测的模式迭代优化算法模型,提高发电量预测精度,有利于安排生产、燃料采购、物资计划,进一步做好污染物排放预测和管控。平台重点实现了数据多维管理和用户界面的可视化展示。数据层面,从源头做好数据采集清洗和数据库实时数据交互;用户层面,更直观形象展示大数据预测从获取数据、数据分析及预处理、数据训练到预测的四个阶段。     

基于大数据分析和复杂事件处理的金融信息服务平台

针对大数据时代下金融信息服务滞后性、片面性、同质化的问题,设计并实现了基于大数据分析和复杂事件处理的金融信息服务平台. 该平台采用多通道采集、浅层语义处理等技术实现多源数据的采集、抽取与清洗,采用面向金融领域特征的网络观点分析等技术进行数据分析,为证券投资者、投资顾问及机构等三类用户提供及时、精准、个性化的金融信息服务,取得了良好的应用成效.     

大数据思维下的网络教学平台的数据驱动研究

网络教学平台的应用可为学习者提供丰富的资源,但是对于教师或学习者从现有网络教学平台获得的数据使 用是静态的,平台缺乏个性化学习指导。通过将大数据思维引入网络教学平台,可以更好地理解学习者的多样性和每个学习 者的真实情况。本文分析了现有网络教学平台的一些缺点,并讨论了如何利用“数据驱动”为学习者提供优质,个性化的教育 资源。     

环境评估大数据管理平台初探及技术综述

随着软硬件成本的下降和相关技术的日趋成熟,传统的数据分析和管理方式已不能适应业务发展需求.由于环境保护监测和评估数据符合大数据的特征,因此利用大数据技术构建新的环境评估管理平台已成为可能.本文在通过对环境评估大数据管理平台三层架构以及物理实现方案的阐述,结合弹性扩展、流处理、数据湖、大规模并行处理、机器学习等技术的研究,尝试解决环境评估数据的高速、深入、智能处理问题,从而为业务管理提供更高效率的数据支撑.