内存数据仓库集群技术研究

随着硬件的集成度不断提高,多核处理器和大内存成为当前主流的计算平台,内存计算也成为新兴的高性能数据分析平台.内存数据仓库集群技术面向高性能分析计算,是实现大数据实时分析的基础平台.本文概括地介绍了中国人民大学高性能数据库团队在内存数据仓库集群技术方面的研究工作,包括:以列分布和列计算服务为中心的ScaMMDB内存数据仓库集群,以水平分片、并行计算为中心的ScaMMDBⅡ和reverse-star schema分布、集群向量计算为特征的MiNT-OLAP Cluster等技术的研究发展过程.分析了内存数据仓库集群技术的关键问题及技术挑战,并针对新的内存数据仓库集群应用需求展望未来技术的发展.     

商务智能在现代企业ERP系统中的应用

本文通过分析ERP与商务智能各自的优势以及两者之间的关系,提出了一种能够结合两者长处的新的系统环境。新的系统不但能提高企业对现有的信息数据的利用效率,还能提高企业决策分析的能力。     

基于STEP标准的质量信息集成

基于信息技术的质量信息集成是质量管理信息化的基础,是企业信息化建设的重要内容.质量信息集成系统的建设不但能有效地解决质量信息在各个部门间的传输、存储和查询问题,也为质量信息的深层次利用奠定了基础.     

“矿山物联网技术”研究专栏征稿

<正>~~     

基于Hive的性能优化研究

主要从Map Reduce作业调度和Hive性能调优两个方面对Hive的性能优化进行研究.对于Map Reduce主要从编程模型切入,分析其执行过程,并从map端、reduce端进行参数调优.接着从Hive框架角度入手,分别从分区表和外部表以及常用数据文件的压缩、行式存储与列式存储等方面进行深入研究.实验结果表明,snappy压缩、orcfile/parquet存储格式对于列式查询,提高查询效率,对于大数据分析平台有较好的兼容性.     

数据仓库和 OLAP 在高校毕业生就业分析系统的应用研究

以高校教学管理为背景,以近几年教学管理系统中积累下来的毕业生就业的相关数据为研究对象,探讨就业管理数据仓库的构建,并利用数据仓库的数据分析工具—OLAP(On-Line Analysis Processing),对就业单位反馈到某高校的毕业生就业评价数据进行分析研究,从这些海量数据中分析出隐藏在其中的有用信息,从而以此为依据来指导高校培养计划的修订。     

数据仓库、数据挖掘在财政系统中的应用

随着技术发展,财政系统信息化建设得到较好发展,各类业务管理系统积累了大量的数据,如何在海量数据中挖掘有用的信息资源,就显得十分迫切。简述了数据仓库、知识发现和数据挖掘的产生、发展及相关技术和应用,研究了聚类算法及聚类分析的度量标准。以聚类算法为例,讲述了针对实际应用中数据挖掘算法的应用改进。提出了应用推广阶段的改进型聚类分析算法,并对某市财政的数据集合进行了实验分析。针对财政决策系统的应用整合问题,选择以某市财政决策管理系统为例,介绍了进行数据挖掘之前要经历的步骤,最后得出了税源户聚类信息。     

环境影响评价数据仓库模型的构建研究

随着环境影响评价基础数据库数据中心数据量的逐年指数增长,数据库服务器对客户端的响应时间也随之延长,对数据高效管理的要求也日益明显.结合环评基础数据库项目建设过程中数据分析和挖掘预测的需求,提出基于ODS的环评数据仓库的总体架构,构建基于OLAP技术的面向多主题的数据仓库模型,研究遗漏值、数据异常等不同问题的数据清理和填充方案,构建基于DS-ODS-DW的数据加载模型.研究实现基于基础数据库的统计分析和数据挖掘功能,为数据管理者提供数据预测与决策支持功能.通过模型在数据分析和数据挖掘方面的应用案例,验证了该模型和方法的合理性和有效性.     

一种支持大数据集成架构的多维分析系统

面对新型数据管理和分析环境,结合高校信息化建设中业务统计分析要求,本文设计了基于数据仓库架构的多维分析系统,实现了人事主题数据仓库及多维分析模型,满足了灵活高效的教职工信息分析的需求;同时,设计了基于传统数据仓库、Hadoop和数据库集群之上的透明访问网关和支持大数据集成架构的BI分析系统,为未来高校信息化建设中的数据分析系统建设奠定了基础.     

数据挖掘技术在军队装备管理中的应用

本文简要概述了数据挖掘的基本概念、基本流程和基本功能,分析了数据挖掘在军队装备管理中的应用,提出了装备管理中数据挖掘的应用整体框架。