基于Hadoop的科技情报信息服务平台构建

通过一个区域性科技情报信息服务平台的分析与设计,揭示传统模式下的缺点,并介绍云平台的优点和云项目Hadoop的技术特性。介绍基于Hadoop技术的科技情报信息服务平台的构建。平台构建实现了灵活多样的共享模式,打破条块分割、相互封闭格局,集科技信息资源与科技服务资源于一体的综合性科技资源共享与服务平台。     

对大数据与云计算背景下的信息安全技术的几点探讨

随着大数据与云计算在企业中的使用,真正实现了数据的共享与在线处理.虽然云平台、大数据采用授权访问、数字加密等安全防护措施,但是信息破坏与泄露的现象也依然存在,给用户的信息安全带来了极大挑战.通过对云平台数据的内涵进行分析,并对大数据与云计算背景下的信息安全问题进行分析,从数据加密技术、人工智能技术的应用和提高管理人员的...     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

面向云平台非可信Hypervisor的保护机制综述

大数据时代背景下,多租户云平台的作用越显重要。然而,虚拟化作为云平台的关键构建技术之一,其安全性的保证尚不充分。Hypervisor是虚拟化技术中关键的软件层次,它管理着客户虚拟机和裸机物理资源之间的资源分配、共享和隔离等重要事务。但是Hypervisor本身存在着漏洞和攻击面,使得任意针对Hypervisor的攻击对多租户云平台和上层应用造成不可估计的威胁。因此,面向云平台非可信Hypervisor的保护机制应运而生。对现有保护机制进行综述,包括:分析其构建的可行性与挑战,并对保护机制进行分类;梳理和剖析保护机制中的完整性检测机制、防御机制以及隔离机制方面的相关工作;展望未来研究趋势,为未来虚拟化技术安全性的研究以及构建可靠的多租户云平台的研究提供有价值的参考。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式;但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性;针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法;采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决;通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

海量农业数据云平台的研究

在传统的关系型数据库模式的使用中,存在大量的农业数据存储容量小和管理不够完善的问题。基于对Hadoop的分析,提出运用Hadoop框架构建海量农业数据处理云平台,并给出了平台架构和部分实验结果。通过实验数据表明,该方法可以为搭建农业海量数据云平台提供方法论基础,并实现了农业大数据有效的存储和管理。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

云计算平台安全策略研究

云计算平台信息的安全保护策略是云计算时代不得不面对的问题.本文从数据安全为题、虚拟化技术存在的隐患、云平台系统可靠性等云平台面临的安全问题入手,详细阐述了云平台的信息安全保护策略,包括云平台的搭建、数据加密和数据隔离的数据保护策略以及加强网络数据过滤和传送机制的网络安全策略,从而确保云平台的数据信息的安全.     

云资源池探针的故障检测方法研究

随着大数据时代的发展,人们越来越重视保存历史数据,通过海量的历史数据挖掘数据潜藏的价值。在云计算与大数据发展的背景下,虚拟化资源产生的大量状态文件、日志信息将为云平台的故障诊断与预测提供了有力地预测与快速定位依据。通过建立探针机制的挖掘虚拟化资源池日志等信息,找出其中潜在的关联信息。本文构建云计算资源池的大数据分析模型,通过利用大数据技术对资源池各管理层日志进行关联性分析,快速对故障和性能瓶颈进行探查,准确给出探查出的每层资源故障路径或性能瓶颈轨迹,以智能化的方式替换随机性和经验性的人工模式。通过注入云计算操作系统的控制台接口和日志、利用SDN技术对网络流量进行采集、通过存储虚拟化控制工具采集存储性能和日志,再结合现有应用性能分析系统API接口开发,研发基于探针技术的资源池故障及性能分析探针系统。通过该模型系统能对不同资源类型的数据和日志进行综合分析,从这些数据中捕获隐患信息和故障发生点的位置信息并予以可视化表示。     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

云计算虚拟资源增强型多点安全传输仿真

多点传输过程中存在靠近协作基站窃听威胁,导致网络资源传输安全性差问题。为此提出基于云计算虚拟资源增强型多点安全传输方法。通过虚拟化技术将物理资源抽象为相同的虚拟资源,构建云计算资源管理框架平台,将用户的数据信息存储在资源服务器数据库内。采用安全保护域增强型多点协作传输机制,以微基站作为中心建立安全防护域,判断在传输过程中是否存在监听设备。通过在传输信息时发送人工噪声,减少协作微基站附近的监听威胁,实现增强型多点安全传输。仿真结果表明:所提方法能有效降低信息被窃取概率,提高数据传输速度和吞吐量,加强数据传输的安全性。     

面向预拌混凝土行业的云计算

云计算是未来企业信息化的发展趋势,在各行业中已有了一定的研究或应用,但在预拌混凝土行业还鲜有研究。针对预拌混凝土企业信息化建设中对数据存储、整合、挖掘等方面需求的不断提高,将云计算运用于建设预拌混凝土企业信息平台,提出了面向混凝土行业的云计算,以实现信息平台资源虚拟化、大数据存储与并行计算处理。结合Hadoop云计算技术,设计了云计算信息平台构架,给出了几种云计算下的应用模式,并通过实例验证了平台的可行性,分析了应用效果。     

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。     

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

Sports performance prediction model based on integrated learning algorithm and cloud computing Hadoop platform

This article discusses the classification and research performance information properties. It also discusses construction and application of the Hadoop cloud computing platform. The model presented in this article is a one piece learning algorithm which is a predictive model and a model of cloud based data collection. This model is supported by Hadoop which is suitable for computing with different data sizes. A large number of simulations are performed on the Hadoop platform, under different working conditions, to verify the accuracy and characteristics of the training skill. Spark framework of this research is to develop computational engine efficiency and improve rain prediction models successfully and effectively using big data and Hadoop learning. Therefore, the planned high timeliness and accuracy of real-time hurricane forecast with rain, can solve the problem.     

Protecting Data Mobility in Cloud Networks Using Metadata Security

At present, health care applications, government services, and banking applications use big data with cloud storage to process and implement data. Data mobility in cloud environments uses protection protocols and algorithms to secure sensitive user data. Sometimes, data may have highly sensitive information, leading users to consider using big data and cloud processing regardless of whether they are secured are not. Threats to sensitive data in cloud systems produce high risks, and existing security methods do not provide enough security to sensitive user data in cloud and big data environments. At present, several security solutions support cloud systems. Some of them include Hadoop Distributed File System (HDFS) baseline Kerberos security, socket layer-based HDFS security, and hybrid security systems, which have time complexity in providing security interactions. Thus, mobile data security algorithms are necessary in cloud environments to avoid time risks in providing security. In our study, we propose a data mobility and security (DMoS) algorithm to provide security of data mobility in cloud environments. By analyzing metadata, data are classified as secured and open data based on their importance. Secured data are sensitive user data, whereas open data are open to the public. On the basis of data classification, secured data are applied to the DMoS algorithm to achieve high security in HDFS. The proposed approach is compared with the time complexity of three existing algorithms, and results are evaluated.     

企业级Hadoop 大数据平台安全管理方案的研究

本文旨在对企业级Hadoop 大数据平台安全管理机制进行探究。首先介绍当前企业级Hadoop 大数据集群安全管理方案存在的问题和不足;然后结合当前Hadoop 生态圈安全管理组件的发展现状和第三方安全信息管理解决方案,针对现有的Hadoop 大数据平台安全管理机制的不足进行优化和整合;最后提出了以Ranger+FreeIPA(Kerberos+LDAP)为整体的Hadoop 大数据平台安全管理解决方案。