基于海量数据优化管理的分布式文件存储系统应用研究

大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问题就是采取何种方式进行存储。基于此,文章结合当前大数据时代企业经营数据信息的实际,就如何管理好这些海量大数据进行了分布式文件存储系统的应用研究,以期通过充分发挥分布式文件存储系统的优势实现对海量数据资源处理的水平和能力,让企业数据资源发挥了最有效的价值。     

决策树算法在ofo故障分析中的应用研究

通过数据挖掘技术在海量数据库中寻找有价值的关联规则及做出有效的决策,已成为大数据时代的核心思想。决策树算法对于研究对象的分类、预判等有着直观、准确度高等特点,广泛应用于数据挖掘及分析中。本文以挖掘分析影响ofo共享单车故障主因素为目的,通过ofo共享单车数据库中的统计信息数据进行挖掘分析试验,使用ID3和C4.5算法构建决策树模型,最终找出决定ofo共享单车故障的主要因素-骑行时长。从而为分析ofo共享单车故障情况,给予针对性提示与指导提供有效的建议。     

Web内容挖掘在企业电子商务网站的应用研究

web数据挖掘能够在海量的半结构化数据当中发现知识。分析web内容挖掘在企业电子商务网站的应用,从客户的反馈的信息进行及时分类并予以处理。Web内容挖掘对市场营销、客户管理以及信用评估领域都具备一定的现实意义。     

缺失或不完备数据的填补方法分析

数据是以信息表的形式来表示的,在进行数据分析与挖掘过程中,经常会发现信息表中存在不完备数据现象,这就需要把这些数据填补回来,再进行深层次的数据挖掘。因此,本文通过分析缺失数据及其产生原因,针对数据预处理中填补不完备数据的方法及实例进行探讨。     

基于关联规则的食品安全数据挖掘方法

食品安全检测得到的大量的数据中,隐含着许多潜在有用的信息。通过对这些数据的分析,人们可以获得与食品安全状况密切联系的信息。文中分析了食品安全检测数据的特点,结合这些特点将数据挖掘技术中的关联规则挖掘引入食品安全检测数据的分析中来,并对某出入境检验检疫局提供的食品安全检测数据库进行实际分析,试验结果表明:该方法较以往的数理统计分析方法更适于对食品安全检测数据中多因素的分析,可以发现其中隐含的关联规则。这些规则对食品安全监管可提供决策支持,提高监管的效率。     

基于MongoDB存储和分析辅助决策系统中的海量日志

在辅助决策系统中,传统的关系型数据库已经难以满足对海量日志数据的管理,非关系型数据库的出现,为大规模数据存储挖掘问题提供了卓有成效的解决方案。文章着重分析非关系数据库MongoDB的特点和优势,通过存储和检索算法设计和实际的海量日志数据查询性能仿真,提出将MongoDB数据库应用于辅助决策系统中,有效提高了大规模日志数据存储和分析效率。     

方正电子:智思大数据解密能源产业

正2013年被业界称为"大数据元年"。当人们充分享受信息化带来的信息便利和共享快捷时,数据已经渗透到当今每一个行业和业务职能领域,对海量数据的挖掘和运用,成为推动生产的重要因素,而能源行业作为国民经济与社会发展的基础,也正在受到大数据的深刻影响。     

大数据时代下的印刷业发展

正北京印刷学院经济管理学院协办对于企业来说,强大的数据计算与数据挖掘能力,可以帮助其从海量的实时数据中挖掘有价值的消费者信息,实现更精细化的运营和营销,提高生存与发展能力。随着信息技术的飞速发展,人类已进入具有海量信息的大数据时代。作为信息传播一部分的印刷业,如何利用大数据带来的好处,实现更好发展,是一个值得思考的问题。     

伪氨基酸组成及其推广与应用

随着生命科学的发展,海量的生物数据对生物信息工作者提出挑战,而数值刻画为我们提供一种定量研究生物数据的方法。Chou在2001年提出的伪氨基酸组成(PseAAC)概念迅速在蛋白质组学中得到应用,并于近年被推广到核酸序列。聚焦于PseAAC的数学形式,本文对其产生和发展进行简要梳理,然后着重介绍我们提出的一种广义PseAAC。     

基于hadoop平台的混合推荐系统

随着科技的进步和网络的发展,人们不得不面对海量的信息数据,这些信息一般具有海量性、多态性、异构性、动态性、无结构化等特性。本文主要研究各种主流的推荐算法的优缺点,并在工程上设计推荐引擎组合。在对H adoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于H adoop平台的云计算混合推荐系统。     

基于分布式数据流的大数据分类算法

大数据是需求驱动的概念,大数据根据主要技术特征分为分布式和流动式,随着数据库系统的升级和扩张,现有的数据处理技术已经难以满足企业对大数据应用的要求。通过对算法整体流程的设计、数据分类形成数据集再对算法的步骤进行描述,最后通过仿真实验验证该算法的可行性,不仅能大幅度地减少网络节点间的通讯代价,而且可以获得大幅度的全局挖掘精度的提升,提升在分布式数据中的查询效率,在海量的数据信息分析中具有良好的利用价值。     

基于语义网技术的海量数字档案智能挖掘方法

在海量数字档案智能挖掘中,以往使用的方法局限于简单的电子化数据,难以发现档案数据间的潜在逻辑,导致挖掘方法关联性不强.为此,本文设计了基于语义网的海量数字档案智能挖掘方法,利用电子资源聚合框架将数字档案资源聚合在一起,实现语义的关联,并在此基础上,构建具有知识关联网络的数字资源知识库,提供语义理解和资源共享,将知识库看作数据样本,通过决策树算法挖掘出用户所需的数据,返回给用户.实验结果表明,设计的基于语义网技术的海量数字档案智能挖掘方法支持度和置信度更高,数据并发性更强,说明该挖掘方法的关联性更强,在实际应用中能够满足用户需求.     

海量数据运用与企业的人力资源管理

一、引言随着存储技术、网络技术和智能化信息技术的飞速发展,海量数据时代已经来临。如何有效地利用和挖掘海量数据的潜力来提高效率创造价值,就成为企业面临的首要问题。而人才短缺,尤其是拥有统计学和计算机学习方面专长的人才以及知道如何通过运用从海量数据获得的洞见来运营企业的管理者和分析师的短缺,成为制约海量数据实现价值的一个重要因素,这给企业人力资源管理提出了新的挑战。本文将在分析海量数据运用对社会和企业影响的基础上,针对现阶段海量数据运用人才短缺这一重要制约因素提出相应的人力资源应对措施。     

基于区域健康信息平台的医疗大数据利用探索

随着时代的发展和科技的不断进步,医疗技术和医疗卫生信息化也在稳定迅速的发展。当前社会,人们的身体处于亚健康状态,在医疗这一方面,是社会人群关注的热点。由于人口的不断增加,大数据时代的到来,医疗也逐渐进入了大数据时代,使之与传统的医疗区分开来。各个地区建立的区域健康信息平台,有利于在医疗方面的数据获取更加迅速便捷。人口的增加导致医疗数据急剧增长,面对海量增长的医疗数据,如何能够有效利用区域健康信息平台而对医疗数据进行探索与分析,是文章研究的关键。根据调查的数据与内容,对基于区域健康信息平台的医疗大数据利用探索有了进一步的分析。     

HR大数据时代

置身于网络信息爆炸的年代，人力资源管理者面对招聘中的海量简历，日常管理中的海量信息：打卡信息、出勤记录、培训记录、工资福利发放记录等，可以说纵有三头六臂也会淹没在这些数据中。     

基于大数据背景下的精准营销探究

在各类数据爆炸式飞增的背景下,消费者潜在的信息或购买活动都将产生大量的数据,发掘,分析这些数据将会对企业营销带来前所未有的便捷与高效。面对消费升级,消费者的定制化,个人化需求不断显著提升。在数据挖掘,数据分析等技术的支持下企业对消费者的特征偏好不再陌生,大量企业都聚焦在挖掘提取出海量数据背后的价值。企业如何发掘消费者的特征与需求,如何构建模型,又如何利用这些数据进行预测以满足消费者日益增长的购物体验需求?这些问题将是本文探究的主要问题。     

人工智能与大数据在食品安全信息监管中的应用

食品安全一直是人们关注的重要话题,而随着科技的发展,人工智能和大数据技术的应用为食品安全信息监管带来了新的机遇和挑战。人工智能技术可以通过模式识别、数据分析等方法,快速准确地发现食品安全问题,提高监管效率和监管精度。大数据技术则可以帮助监管部门实现对海量食品安全数据的收集、存储、分析和应用,为监管决策提供科学依据和数据支持。本文探讨了人工智能和大数据技术在食品安全信息监管中的应用,为相关工作人员提供参考。     

用电采集系统云计算技术构架的分析与研究

随着用电采集范围的逐步扩大,以采集系统全覆盖为支撑,深入挖掘采集系统数据,深化应用采集系统功能,利用基于实时数据库、云计算一体相融合技术应运而生,即实现由传统的"集中分析-集中处理-统一展示"到"分布式分析-分布式处理-统一展示"的过度,用电采集信息数据入库采用实时数据流处理技术,底层数据管理采用Data Cube分布式基础架构,基于云存储文件系统,以实现类关系型数据库的复杂关联查询。主要研究内容:(1)研究基于用电信息采集系统的数据实时处理支撑技术,解决用电信息实时高效存储、实时分析、实时计算等时效性比较高的一系列需求;(2)设计通用的数据接口,为配电生产指挥平台、营销业务应用系统、营销GIS系统等提供数据分析及数据处理支持;(3)研究针对海量数据实时在线分析挖掘和统计的功能,为有序用电智能决策分析提供强有力的依据。     

数据挖掘技术在高校图书馆信息管理系统中的应用

针对目前图书馆对读者信息的获取停留在比较浅显的层面,缺乏深层次的信息加工和数据的综合分析等问题,基于数据挖掘技术,通过数据清理、数据整合,并加上规约算法,对图书馆信息管理的数据进行挖掘和预测.实践表明,该方法可实现对读者的借阅行为、图书需求和阅读兴趣等信息的挖掘和预测,以便调整和提高图书管理策略.     

大数据环境下的网络数据获取和分类

网络技术发展和广泛应用导致Web数据量与日俱增,形成海量网络数据,如何从中获取有益信息,并对其进行分类管理是发掘海量网络数据隐藏价值的关键所在。本文基于PYTHON语言探讨如何从网络中抓取与研究目标相关数据,利用机器学习技术选择分类特征并对数据进行分类管理。对当下考研信息的获取和分类处理实例表明本文提出用网络爬虫、特征词选择和贝叶斯分类器相结合的方法是一种有效的海量网络信息获取和分类管理方法。