大数据环境下的网络数据获取和分类

网络技术发展和广泛应用导致Web数据量与日俱增,形成海量网络数据,如何从中获取有益信息,并对其进行分类管理是发掘海量网络数据隐藏价值的关键所在。本文基于PYTHON语言探讨如何从网络中抓取与研究目标相关数据,利用机器学习技术选择分类特征并对数据进行分类管理。对当下考研信息的获取和分类处理实例表明本文提出用网络爬虫、特征词选择和贝叶斯分类器相结合的方法是一种有效的海量网络信息获取和分类管理方法。     

基于hadoop平台的混合推荐系统

随着科技的进步和网络的发展,人们不得不面对海量的信息数据,这些信息一般具有海量性、多态性、异构性、动态性、无结构化等特性。本文主要研究各种主流的推荐算法的优缺点,并在工程上设计推荐引擎组合。在对H adoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于H adoop平台的云计算混合推荐系统。     

大数据技术在智能电网中的应用初探

从海量数据中快速获取有效信息的能力是大数据技术所着重强调的内容,而能源企业涉及大数据的目的则是要求在海量数据中高效地得到数据,并有效地深加工,最终获取有用的数据。本文现就大数据处理技术和智能电网大数据处理的应用进行重点探析。     

基于文本信息处理的深度网络推荐技术研究

网络信息时代,在使用系统的时候,首先应该要避免信息过载所导致的问题.然而这一问题目前已经在网络信息技术中起到了重要的作用.根据传统的模式进行推算,目前互联网想要构建模式,首先应该设计其模型训练,另外其数据不能过于单一,而信息量也不够充足,所以导致目前所出现的推荐效果并不是很好.所以文章中有很多辅助信息能够添加到模型中而获得额外的数据输入,对于文章所推荐的方式,有些用户往往忽视所具备的多样性,主要是由于用户的喜好会随着项目的改变而发生变化.     

大数据时代下的印刷业发展

正北京印刷学院经济管理学院协办对于企业来说,强大的数据计算与数据挖掘能力,可以帮助其从海量的实时数据中挖掘有价值的消费者信息,实现更精细化的运营和营销,提高生存与发展能力。随着信息技术的飞速发展,人类已进入具有海量信息的大数据时代。作为信息传播一部分的印刷业,如何利用大数据带来的好处,实现更好发展,是一个值得思考的问题。     

一种基于内容的视频检索系统设计

随着多媒体技术的迅猛发展,数字视频信息量飞速增长。如何有效地在海量视频数据中查找用户感兴趣的内容,已经成为当今信息社会亟待解决的技术问题。本设计针对互联网视频的检索,分别从基于文本的方法和基于视频内容的方法出发,研究包括视频网页的识别和视频文本特征提取以及大规模视频数据处理等视频检索系统中的关键技术和问题,设计并实现了通用的视频检索系统。     

NWA eHACCP远离食品安全问题困扰——访美国西北分析有限公司总裁Clifford Yee

作为世界领先的统计过程控制（SPC）分析及监控软件供应商,美国西北分析有限公司（NWA）已为全球5000多家公司提供了50000多套分析软件。NWASPC软件帮助用户从产品及过程的海量数据中,了解 各方面的关键信息，用睦发现问题、解决问题．提高企业效益。近期，NWA带着为食品企业量身打造的全方位质量管理系统NWAeHACCP来到中国。     

基于语义网技术的海量数字档案智能挖掘方法

在海量数字档案智能挖掘中,以往使用的方法局限于简单的电子化数据,难以发现档案数据间的潜在逻辑,导致挖掘方法关联性不强.为此,本文设计了基于语义网的海量数字档案智能挖掘方法,利用电子资源聚合框架将数字档案资源聚合在一起,实现语义的关联,并在此基础上,构建具有知识关联网络的数字资源知识库,提供语义理解和资源共享,将知识库看作数据样本,通过决策树算法挖掘出用户所需的数据,返回给用户.实验结果表明,设计的基于语义网技术的海量数字档案智能挖掘方法支持度和置信度更高,数据并发性更强,说明该挖掘方法的关联性更强,在实际应用中能够满足用户需求.     

HR大数据时代

置身于网络信息爆炸的年代，人力资源管理者面对招聘中的海量简历，日常管理中的海量信息：打卡信息、出勤记录、培训记录、工资福利发放记录等，可以说纵有三头六臂也会淹没在这些数据中。     

大数据,让饮料企业营销更精确

何为大数据呢？根据IDC市场机构的定义,大数据是指为了更经济蜓有效地从高频率、大容量、不同结构和类利的数据中获取有价值的信息而设计的新一代架构和技术,人们并用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。     

基于文本的网络图像信息搜索技术

随着互联网的快速发展和各种数字化多媒体设备的普及,现如今图像信息的数量也在迅猛地发展,网络上的信息呈现爆炸式的增长,用户们没有过多的时间和精力在海量的信息数据中寻找自己所需要的,而是希望能够精确又全面地找到想要的内容,在这一背景下,图像信息的搜索技术得到了业内人士的广泛关注。基于此,本文通过介绍基于文本的网络图像信息搜索技术,找出这项搜索技术的优点和不足,从而更好地发展网络图像信息的搜索技术。     

海量三维地形数据的实时可视化研究

相对于光学影像对空间三维地形的描述,点云数据具有无可替代的优势,本项目基于海量三维地形点云数据,提出大容量缓存加无级缩放算法以及对图像显示方法的优化方案,研究从数据存储、读取到显示,快速、有效地组建三维空间,实时高效地展示用户需求的三维图像;研究在用户改变视点时快速重新建模三维空间图像及实时显示当前视域三维图像的理论和方法;研究从数据库服务器中快速提取用户需求方位坐标数据的理论和方法。具体包括,利用金字塔影像技术对点云数据进行多尺度、多比例尺分割存储,通过隐面消除技术,利用OpenGL引擎加速将点云展示在客户端成为3D模型,根据用户视点向用户提供一个可交互的空间三维影像显示系统。     

基于Hadoop和Hive的电信行业数据仓库研究

分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M／R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。     

综合气象信息共享与管理系统的构建与应用研究

由于气象分析数据共享具有多源、异构、海量、高效和时效等特点,如何便捷高效地为用户提供气象共享数据管理服务是一个长期以来困扰气象业务和数据管理人员的重大难题。文章基于系统CIMISS和Ci-Hadoop HDFS,给出了系统的各项性能优化测试结果和核心应用推广效果,表明该应用系统已经能够为佛山市大型气象信息业务核心用户提供高效便捷的气象数据共享和气象信息资源管理应用服务,具有一定的应用示范性和推广应用价值。     

数据型驱动公司的产品逻辑

数据驱动型公司,每一个决策,每一个想法,不是来自于某一个人是怎么想的,而是来自于用户数据驱动。所有企业都在谈用户,但什么是真正的用户,什么是用户真正需要的?并非用户调研能够得出,而是在海量的数据驱动下做出的判断、得出与用户交互的结果。     

基于海量数据优化管理的分布式文件存储系统应用研究

大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问题就是采取何种方式进行存储。基于此,文章结合当前大数据时代企业经营数据信息的实际,就如何管理好这些海量大数据进行了分布式文件存储系统的应用研究,以期通过充分发挥分布式文件存储系统的优势实现对海量数据资源处理的水平和能力,让企业数据资源发挥了最有效的价值。     

面向大数据的分布式系统设计关键技术研究

随着互联网技术的发展,用户呈现几何规模性增长,海量数据处理技术日益重要。本文详细的分析了面向大数据应用过程中分布式系统的关键技术,包括分布式文件技术、分布式数据处理技术、分布式数据库技术等,阐述了相关技术的研究现状和发展趋势,以便促进大数据应用的发展。     

基于图模型的Web数据库取样方法的解析

由于在Web数据库中存在着海量的信息,而这些信息隐藏在具有特定查询能力的查询接口后,从而为了解Web数据库的分布、更新等内容特征带来的困难,最终阻碍了Deep Web数据集成。文章基于这一问题提出了一种新的数据采样方法,这种方法可以以增量的方式通过查询接口从Web数据库中获取近似随机样本,同时利用已经保存在本地的样本记录生成下次查询。     

快时尚品牌背后的大数据时代

通过解析快时尚品牌的优势,揭示出大数据时代下我国服装企业亟需进行深度转型,决策者和管理者应该转变思维方式,充分认识到数据资产的重要性。未来服装企业只有从海量数据中获取有价值的信息,提高决策质量,实现品牌重塑,才能保持竞争力。     

大数据背景的变频兴趣变化推荐算法研究

现有的适应兴趣变化的协同过滤算法不能反应用户兴趣变化的频率,对即时热点也不足够敏感。同时,因为计算量大,不适应大数据场景。为此我们采用对时间分层的推荐模型结合热点权重函数,解决了传统算法存在问题,在生产环境中具备较高的应用价值。