| 基于Hadoop平台的用户行为挖掘 |
| |
| 引用本文： | 曾志浩,姚贝,张琼林,孙琪.基于Hadoop平台的用户行为挖掘[J].计算技术与自动化,2015(2):100-103. |
| |
| 作者姓名： | 曾志浩 姚贝 张琼林 孙琪 |
| |
| 作者单位： | 湖南工业大学 计算机与通信学院,湖南 株洲,412000 |
| |
| 基金项目： | 科技部科技支撑计划课题项目，湖南省自然科学基金面上课题项目，湖南省教育厅科研重点项目 |
| |
| 摘 要： | 随着互联网发展带来的数据爆炸，使得 Web日志的数据量也越来越大，如何从海量的 Web 日志中挖掘有价值的信息成为了目前研究的热点。本文提出基于 Hadoop 集群框架对 Web 日志进行挖掘。实验结果表明，该集群系统既可以处理海量的 web 日志，同时也能够挖掘出有价值的信息，并证实了利用sqoop在 Hive仓库和传统数据库之间数据迁移的可行性。
|
| 关 键 词： | Web日志 Hadoop Sqoop Hive 数据迁移 |
User Behavior Mining Based on Hadoop platform |
| |
| ZENG Zhi-hao,YAO Bei,ZHANG Qiong-lin,SUN Qi.User Behavior Mining Based on Hadoop platform[J].Computing Technology and Automation,2015(2):100-103. |
| |
| Authors: | ZENG Zhi-hao YAO Bei ZHANG Qiong-lin SUN Qi |
| |
| Affiliation: | (School of Computer and Communication,Hunan University of Technology,Zhuzhou Hunan412000,China) |
| |
| Abstract: | The rapid development of Internet brings data explosion, so web log data is becoming bigger and bigger. How to mine valuable information from huge amounts of Web log becomes the focus of present study. This paper presented Web log mining based on the Hadoop cluster framework. Experimental results show that this cluster system can process massive web log data, and can mine valuable information. And it is confirmed to be feasible that the data migrates between Hive warehouse and traditional database by using sqoop. |
| |
| Keywords: | Web log Hadoop Sqoop Hive data migration |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算技术与自动化》浏览原始摘要信息 |
|
点击此处可从《计算技术与自动化》下载全文 |
