| 基于HDFS和IMPALA的碰撞比对分析 |
| |
| 引用本文： | 王艳,潘晨光.基于HDFS和IMPALA的碰撞比对分析[J].电视技术,2015,39(14):94-98. |
| |
| 作者姓名： | 王艳 潘晨光 |
| |
| 作者单位： | 公安部第一研究所,北京,100048 |
| |
| 基金项目： | 十二五国家科技支撑计划项目(2011BAK05B06、2011BAK05B05) |
| |
| 摘 要： | 处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果.针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了MapReduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现.本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考.
|
| 关 键 词： | 公共安全 数据处理 HDFS MapReduce Hive |
| 收稿时间： | 2/3/2015 12:00:00 AM |
| 修稿时间： | 2/3/2015 12:00:00 AM |
Analysis of Collision Alignment Based On HDFS and IMPALA |
| |
| Wang yan and Pan Chen-guang.Analysis of Collision Alignment Based On HDFS and IMPALA[J].Tv Engineering,2015,39(14):94-98. |
| |
| Authors: | Wang yan and Pan Chen-guang |
| |
| Affiliation: | The First Research Institute of Ministry of Public Security,The First Research Institute of Ministry of Public Security |
| |
| Abstract: | |
| |
| Keywords: | Hadoop Impala HDFS MapReduce Hive |
|
| 点击此处可从《电视技术》浏览原始摘要信息 |
|
点击此处可从《电视技术》下载全文 |
|
