主流大数据处理开源架构的分析及对比评测

结合电信增值业务领域中对大数据处理的实际需求,对现有主流的分布式大数据处理架构(Hive、Impala、Spark)的核心进行分析与实测,比较它们在大数据处理过程中的优劣及适用的场景,从而为大数据分析所面临的架构适用性选型提供参考.     

基于HDFS和IMPALA的碰撞比对分析

处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果.针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了MapReduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现.本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考.     

Meat quality of kudu (Tragelaphus strepsiceros) and impala (Aepyceros melampus): The effect of gender and age on the fatty acid profile, cholesterol content and sensory characteristics of kudu and impala meat

Game meat has distinct sensory characteristics and favourable fatty acid profiles which differ between species. The SFA’s percentage was found to be higher in impala meat (51.12%) than kudu meat (34.87%) whilst the total PUFA was higher in kudu (38.88%) than impala (34.06%). Stearic acid (22.67%) was the major fatty acid in impala and oleic acid in kudu (24.35). Linoleic acid, C20:3n-6 and C22:6n-3 were higher in kudu while C20:4n-6, C20:5n-3 and C22:5n-3 were higher in impala. The PUFA:SFA ratio for kudu (1.22) was higher than for impala (0.73) while impala had a higher n-6 PUFA’s to n-3 PUFA ratio (3.76) than kudu (2.20). Kudu was higher in cholesterol (71.42 ± 2.61 mg/100 g muscle) than impala (52.54 ± 2.73 mg/100 g muscle). Sensory evaluation showed impala had a more intense game aroma and flavour while the initial juiciness of cooked samples of kudu was higher. The results show kudu and impala can be marketed for their unique flavours and aromas as well as being a healthy substitute for other red meats.     

基于ImpaIa的大数据查询分析计算性能研究

分析了 Cloudera 公司推出的 Impala 实时查询引擎原理与架构,并深入比较 Impala 与传统 MapReduce 的性能与特点,针对 Impala 进行复杂大数据处理方面的不足,提出了 MapReduce 与 Impala 结合的大数据处理方法,通过使用 MapReduce 对 Impala 的输入数据进行预处理,利用 MapReduce 在复杂作业处理方面的长处弥补了Impala 在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于 MapReduce 与 Impala 结合的大数据处理速度比传统 MapReduce 快了一倍。特别地,在迭代查询实验中,基于 MapReduce 与 Impala 结合的处理方法超过传统 MapReduce 方法八倍以上。基于 MapReduce与 Impala 结合的处理方法在单次查询中的效率仍然高于传统 MapReduce;而在迭代查询中,MapReduce 与 Impala结合的处理方法远远地超过了 MapReduce。因此,MapReduce 与 Impala 结合的处理方法能够发挥 Impala 和 Ha-doop 各自的优点,让处理效率远超传统 MapReduce,对于复杂的大数据处理的能力高于 Impala。     

英帕拉铂金股份有限公司的生产经营状况

本文将针对英帕拉公司财务指标、资源、生产技术状况，特别是对近年来该公司生产经营情况进行了调研。力求提供较为详实的信息资料。