计及Spark和属性权重的售电套餐推荐方法

针对电力市场用户群庞大，交易过程中售电套餐选择困难的问题，在Spark环境下设计了一种售电套餐推荐方法，同时也解决了售电套餐推荐过程中在大数据环境下的可扩展性及实时性问题。首先，计算出每个套餐属性的权重值，从而计算得到售电套餐综合相似度。然后，计及用户和套餐两方面提出一种售电套餐推荐方法，实现售电套餐的精准推荐。实验表明，提出的推荐方法能够明显提高推荐的准确度，并且在分布式环境下具有良好的推荐效率和可扩展性。     

土地适宜性分析的数据处理技术框架及其构件研究

现在对土地适宜性分析的需求日益复杂化、多样化,传统的将数据与GIS技术相结合的土地适应分析方式已经满足不了系统的性能需求。本文针对现有的土地适应性分析的需求,研究分析了一种将Net CDF存储与Spark分布式计算相结合的高性能数据处理方式。我们将数据处理的各个关键步骤分解成标准的构件,针对土地性适应分析我们将分析过程分解为了三个主要的标准构件分别为:数据存储构件是将数据用Net CDF模型进行存储,以便将多数据源数据统一存储,减少数据检索时间,提高数据的存储效率;数据插值构件是利用分布式计算框架Spark对土地适宜性分析中的数据进行并行插值(离散点数据插值为格点数据);每个格点适宜度的计算构件是利用分布式计算框架Spark并行计算每个格点的适宜性等级,以提高数据处理效率。最后以人工草地建植适宜性综合管理系统为例,给出了一个基于Spark及Net CDF构件的实例,研究结果表明将Net CDF与Spark技术应用于土地适宜性分析以及将其以构件的形式进行开发可大大提高分析的效率。     

使用Spark Streaming的自适应实时DDoS检测和防御技术

分布式拒绝服务(distributed denial of service,DDoS)攻击是重要的安全威胁,网络速度的不断提高给传统的检测方法带来了新的挑战。以Spark等为代表的大数据处理技术,给网络安全的高速检测带来了新的契机。提出了一种基于Spark Streaming框架的自适应实时DDoS检测防御技术,通过对滑动窗口内源簇进行分组,并根据与各分组内源簇比例的偏差统计,检测出DDoS攻击流量。通过感知合法的网络流量,实现了对DDoS攻击的自适应快速检测和有效响应。实验结果表明,该技术可极大地提升检测能力,为保障网络服务性能和安全检测的可扩展性提供了一种可行的解决方案。     

Nanoindentation and Wear Characteristics of Al 5083/SiC_p Nanocomposites Synthesized by High Energy Ball Milling and Spark Plasma Sintering

Al 5083/10 wt% SiC p nano composites have been synthesized by means of high energy ball milling followed by spark plasma sintering (SPS). Nano composites produced via this method exhibited near-theoretical density while retaining the nano-grained features. X-ray diffraction (XRD) analysis indicated that the crystalline size of the ball milled Al 5083 matrix was observed to be ～25 nm and it was coarsened up to ～30 nm after SPS. Nano indentation results of nano composites demonstrated a high hardness of ～280 HV with an elastic modulus of 126 GPa. Wear and friction characteristics with addition of SiC p reinforcement exhibited significant improvement in terms of coefficient of friction and specific wear rate to that of nano structured Al 5083 alloy. The reduction in specific wear rate in the nanocomposite was mainly due to the change of wear mechanism from adhesive to abrasive wear with the addition of SiC p which resulted in high hardness associated with nano-grained microstructure.     

基于MapReduce模式的多表联查算法

多表关联查询是进行数据挖掘与分析的有效技术手段。随着大数据时代的到来,当前的数据分析技术在进行海量数据多表联查操作时存在明显的性能瓶颈,为此提出一种基于Map Reduce计算模型的多表联查算法UGS用以提升多表关联查询效率。实验表明,在海量数据背景下,该算法的查询效率明显优于大数据领域的Spark SQL,Hive及关系型数据库的My SQL。     

主流大数据处理开源架构的分析及对比评测

结合电信增值业务领域中对大数据处理的实际需求,对现有主流的分布式大数据处理架构(Hive、Impala、Spark)的核心进行分析与实测,比较它们在大数据处理过程中的优劣及适用的场景,从而为大数据分析所面临的架构适用性选型提供参考.     

基于Spark的改进随机森林算法

针对基于单机的经典随机森林算法无法满足海量数据处理需求的问题,文中采用Spark分布式存储计算技术设计并实现了改进的随机森林算法。首先计算特征的重要程度,将特征分为公共特征、独有特征和非重要特征;然后按顺序和比例分别在各个特征子空间中随机选择特征;最后通过Spark集群进行实验,分析改进的随机森林算法分类性能、加速比和效率。结果证实改进的算法提高了随机森林构建效率,可以用来解决海量数据挖掘问题,具有良好的可扩展性。     

一种改进的CLTree算法

针对聚类算法CLTree 精度低、算法效率低的问题,提出了CLTree-R 算法,之后将其应用于UCI 数据集进行聚类分析。基于Spark平台的特性对数据进行并行处理,加快了算法运行效率。实验结果也表明,使用该算法对官方数据集进行聚类分析时,可以得到较为合理的顾客划分。     

面向社会安全事件的分布式神经网络攻击行为分类方法

大数据时代下,社会安全事件呈现出数据多样化、数据量快速递增等特点,社会安全事件的事态与特性分析决策面临巨大的挑战。高效、准确识别社会安全事件中的攻击行为的类型,并为社会安全事件处置决策提供帮助,已经成为国家与网络空间安全领域的关键性问题。针对社会安全事件攻击行为分类,提出一种基于Spark平台的分布式神经网络分类算法（DNNC）。DNNC算法通过提取攻击行为类型的相关属性作为神经网络的输入数据,建立了各属性与攻击类型之间的函数关系并生成分布式神经网络分类模型。实验结果表明,所提出DNNC算法在全球恐怖主义数据库所提供的数据集上,虽然在部分攻击类型上准确率有所下降,但平均准确率比决策树算法提升15.90个百分点,比集成决策树算法提升8.60个百分点。