基于粒子群优化和支持向量机的花粉浓度预测模型

为了提高花粉浓度预报的准确率，解决现有花粉浓度预报准确率不高的问题，提出了一种基于粒子群优化（PSO）算法和支持向量机（SVM）的花粉浓度预报模型。首先，综合考虑气温、气温日较差、相对湿度、降水量、风力、日照时数等多种气象要素，选择与花粉浓度相关性较强的气象要素构成特征向量；其次，利用特征向量与花粉浓度数据建立SVM预测模型，并使用PSO算法找出最优参数；然后利用最优参数优化花粉浓度预测模型；最后，使用优化后的模型对花粉未来24 h浓度进行预测，并与未优化的SVM、多元线性回归法（MLR）、反向神经网络（BPNN）作对比。此外使用优化后的模型对某市南郊观象台和密云两个站点进行逐日花粉浓度预测。实验结果表明，相比其他预报方法，所提方法能有效提高花粉浓度未来24 h预测精度，并具有较高的泛化能力。     

计及Spark和属性权重的售电套餐推荐方法

针对电力市场用户群庞大，交易过程中售电套餐选择困难的问题，在Spark环境下设计了一种售电套餐推荐方法，同时也解决了售电套餐推荐过程中在大数据环境下的可扩展性及实时性问题。首先，计算出每个套餐属性的权重值，从而计算得到售电套餐综合相似度。然后，计及用户和套餐两方面提出一种售电套餐推荐方法，实现售电套餐的精准推荐。实验表明，提出的推荐方法能够明显提高推荐的准确度，并且在分布式环境下具有良好的推荐效率和可扩展性。     

一种基于Spark的不确定数据集频繁模式挖掘算法

如何在海量不确定数据集中提高频繁模式挖掘性能是目前研究的热点.传统算法大多是以期望、概率或者权重等单一指标为数据项集支持度，在大数据背景下，同时考虑概率和权重支持度的算法难以兼顾其执行效率.为此，本文提出一种基于Spark的不确定数据集频繁模式挖掘算法（UWEFP），首先，为了同时兼顾数据项的概率和权重，计算一项集的最大概率权重值并进行剪枝；然后，为了减少对数据集的多次扫描，结合Spark框架的优点，设计了一种具有FP-tree特征的新颖的UWEFP-tree结构进行模式树的构建及挖掘；最后在Spark环境下，以UCI数据集进行实验验证.实验结果表明本文的方法在保证挖掘结果的同时，提高了效率.     

基于ARM的硬件压缩算法在Spark中的性能研究

鲲鹏920 CPU是2021年面世、全球第一款基于7纳米制造工艺的ARM 64位CPU，该CPU内置一个名为KAEzip的硬件加速引擎，其核心是一个硬件压缩算法，能通过硬件提升压缩与解压缩性能.相关研究表明，压缩算法的硬化与传统软件压缩算法相比具备明显性能优势.但大数据领域中的基础性系统软件都无法识别和使用这类算法.因此研究评估硬件压缩算法在大数据环境下的性能，发现揭示制约这类算法性能的关键因素以及可能存在的缺陷具有重要意义.为此，本文首先提出一种基于“生产-消费”模型的Spark任务性能模型，形式化地表示多维资源、压缩算法和Spark任务性能之间的内在关系，从理论上分析揭示出Spark下影响压缩算法性能的关键因素.然后提出一种三层架构支持Spark识别使用硬件压缩算法.这种分层架构为进一步调优硬件压缩算法在Spark中的性能提供了灵活性，也能复用到其他大数据系统软件.在此基础上本文以KAEzip为实验对象，使用经典Spark基准测试程序全面评估它在Spark中的性能，结合性能模型分析挖掘制约KAEzip性能的关键因素与根源.对KAEzip的测试表明：（1）硬件压缩算法可有效提升Spa...     

计及信息不确定性的风电机组健康状态实时评估方法

运行工况识别作为风电机组状态监测与健康管理领域的重要环节,往往受到不确定信息以及高速实时数据流的影响,造成健康状态评估难以有效实施。在此背景下,文中提出一种基于Spark流式处理的健康状态实时评估方法。首先,采用大数据分析技术实现风电机组运行工况的空间划分;然后,在充分考虑风电机组监测信息不确定性的情况下,结合数据采集与监控(SCADA)历史运行数据,对基于高斯云模型和高斯云变换的健康状态评估模型进行训练,并以健康指数作为风电机组健康状态评估的指标。最后,将该评估方法应用在中国北方某风电场1.5 MW风电机组故障前的健康状态评估中。算例分析结果表明,该方法可监测到风电机组健康状态的变化趋势,初步实现了故障的早期预警。     

基于MapReduce模式的多表联查算法

多表关联查询是进行数据挖掘与分析的有效技术手段。随着大数据时代的到来,当前的数据分析技术在进行海量数据多表联查操作时存在明显的性能瓶颈,为此提出一种基于Map Reduce计算模型的多表联查算法UGS用以提升多表关联查询效率。实验表明,在海量数据背景下,该算法的查询效率明显优于大数据领域的Spark SQL,Hive及关系型数据库的My SQL。