基于Spark的并行频繁项集挖掘算法

关联规则挖掘是数据挖掘领域的重要研究方向之一。频繁项集的挖掘是关联规则挖掘的第一步,也是最重要的步骤。FP-Growth(Frequent Pattern-Growth)算法因其挖掘效率以及空间复杂度方面的优势被广泛应用于频繁项集挖掘任务中。面对海量数据,FP-Growth算法挖掘效率变得极低甚至失效。在Hadoop大数据平台上实现的基于MapReduce框架的并行FP-Growth算法——PFP算法解决在处理大规模数据时传统算法失效的问题,但是由于其将每次执行之后的中间结果输出到磁盘,降低算法执行效率。为提高并行FP-Growth算法执行效率,提出一种基于Spark的SPFPG算法。该算法运用负载均衡思想对分组策略进行改进,综合考虑分区计算量和FP-Tree规模两个因素,保证每个组之间负载总和近似相等。在Spark上实现FP-Growth算法——SFPG算法的基础上,实现优化后的SPFPG算法。实验结果表明,SPFPG算法相比SFPG算法挖掘效率更高,且算法具有良好的扩展性。     

南水北调受水区某水厂炭砂滤池运行特性及生物安全性研究

南水北调受水区某水厂采用活性炭和石英砂叠加结构的滤池,该炭砂滤池与传统生物活性炭池具有一定的差异性,对其运行特性及生物安全性做了解析。研究发现,高温高藻期采用臭氧和炭砂滤池组合工艺可减少滤池出水的致病菌和蓝藻,同时对有机物的去除也略有提高;滤池对氯化消毒副产物有一定的去除作用,但在夏季存在不稳定性,与活性炭中有机物的释放及炭料表面鞘氨醇单胞菌等菌属的季节性差异相关联;高温期滤池有军团菌和曲霉菌等致病菌泄露的风险,而冬季低温期生物安全性较高。因此,夏季对炭砂滤池的运行工况应进一步优化,冬季可适当延长反洗周期,以利于降解有机物的功能菌附着在炭料上。     

衍射时差法(TOFD)技术的测量误差分析

从衍射时差法(TOFD)技术原理出发,分析了影响TOFD技术测量缺陷深度和高度误差的各种因素,推导出各种影响因素的理论误差公式,并对部分误差公式进行了试验验证。同时也指出深度和高度测量误差分析对TOFD检测的实际意义,包括不同工件厚度情况下仪器的校准方式、数据分析时的再校准等。     

基于多尺度卷积特征融合的肺结节图像检索方法

为了解决肺结节图像检索中特征提取难度大、检索精度低下的问题,提出了一种深度网络模型——LMSCRnet用于提取图像特征。首先采用多种不同尺寸滤波器卷积的特征融合方法以解决肺结节大小不一引起的局部特征难以获取的问题,然后引入SE-ResNeXt块来得到更高级的语义特征同时减少网络退化,最后得到肺结节图像的高级语义特征表示。为满足现实中大数据量检索任务的需求,将距离计算及排序过程部署到Spark分布式平台上。实验结果表明,基于LMSCRnet的特征提取方法能够更好地提取图像高级语义信息,在肺结节预处理数据集LIDC上能够达到84.48%的准确率,检索精度高于其他检索方法,而且使用Spark分布式平台完成相似度匹配及排序过程使得检索方法能够满足大数据量检索任务需求。     

基于图游走的并行协同过滤推荐算法

针对目前协同过滤推荐算法存在的数据稀疏性问题和可扩展性问题,本文进行了相关研究。针对稀疏性问题,在传统的皮尔逊相关相似度中引入交占比系数计算用户间直接相似度,该方法缓解了用户间共同评分项的占比问题;提出一种基于图游走的间接相似度计算方法,该方法根据用户间的直接相似度建立用户网络图,在用户网络图上通过游走计算用户间的间接相似度,并进行推荐。在Spark平台上实现本文方法的并行化,缓解了数据规模增加带来的可扩展性问题。实验结果表明:本文提出的算法在不同数据集上均取得了良好效果,有效地提高了推荐准确度,并且在分布式环境下具有良好的可扩展性。     

深度置信网络优化模型在人才评价中的应用

针对深度置信网络(DBN)权值随机初始化容易使网络陷入局部最优的问题,引入改进的和声搜索(IHS)算法,提出基于IHS的DBN模型(IHS-DBN)。在和声搜索算法的基础上,利用全局自适应的和声音调调整方式,提升算法收敛速度和后期局部搜索能力。将DBN重构误差函数作为IHS算法的优化目标函数,通过不断迭代优化解向量为DBN寻找一组较优的初始权值进行网络训练,并在MNIST数据集上验证IHS-DBN模型的有效性。IHS-DBN模型在高校人才评价中的应用结果表明,与DBN、SVM和BP神经网络评价模型相比,IHS-DBN模型的评价准确率分别提高3.6%、7.3%和16.4%。     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

融合多时间尺度和特征加强的知识图谱推荐模型

针对现有的知识图谱推荐模型没有考虑到用户的周期特征以及待推荐项目会对用户近期兴趣产生影响的问题,提出一种融合多时间尺度和特征加强的知识图谱推荐模型（MTFE）。首先,采用长短期记忆（LSTM）网络在不同时间尺度上挖掘用户的周期特征并融入到用户表示中;然后,通过注意力机制挖掘待推荐项目中与用户近期特征相关性较强的特征,将其加强后融入项目表示中;最后,通过评分函数计算用户对待推荐项目的评分。在真实数据集Last.FM、MovieLens-1M和MovieLens-20M上把所提模型和个性化实体推荐（PER）、协同知识嵌入（CKE）、LibFM、RippleNet、知识图卷积网络（KGCN）、协同知识感知注意网络（CKAN）等知识图谱推荐模型进行对比。实验结果表明,在三个数据集上MTFE相较于表现最优的对比模型的F1性能分别提升了0.78、1.63和1.92个百分点,AUC指标在三个数据集上分别提升了3.94、2.73和1.15个百分点。可见,所提模型相较于对比图谱推荐模型有更好的推荐效果。     

用注采能力分析方法优选层间改造措施

应用注采能力分析方法,围绕油藏的开发条件,计算出井(层)的产液能力,判段井(层)对油藏开发的适应性,为井(层)下步是否实行改造措施提供可行性依据。通过对濮城油田沙二上4-7油藏的几口井的实际数据进行计算,该方法切实可行。压裂、酸化等层间改造作为油气井增产的一项重要措施,在油气田开发中得到了广泛应用,尤其对于难以开发的低孔低渗断块油气田,层间改造是提高开发速度和效率的有效措施。层间改造设计中,是否正确选择了改造井(层),直接影响着改造效果。本文紧密围绕油藏的开发条件,用注采能力分析方法对井(层)进行客观、真实的计算,从而对选择改造井(层)提供了一个主要的判断依据。     

基于CT图像构建髌股关节生物力学模型

采用活体膝关节为标本,应用CT扫描技术获取膝关节的断层数据图像.利用图像处理软件处理骨骼边缘轮廓数据,提取其二维曲线,在CAD软件的辅助下建立了髌股关节三维骨性结构实体模型,并导入ANSYS软件得到其三维有限元模型,为进一步建立膝关节整体模型以及受力分析提供研究平台.