基于Spark的并行FP-Growth算法优化及实现

为了进一步提高在Spark平台上的频繁模式增长（FP-Growth）算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树（FP-Tree）规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。     

智能电网系统中费控服务的优化调度研究

智能电网系统中,费控指令通过应用服务器集群被下发到前置服务器集群,再通过前置服务器集群被下发到终端,终端接收到指令后将指令下发到特定的智能电表.在这个过程中,应用服务器集群和前置服务器集群的可用资源不对等,导致负载不均衡,影响费控服务执行的效率和成功率;前置服务器集群中前置机与终端的固定匹配方式,容易导致前置服务器集群负载不均衡,延长了费控指令完成时间,降低了费控服务的执行效率.为此深入研究费控指令的下发过程,分析存在的问题和瓶颈,提出了一种基于负载预测和负载均衡的费控服务优化调度模型.该模型首先提出一种基于时间序列的负载预测方法,实现服务器负载的预测;基于预测负载,提出一种费控指令的均衡下发算法,为不同负载的服务器下发合适规模的费控指令,以提高指令下发的效率和成功率;针对前置服务器集群可能出现的负载不均衡,提出一种基于图聚类的终端均衡布局算法.实验结果表明,本文提出的费控服务优化调度模型,均衡了两个集群和终端之间的负载,有效提高了费控指令下发的效率和成功率.     

面向Flink的负载均衡任务调度算法的研究与实现

Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。     

基于大数据的并行化深度卷积神经网络优化算法

针对并行DCNN算法在大数据环境下网络冗余参数过多、收敛速度慢和并行效率低的问题,提出了一种并行化深度卷积神经网络优化算法——PDCNNO(parallel deep convolutional neural networks optimization algorithm)。首先,该算法设计了基于特征图的剪枝策略(PFM),预训练网络,获得压缩后的网络,有效减少了冗余参数,降低了DCNN训练时间和空间复杂度;其次,设计了修正正割线的共轭梯度法(CGMSE),获取局部分类结果,实现了共轭梯度法的快速收敛,提高了网络的收敛速度;最后,在reduce阶段提出了控制负载率的负载均衡策略(LBRLA),获取全局分类结果,实现了数据的快速均匀分组,从而提高了并行系统的加速比。实验表明,该算法不仅降低了DCNN在大数据环境下训练的时间和空间复杂度,而且提高了并行系统的并行化性能。     

基于Spark的并行频繁项集挖掘算法

关联规则挖掘是数据挖掘领域的重要研究方向之一。频繁项集的挖掘是关联规则挖掘的第一步,也是最重要的步骤。FP-Growth(Frequent Pattern-Growth)算法因其挖掘效率以及空间复杂度方面的优势被广泛应用于频繁项集挖掘任务中。面对海量数据,FP-Growth算法挖掘效率变得极低甚至失效。在Hadoop大数据平台上实现的基于MapReduce框架的并行FP-Growth算法——PFP算法解决在处理大规模数据时传统算法失效的问题,但是由于其将每次执行之后的中间结果输出到磁盘,降低算法执行效率。为提高并行FP-Growth算法执行效率,提出一种基于Spark的SPFPG算法。该算法运用负载均衡思想对分组策略进行改进,综合考虑分区计算量和FP-Tree规模两个因素,保证每个组之间负载总和近似相等。在Spark上实现FP-Growth算法——SFPG算法的基础上,实现优化后的SPFPG算法。实验结果表明,SPFPG算法相比SFPG算法挖掘效率更高,且算法具有良好的扩展性。     

VoD集群中基于Zipf定律的负载均衡算法

VoD服务器集群负载均衡策略主要涉及文件备份与分发两方面.现有大部分算法只是孤立地考虑其中一个方面,针对这种不足,提出一种负载均衡优化模型,综合考虑了VoD系统文件的备份与分发.提出了基于Zipf-like分布定律的备份算法和最小负载优先分发算法,增大了点播文件的备份率和减小了集群负载不均衡度.利用VoD文件点播率服从Zipf-like分布的特点,将不同文件按照不同优先级分组,降低了算法执行的复杂度.最后仿真实验结果表明了其正确性.     

基于消息传递接口的大规模生物网络比对并行化算法

为有效降低生物网络比对算法的时间复杂度,提出一种基于可扩展的蛋白质相互作用网络比对(SPINAL)算法的消息传递接口(MPI)并行化实现方法。该方法将MPI并行化思想运用在SPINAL算法中,在多核环境中采用并行排序代替算法原本的排序方式,并结合负载均衡策略合理分配任务。实验结果表明,与未使用并行排序以及负载均衡策略相比,该方法在处理大规模生物网络比对时能有效地缩短计算时间,提高运算效率,对于不同组比对数据都有较为稳定的优化保障,具有良好的可扩展性。     

云环境下的虚拟资源调度智能优化策略

针对云计算环境下的最优跨度和负载均衡问题,提出一种虚拟资源调度智能优化策略。该策略结合云虚拟资源的特点,对遗传算法的染色体选择和交叉方式进行优化,使用最优跨度和负载函数作为双适应度函数。其中,负载指标为资源的CPU、带宽及内存利用率,最优跨度指标则是任务的等待时间、传输时间及执行时间的总和,从而提高资源调度效率;此外,该策略能够从云服务集群推荐出较优资源进行处理,确保资源的负载均衡。最后,通过Cloud Sim进行实验,证明该策略能够提高大规模任务下的资源调度效率,并优化了资源的负载均衡,从而验证了算法的有效性。     

基于MapReduce的并行频繁项集挖掘算法研究

针对并行MRPrePost(parallel prepost algorithm based on MapReduce)频繁项集挖掘算法在大数据环境存在运行时间长、内存占用量大和节点负载不均衡的问题,提出一种基于DiffNodeset的并行频繁项集挖掘算法(parallel frequent itemsets mining using DiffNodeset,PFIMD).该算法首先采用一种数据结构DiffNodeset,有效地避免了N-list基数过大的问题;此外提出一种双向比较策略(2-way comparison strategy,T-wcs),以减少两个DiffNod-eset在连接过程中的无效计算,极大地降低了算法时间复杂度;最后考虑到集群负载对并行算法效率的影响,进一步提出了一种基于动态分组的负载均衡策略(load balancing strategy based on dynamic grouping,LBSBDG),该策略通过将频繁1项集F-list中的每项进行均匀分组,降低了集群中每个计算节点上PPC-Tree树的规模,进而减少了先序后序遍历PPC-Tree树所需的时间.实验结果表明,该算法在大数据环境下进行频繁项集挖掘具有较好的效果.     

基于负载均衡的云计算任务调度算法的研究

本文针对当前云计算系统负载不均衡和任务完成效率有待提高的问题,提出了一种基于系统整体负载均衡与最小完成时间LB—ECT算法。根据云计算环境下资源需求动态变化,利用任务在虚拟机上执行时间的预测进行任务到虚拟机上的分配、调度。优化系统的整体效率。采用云计算仿真平台CloudSim对本算法进行仿真实验与分析,实验仿真结果表明,LB—ECT算法能够有效提高系统的整体负载均衡能力．明显缩短任务的总完成时间．     

基于条件信息熵和相关系数的属性约简算法

粗糙集的属性约简是一个NP难问题,获得较为高效的算法是研究的主要目的。针对传统的粗糙集属性约简算法效率不高、速度不快的问题,提出基于相关系数和条件信息熵的属性约简算法,把决策表的非核属性约简过程转化为相关系数的运算,能减少对决策表的扫描次数,降低算法时间复杂度,降低算法冗余,提高属性约简的效率。并利用k-fold轮换对比方法计算相关系数,较大地减少了计算量,同时能得到次优属性约简结果。给出了算法内容,并结合实验进行了验证。     

基于B+树快速调优的反馈式负载平衡算法

网络带宽飞速发展,应用并行处理技术可以大幅度提高网络入侵检测系统（NIDS）的性能。并行处理环境下的NIDS要求在对报文进行负载均衡分配时要保持连接的完整性,即相关的报文要分配到同一个处理节点。基于B+树的稳定和均衡特性,提出基于B+树快速调优的反馈式负载平衡算法(BLB)。该算法利用B+树搜索性能高、完全平衡的特性,当负载不均衡时,对B+树结构的流表进行快速调优,重映射流表,达到负载均衡。通过仿真实验,证明了该方案能快速使B+树结构连接密集度达到平衡,有效地均衡负载,降低系统的丢包率。     

一种改进的Chord路由算法

如何有效地确定存储给定数据项的节点在P2P中非常重要。Chord是一种比较成功的P2P路由算法，但是Chord的路由表存在严重的信息冗余。提出了一种对Chord的改进算法，继承了Chord算法简单、高效、可靠、负载平衡及开销少的优点，对Chord的路由表提出了改造，增加了路由表中的有效信息，提高了查询效率。     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

基于二叉排序树的缓冲机制在污染源监控系统中的研究

针对污染源在线自动监控系统，提出了二叉排序树的数据缓冲机制的方案，设计树形存储结构，将其进行平衡化处理，完成结构化缓冲存储，实现了基于二叉排序树的数据缓冲机制的污染源在线自动监控系统。该机制不仅避免了数据直接存放于数据库服务器的时间延迟，提高了数据检索效率，而且降低了时间复杂度。通过实验测试发现该方法对污染源在线自动监控系统的整体性能有明显的改善作用。     

基于软件的网络处理器的路由高速缓存算法研究

路由器需要以较低的代价灵活、高速地实现路由查找这一基本功能.为网络处理器设计了一种基于软件的路由查找高速缓存算法.网络处理器片上高速存储器中的一部分空间被划分出来,由指令代码来维护一个路由查找结果缓存表.通过选择合适的哈希函数,平衡表项之间的冲突并刷新复杂度,该算法可以缩短路由查找的延迟,减少多处理单元对存储器总线的竞争,为其他网络应用提供更多的处理时间.基于真实网络流量的实验表明,即便每个处理单元中仅有少量表项,网络处理器的吞吐量仍然可以得到有效的提升.     

A group interest-based collaborative filtering algorithm for multimedia information

This paper proposes a collaborative filtering algorithm based on user group interest. A novel co-clustering method (BalClust) and various weighted non-negative matrix factorization algorithms are used in the proposed method. The BalClust method is used to divide the raw rating matrix into clusters, which are smaller than the original matrix. Then, the balance factor is introduced to consider the user weight and the item-based CF (collaborative filtering). To predict the rating of the unknown items in the cluster, the non-negative matrix factorization algorithm was used. The proposed method achieves higher predicting accuracy and efficiency on low dimensional and homogeneous sub-matrices, and the method also reduces the computational complexity by combining the user and item-based CF. Based on the proposed method, this paper proposed an incremental learning method to ensure data accuracy and timeliness to overcome the problem brought by data updates. The experimental results show the proposed methods outperformed traditional CF algorithms, and the completion time is reduced.     

传感器网络中一种基于链路稳定性和多路径的拓扑控制算法

通过压缩邻居节点集合的势,进而调整网络拓扑结构的拓扑控制方法,可以提高传感器网络的能量效率 .然而现有的拓扑控制方法尚没有充分地考虑链路不稳定性因素,以及如何在提高能量效率的同时改善负载均衡 .在对链路损失模型进行分析的基础上,考察了能量效率、负载均衡和邻居节点集的势之间的关系 .发现在同时改善能量效率和负载均衡之间有一对矛盾 .提出了一个分层的拓扑控制算法LELB(layered energy-efficient and load balance algorithm),可以在链路不稳定的情况下进一步改善能量效率,同时获得更好的负载均衡 .仿真结果表明,LELB算法对网络性能有很好的改善 .     

求解云计算压力测试中并行任务密度的高速算法

针对当前云计算负载压力测试过程中,对所采集数据计算并行任务密度的算法效率较低的问题,基于空间换时间的思路,使用数学分析的方法,提出了一种时间复杂度为O(n lb n),空间复杂度为O(n)的求解并行任务密度的高速算法。实验结果表明,该算法与时间复杂度同为O(n lb n)的OpenSTA算法相比,效率约有6~8倍的提升。该算法对多个相同的并行任务密度能够解得并行时长最长者,可以准确反映负载最重的情况。该算法适合云计算进行负载均衡算法设计时,获取真实参照数据使用。     

有导向变异算子的无线Mesh网负载均衡算法研究*

为了提高无线Mesh网络(WMN)的传输性能,提出基于有导向变异算子的进化算法GM-EA(guidedmutation EA)来优化WMN网关负载均衡问题。在已有的WMN负载均衡算法基础上,GM-EA算法通过结合粒子群优化的方法,更好地利用种群中的全局信息,在较少迭代次数下可以达到网关数量和负载均衡两方面的优化。仿真实验表明,GM-EA算法以增加执行时间为代价下得到的网关数量与比其他算法得到的结果更优;在网关负载均衡方面,该算法也取得较好的结果。