面向大数据任务的调度方法

针对在大数据的处理过程中,对大数据任务的划分和资源分配缺乏合理性的问题,提出一种面向大数据任务的调度方法。该方法首先引入了调度理论用于处理大数据任务,帮助建立合理的大数据任务管理体系并规范大数据任务处理流程;然后,基于大数据任务的本质对数据集进行分析处理,引入决策表进行属性约简,以减小大数据分析任务的数据量和提高大数据分析效率;最后,采用模糊综合评价方法,将模糊综合评价的结果作为对任务调度的依据,以提高任务资源分配合理性。在UCI（University of California Irvine）数据集上进行测试,实验结果表明,该调度算法在平均预测准确度上比朴素贝叶斯（NB）算法高7.42个百分点,比误差反向传播（BP）算法高5.16个百分点,比均方根传递（RMSProp）算法高3.74个百分点。而对于特征数较多的数据集,所提算法在预测精度上较其他算法有显著提高。所提算法在平均调度长度比（SLR）上较HCPFS（Heterogeneous Critcal Path First Synthesis）算法和HIPLTS（Heterogeneous Improved Priority List for Task Scheduling）算法分别下降了12.14%和4.56%,在平均加速比上分别提升了7.14%和42.56%,表明该算法能有效提高大数据系统中任务调度的效率。综合比较分析,所提方法具有较高的预测精度,且高效可靠。     

基于深度学习的蛋白质亚细胞定位预测

针对传统机器学习算法中仍需手工操作表示特征的问题，提出了一种基于堆栈式降噪自编码器（SDAE）深度网络的蛋白质亚细胞定位算法。首先，分别利用改进型伪氨基酸组成法（PseAAC）、伪位置特异性得分矩阵法（PsePSSM）和三联体编码法（CT）对蛋白质序列进行特征提取，并将这三种方法得到的特征向量进行融合，以得到一个全新的蛋白质序列特征表达模型；接着，将融合后的特征向量输入到SDAE深度网络里自动学习更有效的特征表示；然后选用Softmax回归分类器进行亚细胞的分类预测，并采用留一法在Viral proteins和Plant proteins两个数据集上进行交叉验证；最后，将所提算法的结果与mGOASVM、HybridGO-Loc等多种现有算法的结果进行比较。实验结果表明，所提算法在Viral proteins数据集上取得了98.24%的准确率，与mGOASVM算法相比提高了9.35个百分点；同时所提算法在Plant proteins数据集上取得了97.63%的准确率，比mGOASVM算法和HybridGO-Loc算法分别提高了10.21个百分点和4.07个百分点。综上说明所提算法可以有效提高蛋白质亚细胞定位预测的准确性。     

改进蚁群算法的Storm任务调度优化

Apache Storm 默认任务调度机制是采用Round-Robin（轮询）的方法对各个节点平均分配任务,由于默认调度无法获取集群整体的运行状态,导致节点间资源分配不合理。针对该问题,利用蚁群算法在NP-hard问题上的优势结合Storm本身拓扑特点,提出了改进蚁群算法在Storm任务调度中的优化方案。通过大量实验找到了启发因子α与β的最佳取值,并测得改进后蚁群算法在Storm任务调度中的最佳迭代次数;引入Sigmoid函数改进了挥发因子ρ,使其可以随着程序运行自适应调节。从而降低了各个节点CPU的负载,同时提高了各节点之间负载均衡,加快了任务调度效率。实验结果表明改进后的蚁群算法和Storm默认的轮询调度算法在平均CPU负载上降低了26%,同时CPU使用标准差降低了3.5%,在算法效率上比Storm默认的轮询调度算法提高了21.6%。     

一种作业弹性与截止时间感知的作业调度算法

针对采用MapReduce模型的大数据分析作业的调度问题进行深入研究，并分析现有任务调度算法的缺陷，现有算法没有考虑资源分配对于作业截止时间的影响，也未考虑不同类型作业截止时间的敏感性问题。因作业的完成时间随着分配资源的不同而改变，故称之为弹性作业，截止时间敏感性是指不同类型作业对截止时间要求的严格程度不同。针对以上问题，提出一种截止时间感知的弹性作业调度算法（DA）。该算法将作业依据截止时间敏感程度进行分类，在基于作业整体执行时间预测的基础上，通过调控不同的资源分配策略来改变作业完成时间，同时结合用户对于截止时间的需求及作业预执行的收益来提前规划作业的资源分配及调度次序使得整体收益最大化。将算法在仿真拥有210个物理节点的集群中进行实验，实验表明该算法满足了截止时间的限制并使得作业整体收益值平均提高了2.37倍。     

基于深度学习的蛋白质亚细胞定位预测

针对传统机器学习算法中仍需手工操作表示特征的问题,提出了一种基于堆栈式降噪自编码器（SDAE）深度网络的蛋白质亚细胞定位算法。首先,分别利用改进型伪氨基酸组成法（PseAAC）、伪位置特异性得分矩阵法（PsePSSM）和三联体编码法（CT）对蛋白质序列进行特征提取,并将这三种方法得到的特征向量进行融合,以得到一个全新的蛋白质序列特征表达模型;接着,将融合后的特征向量输入到SDAE深度网络里自动学习更有效的特征表示;然后选用Softmax回归分类器进行亚细胞的分类预测,并采用留一法在Viral proteins和Plant proteins两个数据集上进行交叉验证;最后,将所提算法的结果与mGOASVM、HybridGO-Loc等多种现有算法的结果进行比较。实验结果表明,所提算法在Viral proteins数据集上取得了98.24%的准确率,与mGOASVM算法相比提高了9.35个百分点;同时所提算法在Plant proteins数据集上取得了97.63%的准确率,比mGOASVM算法和HybridGO-Loc算法分别提高了10.21个百分点和4.07个百分点。综上说明所提算法可以有效提高蛋白质亚细胞定位预测的准确性。     

软件缺陷预测中的数据预处理方法

软件缺陷预测是软件质量保障领域的热点研究课题，缺陷预测模型的质量与训练数据有密切关系。用于缺陷预测的数据集主要存在数据特征的选择和数据类不平衡问题。针对数据特征选择问题，采用软件开发常用的过程特征和新提出的扩展过程特征，然后采用基于聚类分析的特征选择算法进行特征选择；针对数据类不平衡问题，提出改进的Borderline-SMOTE过采样方法，使得训练数据集的正负样本数量相对平衡且合成样本的特征更符合实际样本特征。采用bugzilla、jUnit等项目的开源数据集进行实验，结果表明：所采用的特征选择算法在保证模型F-measure值的同时，可以降低57.94%的模型训练时间；使用改进的Borderline-SMOTE方法处理样本得到的缺陷预测模型在Precision、Recall、F-measure、AUC指标上比原始方法得到的模型平均分别提高了2.36个百分点、1.8个百分点、2.13个百分点、2.36个百分点；引入了扩展过程特征得到的缺陷预测模型比未引入扩展过程特征得到的模型在F-measure值上平均提高了3.79%；与文献中的方法得到的模型相比，所提方法得到的模型在F-measure值上平均提高了15.79%。实验结果证明所提方法能有效提升缺陷预测模型的质量。     

基于金融技术指标的用电数据分析

针对已有用电数据分析缺乏有效描述趋势性特征的不足,适应性地将金融领域中十字过滤线（VHF）、异同移动平均线（MACD）等技术指标迁移至用电数据分析中,提出了基于金融技术指标的异动检测算法和负荷预测算法。所提异动检测算法通过统计各指标的统计情况划定阈值,并采用阈值检测捕捉用户异常用电行为。所提负荷预测算法通过提取14项与金融技术指标相关的日负荷特征,构建了长短期记忆网络（LSTM）负荷预测模型。在杭州市工业用电数据上的实验结果表明,所提负荷预测算法将平均绝对百分比误差（MAPE）降低至9.272%,相较于差分整合移动平均自回归（ARIMA）算法、Prophet算法和支持向量机（SVM）算法,分别将MAPE降低了2.322、24.175和1.310个百分点,能够较好地应用于用电数据分析中。     

数据驱动的多星任务网络预测调度算法

多星任务调度是具有NP-hard特性的优化问题,随着卫星资源规模和任务需求规模的双重增长,传统调度方法求解效率不高.在轨卫星在常年运行过程中积累了丰富的调度数据.针对大规模多星任务调度场景,建立多星多波束任务调度模型,并提出数据驱动的多星任务网络预测调度算法对其求解.以分割的思想,实现多星场景下任务可调度性预测.从历史调度数据中,提取设定的3个静态特征和5个动态特征,构建并训练预测网络,预测任务被不同卫星完成的概率,并以冲突避免、负载均衡等为原则,得到初始任务和资源卫星的分配方案.进一步设计双链结构的进化算法,以双链编码形式表征上述关系,配合设计的交叉、修复等进化算子,优化初始方案中的任务序列与资源分配关系,输出最终任务调度方案.仿真结果表明,与改进蚁群算法、混合遗传算法和数据驱动并行调度算法相比,所提出算法在运行时间、方案收益和卫星负载均衡3方面均有较好的表现.     

基于任务-资源分配图优化选取的网格依赖任务调度

任务调度是网格应用系统获得高性能的关键.网格计算中一个大型的应用程序往往被分解为具有依赖关系的多个任务.在资源个体差异较大、广域互连的网格环境下任务间的依赖关系对传统的调度策略提出了新的挑战.任务调度的主要工作是为任务分配资源以及确定任务的执行次序,将依赖任务的可能的资源分配方案表示为任务-资源分配图（T-RAG）,在该图的基础上提出了基于T-RAG优化选取的依赖任务调度模型,将依赖任务调度问题转化为图的优化选取问题,解析最优任务-资源分配图可以同时确定资源分配方案和任务的执行次序即为最优调度方案.最后,实现了基于该模型的任务调度算法,该算法与ILHA算法的对比分析表明,在资源差异较大及任务间存在大量数据传输的情况下所提出的算法更优.     

云环境下基于多目标的多科学工作流调度算法

针对现有云环境下的多科学工作流调度算法中存在的未考虑安全调度问题,提出多科学工作流安全-时间约束费用优化算法MSW-SDCOA（Multi-Scientific Workflows Security-Deadline constraint Cost OptimizationAlgorithm）.首先MSW-SDCOA基于数据依赖关系压缩科学工作流,减少任务节点数从而节省了调度开销;并通过改进HEFT（Heterogeneous Earliest-Finish-Time）算法形成调度序列,以实现全局多目标优化调度;最后,通过优化ACO（Ant Colony Optimization）中信息素更新策略和启发式信息,进一步改善费用优化效果.仿真实验表明,MSW-SDCOA算法在费用优化效果上比MW-DBS算法提高了约14%.     

基于模糊理论的任务分配与调度算法

基于模糊可靠性分配中的综合评判方法,提出一种用于数据并行交换的任务分配与调度算法。综合考虑影响任务优先级的各个因素及各影响因素自身的模糊特性,从而确定任务优先级,并解决任务分配过程中优先级的模糊决策问题。实验结果表明,该算法能提高任务的执行成功率,缩短任务的平均等待时间。     

物联网环境下具有顺序约束关系的静态任务表调度算法

针对物联网异构调度环境下并行计算的静态任务调度问题,提出了一种基于最早完成时间策略改变调度顺序的表调度算法HDPTS。该算法针对现有表调度算法在调度前不能准确地确定调度顺序的问题,在IHEFT算法的基础上添加了一个动态优先级调度策略,当节点的前驱任务都已经完成调度任务时,就改变该节点的调度优先级。任务优先级的计算在所有前驱任务到达这个任务的最晚完成时间与所有资源上最大可以使用时间之间取最大值的基础上,同时考虑到分配到各个资源上的任务对后继任务的影响和资源上的负载情况,以及上行权重的计算值和对出口任务的影响,使得优先级计算更加合理,能够根据任务分配动态合理改变任务调度顺序。通过随机生成一个算例进行测试,结果表明HDPTS比IHEFT、HEFT在调度长度方面减少14.29%;对大量随机产生的特定结构的有向无环图(DAG)进行测试,测试结果显示HDPTS算法比IHEFT、HEFT和LDCP算法更有效。     

云计算环境下对资源聚类的工作流任务调度算法

针对云计算环境中资源具有规模庞大、异构性、多样性等特点,提出了一种对资源进行模糊聚类的工作流任务调度算法。经过对网络资源属性进行量化、规范化,以预先构建的任务模型和资源模型为基础,结合模糊数学理论划分资源,使得在任务调度时能够较准确地优先选择综合性能较好的资源类簇,缩短了任务资源相匹配的时间,提高了调度性能。通过仿真实验将此算法与HEFT、DLS进行比较,实验结果表明,当任务在[0,100]范围增加时,该算法平均SLR比HEFT小34%,比DLS小99%,其平均Speedup比HEFT大59%,比DLS大102%;当资源在[0,100]范围增加时,该算法平均SLR比HEFT小36%,比DLS小97%,其平均Speedup比HEFT大45%,比DLS大108%。所提算法实现了对资源的合理划分,且在执行跨度方面具有优越性。     

一种基于QoS的自适应网格失效检测器

失效检测器是构建可靠的网格计算环境所必需的基础组件之一.由于网格中存在大量对失效检测有着不同QoS需求的分布式应用,对于一个网格失效检测器来说,为保持其有效性和可扩展性,应该既能够准确提供应用程序所需的失效检测QoS,又能够避免为满足不同QoS而设计多套失效检测器所产生的多余负载.基于QoS基本评价指标,采用PULL模式主动检测策略实现了一种新的失效检测器--GA-FD(adaptive failure detector for grid),可以同时支持多个应用程序定量描述的QoS需求,不需要关于消息行为和时钟同步的任何假设.同时,证明了GA-FD在部分同步模型下可实现一个◇P类的失效检测器,并给出了相应的实验及数据.     

树型网格计算环境下的独立任务调度

任务调度是实现高性能网格计算的一个基本问题,然而,设计和实现高效的调度算法是非常具有挑战性的.讨论了在网格资源计算能力和网络通信速度异构的树型计算网格环境下,独立任务的调度问题.与实现最小化任务总的执行时间不同(该问题已被证明是NP难题),为该任务调度问题建立了整数线性规划模型,并从该线性规划模型中得到最优任务分配方案??各计算节点最优任务分配数.然后,基于最优任务分配方案,构造了两种动态的需求驱动的任务分配启发式算法:OPCHATA(optimization-based priority-computation heuristic algorithm for task allocation)和OPBHATA(optimization-basedpriority-bandwidth heuristic algorithm for task allocation).实验结果表明:在异构的树型计算网格环境下实现大量独立任务调度时,该算法的性能明显优于其他算法.     

基于机器学习的异构多核处理器系统在线映射方法

异构多核处理器（HMPs）平台已成为现代嵌入式系统的主流解决方案，其中在线映射或调度对充分发挥其高性能和低功耗的优势起着至关重要的作用。针对HMPs的应用任务动态映射问题，提出了一种基于机器学习预测模型的在线映射调度解决方案。一方面，构建了一个可以快速高效地预测和评估不同映射方案性能的机器学习模型，为在线调度提供支持；另一方面，将该机器学习模型整合到遗传算法中以高效地找到（接近）最优的资源分配方案。最后，通过一个M-JPEG解码器验证了所提方法的有效性。实验结果表明，该方法的平均执行时间相较于常见的轮询调度和抽样调度方法分别降低了28%和19%左右。     

树型网格计算环境下的自适应任务调度算法

提出一种基于树型计算网格的自适应调度算法,实现对小粒度独立任务和用户大作业的自适应最优调度。通过对网格环境的实时检测,给出了基于节点负载状况、节点任务执行时间、任务传输时间和任务特性的自适应调度算法,即基于最优任务分配方案的启发式任务调度算法。通过实验与其他调度算法的比较,证明了所提出的任务调度算法在负载平衡和最优跨度方面具有明显的优越性。     

一种非对称多核SDR的任务调度和分配算法

针对软件无线电(SDR)应用同步数据流的特点,提出一种非对称多核SDR的任务调度和分配算法。该算法综合考虑任务之间的通信时间和任务固定流水,保证任务调度和分配的通用性和并行性。利用整数线性规划(ILP)方法对任务调度和分配进行建模,采用任务拆分方法优化调度和分配的结果,进一步提高任务调度和分配的执行效率。在目标SDR平台上实现IEEE 802.11a频偏估计处理的任务调度和分配,实验结果表明,该算法能提高5.97%的软件无线电平台吞吐量和3.03%的处理器核平均利用率,并减少34.31%的处理器核最长空闲等待时间。