基于种群演化的超参数异步并行搜索

近年来随着深度学习尤其是深度强化学习模型的不断增大,其训练成本即超参数的搜索空间也在不断变大,然而传统超参数搜索算法大部分是基于顺序执行训练,往往需要等待数周甚至数月才有可能找到较优的超参数配置.为解决深度强化学习超参数搜索时间长和难以找到较优超参数配置问题,提出一种新的超参数搜索算法-----基于种群演化的超参数异步并行搜索(PEHS).算法结合演化算法思想,利用固定资源预算异步并行搜索种群模型及其超参数,从而提高算法性能.设计实现在Ray并行分布式框架上运行的参数搜索算法,通过实验表明在并行框架上基于种群演化的超参数异步并行搜索的效果优于传统超参数搜索算法,且性能稳定.     

基于残差量化卷积神经网络的人脸识别方法

针对大规模人脸识别问题,基于残差学习的超深卷积神经网络模型能取得比其他方法更高的识别精度,然而模型中存在的海量浮点参数需要占用大量的计算和存储资源,无法满足资源受限的场合需求.针对这一问题,本文设计了一种基于网络参数量化的超深残差网络模型.具体在Face-ResNet模型的基础上,增加了批归一化层和dropout层,加深了网络层次,对网络模型参数进行了二值量化,在模型识别精度损失极小的情况下,大幅压缩了模型大小并提升了计算效率.通过理论分析与实验验证了本文设计方法的有效性.     

基于BP网络的水文预报模型

在BP人工神经网络基础上建立水文预报模型,讨论了模型的学习样本、网络参数和训练方式对预报精度的影响,选出最佳网络参数配置.     

基于深度迁移学习的大鼠肝纤维化诊断

针对肝纤维化临床诊断方法具有有创性和传统机器学习方法特征提取的不完全性的缺陷,本文采用深度迁移学习方法利用预训练的ResNet-18和VGGNet-11模型用于肝纤维化分期诊断.使用南方医科大学提供的大鼠肝纤维化核磁共振影像数据集进行不同程度的迁移训练.将两种模型在通过4种不同参数采集的核磁共振影像数据集上,分别使用6种网络迁移配置训练.实验结果表明,使用T1RHO-FA参数采集的核磁共振影像和采用VGGNet-11模型更能提高肝纤维化分期诊断的准确率.同时相对于ResNet-18模型,深度模型迁移学习方法能稳定提升VGGNet-11模型进行肝纤维化分期诊断的准确率和训练速度.     

深度学习模型的版权保护研究综述

随着深度学习技术的迅猛发展,深度学习模型在图像分类、语音识别等领域得到了广泛应用.训练深度学习模型依赖大量的数据和算力,成本高昂,因此,出售已训练好的模型或者提供特定的服务(如DLaaS)成为一种商业模式.然而,如果模型遭到恶意用户窃取,则可能会对模型训练者的商业利益造成损害.此外,网络拓扑结构设计和参数训练的过程包含...     

结合源域差异性与目标域不确定性的深度迁移主动学习方法

针对训练深度模型时样本标注成本较大的问题,文中提出结合源域差异性与目标域不确定性的深度迁移主动学习方法.以源任务网络模型作为目标任务初始模型,在主动学习迭代中结合源域差异性和目标域不确定性挑选对模型最具有贡献的目标域样本进行标注,根据学习阶段动态调整两种评价指标的权重.定义信息榨取比概念,提出基于信息榨取比的主动学习批次训练策略及T&N训练策略.两个跨数据集迁移实验表明,文中方法在取得良好性能的同时可有效降低标注成本,提出的主动学习训练策略可优化计算资源在主动学习过程中的分配,即让方法在初始学习阶段对样本学习更多次数,在终末学习阶段对样本学习较少次数.     

基于深度卷积限制玻尔兹曼机的步态识别

传统的步态识别方法难以得到有效的步态特征,而深度学习方法可以通过学习自动获得特征,然而现有的深度学习模型用于步态识别时存在一些问题。深度卷积神经网络训练速度快,但训练精度较低;深度置信网络模型精度较高,但模型收敛速度较慢。针对这两种模型的特点,提出一种两者平衡的算法模型,即深度卷积限制玻尔兹曼机。将卷积神经网络中权值共享、提取图像局部特征等方面的优势融入深度玻尔兹曼机模型中,提高训练精度,减少参数数量。所提算法在CASIA步态数据库上的实验结果验证了该算法在步态识别问题上的有效性和可行性。     

基于Android和卷积神经网络的鸟类识别系统

随着深度学习的广泛应用和智能移动设备的普及,将深度学习的应用迁移到移动设备上已经成为一种新的趋势.本文设计了一种基于安卓平台和轻量级卷积神经网络的鸟类识别系统,该系统不依赖任何外部的计算资源和存储资源.本文提出以轻量级卷积神经网络作为基础模型的三种模型融合方法,分别是加权平均融合、双线型融合和多图片单模型融合.本文详细介绍了三种融合方式的结构和优缺点,并且给出了模型选择和超参数选择的一些方法.实验结果表明模型融合的方式相比单模型而言,识别精度有显著提高,可以更好的应用到安卓移动设备上.     

智能物联网终端自适应模型量化方法

随着深度学习与万物互联的快速发展，将深度学习与移动终端设备结合已经成为了一大研究热点。深度学习给终端设备带来性能提升的同时，将模型部署在资源受限的终端设备时也面临诸多挑战，如终端设备计算和存储资源受限，深度学习模型难以适应不断变化的设备状态等。基于此，研究了资源自适应的深度学习模型自适应量化问题。提出资源自适应混合精度模型量化方法，利用门控网络和骨干网络进行模型构建，以层为粒度寻找模型最佳量化策略，结合边端设备降低模型资源消耗。为了寻找最优模型量化策略，采取基于FPGA的深度学习模型部署。需要将模型部署在资源受限的边端设备上时，根据资源约束进行自适应训练，采取量化感知方法降低模型量化带来的精度损失。实验结果表明，该方法能够在保留78%的准确率的同时，降低50%的存储空间；同时，在FPGA设备上模型精度下降不超过2%,而能源消耗降低60%。     

Sentinel-2/MSI深度学习超分辨率重建及河湖水质遥感反演

针对Sentinel-2影像低空间分辨率(20 m、60 m)波段混合像元会降低内陆河湖水质反演精度的问题,提出了一种通过深度学习超分辨率重建进行水质反演的方法。首先,引入残差神经网络超分辨率重建算法,结合迁移学习方法与卷积注意模块对该算法进行改进,通过对比评估其他算法的重建精度,发现改进算法主客观评价均为最佳。接着,以上海市内陆河湖为研究区域,使用改进算法对低分辨率波段重建至10 m,结合实测水质参数及影像重建前后的光谱特征波段,利用多种回归算法构建水质反演模型进行对比。结果表明：深度学习超分辨率重建模型可有效提升水质参数的遥感反演精度;深度神经网络模型精度较高(R²>0.67),可实现更精细化制图。     

面向Spark的批处理应用执行时间预测模型

Spark批处理应用执行时间预测是指导Spark系统资源分配、应用均衡的关键技术。然而,既有研究对于具有不同运行特征的应用采用统一的预测模型,且预测模型考虑因素较少,降低了预测的准确度。针对上述问题,提出了一种考虑了应用特征差异的Spark批处理应用执行时间预测模型,该模型基于强相关指标对Spark批处理应用执行时间进行分类,对于每一类应用,采用PCA和GBDT算法进行应用执行时间预测。当即席应用到达后,通过判断其所属应用类别并采用相应的预测模型进行执行时间预测。实验结果表明,与采用统一预测模型相比,提出的方法可使得预测结果的均方根误差和平均绝对百分误差平均降低32.1%和33.9%。     

Prediction of job characteristics for intelligent resource allocation in HPC systems: a survey and future directions

Nowadays, high-performance computing (HPC) clusters are increasingly popular. Large volumes of job logs recording many years of operation traces have been accumulated. In the same time, the HPC cloud makes it possible to access HPC services remotely. For executing applications, both HPC end-users and cloud users need to request specific resources for different workloads by themselves. As users are usually not familiar with the hardware details and software layers, as well as the performance behavior of the underlying HPC systems. It is hard for them to select optimal resource configurations in terms of performance, cost, and energy efficiency. Hence, how to provide on-demand services with intelligent resource allocation is a critical issue in the HPC community. Prediction of job characteristics plays a key role for intelligent resource allocation. This paper presents a survey of the existing work and future directions for prediction of job characteristics for intelligent resource allocation in HPC systems. We first review the existing techniques in obtaining performance and energy consumption data of jobs. Then we survey the techniques for single-objective oriented predictions on runtime, queue time, power and energy consumption, cost and optimal resource configuration for input jobs, as well as multi-objective oriented predictions. We conclude after discussing future trends, research challenges and possible solutions towards intelligent resource allocation in HPC systems.     

一种基于MBRC值的关系型数据库负载能耗预测模型

数据库负载的能耗解析与建模是构建节能的绿色数据库的基础。针对数据库负载的高能耗问题,将SQL语句消耗的系统资源(CPU和磁盘)映射为时间代价与功率代价,为数据库负载构建能耗预测模型。首先,根据负载的系统资源消耗模式,计算负载的功耗代价;然后,根据负载资源消耗产生的时间代价,为负载构建动态能耗预测模型;最后,利用MBRC值的设置对预测模型的准确度进行深入的研究。实验结果表明,所构建的预测模型能够对数据库负载的能量消耗进行较准确的预测,预测模型的准确度研究有助于在不同的系统环境配置下提升动态能耗预测模型的稳定性与精确度。     

基于需求预测的PaaS平台资源分配方法

针对缺乏PaaS平台下资源需求的有效预测与优化分配的问题，提出一种资源需求预测模型和分配方法。首先，根据PaaS平台中应用对资源需求的周期性来对资源序列进行切分，并在短期预测的基础上结合应用的多周期性特征，利用多元回归算法建立综合的预测模型。然后，基于MapReduce架构设计实现了一个Master-Slave模式的PaaS平台资源分配系统。最后，结合当前任务请求和资源需求预测结果进行资源分配。实验结果表明，采用该资源需求预测模型和分配方法后，相比于自回归模型和指数平滑算法，平均绝对百分比误差分别下降8.71个百分点和2.07个百分点，均方根误差分别下降2.01个百分点和0.46个百分点。所提预测模型的预测结果不仅误差小，与真实值的拟合程度也较高，而且利用较小的时间开销就可以获得较高的准确度。此外，使用该预测模型的PaaS平台的资源请求的平均等待时间有了明显的下降。     

Resource allocation decisions under various demands and cost requirements in an unreliable flow network

This paper considers resource allocation decisions in an unreliable multi-source multi-sink flow network, which applies to many real-world systems such as electric and power systems, telecommunications, and transportation systems. Due to uncertainties of components in such an unreliable flow network, transmitting resources successfully and economically through the unreliable flow network is of concern to resource allocation decisions at resource-supplying (source) nodes. We study the resource allocation decisions in an unreliable flow network for a range of demand configurations constrained by demand-dependent and demand-independent cost considerations under the reliability optimization objective. Solutions to these problems can be obtained by computing the resource allocation for each demand configuration independently. In contrast, we pursue an updating scheme that eludes time-consuming enumeration of flow patterns, which is necessary in independent computation of resource allocations for different demand configurations. We show that updating is attainable under both demand-independent and demand-dependent cost constraints when demand incurs an incremental change, and demonstrate the proposed updating scheme with numerical examples.     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。     

基于宽度学习的结构沉降预测

结构监测是确保工程结构建设在施工和运营阶段安全的关键因素,因此采用合理有效的预测模型对结构沉降监测数据进行科学准确的预测成为了当前结构沉降预测研究的重点。针对传统预测方法与深度学习方法用于结构沉降预测存在的预测精度不够高、模型结构复杂、训练耗时等问题,提出了一种基于宽度学习的结构沉降时间序列预测模型。通过实测地铁地下隧道沉降监测数据对宽度学习、人工神经网络、支持向量回归和深度置信网络-支持向量回归预测模型的预测结果进行对比分析。实验结果表明:宽度学习系统(broad learning system,BLS)应用于结构沉降预测具有良好的效果,其训练速度更快,预测精度更高。验证了所提出的宽度学习算法应用于结构沉降预测的可实施性和有效性。     

Network Traffic Prediction Using Radial Kernelized-Tversky Indexes-Based Multilayer Classifier

Accurate cellular network traffic prediction is a crucial task to access Internet services for various devices at any time. With the use of mobile devices, communication services generate numerous data for every moment. Given the increasing dense population of data, traffic learning and prediction are the main components to substantially enhance the effectiveness of demand-aware resource allocation. A novel deep learning technique called radial kernelized LSTM-based connectionist Tversky multilayer deep structure learning (RKLSTM-CTMDSL) model is introduced for traffic prediction with superior accuracy and minimal time consumption. The RKLSTM-CTMDSL model performs attribute selection and classification processes for cellular traffic prediction. In this model, the connectionist Tversky multilayer deep structure learning includes multiple layers for traffic prediction. A large volume of spatial-temporal data are considered as an input-to-input layer. Thereafter, input data are transmitted to hidden layer 1, where a radial kernelized long short-term memory architecture is designed for the relevant attribute selection using activation function results. After obtaining the relevant attributes, the selected attributes are given to the next layer. Tversky index function is used in this layer to compute similarities among the training and testing traffic patterns. Tversky similarity index outcomes are given to the output layer. Similarity value is used as basis to classify data as heavy network or normal traffic. Thus, cellular network traffic prediction is presented with minimal error rate using the RKLSTM-CTMDSL model. Comparative evaluation proved that the RKLSTM-CTMDSL model outperforms conventional methods.