基于机器学习的地基云图分类研究进展

基于机器学习的地基云图分类是光伏发电功率预测的关键技术。该技术主要通过传统机器学习和深度学习方法对地基云图特征提取提升地基云图分类准确率。全文归纳了地基云图分类标准和云图采集设备;简要介绍了地基云图分类数据集;从传统机器学习和深度学习两方面详细论述了典型的地基云图分类方法;比较了不同方法在Kiel F和MGCD地基云图分类数据集上的性能;最后对现有地基云图分类方法进行了总结,并针对目前地基云图分类面临的挑战进行了展望。     

基于迁移学习和通道注意力的遥感图像场景分类

针对遥感图像场景分类任务中训练样本数量少及遥感图像背景复杂等问题,本文将迁移学习和通道注意力引入到卷积神经网络(convolutional neural network,CNN) 中,提出基于迁移学习和通道注意力的遥感图像场景分类方法。该方法首先选用经过ImageNet自然数据集预训练的两个CNN作为主干,同时引入通道注意力机制,自适应地增强主要特征,抑制次要特征;然后融合这两个网络提取的特征进行分类;最后采用微调迁移学习的方式实现目标域上的学习与分类。提出的方法在几个经典的公共数据集上进行了评估,实验结果证明了本文提出的方法在遥感图像场景分类中达到与其他先进方法相当的性能。     

基于数字孪生与迁移学习的结构光条纹图像分析（特邀）

近年来,深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中,通过训练深度学习网络,可从单幅条纹图像中恢复高精度的相位信息。然而,为了训练神经网络模型,通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先,建立数字孪生条纹投影系统,并利用域随机化技术对虚拟照明光栅进行增强,使用计算机进行虚拟扫描,生成大量仿真光栅条纹图像;其次,利用仿真光栅图像对U-Net神经网络进行预训练;最后,引入迁移学习,采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性,提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明,采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果,神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练,所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。     

深度迁移学习在文本分类问题中的应用研究综述

深度迁移学习技术是通过深度神经网络从一项任务中获得的知识来解决其他相关任务,作为机器学习的一种研究方向,已经得到广泛应用。文章首先介绍了在自然语言处理任务中深度迁移学习应用于文本分类的背景,深度迁移学习的定义,其次通过文献分析了近几年深度迁移学习以实例、映射、网络和对抗四种迁移方式及在文本分类中应用的现状,最后对借助深度迁移学习模型完成文本分类任务的应用进行总结和展望。     

基于迁移BN-CNN框架的小样本工业过程故障诊断

针对工业故障诊断过程中训练样本不足导致的诊断性能低下问题，文中以迁移学习和深度学习方法为基础，提出一种迁移BN-CNN(Batch Normalization-Convolutional Neural Network)框架。为了减少网络对初始化方法的依赖，在卷积神经网络中引入批归一化层，对网络的隐藏层进行归一化处理。针对目标域标签数据不充足问题，通过基于样本的迁移学习方法扩充目标域的标记数据量，引入基于模型的迁移学习方法，通过充足的源域数据预训练BN-CNN网络，并利用数据量扩充后的目标域微调该网络部分参数，降低了少量样本训练深度神经网络的难度，得到了更适合目标域的故障诊断模型。采用TE工业数据集对该方法进行对比验证，实验结果表明，文中所提方法对于小样本工业过程故障具有较好的诊断性能，其平均精度值为0.804。     

基于微调优化的深度学习在果蔬识别中的应用

果蔬图像分类是图像识别的重要组成部分,是实现果蔬农产品自动化分类的关键技术.果蔬图像识别面临的主要挑战在于果蔬种类众多,缺乏大量的有标签数据,难以通过监督学习方法来实现果蔬图像分类.针对上述问题,本文构建果蔬图像数据集,提出将融合迁移学习的深度卷积网络用于果蔬图像识别.为了验证该方法的有效性,采用特定方式微调模型参数,...     

基于改进宽度模型迁移学习的不同负载下滚动轴承状态快速分类方法

针对深度学习网络训练耗时以及不同负载下滚动轴承的源域数据和目标域数据分布差异较大的问题,该文提出一种基于改进宽度模型迁移学习的滚动轴承状态快速分类方法。该方法首先对不同负载下滚动轴承振动信号进行快速傅里叶变换,构建频域幅值序列数据集,并选取某种或某些负载数据集作为源域,其他负载数据集作为目标域;其次以循环扩展的方式建立宽度学习系统(BLS)的增强节点窗口,并在增强层引入Maxout激活函数构建改进的BLS网络,同时引入遗传算法优化网络节点结构,建立基于源域数据的预训练模型;最后将预训练模型的网络参数、特征层和增强层的权重参数迁移至目标域网络,并利用少量目标域样本微调网络建立状态分类模型。实验结果表明,所提方法平均训练时间为32.6 s,平均测试准确率为98.9%。对比其他方法,所提方法可以在更短的时间内建立分类模型并获得良好的分类准确率。     

基于迁移学习的SAR图像目标检测

针对深度卷积神经网络训练需要大数量样本,采用迁移学习的方法辅助网络训练,解决了SAR图像样本不足的问题。通过控制对比实验,对每个卷积块权重进行迁移与分析,使用微调与冻结相结合的训练方式有效提高网络的泛化性与稳定性;然后根据目标检测任务的时效性对网络模型进行改进,提高了网络检测速度的同时减少了网络参数;最后结合复杂场景杂波切片对网络进行训练,降低了背景杂波的虚警目标数量,复杂多目标场景的检测结果表明所提出方法具有较好的检测性能。     

基于改进深度Q学习的网络选择算法

在引入休眠机制的超密集异构无线网络中,针对网络动态性增强,导致切换性能下降的问题,该文提出一种基于改进深度Q学习的网络选择算法.首先,根据网络的动态性分析,构建深度Q学习选网模型;其次,将深度Q学习选网模型中线下训练模块的训练样本与权值,通过迁移学习,将其迁移到线上决策模块中;最后,利用迁移的训练样本及权值加速训练神经...     

基于深度学习与泰勒展开的吸毒成瘾者识别

本文旨在利用深度学习方法通过面部图像以及抽象特征中的局部信息对吸毒成瘾者的成瘾程度和社区矫正时间进行识别。本文提出了一个基于泰勒展开式的神经网络模型,以深度残差网络作为主干网络,并嵌入泰勒特征图,使模型的训练时间减少、特征提取更加准确从而达到实时性的目标。实验过程中先对ResNet18进行预训练,再对嵌入的泰勒特征模式进行微调,网络末端通过全连接层与Softmax函数的组合进行分类,随机梯度下降的优化目标采用了交叉熵损失。此方法对于吸毒成瘾程度的识别准确度达到80.35％,对于社区矫正时间的识别准确率达到59.31%,该模型性能得到有效提升。     

基于迁移学习和SVM的糖网图像分类

为解决基于卷积神经网络(CNN)的糖尿病视网膜病变(DR)图像分类算法上普遍存在模型参数难以训练、易过拟合的问题,本文提出一种基于迁移学习和支持向量机(SVM)分类器的DR图像分类算法。首先,对DR图像进行预处理和数据扩增;其次,采用迁移学习方法预初始化深度学习分类算法中的经典框架VGGNet-16网络的模型参数,固定浅层网络参数不变,微调深层网络参数;最后,提取VGGNet-16最后一个隐藏层的特征向量训练支持向量机(SVM)分类器判定DR图像是否病变。实验结果表明,在Kaggle-DR公共数据集共35126张DR图像进行实验,在随机抽取的3500张作为测试集,分类准确率为0.931、敏感性为0.933、特异性为0.928,并能加快网络收敛和提高模型的泛化性。     

基于迁移学习的红外图像超分辨率方法研究

针对红外图像空间分辨率低、成像质量不高的问题,提出了基于迁移学习的红外图像超分辨率方法。该方法以基于卷积神经网络的自然图像超分辨率方法为基础进行改进:增加网络的层数进行更深层次的学习训练,串联多层小的卷积核使其能够利用更多的图像信息,以“相差图”为目标进行训练,减小网络训练时间,提升网络收敛速度;利用迁移学习知识,再以少量高质量红外图像为目标样本,对自然图像超分辨率的网络进行二次训练,将网络权重经过微调后迁移应用到红外图像的超分辨率上。实验结果表明:基于卷积神经网络的超分辨率方法能够有效迁移应用到红外图像的超分辨率上,且改进后的网络具有更好的自然及红外图像的超分辨率性能,验证了本文所提方法的有效性及优越性。     

基于机器视觉和深度学习的建筑垃圾智能识别研究

针对当前建筑垃圾分选中存在的分选效率不高、自动化程度较低等问题,提出了一种基于机器视觉和深度学习的建筑垃圾智能分选系统并对检测识别过程进行了详细研究。该系统采用背景建模法对建筑垃圾进行检测定位,可以有效避免运输皮带抖动、磨损和光照变化等情况,提高检测精度和定位速度。此外该系统基于ResNet卷积神经网络模型对建筑垃圾进行分类识别,并通过迁移学习方法对建筑垃圾分类模型的训练效率进行了优化,将模型的分类准确率提高到了99.47%,有助于更好地实现建筑垃圾的智能化分选。     

基于少样本学习和知识迁移的继电保护压板状态识别

针对变电站中保护压板开关状态自动识别问题,提出了一种基于少样本学习和知识迁移的压板开关状态识别模型,使用残差网络提取图像特征,基于度量方法计算查询图像与支持图像之间的相似度,在此基础上使用KNN实现压板开关状态的分类识别。将残差网络在公用数据集上预训练的模型直接迁移到基于少样本学习的压板开关状态的识别任务,并研究了KNN算法中不同的最近邻个数对压板开关状态分类结果的影响。所提方法可在图像样本少的情况下实现压板开关状态的识别。实验结果表明,在支持图像的样本数为30时,图像识别精度达到99.49%。相比于其他大样本的分类方法,所提出的利用少量样本的分类方法能够实现令人满意的分类效果,提高了图像分类的效率。     

一种基于深度度量学习的视频分类方法

针对视频分类中普遍面临的类内离散度和类间相似性较大而制约分类性能的问题,该文提出一种基于深度度量学习的视频分类方法。该方法设计了一种深度网络,网络包含特征学习、基于深度度量学习的相似性度量,以及分类3个部分。其中相似性度量的工作原理为:首先,计算特征间的欧式距离作为样本之间的语义距离;其次,设计一个间隔分配函数,根据语义距离动态分配语义间隔;最后,根据样本语义间隔计算误差并反向传播,使网络能够学习到样本间语义距离的差异,自动聚焦于难分样本,以充分学习难分样本的特征。该网络在训练过程中采用多任务学习的方法,同时学习相似性度量和分类任务,以达到整体最优。在UCF101和HMDB51上的实验结果表明,与已有方法相比,提出的方法能有效提高视频分类精度。     

缺陷汽车玻璃检测方法

汽车玻璃生产过程中会造成断裂、划痕、漏点等表面缺陷,本文结合机器视觉与深度学习提出了自动识别缺陷玻璃的方法.首先,利用玻璃前景、背景人工合成缺陷样本解决负样本不足的问题;将玻璃缺陷细分为多个类别,同时对样本进行分类;将玻璃图片进行频域处理过滤背景噪音,再将其与玻璃灰度化后图片进行合成作为分类网络的输入;构造以Alexnet网络为模板的多分类网络进行训练和预测.经过实验验证,该方法准确有效,为玻璃缺陷检测提供了一种可靠的检测方法.     

一种基于伪标签的半监督少样本学习模型

如何将带有大量标记数据的源域知识模型迁移至带有少量标记数据的目标域是少样本学习研究领域的热点问题.针对现有的少样本学习算法在源域数据与目标域数据的特征分布差异较大时存在的泛化能力较弱的问题,提出一种基于伪标签的半监督少样本学习模型FSLSS（Few-Shot Learning based on Semi-Supervised）.首先,利用pytorch深度学习框架建立一个关系型深度学习网络,并使用源域数据对网络进行预训练;然后,使用此网络对目标域数据进行分类预测,将分类概率最大的类标签作为数据的伪标签;最后,利用目标域的伪标签数据和源域的真实标签数据对网络进行混合训练,并重复伪标签标记与混合训练过程.实验结果表明,相对于现有主流少样本学习算法,FSLSS模型有更好的泛化能力及知识迁移效果.     

基于深度学习和半监督学习的入侵检测算法

深度学习是一种具有自动学习能力的智能算法,通过自我学习到的经验而动态地提升分类的能力。深度学习的思想与入侵检测中通过学习而提高检测率和降低误报率的思想是相同的。对于入侵检测准确率不高的情况,提出了一种基于深度学习和半监督学习的入侵检测方法,该方法使用深度学习对特征提取和后验概率对未标记数据进行分类,提高了分类性能。使用KDD CUP99数据集对算法准确性进行了验证,实验结果验证该方法能够有效改善入侵检测系统性能。     

一种基于深度学习的网络入侵检测方法

针对如何将深度学习应用到网络入侵检测中以提高入侵检测准确率的问题,结合网络数据的特点给出一种深度学习网络的设计方法,并在此基础上提出一种基于深度学习的入侵检测方法。该方法采用了深度学习中的自编码网络模型实现对网络特征的提取,通过softmax分类器对特征数据进行分类,从而得到网络入侵检测分析的结果。基于KDD99数据库实验证明,该方法在保证高检测率的同时,其误检率较其他算法低40%以上,从而验证了方法的有效性。     

基于深度信念网络资源需求预测的虚拟网络功能动态迁移算法

针对5G网络场景下缺乏对资源需求的有效预测而导致的虚拟网络功能(VNF)实时性迁移问题,该文提出一种基于深度信念网络资源需求预测的VNF动态迁移算法。该算法首先建立综合带宽开销和迁移代价的系统总开销模型,然后设计基于在线学习的深度信念网络预测算法预测未来时刻的资源需求情况,在此基础上采用自适应学习率并引入多任务学习模式优化预测模型,最后根据预测结果以及对网络拓扑和资源的感知,以尽可能地减少系统开销为目标,通过基于择优选择的贪婪算法将VNF迁移到满足资源阈值约束的底层节点上,并提出基于禁忌搜索的迁移机制进一步优化迁移策略。仿真表明,该预测模型能够获得很好的预测效果,自适应学习率加快了训练网络的收敛速度,与迁移算法结合在一起的方式有效地降低了迁移过程中的系统开销和服务级别协议(SLA)违例次数,提高了网络服务的性能。