面向ICS的CGAN-DEEPFOREST入侵检测

随着工业化与信息化的深度融合，工业控制系统(ICS)的安全问题广受关注，ICS领域出现了许多入侵检测模型.但是，现存模型存在局限性，无法同时解决数据不平衡、分类时间长、小样本检测率低和准确率低的问题.因此，本文提出CGAN-DeepForest入侵检测模型解决上述问题.首先，采用改进的条件生成对抗网络(CGAN)定向扩充数据来改善数据的不平衡性.其次，采用随机森林对平衡后的数据集进行特征提取，降低分类模型训练时间和分类时间.再次，采用深度森林(DeepForest)进行分类，提高小样本检测率和整体准确率，输出分类结果.最后，使用数据集Gas验证模型效果.实验结果表明，本文模型与简单深度森林模型相比准确率整体提升3%,小样本数据NMRI、MFCI、Dos的查全率、查准率、F1分别提高至95%、84%、90%;与随机森林模型相比，准确率整体提高6%,小样本NMRI的查全率提升23%;与深度卷积神经网络相比，准确率接近94%时，模型训练时间和分类时间提高约50%.     

基于GR-CNN算法的网络入侵检测模型设计与实现

针对现有网络入侵检测系统对网络行为检测准确率较低、实时性较差、泛化性能较低的问题,利用深度学习具有良好分类性能及强泛化能力等优点,设计基于增益率算法和卷积神经网络算法的网络入侵检测模型。采用增益率筛选数据集数据特征,在保证入侵检测准确率的同时,缩短卷积神经网络训练时间。实验结果表明,该模型相比其他基于机器学习的入侵检测模型具有较高的准确率和较强的泛化能力,同时优化卷积神经网络训练方式,保证准确率的同时使神经网络训练时间减少了77%。     

生成对抗网络辅助学习的舰船目标精细识别

针对近岸舰船目标细粒度识别的难题,提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船目标识别框架。通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本,来辅助分类子网络学习样本空间的流形分布,从而增强细粒度的类别间判别能力。在细粒度类别的近岸舰船数据集上,引入生成对抗网络后的算法识别准确率得到较大提升,平均识别精度提升了2%。消融实验结果表明,利用生成样本辅助训练分类子网络可以有效地提升舰船目标的细粒度识别精度。     

改进的VGG网络可提升年龄与性别预测准确率

由于深度卷积网络（Convolutional Neural Network,CNN）具有良好特征学习的性质,它得到了研究者们重点关注,并且已被广泛应用。相比较于深度CNN在物体识别与分类等任务上所达到的出色效果,其在年龄预测与人物性别识别任务上的应用还远远不能令人满意。基于公安业务背景,设计了一个深度卷积网络模型,并在证件照和Adience数据集上训练该模型,从而将其应用在人物年龄预测和性别分类上。通过基于Tensorflow的实验表明,提出的深度卷积网络模型,对人物年龄的预测准确率可达到90%以上;性别分类的准确率也达到93%以上。这明显优于现有文献中的结果。     

联合集成学习与EfficientNet的光学遥感图像场景分类

深度学习能够提高光学遥感图像场景分类的准确率和效率,但光学遥感图像语义丰富,部分场景仍存在易误分类的情况,同时由网络模型规模扩大带来的硬件要求过高、时间成本消耗过大等问题制约着深度学习网络模型的推广应用。为此,提出一种基于轻量化网络模型的光学遥感图像场景分类方法。通过EfficientNet网络提取图像特征,对图像特征进行复合提取以生成语义信息更丰富的新特征,利用多个子分类器构建集成学习模块解析新特征得到预分类结果,集成加权预分类结果以获得最终的分类结果。在AID和NWPU-RESISC45数据集上的实验结果表明,即使只训练20%的数据样本,该方法也能分别达到94.32%和93.36%的准确率,相对D-CNNs、CNN-CapsNet等方法,所提方法对易误分类场景有更好的分类效果,且参数量和浮点运算量大幅减少。     

基于BERT模型与知识蒸馏的意图分类方法

意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于BERT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法。然而预训练模型十分庞大,且需要大量的数据和设备资源才能完成训练过程。提出一种知识蒸馏意图分类方法,以预训练后的BERT作为教师模型,文本卷积神经网络Text-CNN等小规模模型作为学生模型,通过生成对抗网络得到的大量无标签数据将教师模型中的知识迁移到学生模型中。实验数据包括基于真实场景下的电力业务意图分类数据集,以及通过生成对抗网络模型生成的大量无标签文本作为扩充数据。在真实数据和生成数据上的实验结果表明,用教师模型来指导学生模型训练,该方法可以在原有数据资源和计算资源的条件下将学生模型的意图分类准确率最高提升3.8个百分点。     

基于贝叶斯网络的海量数据多维分类学习方法研究

摘 要: 多维分类根据数据实例的特征向量将数据实例在多个维度上进行分类,具有广泛的应用前景。在多维分类算法的模型学习过程中,海量的训练数据使得准确的分类算法需要很长的模型训练时间。为了提高多维分类的执行效率,同时保持高的预测准确性,本文提出了一种基于贝叶斯网络的多维分类学习方法。首先,将多维分类问题描述为条件概率分布问题。其次,根据类别向量之间的依赖关系建立了条件树贝叶斯网络模型。最后,根据训练数据集对条件树贝叶斯网络模型的结构和参数进行学习,并提出了一种多维分类预测算法。大量的真实数据集实验表明,本文提出的方法与当前最好的多维分类算法MMOC相比,在保持高准确性的同时将模型的训练时间降低了两个数量级。因此,本文提出的方法更适用于海量数据的多维分类应用中。     

基于半监督生成对抗网络的恶意代码家族分类实现

随着互联网的发展,恶意代码呈现海量化与多态化的趋势,恶意代码家族分类是网络空间安全面临的挑战之一。将半监督生成对抗网络与深度卷积学习网络相结合,构建半监督深度卷积生成对抗网络,提出了一种恶意代码家族分类模型,通过恶意代码家族特征分析,对恶意代码进行特征提取,转化为一维灰度图像;然后基于一维卷积神经网络1D-CNN,构建半监督生成对抗网络SGAN,形成恶意代码家族分类模型SGAN-CNN。从特征提取优化、半监督生成对抗训练算法优化等方面进行恶意代码家族分类能力提升。为了验证SGAN-CNN模型的分类效果,在Microsoft Malware Classification Challenge数据集上进行实验。5折交叉验证测试显示,本文提出的模型在样本标注标签占80%的情况下,分类的平均准确率达到98.81%;在样本标注标签仅有20%的情况下,分类的平均准确率达到98.01%,取得了较好的分类效果。在小样本数量情况下,也能取得不错的分类准确率。     

基于条件信息卷积生成对抗网络的图像识别

传统的图像识别方法需要大量有标签样本进行训练，且模型训练难以达到稳定。针对这些问题，结合条件生成网络和信息最大化生成网络的结构优势建立了条件信息卷积生成网络（C-Info-DCGAN）。模型增加图像的类别信息和潜在信息作为输入数据，然后利用Q网络去更好地发挥类别信息和潜在信息对训练的引导作用，并且利用深度卷积网络来加强对图像特征的提取能力。实验结果表明，该方法能够加快模型训练收敛速度，并有效提高图像识别的准确率。     

用于文本分类的均值原型网络

文本分类是自然语言处理的基本任务之一。该文在原型网络基础上,提出了按时序移动平均方式集成历史原型向量的均值原型网络,并将均值原型网络与循环神经网络相结合,提出了一种新的文本分类模型。该模型利用单层循环神经网络学习文本的向量表示,通过均值原型网络学习文本类别的向量表示,并利用文本向量与原型向量的距离训练模型并预测文本类别。与己有的神经网络文本分类方法相比,模型在训练和预测过程中有效利用了样本间的特征相似关系,并具有网络深度浅、参数少的特点。该方法在多个公开的文本分类数据集上取得了最好的分类准确率。     

基于频谱增强和卷积宽度学习的音乐流派分类

针对频谱图对于音乐特征挖掘较弱、深度学习分类模型复杂且训练时间长的问题,设计了一种基于频谱增强和卷积宽度学习(CNNBLS)的音乐流派分类模型.该模型首先通过SpecAugment中随机屏蔽部分频率信道的方法增强梅尔频谱图,再将切割后的梅尔频谱图作为CNNBLS的输入,同时将指数线性单元函数(ELU)融合进CNNBLS的卷积层,以增强其分类精度.相较于其他机器学习网络框架, CNNBLS能用少量的训练时间获得较高的分类精度.此外, CNNBLS可以对增量数据进行快速学习.实验结果表明:无增量模型CNNBLS在训练400首音乐数据可获得90.06%的分类准确率,增量模型Incremental-CNNBLS在增加400首训练数据后可达91.53%的分类准确率.     

结合Tri-training和CV-CNN的半监督PolSAR图像分类

现有深度学习算法应用于PolSAR图像分类时,较少考虑该图像数据的复数特点,使得数据的复数域信息不能被充分利用;同时,深度学习需要大量的标签样本作为模型的训练样本,但是PolSAR图像可获取的标签样本十分有限.针对上述问题,结合Tri-training算法和复值卷积神经网络(CV-CNN)提出了半监督PolSAR图像分类算法.首先通过Wishart分类器和Tri-training算法获取一些可靠性较高的伪标签样本,然后将其加入到复值卷积神经网络的训练样本中并用于模型训练,最终完成图像分类任务.通过四幅PolSAR图像分类的仿真实验表明,该算法不仅能够有效提升伪标签样本的可靠性,同时还可提高模型的分类准确率.     

Offline/realtime traffic classification using semi-supervised learning

Identifying and categorizing network traffic by application type is challenging because of the continued evolution of applications, especially of those with a desire to be undetectable. The diminished effectiveness of port-based identification and the overheads of deep packet inspection approaches motivate us to classify traffic by exploiting distinctive flow characteristics of applications when they communicate on a network. In this paper, we explore this latter approach and propose a semi-supervised classification method that can accommodate both known and unknown applications. To the best of our knowledge, this is the first work to use semi-supervised learning techniques for the traffic classification problem. Our approach allows classifiers to be designed from training data that consists of only a few labeled and many unlabeled flows. We consider pragmatic classification issues such as longevity of classifiers and the need for retraining of classifiers. Our performance evaluation using empirical Internet traffic traces that span a 6-month period shows that: (1) high flow and byte classification accuracy (i.e., greater than 90%) can be achieved using training data that consists of a small number of labeled and a large number of unlabeled flows; (2) presence of “mice” and “elephant” flows in the Internet complicates the design of classifiers, especially of those with high byte accuracy, and necessitates the use of weighted sampling techniques to obtain training flows; and (3) retraining of classifiers is necessary only when there are non-transient changes in the network usage characteristics. As a proof of concept, we implement prototype offline and realtime classification systems to demonstrate the feasibility of our approach.     

基于残差网络和随机森林的音频识别方法

环境声音分类(ESC)是音频处理领域的重要分支之一,在未来多媒体应用中有重要的作用。音频识别是提取音频中特定的声学特性,将音频分类至样本对应的正确场景,有助于感知和理解周围环境。现阶段音频识别主要是通过信号处理技术和机器学习方法达成。随着人工智能飞速发展,传统的音频处理技术以及机器学习方法面临着巨大的挑战,ESC的识别准确性有待进一步提高。结合残差网络和随机森林两种方法,将一维时域信号的音频数据转换为二维数据形式的梅尔声谱图,预训练残差网络获得一个精度较高的网络模型作为特征提取器,利用该网络模型提取音频中的深层特征,再利用随机森林对深层特征进行分类。该方法在ESC任务上识别率提升了近10%,取得了较好的分类结果。     

基于深度森林的无线传感器网络故障分类算法

针对无线传感器网络(WSN)节点容易出现故障从而导致网络瘫痪的问题,提出了一种基于改进的深度森林的无线传感器网络故障分类方法;深度森林是基于森林的集成学习方法,其输入是多维特征向量,特征向量将由多粒度扫描和级联森林这两个主要组成部分进行处理,多粒度扫描通过处理数据之间的关系来增强数据表示的能力,级联森林用于分类或预测;针对级联森林部分随着层数的增加可能造成的维数问题进行优化后,将该算法用于故障分类可以提高故障诊断的精确度;在仿真验证阶段,将该算法与深度神经网络(DNN)和支持向量机(SVM)算法进行对比;结果显示,该算法可以准确地识别出不同的故障类型,并且在损坏故障和电源故障的识别达到了最高精度,综合平均精度在98.4%;对偏移故障、漂移故障和通信故障的识别略低于卷积神经网络(CNN)算法,但综合训练时间、参数调节来看,该算法更能满足实际工程的需要。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

混合深度学习模型C-RF及其在手写数字识别中的应用

卷积神经网络（Convolutional neural network,CNN）是一种常见的深度学习模型,受人类视觉认知机制启发而来,能够从原始图像得到有效的特征表达。CNN模型在图像识别领域不断取得突破,但是在训练过程中需要花费大量时间。随机森林（Random forest,RF）在分类和回归上具有很高的精度,训练速度快并且不容易出现过拟合的问题,现有的基于RF的分类器都依赖手工选取的特征。针对以上问题,本文提出了基于CNN的C-RF模型,把CNN提取到的特征输入RF中进行分类。由于随机权值网络同样可以得到有效的结果,所以不用梯度算法调整网络参数,以免消耗大量时间。最后在MNIST数据集和Rotated MNIST数据集上进行了实验,结果表明C-RF模型的分类精度比RF有了较大的提高,同时泛化能力也有所提升。     

糖尿病性视网膜图像的深度神经网络分类方法

针对传统的视网膜图像处理步骤复杂、泛化性差、缺少完整的自动识别系统等问题,提出了一套完整的基于深度神经网络的视网膜图像自动识别系统。首先,对图像进行去噪、归一化、数据扩增等预处理;然后,设计了紧凑的神经网络模型——CompactNet,CompactNet继承了AlexNet的浅层结构参数,深层网络参数则根据训练数据进行自适应调整;最后,针对不同的训练方法和不同的网络结构进行了性能测试。实验结果表明,CompactNet网络的微调方法要优于传统的网络训练方法,其分类指标可以达到0.87,与传统直接训练相比高出0.27;对于LeNet,AlexNet和CompactNet三种网络模型,CompactNet网络模型的分类准确率最高;并且通过实验证实了数据扩增等预处理方法的必要性。     

网络流量的决策树分类

应用识别与流量分类是网络管理、安全、研究等相关事务的必要前提.随着网络的高速发展以及各种新型应用的不断涌现,基于分组传输层端口号和深度分组解析的分类技术难以满足需求.本文验证网络流量的统计特性可以有效地区分不同应用,提出一种基于C4.5决策树分类器的有监督网络流量分类方法,讨论boosting增强方法和特征选择两种改进.实验结果表明,C4.5分类器的训练复杂度适中,准确率高且分类速度快;增强方法可以进一步提高分类器的准确率,代价是训练时间大幅提高和分类时间稍微减慢;特征选择算法则提高分类速度而稍微降低准确率.     

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经（BiLSTM）模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环（BiGRU）神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制（attention）层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。