面向网络入侵检测的GAN-SDAE-RF模型研究

针对传统机器学习方法在处理不平衡的海量高维数据时罕见攻击类检测率低的问题,提出了一种基于深度学习的随机森林算法的入侵检测模型,为了避免传统的随机森林面对高维数据和不平衡数据时分类精度低、稳定性差和对罕见攻击类检测率低的问题,引入生成式对抗网络（GAN）和栈式降噪自编码器（SDAE）对随机森林算法（RF）进行改进。将罕见攻击类数据集输入GAN神经网络中,生成新的攻击类样本,改善网络入侵数据在样本集中不均衡分布的情况,通过堆叠深层的SDAE逐层抽取网络数据的分布规则,并结合各个编码层的系数惩罚和重构误差,来确定高维数据中与入侵行为相关的特征,基于降维后的特征数据构建森林决策树。采用UNSW-NB15数据集的实验结果表明,与SVM、KNN、CNN、LSTM、DBN方法相比,GAN-SDAE-RF整体检测准确率平均提高了9.39%、误报率和漏报率平均降低了9%和15.24%以及在少数类Analysis、Shellcode、Backdoor、Worms上检测率分别提高了26.8%、27.98%、27.85%、39.97%。     

基于空时特征融合和注意力机制的网络入侵检测模型

针对网络入侵检测性能不高的问题,提出一种基于空时特征融合和注意力机制的深度学习入侵检测模型CTA-net。该模型通过集成卷积神经网络(CNN)和长短时记忆网络(LSTM)获取空时融合特征,然后使用注意力模块(Attention)对输入的空时融合特征进行重要性加权计算,最后通过softmax函数进行分类。使用NSL-KDD数据集的实验结果表明,相比具有相似结构的CNN模型和空时融合的CNN-LSTM模型,在训练集的收敛性具有显著的提升,在测试集上使用的分类评价指标准确率分别提升10.9120个百分点和11.8740个百分点,精确率分别提升9.1950个百分点和9.6130个百分点,召回率分别提升9.1780个百分点和9.9340个百分点,F1-SCORE分别提升10.7830个百分点和11.7500个百分点。仿真结果表明,所提出的CTA-net模型在网络入侵检测方面具有较好的应用潜力。     

面向动态事件流的神经网络转换方法

针对基于权重归一化方法的卷积神经网络（CNN）转换方法应用于事件流数据时准确率损失较大以及浮点网络难以在硬件上高效部署等问题,提出一种面向动态事件流的网络转换方法。首先,重构事件流数据并输入CNN进行训练,在训练过程中采用量化激活函数降低转换的准确率损失,并使用对称定点量化方法以减少参数存储量;其次,在网络转换中采用脉冲计数等价原理而非频率等价原理以更好地适应数据的稀疏性。实验结果表明,与使用传统激活函数相比,采用量化激活函数的脉冲卷积神经网络（SCNN）在N-MNIST、POKER-DVS和MNIST-DVS这三个动态事件流数据集上的识别准确率分别提高了0.29个百分点、8.52个百分点和3.95个百分点,转换损失分别降低了21.77%、100.00%和92.48%;此外,相较于基于权重归一化方法生成的高精度SCNN,所提量化SCNN在识别准确率相当的情况下可以有效节省约75%的存储空间,并且在N-MNIST和MNIST-DVS数据集上的转换损失分别降低了6.79%和46.29%。     

面向多模态磁共振脑瘤图像的小样本分割方法

针对脑肿瘤磁共振成像（MRI）模态多、训练数据少、类别不平衡以及各个私有数据库差异大等导致分割困难的问题,引入小样本分割方法,并提出基于U-net的原型网络（PU-net）模型用以对脑肿瘤磁共振（MR）图像进行分割。首先对U-net的结构进行调整来提取各类瘤体的特征用以计算原型;然后在原型网络的基础上,逐像素利用原型对各空间位置进行分类,从而获取各类瘤体区域的概率图与分割结果;针对瘤体像素类别不平衡问题,采用自适应权重交叉熵损失函数来减小背景类对损失计算的影响;最后加入原型校验机制,即融合利用分割得到的概率图和查询图像对原型进行校验。所提方法在公开数据集BraTS2018上进行实验,得到的平均Dice系数为0.654,阳性预测率为0.662,灵敏度为0.687,豪斯多夫距离为3.858,平均交并比（mIOU）达到61.4%,与最新的小样本分割方法原型校准网络（PANet）和基于注意力的多上下文引导网络（A-MCG）相比各项指标均有所提升。结果显示引入小样本分割方法对脑肿瘤MR图像进行分割有不错的效果,采用自适应权重交叉熵损失函数也有着一定的帮助,可以对脑肿瘤诊断治疗起到有效的辅助作用。     

基于双通道卷积门控循环网络的语音情感识别

为了构建高效的语音情感识别模型,充分利用不同情感特征所包含的信息,将语谱图特征和LLDs特征相结合,构建了一种基于自注意力机制的双通道卷积门控循环网络模型。同时,为了解决交叉熵损失函数无法增大语音情感特征类内紧凑性和类间分离性的问题,结合一致性相关系数提出新的损失函数——一致性相关损失（CCC-Loss）。将语谱图和LLDs特征分别输入CGRU模型提取深层特征并引入自注意力机制为关键时刻赋予更高的权重;使用CCC-Loss与交叉熵损失共同训练模型,CCC-Loss将不同类情感样本的一致性相关系数之和与同类情感样本的一致性相关系数之和的比值作为损失项,改善了样本特征的类内类间相关性,提高了模型的特征判别能力;将两个网络的分类结果进行决策层融合。所提出的方法在EMODB、RAVDESS以及CASIA数据库上分别取得了92.90%、88.54%以及90.58%的识别结果,相比于ACRNN、DSCNN等基线模型识别效果更好。     

基于深度学习的网络入侵检测与应对策略研究

文章针对网络安全领域中日益复杂的攻击手段和难以检测的入侵行为,提出基于深度学习的网络入侵检测与应对策略。实验结果表明,长短期记忆网络（Long Short-Term Memory Network,LSTM）在处理复杂的网络流量数据时表现最优,优于卷积神经网络（Convolutional Neural Network,CNN）、循环神经网络（Recurrent Neural Network,RNN）。     

一种新的蜜网模型——BRHNS

在引入领域（Realm）概念的基础上，提出了一种新的蜜网模型——BRHNS（Based Realm Honeynets）。BRHNS模型利用Realm之间的协作性．提高了蜜网的工作效率，其中的入侵行为分析模块，用无监督聚类的方法对未知攻击的数据进行分类预处理．为以后提取入侵规则并将新的入侵规则添加到IDS规则库中打下了基础，进而提高了IDS的检测效率，降低了蜜网的工作量。通过交叉验证的方法进行实验，发现用无监督聚类算法能够很好地对攻击数据进行分类。     

基于ACGAN的图像识别算法

针对基于辅助分类器生成对抗网络(ACGAN)的图像分类算法在训练过程中稳定性低且分类效果差的问题,提出一种改进的图像识别算法CP-ACGAN。对于网络结构,在判别网络的输出层取消样本的真假判别,只输出样本标签的后验估计并引入池化层。对于损失函数,除真实样本的交叉熵损失外,在判别网络中增加生成样本的条件控制标签及后验估计间的交叉熵损失。在此基础上,利用真假样本的交叉熵损失及属性重构生成器和判别器的损失函数。在MNSIT、CIFAR10、CIFAR100数据集上的实验结果表明,与ACGAN算法、CNN算法相比,该算法具有较好的分类效果与稳定性,且分类准确率分别高达99.62%、79.07%、48.03%。     

基于改进LSTM的无线通信网络节点入侵预警方法

针对当前无线通信网络节点攻击入侵告警存在准确性差、告警响应速度慢的问题,引入改进长短期记忆网络（Long Short Term Memory,LSTM）,开展无线通信网络节点攻击入侵告警算法研究。首先,收集无线通信网络数据,提取受损节点特征;其次,利用改进LSTM构建节点攻击入侵检测模型;最后,结合模型输出,对攻击入侵行为告警,并完成告警信息融合。实验结果表明,新的告警算法可以实现对所有无线通信网络节点攻击入侵行为的准确告警,且响应速度显著加快。     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

基于CNN和GRU的混合股指预测模型研究

针对股票数据共线性和非线性的特点,提出了一种基于卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元（Gated Recurrent Unit,GRU）神经网络的混合预测模型,并对沪深300指数、上证综指和深证成指进行了预测。该模型首先采用CNN提取特征向量,对原始数据进行降维,然后利用GRU神经网络学习特征动态变化规律进行股指预测。仿真结果表明,与GRU神经网络、长短时记忆（Long-Short-Term Memory,LSTM）神经网络和CNN相比,该模型能够挖掘历史数据中蕴含的信息,有效提高股指预测的准确率,并可为股指交易提供一些参考。     

基于时空序列的Conv-LSTM航班延误预测模型

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测,然而目前已有预测方法多为两种或多种算法的结合,存在算法间的融合问题。针对上述问题,提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上,将网络的输入和权重矩阵进行卷积来提取空间特征,从而充分利用数据集包含的时间和空间信息。实验结果表明,与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比,Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见,同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外,基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统,并且该系统也可以应用于空中交通管理局流量控制中心。     

舒尔特方格与LSTM的注意力分级建模

在基于脑电信号的注意力分级研究中,存在两个亟待解决的技术难点。第一不同注意类型的脑电数据采集及标注困难;第二脑电特征提取算法忽视原始脑电信号时序特征。针对以上问题,设计了基于视觉搜索和反应时技术的舒尔特方格范式,实现对不同注意类型脑电数据的采集以及自动标注;设计长短期记忆深度学习网络（LSTM）实现对注意力分级,保存原始脑电信号的时序特征。实验结果表明,注意力分级模型可以很好区分高中低三种注意力水平;对比现有的五种基于EEG信号的注意力分级算法,小波变换（DWT）、近似熵、共空间模式（CSP）、基于相干系数的脑网络和卷积神经网络（CNN）,在相同的EEG数据集上,该注意力分级模型识别准确率最高,高出DWT算法21.49个百分点;高出近似熵算法25.82个百分点;高出CSP算法20.53个百分点;高出基于相干系数的脑网络算法13.32个百分点;高出CNN9.05个百分点。     

基于卷积-LSTM网络的广告点击率预测模型研究

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系，且使用人工特征提取方法费时费力。针对这些问题，提出了基于卷积（Convolutional Neural Networks）-LSTM（Long Short Term Memory）混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征，并通过LSTM神经网络的时序性进行预测分类。实验结果证明：与浅层模型或单一结构的神经网络模型相比，基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

联合RMSE损失LSTM-CNN模型的股价预测

由于金融市场的复杂性和多变性,当前模型尚不能完全覆盖股票走势影响因素的方方面面,在预测精度方面还存在改进空间.基于此,提出了一种联合RMSE损失LSTM-CNN(long short-term memory-convolutional neural networks)的方法.该方法创新性地通过联合两个模型的RMSE损失...     

动态物联网环境下的联盟学习计算卸载优化

智能城市、智慧工厂等对物联网设备（Internet of Things，IoT）的性能和连接性提出了挑战。边缘计算的出现弥补了这些能力受限的设备，通过将密集的计算任务从它们迁移到边缘节点（Edge Node，EN），物联网设备能够在节约更多能耗的同时，仍保持服务质量。计算卸载决策涉及协作和复杂的资源管理，应该根据动态工作负载和网络环境实时确定计算卸载决策。采用模拟实验的方法，通过在物联网设备和边缘节点上都部署深度强化学习代理来最大化长期效用，并引入联盟学习来分布式训练深度强化学习代理。首先构建支持边缘计算的物联网系统，IoT从EN处下载已有模型进行训练，密集型计算任务卸载至EN进行训练；IoT上传更新的参数至EN，EN聚合该参数与EN处的模型得到新的模型；云端可在EN处获得新的模型并聚合，IoT也可以从EN获得更新的参数应用在设备上。经过多次迭代，该IoT能获得接近集中式训练的性能，并且降低了物联网设备和边缘节点之间的传输成本，实验证实了决策方案和联盟学习在动态物联网环境中的有效性。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。