基于深度学习的网络流时空特征自动提取方法

流量异常检测是网络入侵检测的主要途径之一,也是网络安全领域的一个热门研究方向。通过对网络流量进行实时监控,可及时有效地对网络异常进行预警。目前,网络流量异常检测方法主要分为基于规则和基于特征工程的方法,但现有方法需针对网络流量特征的变化需重新人工收集规则或 构造特征,工作量大且繁杂。为解决上述问题,该文提出一种基于卷积神经网络和循环神经网络的深度学习方法来自动提取网络流量的时空特征,可同时提取不同数据包之间的时序特征和同一数据包内字节流的空间特征,并减少了大量的人工工作。在 MAWILab 网络轨迹数据集上进行的验证分析结果表明,该文所提出的网络流时空特征提取方法优于已有的深度表示学习方法。     

基于多头注意力的恶意加密流量检测方法

恶意加密流量的识别是网络安全管理的一项重要内容。然而，随着网络用户的增加，网络流量的数量和种类正以指数级增加，这给网络安全管理带来了新的挑战和威胁。传统的恶意加密流量识别方法依赖专家经验，且对恶意加密流量特征区分能力不强，不适用目前复杂网络的场景。本文提出了基于多头注意力的恶意加密流量检测方法，通过多头注意力，流量特征可以被映射到多个子空间并进行高阶流量特征的提取，通过一维卷积神经网络进一步提取数据包内部的空间特征。实验结果表明，该方法在CTU数据集上对正常、恶意加密流量的二分类取得了优异的检测效果。     

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络（CNN）结合端口注意力模块（PAM）和通道空间注意力模块（CBAM）的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。     

基于1D-CNN-LSTM注意力网络的抽油机井故障诊断

针对传统基于示功图的抽油机井故障诊断方法存在特征提取复杂、模型参数量大、诊断效率低的问题，提出一种基于1D-CNN-LSTM注意力网络的故障诊断方法。将示功图转化为载荷位移序列作为网络输入，使用一维卷积神经网络（1D-CNN）在提取序列局部特征的同时减小序列长度；考虑到序列的时序特性，进一步使用长短时记忆网络（LSTM）提取序列的时序特征；为突出关键特征影响，引入Attention机制，对故障类型相关的时序特征赋予更高的注意力权重；最后将加权特征输入全连接层，利用Softmax分类器实现故障诊断。实验结果表明，所提方法的平均准确率、精确率、召回率和F1值分别达到99.13%、99.35%、99.17%和99.25%，模型大小仅为98 kB。相比基于特征工程的方法具有更高的诊断精度和泛化能力，相比基于二维卷积神经网络（2D-CNN）模型的诊断方法，显著减少了模型参数量和训练时间，提高了故障诊断效率。     

基于网络全局流量异常特征的DDoS攻击检测

由于分布式拒绝服务（DDoS）攻击的隐蔽性和分布式特征，提出了一种基于全局网络的DDoS检测方法。与传统检测方法只对单条链路或者受害者网络进行检测的方式不同，该方法对营运商网络中的OD流进行检测。该方法首先求得网络的流量矩阵，利用多条链路中攻击流的相关特性，使用K L变换将流量矩阵分解为正常和异常流量空间，分析异常空间流量的相关特征，从而检测出攻击。仿真结果表明该方法对DDoS攻击的检测更准确、更快速，有利于DDoS攻击的早期检测与防御。     

基于图注意力时空神经网络的在线内容流行度预测

现有在线内容流行度预测方法忽略对传播级联演化过程中的结构和时序特征的捕获.针对此问题,文中提出基于图注意力时空神经网络的在线内容流行度预测模型.利用图注意力机制学习在线内容的级联结构表示,利用时序卷积网络捕获传播级联的时序特征,通过全卷积层映射在线内容的流行度.在新浪微博和美国物理学会引文两个不同场景的数据集上的实验表明,文中方法的流行度预测性能较优.     

基于空间注意力残差网络的图像超分辨率重建模型

卷积神经网络中的层次特征可以为图像重建提供重要信息。然而，现有的一些图像超分辨率重建方法没有充分利用卷积网络中的层次特征。针对该问题，本文提出一种基于空间注意力残差网络的模型（Residual Network Based on Spatial Attention, SARN）。具体来说，首先设计一种空间注意力残差模块（Spatial Attention Residual Block, SARB），将增强型空间注意力模块（Enhanced Spatial Attention, ESA）融入残差模块中，网络可以获得更有效的高频信息；其次融入特征融合机制，将网络各层获得的特征进行融合，提高网络中层次特征的利用率；最后，将融合后特征输入重建网络，得到最终的重建图像。实验结果表明，该模型无论在客观指标上，还是主观视觉效果上均优于对比算法，这说明本文提出的模型可以有效地利用图像中的层次特征，从而获得较好的超分辨率重建效果。     

时空卷积注意力网络用于动作识别

在视频动作识别任务中,无论是在视频的空间维度还是时序维度,如何充分学习和利用特征之间相关性,对最终识别性能的影响非常大。卷积操作通过计算邻域内特征点之间的相关性获得局部特征,而自注意力机制通过所有特征点之间的信息交互学习到全局信息。单个卷积层不具备在全局视角上学习特征相关性的能力,即使是重复堆叠多层也只是获得了若干个更大的感受野。自注意力层虽然具有全局视角,但其关注的核心仅是不同特征点所表达的内容联系,忽略了局部的位置特性。为了解决以上问题,提出了一种时空卷积注意力网络用于动作识别。时空卷积注意力网络由空间卷积注意力网络和时序卷积注意力网络共同组成。空间卷积注意力网络使用自注意力方法捕捉空间维度的表观特征联系,用一维卷积提取动态信息。时序卷积注意力网络通过自注意力方法来获取时序维度上帧级特征间的关联信息,用2D卷积学习空间特征。时空卷积注意力网络集成两种网络的共同测试结果来提升模型识别性能。在HMDB51数据集上进行实验,以ResNet50为基线,引入时空卷积注意力模块后,神经网络的识别准确率在空间流和时序流上分别提升了6.25和5.13个百分点。与当前先进方法进行比较,时空卷积注意力...     

基于局部编码和多头注意力模型的电力系统暂态稳定性评估

针对当前基于神经网络的暂态稳定性评估方法无法对暂态状态量测数据进行全局建模的问题，提出一种基于局部编码和多头注意力模型的暂态稳定性评估框架。利用局部RNN结构提取“三段式”暂态状态量测数据的局部特征；利用多头注意力模型对所有局部特征进行建模，计算各局部特征的长距离依赖关系，挖掘之间显著的关联特征表示。将该特征表示输入到全连接神经网络层和softmax层，输出暂态稳定性评估概率。在新英格兰10机39节点系统模拟仿真环境中的实验结果表明该方法切实可行，相较于次优结果，准确率提高3.05%,F1值提高3.04%,误报率降低39.44%。     

分层依赖关系建模的工控异常检测方法

为解决当前主流工控流量异常检测方法检测覆盖率较低的问题,分析这类检测方法的特点,综合考虑通信流量中流量层、数据包层及内容层3种影响因素,提出一种分层依赖关系建模的工控异常检测方法.使用流量、数据包以及内容3个层次的特征,通过并行LSTM神经网络构建不同层内数据间的依赖关系,建立粒度由粗到细的分层依赖关系模型,扩大流量特征建模的覆盖率,提升对工控异常流量的检测能力.实验结果表明,该方法检测精确率达到了96.9％,与不分层的模型相比检测精确率提高了7.2％.     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

基于Payload2Vec的Tor匿名网络流量识别和分类

为有效识别和分类Tor匿名网络流量，提出基于有效载荷嵌入模型（Payload to Vector）的分类方法。首先将数据包字节序列直接转换为字符串，利用滑动窗口对字符串分割，得到流量字符串。然后将流量字符用高维向量表示，进一步引入基于多头自注意力机制的双向长短期记忆模型（Bidirectional Long Short-Term Memory,Bi-LSTM）。实验表明该方法相比传统LSTM神经网络提高44%的Tor流量识别准确率和64%的Tor流量分类准确率，并且大幅度提升模型训练速度，验证该模型的准确性与可行性。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于双分支特征提取的太阳辐射预测方法

针对太阳辐射预测过程中气象特征复杂、时序特征难以充分利用而导致光伏功率出力扰动的问题，提出一种基于双分支特征提取的太阳辐射逐日预测方法。气象分支采用多尺度卷积神经网络提取动态变化的多维气象特征；时序分支使用双向门控循环网络初步提取时序特征，将学习到的双向时序特征输入门控循环网络进一步学习其潜在规律；基于注意力机制自适应地赋予各分支合适的权值，优化多尺度卷积的提取操作和气象、时序特征的融合过程。经过实验验证了该预测方法的准确性和有效性。     

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统（IDS）在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络（DNN）模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0~0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0~0.098 8和0.030 6~0.112 8。     

基于t-SNE降维预处理的网络流量异常检测

网络流量中大多数流量都是正常的,但经常会出现偏离正常范围的异常流量,主要由DDOS攻击、渗透攻击等恶意的网络行为引起,这些异常行为通常会导致网络质量下降,甚至网络直接瘫痪。因此引入网络安全态势的预测,在仅知道正常网络流量的情况下判断网络中的异常。异常检测是一种网络安全态势的预测方法,用来判断网络中是否有异常。现有的异常检测算法由于无法准确提取网络数据包的低维特征导致算法的性能不佳,因此,需要找到网络数据包的准确的低维特征表示,该低维特征表示能够区分网络数据包是正常的还是有攻击的。为此,本文引入基于t-SNE降维的NLOF异常检测算法。该算法采用t-SNE算法自动预处理网络数据包以获得低维的网络数据包特征,之后将得到的低维的网络数据包特征作为NLOF算法的输入进行异常检测。其中,本文的NLOF算法首先采用k-means算法将网络数据包聚类成为K个簇,并将网络数据包数量小于N个的簇标记为异常簇,之后将未被标记为异常簇的网络数据包作为LOF算法的输入进行异常检测。在ISCX2012数据集上的实验结果表明,基于t-SNE降维的LOF算法达到最优性能时,准确率为98.46%,精确度为98.38%,检测率为98.54%,FAR为0.66%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.18个百分点、0.02个百分点和0.01个百分点。基于t-SNE降维的NLOF算法达到最优性能时,准确率为98.53%,精确度为98.86%,检测率为98.86%,FAR为0.32%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.25个百分点、0.34个百分点和0.41个百分点。这是异常检测中首次采用t-SNE算法自动提取低维的网络数据包特征。此外,LOF算法仅能捕获异常点,而本文的NLOF算法能够同时捕获异常点和异常簇。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于注意力机制的CNN-LSTM的ADS-B异常数据检测

广播式自动相关监视(ADS-B)是民航新一代空中交通管理系统的重要组成部分,由于协议没有数据加密和认证,导致容易受到数据攻击.为了准确检测ADS-B数据攻击,基于ADS-B数据的时序性,提出了一种基于注意力机制的卷积神经网络-长短期记忆网络(convolutional neural networks-long short-term memory, CNN-LSTM)异常数据检测模型.首先,利用CNN提取ADS-B数据的特征,然后以时序形式将特征向量输入到LSTM中,最后使用注意力机制进行网络参数优化,实现对ADS-B数据的预测,通过计算预测误差,来进行异常检测.实验表明,该模型能够很好地检测出模拟的4种类型的异常数据,与其他机器学习方法相比,具有更高的准确率和F1分数.     

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络（CNN）中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别（DFER）的混合注意力机制模型（HA-Model）,以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成：空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块（CBAM）的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。