融合CNN和Bi-LSTM的miRNA-lncRNA互作关系预测模型

非编码RNA(ncRNA)在很多动植物生命活动方面起着重要的调节作用,而微小RNA(miRNA)与长非编码RNA(lncRNA)的相互作用更为重要,其互作关系的研究不仅有助于深入分析基因间生物学功能,也可为疾病的诊治和植物的遗传育种方面提供新思路.目前,miRNA-lncRNA互作关系的预测大多使用生物实验和传统机器学习方法.由于生物鉴定代价高耗时长和机器学习涉及过多人工干预且特征提取过程复杂,在此提出一种融合卷积神经网络(convolutional neural network, CNN)和双向长短期记忆网络(bidirectional long short-term memory network, Bi-LSTM)的深度学习模型,兼备两者优势,既考虑序列间信息相关性和结合上下文信息,又能充分提取序列数据的特征.采用交叉检验评估模型性能,在玉米数据集上与传统机器学习方法和单一模型比对,取得较优的分类效果.另外,采用马铃薯和小麦数据集进行模型测试,准确率分别达到95%和93%以上,验证了模型具有良好的泛化能力.     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

用于神经网络异常检测模型的日志处理方法研究

针对在神经网络异常检测模型中日志分析处理存在的效率较低等问题,提出了一种基于词嵌入与word-level编码、charlevel编码相结合的日志数据处理方法,来实现提高异常检测模型日志数据处理效率。本文首先介绍了用于异常检测模型的日志预处理的基本流程;其次提出了词嵌入与两种编码相结合的日志向量化的表示方法,最后通过实验结果表明,提出的日志处理方法能够较好地提高异常检测模型中的日志分析处理效率。     

基于LSTM的卷积神经网络异常流量检测方法

针对传统机器学习方法依赖人工特征提取,存在检测算法准确率低、无法应对0day漏洞利用等未知类型攻击等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long-Short Term Memory,LSTM)混合算法的异常流量检测方法,充分发掘攻击流量的...     

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络（Bi-TCN）从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。     

基于CNN和BLSTM的房颤识别算法

针对传统机器学习算法难以提取复杂心拍特征的弊端,提出一种基于深度学习的房颤识别算法。基于心电信号的一维时序特性,设计一维深层卷积神经网络模型,自动挖掘原始信号预处理后的深层次特征。将适合捕捉时间序列长期依赖关系的双向长短期记忆网络与卷积神经网络进行结合,搭建一种深度学习网络模型。基于PCin CC2017数据库实现对原始心电信号的自动分类,完成对房颤的识别。实验结果表明,该算法以86%的分类准确率和83%的F1度量验证了模型的可行性和算法的有效性。     

基于二次滑动窗口机制的日志异常检测方法

针对日志异常检测的传统特征提取方法往往选取一定数量的日志进行特征提取,在程序并发和网络时延波动较大等导致日志顺序混乱的场景下,传统方法效果不够理想.本文提出一种基于二次滑动窗口机制的日志异常检测方法,首先基于正则表达式和日志解析方法提取出日志时间戳和模板信息,再先后两次采用滑动窗口方法获取特征提取的序列对象.其中初次滑...     

融合CNN与BiLSTM的网络入侵检测方法

针对网络入侵检测准确率偏低而误报率偏高的问题,提出一种融合卷积神经网络(CNN)与双向长短期记忆(BiLSTM)网络的网络入侵检测方法。对KDDcup99数据集进行预处理,并分别使用CNN模型、BiLSTM模型提取局部特征和长距离依赖特征,通过注意力机制计算特征的重要性,利用softmax分类器获得最终的分类结果。实验结果表明,与基于CNN和基于LSTM的方法相比,该方法的网络入侵检测效果较好,其准确率可提高至95.0%,误检率可降低至5.1%。     

基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

基于CNN和LSTM深度网络的伪装用户入侵检测

用户伪装入侵检测技术作为一种主动式安全防护技术已成为当前的研究热点。现有的用户伪装入侵检测技术存在难以准确建模用户行为模式的缺陷。利用卷积神经网络(convolution neural network,CNN)处理局部关联性数据和特征提取的优势,以及长短期记忆(long short-term memory,LSTM)神经网络捕获数据时序性和长程依赖性的优势,设计了一种结合卷积和长短期记忆的深度神经网络(CCNN-LSTM)用于伪装入侵检测。该方法具有较强的学习能力,能自动学习数据的表征而无需人工提取复杂特征,在面对复杂高维的海量数据时具有较强的潜力。实验结果表明,该方法具有更高的检测率及更低的检测代价,其性能胜过多个基线系统。     

基于注意力机制的半监督日志异常检测方法

日志记载着系统运行时的重要信息,通过日志异常检测可以快速准确地找出系统故障的原因。然而,日志序列存在数据不稳定和数据之间相互依赖等问题。为此,提出了一种新的半监督日志序列异常检测方法。该方法利用双向编码语义解析BERT模型和多层卷积网络分别提取日志信息,得到日志序列之间的上下文相关信息和日志序列的局部相关性,然后使用基于注意力机制的Bi-GRU网络进行日志序列异常检测。在3个数据集上验证了所提方法的性能。与6个基准方法相比,所提方法拥有最优的F1值,同时获得了最高的AUC值0.981 3。实验结果表明,所提方法可以有效处理日志序列的数据不稳定性和数据之间相互依赖的问题。     

基于word embedding和CNN的情感分类模型

尝试将word embedding和卷积神经网络（CNN）相结合来解决情感分类问题。首先,利用Skip-Gram模型训练出数据集中每个词的word embedding,然后将每条样本中出现的word embedding组合为二维特征矩阵作为卷积神经网络的输入;此外,每次迭代训练过程中,输入特征也作为参数进行更新。其次,设计了一种具有3种不同大小卷积核的神经网络结构,从而完成多种局部抽象特征的自动提取过程。与传统机器学习方法相比,所提出的基于word embedding和CNN的情感分类模型成功将分类正确率提升了5.04%。     

基于CNN-BiLSTM模型的日志异常检测方法

目前日志异常检测领域存在数据量大、故障和攻击威胁隐蔽性高、传统方法特征工程复杂等困难,研究卷积神经网络（CNN）、循环神经网络等迅速发展的深度学习技术,能够为解决这些问题提供新的思路。提出结合CNN和双向长短时记忆循环神经网络（Bi-LSTM）优势的CNN-BiLSTM深度学习模型,在考虑日志键显著时间序列特征基础上,兼顾日志参数的空间位置特征,通过拼接映射方法进行最大程度避免特征淹没的融合处理。在此基础上,分析模型复杂度,同时在Hadoop日志HDFS数据集上进行实验,对比支持向量机（SVM）、CNN和Bi-LSTM验证CNN-BiLSTM模型的分类效果。分析和实验结果表明,CNN-BiLSTM达到平均91%的日志异常检测准确度,并在WC98_day网络日志数据集上达到94%检测准确度,验证了模型良好的泛化能力,与SVM CNN和Bi-LSTM相比具有更优的检测性能。此外,通过消融实验表明,词嵌入和全连接层结构对于提升模型准确率具有重要作用。     

基于机器学习的日志异常检测综述

日志异常检测是当前数据中心智能运维管理的典型核心应用场景.随着机器学习技术的快速发展和逐步成熟,将机器学习技术应用于日志异常检测任务已经形成热点.首先,文章介绍了日志异常检测任务的一般流程,并指出了相关过程中的技术分类和典型方法.其次,论述了日志分析任务中机器学习技术应用的分类及特点,并从日志不稳定性、噪声干扰、计算存储要求、算法可移植性等方面分析了日志分析任务的技术难点.再次,对领域内相关研究成果进行了梳理总结和技术特点的比较分析.最后,文章从日志语义表征、模型在线更新、算法并行度和通用性3个方面讨论了日志异常检测今后的研究重点及思考.     

基于深度学习的银行间债券市场异常交易行为检测

银行间债券市场作为金融市场重要组成部分,发挥着传导货币政策、提升资本流动性的作用.对市场异常交易行为的检测是保障银行间债券市场健康平稳运行、提升防范金融风险水平的有效手段.因此,提出一种基于网络嵌入和深度学习的异常交易行为检测方法,能有效检测出规则未知的异常交易行为.该方法结合交易网络的特点,采用一种面向时序属性网络的...     

基于混合词向量深度学习模型的DGA域名检测方法

域名生成算法(domain generation algorithm, DGA)是域名检测中防范僵尸网络攻击的重要手段之一,对于生成威胁情报、阻断僵尸网络命令与控制流量、保障网络安全有重要的实际意义.近年来,DGA域名检测技术从依靠手工提取特征发展到自动提取特征的基于深度学习模型的方法,在DGA域名检测任务中取得了较大的进展.但对于不同僵尸网络家族的DGA域名的多分类任务,由于家族种类多,且各家族域名数据存在不平衡性,因此许多已有的深度学习模型在DGA域名的多分类任务上仍有提高空间.针对以上挑战,设计了基于字符和双字母组级别的混合词向量,以提高域名字符串的信息利用度,并设计了基于混合词向量方法的深度学习模型.最后设计了包含多种对比模型的实验,对混合词向量的有效性进行验证.实验结果表明基于混合词向量的深度学习模型在DGA域名检测与分类任务中相比只基于字符级词向量的模型有更好的分类性能,特别是在小样本的DGA域名类别上的分类性能更优,证明了该模型的有效性.     

基于再编码的无监督时间序列异常检测模型

针对时间序列的数据不平衡和高度复杂的时间相关性导致的异常检测准确率低的问题,以生成对抗网络（GAN）作为基础提出一种基于再编码的无监督时间序列异常检测模型RTGAN。首先,使用具有周期一致性的多个生成器保证生成样本的多样性,从而学习不同的异常模式;其次,使用堆叠式LSTM-dropout RNN捕获时间相关性;然后,使用二次编码在潜在空间中比较生成样本和真实样本之间的差异,并将此差异作为再编码误差当作异常分数的一部分,从而提高异常检测的准确率;最后,使用新的异常分数对单变量和多变量时间序列数据集进行异常检测。将所提模型与七种基线异常检测模型在单变量和多变量时间序列上进行了比较。实验结果表明,所提模型在所有数据集上均获得了最高的平均F1值（0.815）,并且总体性能分别比原始自编码器（AE）模型Dense-AE和最新的基准模型USAD高出36.29%和8.52%。通过不同的信噪比（SNR）检测模型的健壮性,结果表明所提模型一直优于LSTM-VAE、USAD和OmniAnomaly,尤其在SNR为30%情况下,RTGAN的F1值分别比USAD和OmniAnomaly高出13.53%和10....     

基于BERT模型的增强混合神经网络的谣言检测

网络社交平台中大量谣言的广泛传播严重影响社会稳定.传统谣言检测方法无法有效处理文本中多义词和突出重要关键词,造成检测效果不理想.针对该问题,提出一种基于BERT模型的增强混合神经网络的谣言检测方法.该方法使用BERT模型将推文向量化,通过3种不同尺寸的卷积核学习推文特征,将这些特征进行最大池化拼接得到特征序列,并输入到...     

基于深度学习的系统日志异常检测研究

系统日志反映了系统运行状态,记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志,对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法,基于log key技术实现日志解析,利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测,具有参数少、训练快的优点,在取得较高检测精度的同时提升了运行速度,适用于大型信息系统的日志分析。