基于多类别Focal Loss损失函数的变电站场景图像语义分割研究北大核心

图像语义分割技术在变电站智能机器人抢险作业以及日常巡检中起重要作用。针对变电站场景中的类别不平衡问题,提出了一种用于训练多类别图像语义分割模型的多类别Focal Loss损失函数。多类别Focal Loss损失函数可以动态调整各类别的权值,对出现频率小的类别更加友好。基于深度学习和变电站场景图像,分别使用多类别Focal Loss损失函数和交叉熵损失函数训练基于FCN、SegNet和DeepLabV3网络的图像语义分割模型进行对比实验,并通过平均交并比和像素准确率等评价指标进行模型评价。实验结果表明基于多类别Focal Loss损失函数的图像语义分割模型具有良好效果,有助于缓解类别不平衡现象。     

基于DBSCAN_GAN_XGBoost的网络入侵检测方法

由于网络异常流量检测中异常流量数据占比不平衡,导致模型不能对稀有攻击类别流量进行充分学习,从而影响模型训练和检测精度.针对这一问题,提出一种基于DBSCAN_GAN_XGBoost的网络入侵检测模型,该模型在对稀有攻击类样本进行扩充时,着重扩充更容易让机器学习产生混淆的噪声样本.首先,利用DBSCAN算法对提取出的稀有...     

基于CNN与BiGRU融合神经网络的入侵检测模型

针对深度学习入侵检测中出现的数据类不平衡及特征学习不全面等问题,提出了一种基于卷积神经网络(CNN)与双向门控循环单元(BiGRU)融合的神经网络入侵检测模型.通过SMOTE-Tomek算法完成对数据集的平衡处理,使用基于平均不纯度减少的特征重要性算法实现特征选择,将CNN和BiGRU模型进行特征融合并引入注意力机制进...     

基于GRU-RNN的网络入侵检测方法

针对数据集中少数分类用例过采样问题,本文依据网络入侵行为具有时序特征的特点,将门控循环单元记忆模块引入递归神经网络当中,提出了一种基于记忆和时序的入侵检测网络模型——GRU-RNN模型。针对原始攻击数据具有离散性且分布较广的问题,对数据进行数值化及归一化的预处理操作,并对攻击的时序性进行分析,探讨门控循环单元在递归神经网络中应用于入侵检测的可行性,构建GRU-RNN网络模型,选取最优的损失函数、分类函数,提出了基于时序的不平衡学习入侵检测模型,用于检测具有时序特征的攻击行为。将模型应用在KDD数据集中进行实验测试,表明与其他不平衡学习方法相比,本模型具有更好的识别率与收敛性。     

一种处理混合型属性的无监督异常入侵检测方法

针对目前入侵检测技术训练时处理类别型数据能力欠缺、误报率高的问题,提出一种处理混合型属性的无监督异常入侵检测方法,定义了类别型属性各取值之间的差异度,使得在对训练集进行无监督学习、生成检测模型过程中,能够同时有效地处理数值型属性和类别型属性．理论分析表明所定义的类别型属性值差异度既保留了类别型属性各取值之间的本质特征．同时也没有改变数据集的原始维数．实验中采用了网络入侵检测数据集KDD-CUP-99来训练模型．实验结果表明,采用的混合型属性处理方法进行聚类所建立的入侵检测模型,与现有方法相比,检测率高．     

半径间隔界驱动卷积神经网络模型的图像识别

基于支持向量机（SVM）的卷积神经网络（CNN）模型结合了大间隔原理,在图像识别中表现出了优异的泛化性能。然而,该方法忽视了一个关键:SVM的泛化性能不仅取决于不同类之间的间隔,还与所有样本的最小包含球（MEB）的半径有关。针对这一事实,文章提出一种基于半径间隔界（RMB）驱动的CNN模型的图像特征提取和识别的方法。与传统CNN模型相比,该模型采用基于SVM泛化误差界的策略来指导CNN深度模型学习和相应分类器构建,不仅考虑了不同类别之间的间隔,还考虑了MEB的半径。该模型能提高深度卷积模型的泛化能力而不会额外增加网络的复杂度,还能够应用于不同的深度模型中而不受限于某一特定的网络结构。在多个数据集上的实验结果表明,相比于基于Sofmax损失的CNN模型、基于中心损失的CNN模型以及基于 SVM 的 CNN 模型,该模型能够提取到鉴别性更强的图像特征,取得更高的识别率。     

基于能量模型的行人与车辆再识别方法

为了解决行人再识别以及车辆再识别算法中网络训练过程对计算资源的消耗过大且准确率较低的问题,提出基于能量模型的目标分类和度量学习方法. 利用样本特征空间中同类样本的低能量分布特性, 设计对比能量损失函数,形式上表达为训练样本在真实目标类别上的损失函数响应和非目标类别上的响应之差,可以更准确地增大目标响应,抑制非目标响应, 提高了分类准确率,使得同类样本特征更聚集、异类样本特征更远离. 在多个行人再识别和车辆再识别数据集上的测试结果显示, 相对于Soft-max和Triplet混合损失函数, 利用能量模型可以提升网络训练效率,提高目标再识别准确率.     

基于改进Mask R-CNN的交通监控视频车辆检测算法

针对交通监控视频车辆检测常易受到遮挡导致目标车辆出现漏检或误检的问题,提出一种基于改进Mask R-CNN的交通监控视频车辆检测算法. 采用基于bottleneck结构的主干网络,提高主干网络提取特征的能力; 通过基于预测mask分数的掩码分支,融合目标的类别分数和掩码质量分数,提高车辆的掩码质量; 通过基于Arcface Loss的目标检测损失函数设计,提高不同特征之间的可判别性,提高目标的检测精度. 实验结果表明,改进的Mask R-CNN模型可更好地检测到被遮挡的车辆,目标车辆的检测精度超过Faster R-CNN、YOLO v3和Mask R-CNN模型,可解决目标车辆漏检或误检问题.     

用于心律失常识别的LSTM和CNN并行组合模型

心脏病是导致人类死亡的首要原因,而大部分心血管疾病往往伴随着心律失常出现.为实现对不同类型心电图信号的自动分析、识别异常心律,研究并提出了一种基于深度学习的心拍分类算法.考虑到心电图自身的特性,使用长短时记忆网络来捕捉心电序列数据的前后依赖关系,结合卷积神经网络提取局部相关特征,自动识别5种不同类型的心拍.基于LSTM和CNN的深度学习方法将经过预处理的心电信号后直接作为网络的输入,将心电分类的特征提取、分类两个步骤融合为单个学习器.针对类别数据不平衡问题,通过对少数类样本滑窗采样获得更多训练数据.使用MIT-BIH数据集验证模型的有效性,最终在测试集2万多个心拍记录中分类结果准确率达到99.11%,特异性为99.44%,灵敏度为97.27%,此外滑窗采样操作对少数类样本的灵敏度有明显改善.实验结果表明,相比传统的SVM和随机森林等方法,基于LSTM和CNN的并行组合模型不需要人工提取复杂特征,且达到了更好的分类性能,适合用于可穿戴式心电设备和远程监护领域.     

基于深度卷积神经网络的睡眠分期模型

针对现阶段数据和特征决定睡眠分期模型的分类精度上限的问题,提出深度卷积神经网络模型. 在模型主体构建方面,并行卷积网络可以自动学习原始信号的时域特征和频域特征,特征融合网络通过空洞卷积和残差连接进行多特征融合,分类网络基于融合后的特征进行睡眠分期. 利用生成少数类过采样技术（SMOTE）减少类别不平衡对分类效果的影响,结合两步训练法对模型进行优化. 实验使用Sleep-EDF数据集的原始单导脑电信号（Fpz-Cz通道）对模型进行20折交叉验证,得到总体精度和宏F₁分别为86.73%和81.70%. 提出的深度卷积模型在没有任何先验知识的情况下,对脑电信号进行端到端的学习,分类准确率优于传统的深度学习模型.     

基于内外卷积网络的网络入侵检测

网络入侵检测通过分析流量特征来区分正常和异常的网络行为以实现入侵流量的检测,是网络安全领域的重要研究课题.针对已有入侵检测模型特征提取过程复杂、信息提取不足等问题,提出了一种基于内外卷积网络的入侵检测模型.首先使用一维卷积神经网络提取流量数据的内部特征,然后通过对内部特征计算相似度建模得到无向同质图,此外将流量在外部网络侧的通信行为建模为有向异质图,并对两图使用图卷积网络学习包含网络流量多种交互行为的嵌入向量,最后将学习到的流量嵌入向量输入到分类器中用于最终的分类.实验结果表明,所提模型的检测准确率和误报率均优于对比模型.     

基于Bootstrapping的因特网流量分类方法

针对因特网流量分类面临的流量类别标记瓶颈和类别样本数分布不平衡,提出基于Bootstrapping的流量分类方法,使用少量有标记样本训练初始分类器,迭代利用无标记样本扩展样本集并更新分类器. 在构建扩展样本集过程中,将无标记样本在某后验概率分布下的正确分类行为视为一个概率事件,建立新的置信度计算方法,以减少扩展样本集中的噪声样本;基于概率近似正确学习理论建立启发式规则,注重选择小类样本加入扩展样本集,缓解类别样本数分布的不平衡. 实验结果表明,与初始分类器相比,基于Bootstrapping的流量分类器总体分类准确率可提高9.46%;与现有半监督学习方法相比,小类分类准确率提高2.22%.     

基于多分类及特征融合的静默活体检测算法

现有的静默活体检测研究忽略不同非活体攻击方式之间的差异,以及不考虑活体和非活体样本类别不均衡对模型学习的不利影响. 本研究将非活体攻击类别细分成打印攻击和展示攻击,将静默活体检测由传统的二分类问题转变为多分类问题,并提出采取交叉熵作为损失函数对网络模型进行训练的方案,用以克服二分类和类别不均衡问题,使得模型训练中能更准确发现和抽象出非活体人脸样本共同的欺诈特征,提高网络模型对非活体识别的精准度. 构建双流特征融合网络模型,采取注意力机制对从RGB和YCrCb这2种不同色彩空间提取到的特征向量进行自适应加权融合,以进一步提升网络模型的特征表示能力. 在CASIA-FASD、Replay-Attack、MSU-MFSD和OULU-NPU 4个公开数据集进行大量的对比实验,实验结果表明,采取多分类策略以及特征融合的静默活体检测模型能够有效降低分类错误率并提升泛化能力.     

基于特征选择和时间卷积网络的工业控制系统入侵检测

针对工业控制系统流量数据存在特征冗余及深度学习模型对较小规模数据集检测能力较差的问题,提出了一种基于特征选择和时间卷积网络的工业控制系统入侵检测模型。首先,对源域数据集的异常特征和样本不平衡数据进行处理,提高源域数据集质量。其次,针对流量数据的特征冗余,利用信息增益率和主成分分析法构建IGR-PCA特征选择算法,筛选出最优特征子集实现数据降维。然后,根据工业控制系统流量数据的时间序列特性,在较大规模的源域数据集上,利用时间卷积网络（temporal convolution network,TCN）对时间序列数据优异的处理能力,构建源域时间卷积网络预训练模型。最后,在较小规模的目标域数据集上,结合迁移学习（transfer learning,TL）微调策略,获取源域样本数据的流量特征,构建目标域TCN-TL模型。利用公开的工业控制系统数据集进行实验测试,实验结果表明：流量数据经本文特征算法处理后,相较于其他方法,在降低数据维度减少计算量的同时仍具有良好的检测效果;在较大规模的源域数据集和较小规模的目标域数据集上,本文模型均取得了良好的检测效果,在目标域中利用迁移学习微调策略能够学习到源域中的知识,模型检测准确率为99.06%,在训练时间对比中,本文模型训练时间消耗更少,具有更好的泛化能力,能够更好地保护工业控制系统安全。     

基于异构低秩多模态融合网络的后囊膜混浊预测

针对后囊膜混浊并发症发病周期长、筛查范围广的问题,提出利用多模态机器学习预测后囊膜混浊并发症的计算机辅助诊断方法. 对后照影像进行感兴趣区域(ROI)提取和白色反光区域填充,所构建的异构低秩多模态融合网络(HLMF)能同时输入后照影像和视觉质量参数进行特征提取与融合,HLMF模型基于通道积融合多模态信息;采用卷积核参数低秩分解解决过拟合问题;选用Focal Loss损失函数解决类别不均衡的问题;在训练过程中还采用预训练和模态腐蚀的训练方法,使模型更好地提取单一模态的特征并进行融合. 该算法在后囊膜混浊数据集上的十折交叉验证准确率为95.63%,F1分数为96.72%. 实验结果表明,所提算法能较好地提取单模态特征并进行特征融合,相比于其他多模态融合模型有更好的性能.     

基于流量特征指纹的工控系统网络入侵检测

对于工控系统网络入侵检测,目前主要从网络特性和入侵特性的角度来分析其特征,以达到检测网络入侵的目的 .提出了一种基于工控系统流量特征指纹库的网络入侵检测方法,从工控系统的角度,采用分层分析法建立系统网络流量特征指纹库,同时建立实时流量特征库匹配模型,实现了网络入侵行为的检测和入侵信息的定位.通过分析工控系统的组成以及系统中设备的相关网络行为特征,采用分层分析法构建了以协议类别、流量大小、设备协议配置和协议数据内容组成的网络流量特征指纹库.当工控系统网络中出现入侵行为时,匹配模型能根据流量特征库有效辨别入侵并定位出网络中与入侵相关的信息.最后,以变电站工控系统为例搭建了仿真平台,通过模拟变电站系统间隔层网络中出现数据伪装入侵,实现了对变电站工控系统入侵行为的检测和入侵信息的定位.     

基于CWGAN-GP平衡化的网络恶意流量识别方法

在网络恶意流量识别任务中,存在恶意流量样本数量与正常流量样本比例不平衡问题,从而导致训练出的机器学习模型泛化能力差、识别准确率低。为此,在网络流量图片化的基础上提出一种利用具有梯度惩罚项的条件Wasserstein生成对抗网络(CWGAN-GP)对少量数据类进行平衡的分类方法。该方法首先借助网络流量图片化方法将原始流量PCAP数据按照流为单位进行切分、填充、映射到灰度图片中;然后使用CWGAN-GP方法实现数据集的平衡;最后,在公开数据集USTC-TFC2016和CICIDS2017上使用CNN模型对不平衡数据集和平衡后的数据集进行分类测试。实验结果表明,使用CWGAN-GP的平衡方法在精确度、召回率、F1这3个指标上均优于随机过采样、SMOTE、GAN以及WGAN平衡方法。     

基于支持向量机的网络入侵检测集成学习算法

互联网络中,计算机和设备随时受到恶意入侵的威胁,严重影响了网络的安全性。入侵行为具有升级快、隐蔽性强、随机性高的特点,传统方法难以有效防范,针对这一问题,本文提出一种基于支持向量机(SVM)的网络入侵检测集成学习算法,利用SVM建立入侵检测基学习器,采用AdaBoost集成学习方法对基学习器迭代训练,生成最终的入侵检测模型,仿真实验表明入侵检测模型更加贴近真实的网络入侵样本,减小了小样本集导致的模型精度大幅下降的问题,同时模型的整体检测精度也有较大的提升。     

基于BERT-CNN的城轨列控车载设备故障分类

针对基于通信的城市轨道交通列车控制系统车载设备故障排查困难，故障维修日志由于信息零散、语义模糊及归类混乱等导致的传统文本分布式表示与浅层机器学习算法分类精度低等问题，提出一种基于焦点损失函数BERT-CNN(bidirectional encoder representations from transformers-convolutional neural network)的故障分类方法，建立故障处理及结论、故障现象的关系模型．利用预训练好的BERT模型微调获取故障现象的词向量，充分捕捉融合了上下文的双向语义并关注重点词汇；利用卷积神经网络（convolutional neural network, CNN）进行训练，改进损失函数以缓解数据类别不平衡引起的性能下降问题．通过对某车载信号工区数据进行实验，对比基于交叉熵损失函数的BERT-CNN、单一BERT模型与word2vec-CNN(word to vector-CNN)方法，基于焦点损失函数BERT-CNN方法在分类指标上最优，对某些样本数量少的类别能够更精准分类．研究结果有助于建立更完善的智能运维故障案例库．     

基于伪样本正则化Faster R-CNN的交通标志检测

针对交通标志检测算法往往仅能对特定类标志检测或基于深度学习方法因训练样本少而造成"过拟合"高风险等问题,本文提出了一种基于伪样本正则化Faster R-CNN深度学习的标志检测算法。该算法首先通过训练数据集提供的标志和无标注的背景样本,提出了一种伪样本正则化策略。然后,通过深度学习模型中区域建议生成网络获取建议区域。最后,利用交替训练策略、共享CNN策略和联合训练策略、RPN网络和Fast R-CNN目标检测网络交替训练和联合训练,最终获取Faster R-CNN交通标志检测模型,实现了各类标志的检测,并有效降低了"过拟合"风险。实验结果验证了本文算法的有效性。