基于ISCNN-LightGBM的轴承故障诊断

在传统卷积神经网络与分类器相结合的故障诊断方法中, CNN用于故障特征提取时, 存在着提取的特征质量不高与运行时间较长的问题. 针对以上问题, 本文提出了一种基于改进单层卷积神经网络及LightGBM的故障诊断模型. 该模型通过将特征距离函数嵌入CNN的损失函数中, 提升了CNN特征提取的能力, 增强了CNN与后续分类器之间的联系, 从而提升了整体模型的故障诊断能力. 于此同时, 经过改进的单层的卷积神经网络进一步缩短了模型运行的时间, 提升了模型的诊断效率. 通过对两个不同的公共数据集进行对比实验, 其结果表明, 本文所提诊断模型对多种轴承故障的诊断准确率与诊断效率显著高于其他诊断模型.     

基于改进卷积神经网络与支持向量机结合的面部表情识别算法

针对当前卷积神经网络（CNN）利用端层特征进行面部表情识别存在模型结构繁琐、训练参数过多、识别不够理想的问题,提出一种基于改进CNN与支持向量机（SVM）相结合的优化算法。首先,利用连续卷积的思想设计网络模型,以获取更多非线性激活;然后,采用自适应全局平均池化（GAP）层取代传统CNN中的全连接层,以减少网络参数量;最后,用SVM分类器代替传统Softmax函数实现表情识别,以提高模型泛化能力。实验结果表明,所提算法在Fer2013和CK+数据集上分别取得了73.4%和98.06%的识别准确率,与传统LeNet-5算法相比,在Fer2013数据集上提升了2.2个百分点,且该网络模型结构简单、参数量较少,具有良好的鲁棒性。     

基于双向长短时记忆和卷积Transformer的声学词嵌入模型

示例查询语音关键词检测中,卷积神经网络（CNN）或者循环神经网络（RNN）提取到的声学词嵌入语音信息有限,为更好地表示语音内容以及改善模型的性能,提出一种基于双向长短时记忆（Bi-LSTM）和卷积Transformer的声学词嵌入模型。首先,使用Bi-LSTM提取特征、对语音序列进行建模,并通过叠加方式来提高模型的学习能力;其次,为了能在捕获全局信息的同时学习到局部信息,将CNN和Transformer编码器并联连接组成卷积Transformer,充分利用它在特征提取上的优势,聚合更多有效的信息,提高嵌入的区分性。在对比损失约束下,所提模型平均精度达到了94.36%,与基于注意力的Bi-LSTM模型相比,平均精度提高了1.76%。实验结果表明,所提模型可以有效改善模型性能,更好地实现示例查询语音关键词检测。     

改进卷积神经网络在遥感图像分类中的应用

针对传统卷积神经网络（CNN）稀疏网络结构无法保留全连接网络密集计算的高效性和实验过程中激活函数的经验性选择造成结果不准确或计算量大的问题,提出一种改进卷积神经网络方法对遥感图像进行分类。首先,利用Inception模块的不同尺度卷积核提取图像多尺度特征,然后利用Maxout模型学习隐藏层节点的激活函数,最后通过Softmax方法对图像进行分类。在美国土地使用分类数据集（UCM_LandUse_21）上进行的实验结果表明,在卷积层数相同的情况下,所提方法比传统的CNN方法分类精度提高了约3.66%,比同样也基于多尺度深度卷积神经网络（MS_DCNN）方法分类精度提高了2.11%,比基于低层特征和中层特征的视觉词典等方法分类精度更是提高了10%以上。因此,所提方法具有较高的分类效率,适用于图像分类。     

基于空洞卷积神经网络的旋转机械故障诊断方法

由于旋转机械的振动信号具有非平稳、复杂多样、数据量大的特点，传统的方法难以较好地实现旋转机械故障诊断。近年来，基于深度学习的故障诊断算法发展迅速，其中，卷积神经网络(Convolutional Neural Network,CNN)由于可实现自动提取特征、运算效率高等优点受到广泛关注，但在识别准确率等方面仍然存在部分问题。为实现多传感器监测状态下的旋转机械故障诊断，在经典卷积神经网络结构的基础上，引入了多通道数据融合处理、空洞卷积层、批标准化处理、PReLU激活函数、全局平均池化层等改进方法，构造了一种新型的、高效的空洞卷积神经网络（Atrous Convolution-Convolutional Neural Network,AC-CNN），并基于该模型进行了旋转机械故障诊断实验。实验结果表明，提出的故障诊断模型分类准确率可达99%以上，对比其他神经网络方法具有明显优势。     

基于改进的一维卷积神经网络的异常流量检测

针对传统机器学习方法对特征依赖大、基于深度学习的检测方法效率低以及易过拟合的问题,提出一种基于改进的一维卷积神经网络（ICNN-1D）的异常流量检测方法（AFM-ICNN-1D）。与传统卷积神经网络（CNN）采用的“卷积-池化-全连接”结构不同,ICNN-1D主要由2个卷积层、2个全局池化层、1个dropout层和1个全连接输出层构成;其次,将预处理后的数据输入到ICNN-1D中,并将经过两次卷积之后的结果作为全局平均池化层与全局最大池化层的输入,之后将所得到的输出数据进行合并再送入全连接层进行分类;最后根据分类结果与真实数据对网络模型进行调优,再将训练好的模型用于异常流量检测。CIC-IDS-2017数据集上的实验结果显示,AFM-ICNN-1D的精准率和召回率均达到了98%,优于对比的k近邻（kNN）和随机森林（RF）方法;而且与传统的CNN相比,该方法的参数减少了约97%,训练时间缩短了约40%。实验结果表明,AFM-ICNN-1D具有较高的检测性能,能减少训练时间、避免过拟合现象的发生,而且能更好地保留流量数据的局部特征。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

基于卷积神经网络的左心室超声图像特征点定位

针对传统级联卷积神经网络（CNN）在左心室超声图像中定位准确度较低的问题，提出一种融合更快速区域卷积神经网络（Faster-RCNN）模型提取区域的级联卷积神经网络，实现对超声图像中左心室心内膜和心外膜轮廓特征点的定位。首先，采用两级级联的方式改进传统级联卷积神经网络的网络结构，第一级网络利用一个改进的卷积网络粗略定位左心室心内膜和心外膜联合的特征点，第二级网络使用四个改进的卷积网络分别对心内膜特征点和心外膜特征点进行位置微调，之后定位输出左心室心内膜和心外膜联合的轮廓特征点位置；然后，将改进的级联卷积神经网络与目标区域提取融合，即利用Faster-RCNN模型提取包含左心室的目标区域并将目标区域送入改进的级联卷积神经网络；最后，由粗到细对左心室轮廓特征点进行定位。实验结果表明，与传统级联卷积神经网络相比，所提方法在左心室超声图像上的定位效果更好，更逼近真实值，在均方根误差的评价标准下，特征点定位准确度提升了32.6个百分点。     

基于果蝇算法优化的概率神经网络在变压器故障诊断中的应用

传统的变压器故障诊断方法存在编码不全,容易错判漏判的缺点。随着变压器在线监测技术的发展和产品需求的增加,变压器故障诊断技术朝着智能化的方向发展。为提高故障诊断率,结合油中气体分析法,本文提出了一种基于果蝇算法优化的概率神经网络模型的变压器故障诊断方法。作为一种新型的启发式和进化式算法,果蝇优化算法具有易理解和快速收敛到全局最优解的优点。概率神经网络结构简单、训练简洁,具有强大的非线性分类能力,将样本空间映射到故障模式空间中,从而形成一有较强容错能力和机构自适应能力的诊断网络。采用果蝇算法对模型参数进行优化,减少人为因素对神经网络设计的影响。仿真实验证明这种基于果蝇优化算法的概率神经网络可以有效地运用到变压器故障诊断中,为变压器故障诊断供了一条新途径,具有良好的研究价值和发展前景。     

基于卷积神经网络的发动机故障预测方法

近年来,卷积神经网络(CNN)等深度学习方法的发展为发动机故障诊断和预测带来了新的思路。CNN具有局部连接、权值共享、池化操作以及多层结构等特点,能够有效提取局部特征,降低网络的训练难度,使CNN具有很强的学习能力和特征表达能力。开展了深度卷积神经网络故障预测方法研究,实现了面向发动机气路故障预测算法架构。利用基于发动机试验仿真数据对该方法进行了验证,并与其他几种常见的基于数据驱动的预测方法进行了比较,验证结果表明本文提出的基于卷积神经网络的预测方法具有较好的可行性和效果,可作为开展发动机PHM技术研究的参考。     

结合改进CNN和双线性模型的CBIR方法

针对现有基于内容的图像检索（Content-Based Image Retrieval,CBIR）方法中图像特征维度较大等问题,提出一种结合改进卷积神经网络（Convolutional Neural Network,CNN）和双线性模型的CBIR方法。采用一种低维度池化方法代替传统CNN中的池化过程,以此降低图像特征映射的维度。基于双线性模型的思想,使用两个特征提取器进行特征提取,并在每个图像位置上对两个特征进行内积,以形成最终的图像描述符。通过计算图像间的曼哈顿距离度量来评估相似性,获得相关图像及其排序。实验结果表明,该方法能够准确检索出相关图像,并具有较低的检索时间和内存消耗。     

基于深度学习的变压器故障诊断方法研究

油中溶解气体分析方法（DGA）是变压器内部故障诊断的重要方法,广泛应用在变压器在线监测和定期试验检测中,传统的特征气体法和三比值法等诊断方法在实际应用中普遍存在着一定的局限性,导致故障诊断精度偏低。针对这一问题,本文提出了一种基于深度学习技术中的多层感知机的变压器故障综合诊断方法,利用开源的Scikit-learn 机器学习框架及TensorFlow深度学习框架构建了变压器故障诊断模型,并应用实际工程中的故障样本数据,对故障诊断模型进行了训练和测试。试验结果表明,基于多层感知机技术的变压器故障诊断模型能够对变压器故障进行正确诊断,与传统的三比值法及支持向量机技术相比,多层感知机的诊断准确率更高,具有更优的故障诊断性能,能够为变压器的检修提供更为准确的参考信息。     

基于SE-ResNeXt的滚动轴承故障诊断方法

针对滚动轴承在故障诊断过程中信号特征提取困难导致诊断准确率低、鲁棒性差的问题,提出一种基于Squeeze-Excitation-ResNeXt(SE-ResNeXt)网络的滚动轴承故障诊断方法;将采集的一维轴承振动信号作为输入,进行滑动窗口采样与标准化处理,通过压缩、激励操作进行特征重标定,扩大模型感受野,并级联聚集残差变换网络自适应提取故障信号特征;在模型训练过程中选择最优压缩率为1/8以及8个组卷积,引入Relu函数加快网络收敛,使用全局平均池化替代全连接层避免过拟合现象,构造能够自主进行表征学习的最优故障诊断模型;通过仿真实验表明:与目前的深度学习算法相比,SE-ResNeXt网络能够准确的实现轴承故障诊断,并在高噪声的环境下仍具有较好的鲁棒性。     

基于改进CNN的串联型故障电弧识别方法研究

针对串联型故障电弧影响供电系统安全且不易测量的问题,提出改进卷积神经网络对串联型故障电弧的识别方法.由于SVM学习的超平面是距离各个样本最远的平面,相比于Softmax,具有更强的泛化推广能力和更高的识别准确率,故采用SVM损失函数(hinge loss)替换原有的Softmax损失函数并在CNN模型中添加三层Ince...     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于CNN-SIndRNN的恶意TLS流量快速识别方法

传统浅层机器学习方法在识别恶意TLS流量时依赖专家经验且流量表征不足,而现有的深度神经网络检测模型因层次结构复杂导致训练时间过长。提出一种基于CNN-SIndRNN端到端的轻量级恶意加密流量识别方法,使用多层一维卷积神经网络提取流量字节序列局部模式特征,并利用全局最大池化降维以减少计算参数。为增强流量表征,设计一种改进的循环神经网络用于捕获流量字节长距离依赖关系。在此基础上,采用独立循环神经网络IndRNN单元代替传统RNN循环单元,使用切片并行计算结构代替传统RNN的串行计算结构,并将两种类型深度神经网络所提取的特征拼接作为恶意TLS流量表征。在CTU-Maluware-Capure公开数据集上的实验结果表明,该方法在二分类实验上F1值高达0.965 7,在多分类实验上整体准确率为0.848 9,相比BotCatcher模型训练时间与检测时间分别节省了98.47%和98.28%。     

优化LeNet-5网络的多角度头部姿态估计方法

针对在受到部分遮挡或角度过大无法定位面部关键特征点的情况下,传统的头部姿态估计方法的准确率低或无法进行头部姿态估计的问题,提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络（CNN）的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;然后,改进池化层,用卷积操作代替池化操作来增强网络的非线性能力;最后,引入AdaBound优化器,并利用Softmax回归模型做姿态分类训练。训练中在自建数据集中增加遮挡头发、做出夸张表情和佩戴眼镜等动作来增强网络的泛化能力。实验结果表明,所提方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现抬头、低头、偏头等多角度转动下的头部姿态估计,在Pointing04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在每秒22~29帧。