全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

基于深度学习的中文文本分类方法

为提升中文文本的分类效率,改善梯度消失、梯度爆炸以及语义信息提取不准确等问题,提出基于深度学习的中文文本分类模型ResCNN-LSTMA.对残差网络和卷积神经网络的组合方式进行研究,发现二者组合能够避免梯度消失和梯度爆炸的情况.分析注意力机制与长短期记忆网络组合的形式对文本分类的效果,二者组合能够在保留上下文语义信息的同时对语义信息进行提取,改善特征提取不全面的问题.通过使用搜狐新闻数据集训练模型,验证了该模型分类效果的准确性和有效性.     

基于双向LSTM卷积网络与注意力机制的自动睡眠分期模型

针对现阶段深度睡眠分期模型存在的梯度消失、对时序信息学习能力较弱等问题,提出一种基于双向长短时记忆卷积网络与注意力机制的自动睡眠分期模型。将少样本类别的睡眠脑电数据通过过采样方式进行数据增强后,利用带残差块的卷积神经网络学习数据特征表示,再通过带注意力层的双向长短时记忆网络挖掘深层时序信息,使用Softmax层实现睡眠分期的自动判别。实验使用Sleep-EDF数据集中19晚单通道脑电信号对模型进行交叉验证,取得了较高的分类准确率和宏平均F₁值,优于对比方法。该方法能够有效缓解睡眠分期判别中少数类分类性能较低的问题,并提高了深度睡眠分期模型的整体分类性能。     

结合残差网络和TSM的暴力行为检测方法

深度学习方法常用于辅助检测暴力行为,从而降低监控视频人工干预的依赖性。然而,随着深度网络的发展,梯度消失、过拟合等问题变得更加突出。为了解决这些问题,本文提出了一种结合残差网络和时间转移模块的方法,充分挖掘视频序列中的时空信息,优化动作识别效果,从而提高暴力行为检测的准确率。实验的结果显示,相较于直接使用残差网络ResNet50和ResNet101,本文方法对暴力行为的识别准确率分别提高了1.4%和0.7%。     

基于残差的改进卷积神经网络图像分类算法

现有深度残差网络作为一种卷积神经网络的变种,由于其良好的表现,被应用于各个领域,深度残差网络虽然通过增加神经网络深度获得了较高的准确率,但是在相同深度情况下,仍然有其他方式提升其准确率.本文针对深度残差网络使用了三种优化方法：（1）通过卷积网络进行映射实现维度填充;（2）构建基于SELU激活函数的残差模块（3）学习率随迭代次数进行衰减.在数据集Fashion-MNIST上测试改进后的网络,实验结果表明：所提出的网络模型在准确率上优于传统的深度残差网络.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于卷积神经网络的非侵入式负荷识别研究

为了解决一般情况下基于暂态事件检测计算特征值进行负荷识别所提取到的负荷特征有限,不能尽可能地反映出负荷本身的特性的问题,对如何通过卷积神经网络对电器的V-I轨迹的图像信息进行特征提取,挖掘电器运行时更深层次的信息进行研究。提出一种基于傅里叶变换和反变换的电流波形分解算法,从而在多个电器同时运行时能计算出单个电器开启或关闭时较为准确的V-I轨迹图像。经实例验证,此负荷识别方法对特征较为相似的不同电器仍能准确识别,而且所使用的网络通过大型的图像数据集进行预训练能避免过拟合问题。     

基于改进Inception网络的语音分类模型

针对传统音频分类模型提取音频特征的过程繁琐，以及现有神经网络模型存在过拟合、分类精度不高、梯度消失等问题，提出一种基于改进Inception网络的语音分类模型。首先，在模型中加入ResNet中的残差跳连思想以改进传统的InceptionV2模型，使网络模型在加深的同时避免梯度消失；其次，优化Inception模块中的卷积核大小，并利用不同尺寸卷积对原始语音的Log-Mel谱图进行深度特征提取，使模型通过自主学习的方式选择合适的卷积处理数据；同时，在深度与宽度两个维度改进模型以提高分类精度；最后，利用训练好的网络模型对语音数据进行分类预测，并通过Softmax函数得到分类结果。在清华大学汉语语音数据集THCHS-30与环境声音数据集UrbanSound8K数据集上的实验结果表明，改进的Inception网络模型在上述两个数据集上分类准确率分别为92.76%与93.34%。相较于VGG16、InceptionV2、GoogLeNet等模型，所提模型的分类准确率取得了最优，最多提高了27.30个百分点。所提模型具有更强的特征融合能力和更准确的分类结果，能够解决过拟合、梯度消失等问题。     

结合多维度特征的病理图像病灶识别方法

长时间的病理图像人工诊断会使医生产生视觉疲劳，误诊和漏诊情况容易发生。针对以上现象，提出一种结合卷积神经网络中多维度特征的方法，快速准确识别出病理图像中的病灶区域。使用感兴趣区提取及图像裁剪获得小尺寸图块数据；使用染色校正的方法以解决图块染色不均，对比度弱等问题；搭建深度学习模型，使用多组深度可分离卷积提取不同尺度的特征，加入残差连接以避免梯度消失，联合不同维度的特征信息以提高特征利用率。实验结果表明，染色校正能够提高预测准确率，上述模型具有参数少、鲁棒性强的特点，最终对病理图像病灶的识别均能达到较高的准确率，假阳性及假阴性均较低，未来将具有广泛的应用前景。     

基于深度学习网络的非侵入式负荷分解方法

负荷特征的选取能够在很大程度上描述用电设备的电气特征,选择合适的负荷特征是影响负荷分解优劣的关键条件之一,提出基于深度学习网络的非侵入式负荷分解方法。选取有功功率、无功功率和V-I轨迹图作为负荷特征项并获取相关特征,构建GA-BP神经网络和卷积神经网络并加以训练。提取非侵入式负荷的高级特征,并将特征提取结果融合为复合特征。将融合后的复合特征输入至经过训练的GA-BP神经网络用于负荷分解,实现非侵入式负荷分解。实验结果表明,所提方法的绝对误差均值、均方根误差较小,召回率较大,通过特征处理有效提升了负荷分解效果。