基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于改进SVM的智能电网调控系统实时风险评估与预警技术

针对智能电网调控系统通信和数据安全难以保障的问题,提出了一种基于改进支持向量机(SVM)的智能电网调控系统实时风险评估与预警技术.采用卷积神经网络(CNN)改进SVM模型得到CNN-SVM分类模型,用以处理实时风险评估体系中的数据信息.通过将CNN输出的数据特征输入SVM分类器进行风险等级分类,完成对数据中可能出现的风险进行识别、评估定级及预警.仿真结果表明,所提技术能够对调控系统实时风险进行准确、可靠的评估与预警,且其分类准确率、召回率、F1分数的均值分别为92%、86%和90%,均优于对比方法并具有更优的可靠性.     

基于非监督预训练的结构优化卷积神经网络

针对典型卷积神经网络卷积核由经验设置且网络结构固定不变难以后期再学习的问题,基于稀疏自编码器（Sparse Autoencoder, SAE）和卷积神经网络（Convoutional Neural Network, CNN）,提出新的CNN模型。该模型通过SAE预训练CNN网络的卷积核,提取有效特征;并在典型CNN结构基础上增加一条网络支路,使得后续再学习时只更新支路权值,记忆已有特征并增加新特征。文中模型在MNIST数据集上迭代更新10次网络权值可以使测试识别率达到97.65%;在手写汉字数据集HCL2000中的简单字,中等字,复杂字及相似字上的测试正确率能达93%以上;50个训练样本,250个测试样本时,相似字识别率可达80.36%;比典型CNN及传统手写汉字识别方法更具泛化性。实验表明所提出方法可有效应用于手写字等图像识别应用中。     

混合神经网络下二元混合液体自燃温度研究

为解决传统实验方法测量二元混合液体自燃温度所面临的时间和安全问题,本文提出了一种运用神经网络优化定量结构-性质关系（QSPR）预测模型的方法。首先,分别使用BP神经网络（BPNN）和一维卷积神经网络（1DCNN）处理混合分子描述符数据。然后,采用卷积神经网络（CNN）处理分子结构图数据,以此建立BPNN+CNN和1DCNN+CNN两种预测模型。通过交叉验证、残差分析和应用域分析等多种方法对两种模型的预测能力、拟合能力和稳定性进行了验证。最后,讨论了4种优化器和不同维度的分子结构图对模型性能的影响。通过实验可知,两种模型的决定系数分别为0.989 8和0.987 1;10折交叉验证复相关系数分别为0.961 1和0.963 3;交互验证系数分别为0.982 6和0.992 5。结果表明,两种模型均可对大多数二元混合液体自燃温度进行预测,其中,BPNN+CNN模型有较好的拟合能力,1DCNN+CNN模型有较好的稳定性。     

基于灰狼算法与小波神经网络的目标威胁评估

为了提高目标威胁度评估的精确度,建立反向学习灰狼算法（OGWO）优化小波神经网络的目标威胁评估模型（OGWO-WNN）,提出基于该模型的算法.该模型使用反向学习策略（OBL）优化灰狼算法（GWO）,通过改进后的灰狼算法优化小波神经网络的各权值和小波基函数的平移因子与伸缩因子,使优化后的小波神经网络能够对威胁度测试样本集作更好的预测.实验结果显示,采用反向学习灰狼算法能够更好地优化小波神经网络的权值与平移、伸缩因子,使建立的小波神经网络目标威胁评估模型具有更高的预测精度和更强的泛化能力,能够精准、有效地实现目标威胁评估.     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

卷积神经网络的优化在车牌号识别上的运用

通过与传统神经网络对比,分析了利用卷积神经网络(CNN)进行车牌号图像识别中的特征提取过程,提出了优化卷积和池化的过程来提高算法的收敛速度和准确率。运用Py Charm环境建立了改进后的车牌号识别模型,并通过实验验证了其正确性与识别速度。通过BP神经网络、传统Le Net-5 CNN和改进后的CNN对相同的字符集进行对比分析实验,得出了改进后的CNN模型的优势。     

基于混合神经网络的中文短文本分类模型

针对已有算法中特征表示存在的稀疏问题以及文本高层特征提取效果不佳问题,提出了一种基于混合神经网络的中文短文本分类模型。该模型首先通过自定义筛选机制将文档以短语层和字符层进行特征词筛选;然后将卷积神经网络(CNN)和循环神经网络(RNN)相结合,提取文本高阶特征,并引入注意力机制优化高阶向量特征;最后将得到的高阶向量特征输入到全连接层得到分类结果。实验结果表明:该方法能有效提取出文档的短语层和字符层特征;与传统CNN、传统LSTM和CLSTM模型对比,二分类数据集上准确率分别提高10.36%、5.01%和2.39%,多分类数据集上准确率分别提高12.33%、4.16%和2.33%。     

基于卷积神经网络的中文财经新闻分类方法

针对目前财经领域内新闻数据杂乱无章、缺乏自动高效管理等问题,提出一种基于卷积神经网络的中文财经新闻分类方法。收集大规模财经新闻语料,通过无监督学习方法训练获得一个广义通用的财经类词向量模型,将词向量引入到卷积神经网络模型训练中实现有效分类。与传统方法相比,基于卷积神经网络的中文财经新闻分类方法网络模型结构简单,针对小样本集也能表现优异的性能,不仅能有效解决中文财经新闻分类问题,还可充分证明卷积神经网络在处理文本分类问题中的有效性。     

CNN图像标题生成

图像标题生成任务需要生成一个有意义的句子来准确地描述该图像的内容,而现有研究通常采用卷积神经网络编码图像信息、循环神经网络来编码文本信息,由于循环神经网络的“串行特性”,导致模型的性能低。为解决该问题,基于卷积神经网络来构建一种模型,采用不同结构的卷积神经网络来同时处理两个模态的数据,得益于卷积运算的“并行特性”,该模型的运行效率有明显提升。在两个公开数据集上进行了实验,实验结果在指定的评价指标上也有一定的提升,表明了该模型对于处理图像标题生成任务的有效性。     

Object Recognition Algorithm Based on an Improved Convolutional Neural Network

In order to accomplish the task of object recognition in natural scenes, a new object recognition algorithm based on an improved convolutional neural network (CNN) is proposed. First, candidate object windows are extracted from the original image. Then, candidate object windows are input into the improved CNN model to obtain deep features. Finally, the deep features are input into the Softmax and the confidence scores of classes are obtained. The candidate object window with the highest confidence score is selected as the object recognition result. Based on AlexNet, Inception V1 is introduced into the improved CNN and the fully connected layer is replaced by the average pooling layer, which widens the network and deepens the network at the same time. Experimental results show that the improved object recognition algorithm can obtain better recognition results in multiple natural scene images, and has a higher degree of accuracy than the classical algorithms in the field of object recognition.     

基于EEMD的ICNN故障诊断方法

针对轴承微弱故障特征提取困难和故障诊断准确率低等问题,提出一种基于集合经验模态分解的改进卷积神经网络的故障诊断方法。首先,利用集合经验模态分解(EEMD)对信号进行降噪等预处理,并将预处理后的信号转换为二维信号;其次,为了解决数据特征不确定性和卷积神经网络(CNN)内部参数爆炸的问题,在CNN的卷积层和池化层之间增加批量归一化层进行标准化处理,得到改进的卷积神经网络(ICNN);最后,以风电机组轴承微弱故障数据集为例,验证了所提方法相较于其他诊断方法更具有优越性,能够有效提取故障特征,具有较高的准确率和诊断效率。     

基于CNN算法的网络信任等级模型研究

提出一种基于CNN算法的网络信任等级模型,解决用户节点信任值的高低对整个网络信任度造成影响问题。使用设定好的卷积神经网络对用户节点数据进行训练,完成用户信任等级分类工作,在提高执行效率的基础上,对数据完成有效分类,确定用户特征属性的具体维度范围,并通过噪声、运行时间、准确率和分类精度等不同方面对不同算法进行对比验证模型,实验结果表明,改进后的算法在集群环境下执行的效率得到很大提升,能够高效处理实验数据。     

利用拉普拉斯能量和CNN的多聚焦图像融合方法

多聚焦图像融合技术的目的是生成一幅全聚焦图像.所谓全聚焦图像,就是将不同源图像的清晰区域集成到一幅单一的图像中.传统的图像融合方法通常存在块伪影、人造边、晕轮效果、振铃效果以及对比度下降等问题.对此,本文提出了一种利用拉普拉斯能量和CNN的多聚焦图像融合方法.使用拉普拉斯能量算子可以有效的提取源图像的聚焦信息,而训练后的卷积神经网络模型从聚焦信息图中提取的聚焦特征可以有效的进行聚焦子块和离焦子块的区分.训练后的卷积神经网络模型不仅具有很好的提取活跃窗口相对聚焦度的能力,而且可以获得精确的分割边界.在经过多轮训练后,卷积神经网络模型可以很好的在源图像和分值图之间建立一种有效的映射,这对于生成一幅精准的聚焦图至关重要.采用二值分割和小区域滤波技术来对聚焦图进行进一步的修正,获得用于融合的最终决策图.最后,根据最终决策图提供的权值,对多幅源图像进行融合形成最终的融合图像.实验结果表明,无论从视觉效果还是从定量评价方面,提出的方法均优于目前已有的其它融合方法.     

全卷积神经结构的段落式图像描述算法

针对段落式图像描述生成研究中提升描述语句之间的连贯性问题,提出了一种基于全卷积结构的图像段落描述算法.采用基于卷积网络的区域检测器获取图像表示,结合段落在语言学角度的层次性,构建一种层次性的深度卷积解码器对图像表示解码,自动生成段落式文本描述.同时将门控机制嵌入卷积解码器网络中,以提升模型的记忆能力.实验结果表明,相比于基于循环神经网络等传统段落图像的描述方法,新算法能够为图像生成更为连贯的段落式文本描述,在评测指标上取得较好的结果.