运用CNN-LSTM混合模型的短文本分类

针对分类短文本时卷积神经网络(CNN)只提取局部特征和长短时记忆网络(LSTM)学习计算量大、处理时间长且随着短文本文字量增加与上下文的联系会减弱的问题,给出了基于CNN-LSTM混合模型算法.该算法融合CNN对短文本的特征提取能力,降低了文本数据量;利用LSTM的记忆能力,充分学习短文本的全局特征,进而对短文本进行更加有效地分类.实验结果表明,CNN-LSTM混合模型对短文本的分类效果远远好于CNN模型和LSTM模型.     

基于CNN-LSTM混合模型的多类别窃电行为检测

针对复杂电网环境下窃电行为难以准确检测的问题,提出一种基于CNN-LSTM混合模型的多类别窃电行为检测方法。首先基于卷积神经网络（CNN）良好的特征抽象能力提取一维用电数据的非周期性的局部特征,通过长短时记忆网络（LSTM）捕捉每日电能消耗数据间的相关性,提取周期性的用电特征建立特征融合层网络,再将CNN与LSTM提取的特征向量横向拼接获得新的融合向量,据此实现多类别窃电行为的准确检测。实验结果表明,本文提出方法能准确识别多类别窃电行为,相比现有检测方法检测结果更加全面准确。     

改进的CNN-LSTM轴承故障诊断方法

为了克服卷积神经网络(Convolutional Neural Network, CNN)轴承故障诊断方法特征提取过程困难以及难以捕获时间序列数据之间的长期依赖关系的问题,提出一种改进的卷积-长短时记忆网络(Convolutional Neural Network-Long and Short Term Memory, CNN-LSTM)滚动轴承故障诊断方法。将二维轴承加速度振动信号输入CNN提取局部特征,再将轴承特征信息加载到LSTM长期记忆单元中,引入遗忘机制提取时序数据的全局特征。利用轴承振动信号的局部深层特征和全局时序特征,学习不同区间长度的序列特征,从而提高故障诊断精度。实验结果表明,该方法可用于轴承故障诊断,且具有较高的分类精度和较强的稳定性。     

一种改进的CNN-BiLSTM心律失常分类方法

基于一维心电信号,提出了一种改进的卷积双向长短时记忆网络以实现心律失常的自动分类。基于卷积神经网络（CNN）及其注意力机制提取关键特征,搭建双向长短时记忆网络（BiLSTM）挖掘心电信号的时间相关性,最终实现心电信号的自动分类。在MIT-BIH心律失常数据集上进行的实验结果表明,该方法在获得总体精度99.32%的基础上,实现了稀有类别分类的提升,其S与F类分类精确度分别提升了1.02%和10.07%,召回率分别提升了12.52%和4.25%,满足心律失常自动分类的检测要求。     

用于心律失常识别的LSTM和CNN并行组合模型

心脏病是导致人类死亡的首要原因,而大部分心血管疾病往往伴随着心律失常出现.为实现对不同类型心电图信号的自动分析、识别异常心律,研究并提出了一种基于深度学习的心拍分类算法.考虑到心电图自身的特性,使用长短时记忆网络来捕捉心电序列数据的前后依赖关系,结合卷积神经网络提取局部相关特征,自动识别5种不同类型的心拍.基于LSTM和CNN的深度学习方法将经过预处理的心电信号后直接作为网络的输入,将心电分类的特征提取、分类两个步骤融合为单个学习器.针对类别数据不平衡问题,通过对少数类样本滑窗采样获得更多训练数据.使用MIT-BIH数据集验证模型的有效性,最终在测试集2万多个心拍记录中分类结果准确率达到99.11%,特异性为99.44%,灵敏度为97.27%,此外滑窗采样操作对少数类样本的灵敏度有明显改善.实验结果表明,相比传统的SVM和随机森林等方法,基于LSTM和CNN的并行组合模型不需要人工提取复杂特征,且达到了更好的分类性能,适合用于可穿戴式心电设备和远程监护领域.     

卷积神经网络混合模型的心律失常分类算法

心律失常表现为不规则的心跳,心律失常类型的判断是心血管疾病早期预防和诊断的关键.为提高心律失常分类的准确率和速度,实现心律失常类型的自动识别,研究并提出了一种以卷积神经网络(convolutional neural network,CNN)为核心的7层混合模型结构.为保持心拍的完整性,根据R-R间期对心电信号进行动态分...     

基于多注意力机制集成的非侵入式负荷分解算法

针对输入负荷特征对分解结果的重要程度不同,以及长短时记忆网络（LSTM）在捕捉长时间用电信息的时间依赖性方面受限导致分解误差高等问题,提出一种基于多注意力机制集成的非侵入式负荷分解算法.首先,利用概率自注意力机制对一维空洞卷积提取到的负荷特征进行优化处理,实现重要负荷特征的遴选;其次,采用时间模式注意力机制对LSTM的隐状态赋予权重,从而增强网络对长时间用电信息之间的时间依赖性的学习能力;最后,利用公开数据集UKDALE和REDD对所提分解模型的有效性和创新性进行验证.实验结果表明,与其他多种现有分解算法相比,基于多注意力机制集成的分解算法不仅具备更好的负荷特征遴选能力,而且能更加精确地建立特征之间的时间依赖关系,有效降低了分解误差.     

基于模式识别和集成CNN-LSTM的阵发性房颤预测模型

为了适用于长期心电监护和ICU等实时性、数据密集型应用场合,提出可在8 Hz采样频率的1 min心电图（ECG）片段上提前45 min预测阵发性房颤（PAF）发作的实时预测模型. 采用概率符号化模式识别方法,在降采样后的ECG序列上提取出1 min窗口内的模式转移特征,降低模型的计算量和对存储空间的需求,确保实时预测的效果. 提出卷积神经网络（CNN）和长短-期记忆网络（LSTM）的混合模型（CNN-LSTM）,用于提取模式转移特征内隐含的局部空间特征和时间依赖特征. 为了提升模型泛化能力,构建基于CNN-LSTM的集成分类器. 采用Spark Streaming技术完成对ECG流式数据的读、写和计算,实现数据和模型之间的低延迟通信. 所提模型在公开数据集上的准确率、灵敏度和特异度分别为91.26%、82.21%、95.79%. 模型处理总延迟平均为2 s,满足实时PAF预测需求.     

基于双通道卷积注意力网络的语音增强方法

传统的单通道网络模型因表征能力有限,无法充分提取语音深层特征,导致模型的语音增强效果不明显。鉴于此,提出一种双通道卷积注意力网络的语音增强方法。首先,使用卷积神经网络和长短时记忆网络构建并行的双通道学习模块,结合两种不同神经网络的优势,充分挖掘语音的深层特征;其次,在两个通道中分别添加注意力模块,依照关注度对通道的输出特征进行加权,达到强调有益信息的目的;最后,将两个通道的输出进行融合得到增强特征。结果表明,在低信噪比和非平稳噪声环境中,包含双通道结构和注意力模块的模型,其增强效果明显优于其他对比模型,有效提高了增强语音的质量和可懂度,验证了所提模型的可行性。     

基于卷积神经网络的金属表面缺陷自动检测

对输入图像缺陷进行准确定位和分类,通过一个紧凑的卷积神经网络(CNN)将分割结果的缺陷区域划分为特定的类别.使用工业数据集可以成功地检测出各种条件下的金属缺陷.     

基于EMD-CNN-LSTM混合模型的短期电力负荷预测

为了更有效地提取电力负荷数据中的潜藏特征与隐藏信息,提高电力负荷预测精度,针对负荷具有较强非线性、非平稳性和时序性特点,提出一种基于经验模态分解(empirical mode decomposition,EMD)、卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long...     

基于时空特征提取和深度学习的出行需求预测模型

考虑到城市交通系统中时间和空间维度的复杂影响,重点针对模型的输入特征进行研究,分别使用长短时记忆神经网络和卷积神经网络,对时间特征和空间特征进行加工,提出了一种适用于出行需求预测的时空特征提取方法,同时借助全连接层融合时空特征实现对出行需求预测,提升出行需求的预测效果。基于滴滴开源成都数据,对比传统预测模型,文中研究对均方根误差等指标进一步降低5%以上。     

基于RF-LSTM组合模型的股票价格预测

股票数据具有非线性和复杂性等特点,单一模型预测效果不佳,针对此问题,提出一种RF-LSTM组合模型,用于预测股票的收盘价。首先,利用Tushare财经数据包获取股票数据,构建特征集,并对数据进行归一化处理;其次,考虑到多特征之间存在高度的非线性和信息冗余问题,利用随机森林(RF)选择最优特征集,降低数据维度和训练复杂度;最后,利用深度学习中适合处理时间序列的长短期记忆网络(LSTM)对股票价格进行预测,并对预测模型进行参数调优。结果表明,与单一结构的LSTM神经网络模型预测相比,本文提出的RF-LSTM组合模型预测的平均绝对误差(MAE)、均方误差(MSE)和均方根误差(RMSE)分别减小了13.11%,6.70%和12.54%。该组合模型可提高股票价格预测的准确性。     

基于QPSO优化CNN-Bi-LSTM网络的锂电池健康状态估计

锂电池健康状态(State of Health, SOH)估计对于保证电池安全可靠运行和降低电池系统维护成本具有重要意义.为了提高锂电池SOH估计精度,提出一种基于量子粒子群算法(Quantum Particle Swarm Optimization, QPSO)优化卷积神经网络(Convolutional Neural Networks, CNN)-双向长短时记忆网络(Bi-directional Long Short Term Memory, Bi-LSTM)的锂电池健康状态估计模型.首先从锂电池充放电曲线中提取与电池容量相关的健康因子并进行相关性分析,再利用CNN对输入数据进行快速的隐含特征信息提取,然后利用Bi-LSTM充分学习时间序列特征,通过QPSO对CNN-Bi-LSTM模型的关键参数进行寻优,使得模型的估计精度得到提升,最终得到锂电池的SOH估计结果.在CALCE、NASA和TRI 3种锂电数据集上进行仿真实验,结果表明该模型在不同的锂电池数据集上都具有较好的估计效果和更高的精度,估计误差保持在1%以内,验证了估计方法的有效性.     

基于深度学习的LSTM光伏预测

随着对能源利用效率要求的提高及日益激增的光伏数据,传统的光伏预测方法已逐渐丧失优势。为了更加准确地进行光伏预测,采用深度学习的框架,并利用循环神经网络(RNN)中最重要的一个结构——长短时记忆网络(LSTM)对时间序列的强大处理能力进行了智能算法建模。由于LSTM具有"遗忘"与"更新"功能,很好地解决了长序依赖问题,从而使光伏预测在精度上有了质的变化,预测速度也得到显著提升。     

一种基于MSDCNN-LSTM的设备RUL预测方法

针对设备剩余使用寿命(RUL)预测过程中数据维度高,时间序列相关性信息难以充分考虑的实际应用需求,提出一种多尺度深度卷积神经网络和长短时记忆网络融合(multi-scale deep convolu-tional neural network and long short-term memory,MSDCNN-LSTM...     

一种基于FastText的恶意代码家族分类方法

传统的恶意代码家族分类方法主要通过代码家族浅层关联特征的统计分析达到分类和识别的目的。随着恶意代码加壳、混淆、多态技术的发展,传统方法的局限性逐渐显现,但恶意代码需调用API函数达成恶意目的始终是其不变的行为特征。基于embedding、word2vec模型的传统方法缺乏对低频API函数的特征提取能力,在表征API序列局部顺序特征时易产生映射失真,存在词典外API行为扩展、推理能力弱等导致分类准确率下降的不足。由此,引入负采样优化的FastText框架以加强对API序列映射的准确度,提出一种基于FastText框架下的恶意代码家族分类方法。利用FastText框架实现代码样本API序列的多维向量转换和精准表达,结合一维卷积及长短时记忆(LSTM)网络进一步提取API行为局部特征。实验结果表明,该模型的性能相较于传统的embedding方法和word2vec框架性能更优,准确率可达99%以上。     

大规模情感词典的构建及其在情感分类中的应用

为了有效获取短文本评论隐含的语义信息进行情感倾向性识别,提出一种基于CNN-LSTM模型的短文本情感分类方法.利用卷积神经网络（convolutional neural network,CNN）模型设置不同大小的卷积窗口,提取短文本的语义特征.引入长短时记忆（long short-term memory,LSTM）神经网络模型对短文本的情感倾向进行预测.在3种不同的中英文短文本评论数据集上进行验证取得较好的性能,其中,在NLPCC评测数据集上,正、负向情感识别的F₁值分别达到0.768 3和0.772 4（优于NLPCC评测的最优结果）.相较于传统的机器学习分类模型,t-test检验结果表明性能提升显著.

     

基于灰色长短时记忆网络融合模型的隧道沉降预测

地下建筑工程中,对地下结构的变形监测无法有效预防灾害发生,因此需要开展变形预测的研究。传统预测方法多属于静态预测,无法实现随沉降发展的动态调整,且评价指标单一。结合灰色模型GM （2,1）与长短时记忆神经网络（LSTM）两种动态预测模型,基于快速非支配遗传算法构建了同时考虑两种评价指标的组合模型,依据某工程长期监测数据对隧道沉降进行预测。结果显示：长短时记忆神经网络模型与灰色模型在精度上优于其他模型,能够准确预估沉降发展,其中长短时记忆神经网络优势更明显;使用快速非支配多目标优化遗传算法进行组合模型的权值分配可以较快得到两种评价指标下的最优定权方案,结合每种模型的优势,得到较精确的预测效果。     

基于GA-CNN-LSTM模型的文本情感分析方法研究

为了克服传统神经网络不能学习文本长期信息的缺点和神经网络中梯度下降法容易陷入的局部最优问题,提出基于遗传算法(GA)、卷积神经网络(CNN)和长短期记忆神经网络(LSTM)相结合的文本情感分析模型GA-CNN-LSTM.具体来说,该模型首先利用卷积神经网络从全局信息中提取序列特征,之后使用长短期记忆神经网络分析句子的句法和语义结构,最后运用遗传算法从全局进行寻优,有效避免梯度下降法陷入的局部最优问题.在IMDB数据集上进行实验,结果表明,该模型相比于其他现有的网络模型,取得了更好的分类效果,精度比传统的长短期记忆神经网络提高了 1.8百分点,准确率达到了 0.906.