基于循环神经网络的人体运动模型的隐状态初始化方法

针对基于循环神经网络（RNN）的人体运动合成方法存在首帧跳变,进而影响生成运动的质量的问题,提出一种带有隐状态初始化的人体运动合成方法,将初始隐状态作为自变量,利用神经网络的目标函数作为优化目标,并使用梯度下降的方法进行优化求解,以得到一个合适的初始隐状态。相较于编码器-循环-解码器（ERD）、残差门控循环单元（RGRU）模型,所提方法在首帧的预测误差分别减小63.51%和6.90%,10帧的总误差分别减小50.00%和4.89%。实验结果表明,该方法无论是运动合成质量还是运动预测精度都优于不进行初始隐状态估计的方法;它通过准确估计基于RNN的人体运动模型的首帧隐状态可提升运动合成的质量,并且为实时安全监测中的动作识别模型提供可靠的数据支持。     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题，传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题，和CNN和RNN都忽略了词对句子含义的重要程度的问题，提出一种并行混合网络融入注意力机制的模型。首先，将文本用Glove向量化；之后，通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征；然后，再把二者提取得到的特征进行融合，特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验，实验结果表明，所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于深度卷积神经网络和循环神经网络的睡眠分期模型

针对传统机器学习模型过于依赖特征工程、多导睡眠图（Polysomnography,PSG）数据获取难度大等问题，提出一种基于深度卷积神经网络（ConvolutionalNeuralNetworks,CNN）和循环神经网络（RecurrentNeural Network,RNN）的自动睡眠分期模型。该模型不需要烦琐的特征提取过程，仅使用单通道脑电信号即可在较高水准下完成自动睡眠分期，在公开数据集Sleep-EDF的Fpz-CZ通道脑电数据上实现了85.2%的分类准确率。     

基于时序图像深度学习的电熔镁炉异常工况诊断

超高温电熔镁炉（Fused magnesium furnace,FMF）生产炉况监测困难,易发生欠烧异常工况,不仅造成产品质量下降,也直接危害生产安全与人员安全.现有的人工巡检方式实时性差,容易发生漏报和误报,甚至导致铁制炉壳烧透、烧漏.针对该问题,本文采用视频信号,利用电熔镁炉欠烧工况的时空特征,即在炉壳表面出现的局部不规则高亮区域的空间特征,以及该高亮区域随时间呈现出亮度增强、面积变大的时序特征,提出一种基于卷积循环神经网络（Convolutional recurrent neural network,CRNN）的电熔镁炉异常工况诊断新方法.该方法包括图像序列一致性变换和时序残差图像提取预处理、基于卷积神经网络（Convolutional neural network,CNN）的空间特征提取、基于循环神经网络（Recurrent neural network,RNN）的时序特征提取、基于加权中值滤波的工况自动标记.最后采用实际的电熔镁炉炉壳的视频信号,进行了所提方法与现有的两种深度学习网络模型的实验比较研究,结果说明了所提方法的优越性.     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

基于HHT-LSTM的冬奥会临时设施运行趋势预测方法研究

针对冬奥会延庆赛区临时设施的安全性和可使用性,本文充分结合信号处理算法与深度神经网络,提出了一种由希尔伯特黄变换（Hilbert-Huang transform,HHT）对时序数据进行信号分解和信号特征提取,长短期记忆网络（long short-term memory,LSTM）进行临时设施运行趋势预测2部分构成模型。该模型基于受严寒天气和大客流诱发的看台振动等一系列外因影响所测得的真实振动和倾角数据,实现对设施进行有效的预测,以避免发生安全问题,解决了由于受数据中一些无关特征因素的干扰导致预测准确度低的问题。论文提出的方法与循环神经网络（recurrent neural network, RNN）、门控循环网络（gated recurrent neural network,GRU）、双向RNN和双向GRU等运行趋势预测方法进行比较,验证了本文方法的可行性和有效性,实验结果也说明所提出的模型在此类任务中表现非常出色。     

隐式特征和循环神经网络的多声部音乐生成系统

音乐生成是一种使用算法来生成音乐序列的研究。本文针对音乐样本特征提取以及自动作曲问题提出了一种基于音乐隐式特征和循环神经网络（recurrent neural network, RNN）的多声部音乐生成算法。该方法通过使用栈式自编码器对多声部音乐序列每个时间步的音符隐式特征进行提取,结合长短期记忆循环神经网络（long short-term memory, LSTM）,以序列预测的方式搭建了基于隐式特征的音乐生成模型。仿真结果表明,该音乐生成算法在使用相同风格的音乐数据训练后,得到的模型可以生成旋律与和弦匹配较好的多声部音乐数据。     

基于分布式神经网络的苹果价格预测方法

针对传统农产品价格预测模型在大数据场景下无法快速准确对苹果市场价格进行预测的问题,提出一种基于分布式神经网络的苹果价格预测方法。首先,研究影响苹果市场价格的相关因素,选取苹果历史价格、替代品历史价格、居民消费水平和原油价格四个特征作为神经网络模型的输入;然后,构建蕴含价格波动规律的分布式神经网络模型,实现对苹果市场价格的短期预测。实验结果显示,基于分布式神经网络的苹果市场价格短期预测模型具有较高的预测精度,平均相对误差仅为0.50%,满足苹果市场价格预测的要求。实验结果表明,分布式神经网络模型能够通过自学习特性揭示出苹果市场价格的波动规律和发展趋势,所提方法能为稳定苹果市场秩序和市场价格宏观调控提供科学依据,有助于降低价格波动带来的危害,帮助果农规避市场风险。     

灰色神经网络在股票价格预测中的应用

研究股票价格预测问题,股票价格具非线性和不确定性变化规律。传统单一模型只能反映股票价格部分信息,预测精度不高。为了提高股票价格预测精度,在分析股票价格变化特征基础上,提出一种灰色神经网络的股票价格预测方法。首先采用GM(1,1)模型对股票价格进行预测,捕捉其线性、灰色变化规律,然后采用BP神经网络对GM(1,1)预测残差进行建模预测,捕捉其非线性和不确定性变化规律,最后两者结果相加得到股票价格最终预测结果。将灰色神经网络用于浦发银行(60000)股票收盘价为例预测,结果表明,相于传统预测模型,灰色神经网络提高了股票价格预测精度,更能全面挖掘股票价格变化规律,在股票价格预测中具有广泛的应用前景。     

基于TLBGA-GRU神经网络的短期负荷预测

短期负荷预测在电网调度安排和电力市场交易中发挥着重要作用,预测精度高,有利于提高发电设备的利用率和经济调度的有效性。为充分挖掘负荷数据中时序性特征的联系,解决神经网络中由超参数的随机选取导致的预测精度下降问题,提出一种基于教与学的遗传算法（TLBGA）和门控循环单元（GRU）神经网络的短期负荷预测方法。利用灰色关联分析法对原始数据进行相关度分析,剔除冗余特征,使输入与输出保持较好的映射关系,在遗传算法中加入一种基于教与学优化的新型变异算子,用于防止其出现早熟收敛问题,从而提高解的质量。在此基础上,运用改进后的TLBGA算法对GRU神经网络模型进行超参数寻优,更新GRU的模型超参数并使其性能达到最佳状态,以提高负荷预测的精度。对欧洲某地区的电力负荷数据集和美国PJM电力市场公开负荷数据集进行预测,结果表明,该方法的预测精度分别达到了97.1%和97.2%,相比反向传播神经网络、循环神经网络及GRU神经网络模型,具有更高的预测精度。     

基于自适应鲸鱼优化算法结合Elman神经网络的股市收盘价预测算法

针对Elman神经网络在基于股市网络舆情的收盘价预测中存在的收敛速度慢且预测精度低的问题,提出了结合基于自适应噪声的完全集合经验模态分解(CEEMDAN)的改进鲸鱼优化算法(IWOA)结合Elman神经网络预测模型。首先,通过文本挖掘技术对上海证券交易所股票价格综合指数(SSE)180股的网络舆情进行挖掘和量化,并利用Boruta算法筛选重要属性以降低属性集的复杂度;然后,通过CEEMDAN算法在属性集中添加一定数量特定方差的白噪声,实现属性序列的分解与降噪;同时,利用自适应权重改进鲸鱼优化算法(WOA)以增强其全局搜索及局部开采能力;最后,利用WOA在迭代过程中不断优化Elman神经网络的初始权重和阈值。结果表明:比起单独使用Elman神经网络,所提模型的平均绝对误差(MAE)从358.8120降低至113.0553;与未采用CEEMDAN算法的原始数据集相比,该模型的平均绝对百分比误差(MAPE)从4.9423%降低到1.44531%,说明所提模型有效提高了预测精度,为股市网络舆情的预测提供了一种有效的实验方法。     

基于ATLG混合模型的股票价格预测

股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.     

基于CNN-BiLSTM的自动睡眠分期算法

睡眠分期是睡眠数据分析的基础, 针对目前睡眠分期存在的依赖人工提取、人工判别效率低、自动睡眠分期准确率不高等问题, 本文研究模型是基于卷积神经网络和双向长短时记忆神经网络2个深度学习神经网络相结合的, 利用脑电信号来进行自动睡眠分期的模型方法. 算法能提取得到原始脑电信号的梅尔频谱, 利用卷积神经网络和双向长短时记忆神经网络进行时频域的特征提取, 卷积神经网络能够提取睡眠信号高级特征, 双向长短时记忆神经网络结合睡眠数据不同时期的关联性, 提高自动睡眠分期的准确率. 实验结果表明, 本文方法在Sleep-EDF数据集的3种状态睡眠分期任务中取得89.0%的平均准确率. 与传统的基于统计规则的分期模型相比, 本文模型的准确率更高, 且简单高效, 泛化性能更好. 本文算法适用于非线性、不稳定、有幅度起伏变动的脑电信号, 有效提高了自动睡眠分期模型结果的准确率, 对现代睡眠医学、睡眠障碍等分析研究具有一定的实用价值.     

股票价格预测的建模与仿真研究

研究股票价格准确预测问题,由于股票价格数据具非线性、随机性等变化规律,同时股票市场与国内外经济政治变化有关,传统股票价格预测方法只能对其线性变化规律进行准确预测,无法反映股票价格非线性部分进行有效建模,导致股价预测精度不高。为了提高股票价格预测精度,提出了一种遗传优化BP神经网络的股票价格预测模型。充分利用BP神经网络良好的非线性映射能力,对股票价格变化规律进行建模,并通过遗传算法对BP神经网络模型参数进行优化,从而获最优股票价格最优预测模型。实验结果表明,相对于传统股票价格预测模型,遗传算法优化BP神经网络的股票价格预测模型拟合程度更好,预测精度更高,为股票价格预测提供了依据。     

A Bayesian regularized artificial neural network for stock market forecasting

In this paper a Bayesian regularized artificial neural network is proposed as a novel method to forecast financial market behavior. Daily market prices and financial technical indicators are utilized as inputs to predict the one day future closing price of individual stocks. The prediction of stock price movement is generally considered to be a challenging and important task for financial time series analysis. The accurate prediction of stock price movements could play an important role in helping investors improve stock returns. The complexity in predicting these trends lies in the inherent noise and volatility in daily stock price movement. The Bayesian regularized network assigns a probabilistic nature to the network weights, allowing the network to automatically and optimally penalize excessively complex models. The proposed technique reduces the potential for overfitting and overtraining, improving the prediction quality and generalization of the network. Experiments were performed with Microsoft Corp. and Goldman Sachs Group Inc. stock to determine the effectiveness of the model. The results indicate that the proposed model performs as well as the more advanced models without the need for preprocessing of data, seasonality testing, or cycle analysis.     

结合ALBERT和双向门控循环单元的专利文本分类

随着专利申请数量的快速增长,对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量（GloVe）等方式获取文本的词向量表示,舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题,提出了一种结合ALBERT和双向门控循环单元（BiGRU）的多层级专利文本分类模型ALBERT-BiGRU。该模型使用ALBERT预训练的动态词向量代替传统Word2vec等方式训练的静态词向量,提升了词向量的表征能力;并使用BiGRU神经网络模型进行训练,最大限度保留了专利文本中长距离词之间的语义关联。在国家信息中心公布的专利数据集上进行有效性验证,与Word2vec-BiGRU和GloVe-BiGRU相比,ALBERT-BiGRU的准确率在专利文本的部级别分别提高了9.1个百分点和10.9个百分点,在大类级别分别提高了9.5个百分点和11.2个百分点。实验结果表明,ALBERT-BiGRU能有效提升不同层级专利文本的分类效果。     

基于多标签学习的卷积神经网络的图像标注方法

针对图像自动标注中因人工选择特征而导致信息缺失的缺点,提出使用卷积神经网络对样本进行自主特征学习。为了适应图像自动标注的多标签学习的特点以及提高对低频词汇的召回率,首先改进卷积神经网络的损失函数,构建一个多标签学习的卷积神经网络（CNN-MLL）模型,然后利用图像标注词间的相关性对网络模型输出结果进行改善。通过在IAPR TC-12标准图像标注数据集上对比了其他传统方法,实验得出,基于采用均方误差函数的卷积神经网络（CNN-MSE）的方法较支持向量机（SVM）方法在平均召回率上提升了12.9%,较反向传播神经网络（BPNN）方法在平均准确率上提升了37.9%;基于标注结果改善的CNN-MLL方法较普通卷积神经网络的平均准确率和平均召回率分别提升了23%和20%。实验结果表明基于标注结果改善的CNN-MLL方法能有效地避免因人工选择特征造成的信息缺失同时增加了对低频词汇的召回率。