利用Bagging算法和GRU模型预测股票价格指数

股价预测对监管部门了解金融市场运行状况和投资者规避股市的高风险具有重要意义。提出了一种基于门控循环（gated recurrent unit,GRU）神经网络和装袋（Bagging）的方法,并将其应用于股指的预测研究。该模型通过Bagging方法处理训练数据集,在模型构建过程中引入随机性,并结合GRU模型预测股价,最终能够降低预测误差,提高预测准确性。通过4个数据集实验结果的对比发现：（1）GRU模型能够较好地预测股指数据,与另外两种单个模型相比,多数情况下具有更小的预测误差;（2）引入Bagging方法的GRU模型具有较强的预测能力,相比于三种基准模型（GRU、ELM、BP）有更小的预测误差和更高的预测稳定度。     

基于XGBoost-MTL的综合能源系统多元负荷预测

精确的多元负荷预测是综合能源系统(integrated energy system,IES)优化调度和稳定运行的前提。针对IES中多元负荷之间耦合关系复杂以及影响负荷预测的因素众多等问题,文中提出一种基于极限梯度提升(extreme gradient boosting,XGBoost)与多任务学习(multi task learning,MTL)的多元负荷预测方法。首先通过XGBoost重要度排序得到各影响因素对于多元负荷的贡献度,依据贡献度来选取影响负荷预测的关键性因素作为预测模型的输入,保证了输入特征对于多元负荷预测有效的修正作用;其次以门控循环单元(gated recurrent unit,GRU)作为共享层来搭建MTL预测模型,各子任务通过共享信息来有效利用各负荷之间复杂的耦合关系;最后以上海某综合能源站的负荷数据为例对文中所提模型的有效性进行验证。结果表明:该模型能够适应实际综合能源系统中各类负荷的变化,有效提高预测精度并减少训练时间。     

基于数据处理与若干群体算法优化的GRU/LSTM水质时间序列预测

为提高水质时间序列预测精度,提出一种基于小波包变换（WPT）和变色龙优化算法（CSA）、猎豹优化（CO）算法和山瞪羚优化（MGO）算法的优化门限循环控制单元（GRU）、长短期记忆神经网络（LSTM）的预测模型。首先利用WPT对pH值、DO、COD_Mn、NH₃—N时间序列进行平稳化处理,得到若干个规律性较强的子序列分量;其次简要介绍了CSA、CO、MGO算法原理,利用CSA、CO、MGO分别寻优GRU、LSTM超参数,建立WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU、WPT-CSA-LSTM、WPT-CO-LSTM、WPT-MGO-LSTM模型;最后利用所建立的模型对pH值及DO、COD_Mn、NH₃—N浓度各分量进行预测和重构,并建立WPT-GRU、WPT-LSTM和WPT-CSA-SVM、WPT-CO-SVM、WPT-MGO-SVM模型作对比分析模型,以云南省昆明市观音山断面为例,通过pH值及DO、COD_Mn、NH₃—N浓度预测对模型进行了验证。结果表明：WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU、WPT-CSA-LSTM、WPT-CO-LSTM、WPT-MGO-LSTM模型对实例pH值及DO、COD_Mn、NH₃—N浓度的预测精度优于其他对比模型,具有较好的预测效果,其中尤以WPT-CSA-GRU、WPT-CO-GRU、WPT-MGO-GRU模型的预测精度最高;CSA、CO、MGO能有效调优GRU、LSTM超参数,显著提高GRU、LSTM预测性能;所构建的6种模型预测精度高且计算规模小,是有效的水质时间序列预测模型,可为相关水质预测研究提供参考。     

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。     

基于循环卷积神经网络的实体关系抽取方法研究

针对目前大多数关系抽取中对于文本语料中较长的实体共现句,往往只能获取到局部的特征,并不能学习到长距离依赖信息的问题,提出了一种基于循环卷积神经网络与注意力机制的实体关系抽取模型。将擅长处理远距离依赖关系的循环神经网络GRU加入到卷积神经网络的向量表示阶段,通过双向GRU学习得到词语的上下文信息向量,在卷积神经网络的池化层采取分段最大池化方法,在获取实体对结构信息的同时,提取更细粒度的特征信息,同时在模型中加入基于句子级别的注意力机制。在NYT数据集的实验结果表明提出方法能有效提高实体关系抽取的准确率与召回率。     

基于门控循环单元和胶囊特征的文本情感分析

针对简单的循环神经网络（RNN）无法长时间记忆信息和单一的卷积神经网络（CNN）缺乏捕获文本上下文语义的能力的问题,为提升文本分类的准确率,提出一种门控循环单元（GRU）和胶囊特征融合的情感分析模型G-Caps。首先通过GRU捕捉文本的上下文全局特征,获得整体标量信息;其次在初始胶囊层将捕获的信息通过动态路由算法进行迭代,获取到表示文本整体属性的向量化的特征信息;最后在主胶囊部分进行特征间的组合以求获得更准确的文本属性,并根据各个特征的强度大小分析文本的情感极性。在基准数据集MR上进行的实验的结果表明,与初始卷积滤波器的CNN（CNN+INI）和批判学习的CNN（CL_CNN）方法相比,G-Caps的分类准确率分别提升了3.1个百分点和0.5个百分点。由此可见,G-Caps模型有效地提高了实际应用中文本情感分析的准确性。     

基于神经网络与注意力机制的中文文本校对方法

中文文本校对是中文自然语言处理方面的关键任务之一,人工校对方式难以满足日常工作的数据量需求,而基于统计的文本校对方法不能灵活的处理语义方面的错误.针对上述问题,提出了一种基于神经网络与注意力机制的中文文本校对方法.利用双向门控循环神经网络层获取文本信息并进行特征提取,并引入注意力机制层增强词间语义逻辑关系的捕获能力.在基于Keras深度学习框架下对模型进行实现,实验结果表明,该方法能够对含语义错误的文本进行校对.     

基于ACGRU模型的短时交通流预测

针对现有交通流预测模型未能充分利用交通流数据的时空特征以实现准确预测的问题,提出一种结合注意力机制的卷积门控循环单元预测模型（ACGRU）。该模型利用卷积神经网络（CNN）和门控循环单元（GRU）提取交通流的时空特征,然后使用注意力机制生成含有注意力概率分布的交通流特征表示,同时利用交通流的周相似性提取周期特征,将所有特征相互融合进行回归预测。在真实交通流数据集上的实验表明,提出的ACGRU模型具有更高的预测精度,预测误差相比其他预测模型平均降低了9%。     

基于SCSO-GRU模型的网络流量预测

网络流量有实时性、不稳定性和时序相关性等特点,传统网络流量预测模型存在泛化能力不强和预测精度低等不足之处。为解决这些不足,本文提出一种结合基于正余弦的群优化（SCSO）算法的GRU神经网络的网络流量预测模型（SCSO-GRU）。首先,介绍SCSO算法的粒子更新原理;然后构建SCSO-GRU神经网络的网络流量预测模型,将SCSO算法用于模型训练,提高训练效果,克服传统GRU神经网络收敛于局部最优的缺点;最后用SCSO-GRU模型进行网络流量预测。实验结果表明,与传统LSTM和GRU模型相比,本文模型具有显著的收敛效果和较好的预测精度,可以更好地刻画网络流量变化趋势。     

基于GRU的命名实体识别方法

命名实体识别是自然语言处理中的一项基础任务,传统的识别方法往往需要外部知识和人工筛选特征,需要较高的人力成本和时间成本;针对传统方法的局限性,提出一种基于GRU （Gated Recurrent Unit）的命名实体识别模型,该模型以字向量作为输入单位,通过双向GRU层提取特征,并通过输出层得到标签序列.在传统命名实体和会议名称这种特定领域命名实体上对该模型进行了测试.实验结果表明,本文设计的循环神经网络模型能有效的识别命名实体,省去了人工设计特征的繁琐工作,提供了一种端到端的识别方法.