基于多元因素的Bi-LSTM高速公路交通流预测

针对影响高速公路交通流量因素多样而复杂的问题, 提出了一种基于多元因素的Bi-LSTM (双向长短期记忆网络)高速公路交通流预测模型. 首先对原始数据进行清理和相关性分析, 提高研究准确性, 降低数据维度; 其次,基于时间滑动窗口, 构建多元因素交通流时序矩阵, 并以MAE与RMSE为评估指标, 训练优化Bi-LSTM交通流预测模型. 本模型同时考虑了天气状况、节假日、收费情况等高相关度影响因素, 及交通流前序、后序变化的影响.以陕西省高速公路收费数据为实验对象, 结果表明: 与GRU和LSTM两种神经网络相比较, 本模型在高速公路短期交通流预测中的适用性更强、精确度更高.     

考虑时空影响下的图卷积网络短时交通流预测

针对交通流预测过程中城市道路路网的空间特征难以充分提取,导致预测结果精度不高的问题,提出图卷积网络（GCN）与门控循环单元（GRU）组合短时交通流预测模型。利用GCN对拓扑结构数据处理的优势,将城市道路路网空间排列结构转换为拓扑关系建模,通过解决拓扑关系问题有效提取出路网间的空间特征。采用GraphSAGE算法改进GCN模型,通过加和聚合算子和图注意力机制（GAT）聚合空间特征,将包含空间特征的输出作为GRU模型的输入提取时间特征。利用真实道路车流量数据进行模型验证,结果表明该模型相较于不具有GCN的模型预测准确率提升约8%,均方误差缩小约0.010?37,说明所提模型具有相对较高的稳定性及预测精度,可以为大型城市路网提供重要的交通诱导依据。     

基于SDZ-GRU的多特征短时交通流预测方法

针对当前短期交通流量预测方法误差较大,且仅依靠时间序列数据进行预测的问题,提出一种基于SDZ-GRU的多特征短时交通流预测方法（简称SGMTFP）。该方法在现有的时序数据的基础上加入时间信息等一系列辅助数据,并将SDZ（Surprisal-Driven Zoneout）应用于门控循环单元（Gated Recurrent Unit, GRU）构成新的RNN单元SDZ-GRU。通过滚动式嵌套交叉验证实验,本文方法在均方根误差与平均绝对误差上比常规的GRU分别下降了7.68%和14.55%;另外由于SGMTFP方法加入了辅助特征,相比较不使用辅助特征的情况下,均方根误差与平均绝对误差分别下降了10.9%和15.1%,实验结果表明,本文方法能有效减小误差。     

基于循环神经网络的模糊测试用例生成

模糊测试用例常规的生成方法是随机变异和人工协议分析构造,其分别存在变异盲目效率低和构造复杂代价高的问题。针对上述问题提出运用深度学习技术辅助测试用例生成。利用循环神经网络处理字符文本序列的优势,通过样本数据学习训练结构特征,并预测生成符合结构特征的新数据,与随机变异算法结合构造了自动生成模型。通过以LSTM和GRU算法模型对PDF文件输入型测试用例生成和效果评估,生成的测试用例总体优于常规方法,具有较好的通过率和覆盖率。该方法通过循环神经网络的辅助实现了生成快速高效和构造难度低的优点,达到了生成效果和花费代价的平衡。     

民航突发事件领域本体关系提取方法的研究

针对民航突发事件领域本体关系抽取准确率低的问题,提出了一种结合注意力机制与双向门控循环单元(BiGRU)的关系抽取模型。首先查询预先训练的词向量矩阵,将文本中每个词语映射为向量表示;其次构建BiGRU,得到词语序列的上下文语义信息;然后在词语层面和句子层面分别引入注意力机制,为表达语义关系更重要的词语和句子分配更大的权重;最后进行模型的训练与优化。将该模型应用在民航突发事件领域本体的关系提取中,实验结果表明该模型相较于其他方法具有更好的提取效果,验证了该模型的有效性,为民航突发事件领域本体关系的自动获取提供了新的方法支持。     

基于双通道特征融合的WPOS-GRU专利分类方法

为提高专利文本自动分类的效率和准确度,提出一种基于双通道特征融合的WPOS-GRU（word2vec and part of speech gated recurrent unit）专利文本自动分类方法。首先获取专利摘要文本,并进行清洗和预处理;然后对专利文本进行词向量表示和词性标注,并将专利文本分别映射为word2vec词向量序列和POS词性序列;最后使用两种特征通道训练WPOS-GRU模型,并对模型效果进行实验分析。通过对比传统专利分类方法和单通道专利分类方法,双通道特征融合的WPOS-GRU专利分类方法提高了分类效果。提出的方法节省了大量的人力成本,提高了专利文本分类的准确度,更能满足大量专利文本分类任务自动化高效率的需要。     

基于GRU和LightGBM特征选择的水位时间序列预测模型

水位时间序列受降雨量影响,在变化规律上呈现出季节性和复杂性。传统模型结构简单且很少考虑季节性因素的影响,对于汛期复杂的水位时间序列预测精度欠佳。提出一种基于GRU和LightGBM水位时间序列预测模型。利用GRU提取水位数据建立水位数据预测的基础模型,将预测结果分为非汛期与汛期两个阶段分别与LightGBM特征选择后的环境因素结合建立最终模型,解决了模型对于不同季节预测值简单叠加导致的精度丢失的情况。预测模型以射阳河流域站点为例,对水位时间序列进行预测。实验结果表明,该模型能更有效处理水文数据复杂的季节性变化,提高了预测的精确度。     

融入语言模型和注意力机制的临床电子病历命名实体识别

临床电子病历命名实体识别(Clinical Named Entity Recognition,CNER)的主要任务是对给定的一组电子病历文档进行识别并抽取出与医学临床相关的命名实体,然后将它们归类到预先定义好的类别中,如疾病、症状、检查等实体。命名实体识别任务通常被看作一个序列标注问题。目前,深度学习方法已经被广泛应用于该任务并取得了非常好的效果。但其中大部分方法未能有效利用大量的未标注数据;并且目前使用的特征相对简单,未能深入捕捉病历文本自身的特征。针对这两个问题,文中提出一种融入语言模型和注意力机制的深度学习方法。该方法首先从未标注的临床医疗数据中训练字符向量和语言模型,然后利用标注数据来训练标注模型。具体地,将句子的向量表示送入一个双向门控循环网络(Bidirectional Gated Recurrent Units,BiGRU)和预训练好的语言模型,并将两部分的输出进行拼接。之后,将前一层的拼接向量输入另一个BiGRU和多头注意力(Multi-head Attention)模块。最后,将BiGRU和多头注意力模块的输出进行拼接并输入条件随机场(Conditional Randoin Field,CRF),预测全局最优的标签序列。通过利用语言模型特征和多头注意力机制,该方法在CCKS-2017 Shared Task2标准数据集上取得了良好的结果(F1值为91.34%)。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

加入奖励的GRU对抗网络文本生成模型

针对目前生成对抗网络文本生成模型采用有监督形式造成的错误累计以及生成文本信息单一等问题,提出一种基于GRU生成对抗网络的文本生成模型,GRU生成器采用策略梯度进行参数更新,且该模型增加蒙特卡洛搜索推导生成样本序列。采用参数较少的GRU神经网络作为生成器和判别器,判别器的输出loss函数指导生成过程中的参数优化,以蒙特卡洛策略思想补充生成过程中的非完整序列,减少错误累计并增加文本生成信息的丰富性。引入门截断机制,用自定义函数替换GRU网络中的sigmoid函数,改进当前时刻的隐含变量的激活函数,改善原函数收敛速度较慢且容易产生梯度消失问题,使之更适应本文模型。仿真实验结果表明本文模型丰富了文本生成的多样性,提高了模型的收敛速度,验证了本模型的有效性。该模型有较好的应用性。