基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

模糊时间序列建模及股票市场多步预测

首先应用模糊聚类方法将数据分类,以相邻两个聚类中心的中点作为子区间的分界点来划分论域,并以此将时间序列模糊化为模糊时间序列;其次根据证券市场主要量价指标建立了具有多个前件的高阶模糊关系;最后将该模型用于上证股票综合指数和深证股票成分指数的多步预测和涨跌趋势预测。与典型模糊时间序列模型比较,涨跌趋势预测准确率有较大提高,多步预测结果表明模型具有较好的泛化能力。     

基于多任务学习的生物医学实体关系抽取

生物医学实体关系抽取是生物医学文本挖掘领域的一项重要任务,它可以自动从生物医学文本中挖掘实体间的相互关系。目前,生物医学实体关系抽取方法一般只针对某一特定任务(如药物关系,蛋白质交互关系抽取等)训练单任务模型进行抽取,忽略了多个任务之间的相关性。因此,该文使用基于神经网络的多任务学习方法对多个生物医学关系抽取任务间的关联性进行了探索。首先构建了全共享模型和私有共享模型,然后在此基础上提出了一种基于Attention机制的主辅多任务模型。在生物医学领域关系抽取的5个公开数据集上的实验结果表明,该文的多任务学习方法可以有效地在学习任务之间共享信息,使得任务间互相促进,获得了比单任务方法更好的关系抽取结果。     

基于时频域信息融合和多尺度对抗的轨迹预测

目前已有许多工作将Transformer运用到时间序列预测相关任务. 然而, 相比其他时间序列, 运动轨迹数据存在运动学的不确定性, 没有明显的周期特性. 为了降低噪声干扰, 增强趋势建模, 本文在Transformer架构的基础上, 提出一种基于时频域信息融合和多尺度对抗训练的目标轨迹预测方法. 将小波分解嵌入网络模型, 实现时频域自适应滤波; 并与时域注意力进行融合, 能够更有效地对观测轨迹的长期趋势特性进行编码. 并设计了一个全卷积判别器, 通过对抗训练学习序列的多尺度短期微运动表示, 进一步提高预测精度. 本文建立了一个包括2维船舶轨迹和3维飞行器轨迹的轨迹预测数据集DT作为基准, 并在此与Transformer、LogTrans、Informer等模型进行对比实验. 实验结果表明本文的方法在中长期轨迹预测任务上优于其他模型.     

基于AR与DNN联合模型的地理传感器时间序列预测

地理传感器时间序列具有复杂动态的语义时空相关性和地理时空相关性。尽管已经开发了各种深度学习模型用于时间序列预测，但很少有模型能专注于捕捉地理传感器时间序列内的多类型时空相关性。此外，同时预测多个传感器在未来某一时间步的值非常具有挑战性。为了解决上述问题，提出了一种自回归模型与深度神经网络的联合模型(Joint model of Autoregression and Deep Neural Network, J-ARDNN),用于处理地理传感器时间序列的多目标预测任务。在该模型中，空间模块用于捕捉不同序列间多类型空间的相关性，时间模块采用时间卷积网络来提取单个序列内的时间依赖关系。此外，还引入自回归模型来提高预测模型的鲁棒性。为了验证J-ARDNN模型的有效性和优越性，在不同领域的真实时间序列数据集上进行了充分的实验，结果表明，J-ARDNN模型的预测性能优于对比方法。     

基于多任务深度学习的HXDSP多簇软流水研究

针对目前编译优化领域的深度学习模型普遍采用单任务学习而难以利用多个任务间的相关性提升模型整体编译加速效果的问题, 提出了一种基于多任务深度学习的编译优化方法. 该方法使用图神经网络 (GNN) 从C程序的抽象语法树 (ASTs) 和数据控制流图 (CDFGs) 中学习得到程序特征, 然后对程序特征同步预测HXDSP软件流水启动间隔和循环展开因子. 在DSPStone数据集上的实验结果表明, 该多任务方法取得了相对于单任务方法12%的性能提升.     

基于改进图神经网络的异常检测方法

异常检测在许多领域都具有重要意义，它可以帮助人们及时发现数据错误或缺失，而传统的方法只能对单一因素进行异常识别。随着数字时代的到来，时序数据往往表现出数据庞大、复杂、维度高等特点，传统异常检测方法由于计算的可扩展性较弱，存在维度灾难问题，在多维数据场景中经常表现不准。为了提高异常检测精度及捕捉多维数据的关联性，在此提出一种基于改进图神经网络的多维序列异常检测模型，选择图偏差网络（GDN）作为基础框架，使用Transformer模型替换了原模型中的预测部分，对相邻时间序列的未来值进行预测，以此来捕捉时间序列的特征，学习时间序列之间的依赖关系，提高异常检测精度。实验结果表明，在3个公开的数据集上，该方法可获得较高的精确率和计算效率。     

基于后缀自动机的轨迹模式挖掘方法*

如何有效的从轨迹数据中挖掘轨迹模式和规律具有重要意义,本文基于交通路网研究移动对象轨迹预测,将序列分析方法和马尔科夫统计模型结合,提出了一种基于后缀自动机的变阶马尔科夫模型挖掘方法。该方法根据移动对象的历史轨迹数据进行学习训练,计算轨迹序列上下文的概率特征,建立序列的后缀自动机模型,结合当前实际轨迹数据,动态自适应预测将来的位置信息。实验结果表明：相比固定阶马尔科夫模型,随着阶数的增加（L>=2）,固定阶马尔科夫模型预测的精度逐步降低,而该方法能动态自适应,精度保持在81.3%左右,取得较好的预测效果;同时,该方法只需线性的时间和空间开销,大大降低了存储空间和时间,能实现大规模数据的在线学习。     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

带有时间预测辅助任务的会话式序列推荐

会话式序列推荐旨在根据短期匿名行为序列预测该用户近期行为,因为该任务设定考虑了用户偏好的变化而备受学术和工业界关注.现有方法集中于以单任务模式预测下一交互对象,忽略了行为时间预测辅助任务中的额外语义.在面向事件、地点的一般序列推荐问题中,有少数方法以并行方式同时预测下一交互对象及对应时间,然而这并不完全契合用户先产生交互意图再选择合适时间的实际情况.为缓解上述问题影响,本文提出了一种基于序列式多任务学习的会话式序列推荐方法,具有两方面特色.首先,该方法通过将下一交互对象预测结果作为下一时间预测的输入,赋予两个任务顺序依赖性.相比于传统的并行式交互对象和时间预测方式该方法耦合性更强.其次,本文开发了一种经过改进的双向时间间隔感知自注意力方法,使得会话中每个位置可以融合来自左右两侧的交互对象及时间间隔信息.相比于过去的单向会话式序列推荐方法增强了建模会话上下文的能力,该方法有利于更好地刻画用户兴趣表征.本文在Tianchi电商数据集、Lastfm音乐数据集以及Foursquare地点行为轨迹数据集上进行了实验.结果 表明:(1)所提出方法在常用序列推荐指标上一致优于所采用的比较方法.特别地,在NDCG@5评价指标上比最好的基线方法TiSASRec平均提高13.51％;(2)序列式多任务学习和双向时间间隔感知自注意力机制对于预测性能均能带来正面提升.     

动态贝叶斯最小二乘支持向量机

为了对涡扇发动机的运行参数变化进行实时高精度预测,提出一种基于动态贝叶斯最小二乘支持向量机(LS-SVM)的时间序列预测算法。该算法将贝叶斯证据框架理论用于推断LS-SVM的初始模型参数;然后,利用样本增减迭代学习算法实现LS-SVM的参数动态调整。对某型涡扇发动机的摩擦力矩时间序列进行动态预测,并与动态LS-SVM模型的预测结果进行比较。结果显示,动态贝叶斯LS-SVM具有较好的预测精度。     

动态加权最小二乘支持向量机

提出一种基于动态加权最小二乘支持向量机（LS—SVM）的时间序列预测方法．动态加权LS—SVM能够跟踪时变非线性系统的动态特性，适合于系统辨识和时间序列预测；同时采用鲁棒方法确定权系数，以减小噪声的影响．将动态加权LS-SVM算法应用于工业PTA氧化过程中的4-CBA浓度预测，结果显示，动态加权LS—SVM预测精度高，能够有效减小噪声的影响．     

融合小波变换与贝叶斯LS SVM的网络流量预测*

为了提高网络流量预测的精度,研究了一种融合小波变换与贝叶斯LSSVM的网络流量预测方法。首先将原始流量数据时间序列进行小波分解,并将分解得到的近似部分和各细节部分分别单支重构到原级别上;对各个重构后的序列分别用最小二乘支持向量机进行预测,将贝叶斯证据框架应用于最小二乘支持向量机模型参数的选择;将各个预测结果重构后得到对原始序列的预测结果。对比实验表明,该模型不仅具有较快的运行速度,而且具有较高的预测精度。     

人机交互中基于时间约束的人体工效模型

针对人机交互领域速度-准确度折中关系的预测中任务完成精确度的预测模型较为欠缺的问题,提出了一种基于时间约束的精确度模型预测方法。该方法采用了人机交互研究中常用的受控实验测试分析法,研究了在计算机用户界面中要求用户在给定的时间内完成任务时,任务完成的精确度与给定的时间约束之间的折中关系,用以衡量完成时间约束任务的人体工效。实验中设计了一系列受时间约束的轨道滑动任务,实验环境中自变量包括轨道长度、轨道宽度以及规定的在轨道中滑动的时间,因变量为任务完成的精确度,采用在轨道中滑动时轨迹的纵向偏差表示。通过对30位被试者实验数据的分析发现,任务完成的精确度与轨道宽度以及滑动速度(表示为轨道长度/规定的滑动时间)之间构成线性的关系,在此基础上采用最小二乘方回归法建立了一个基于时间约束的任务完成精确度的量化模型;该模型与真实实验数据集的拟合优度达到了0.857。     

基于经验模态分解与多分支神经网络的超短期风功率预测

风功率预测是实现风电场监控及信息化管理的重要基础,风功率超短期预测常用于平衡负荷、优化调度,对预测精度有较高的要求。由于风电场环境复杂、风速不确定性因素较多,风功率时序信号往往具有非平稳性和随机性。循环神经网络（RNN）适用于时间序列任务,但无周期、非平稳的时序信号会增加网络学习的难度。为了克服非平稳信号在预测任务中的干扰,提高风功率预测精度,提出了一种结合经验模态分解与多分支神经网络的超短期风功率预测方法。首先将原始风功率时序信号通过经验模态分解（EMD）以重构数据张量,然后用卷积层和门控循环单元（GRU）层分别提取局部特征和趋势特征,最后通过特征融合与全连接层得到预测结果。在内蒙古某风场实测数据集上的实验结果表明,与差分整合移动平均自回归（ARIMA）模型相比,所提方法在预测精度方面有将近30%的提升,验证了所提方法的有效性。     

实时演进数据序列集的内在模式提取与行为预测

复杂系统数据序列集未来行为的预测是一个难点,利用数据挖掘实现预测是有潜力的技术途径.针对包含多元时间序列和非时间序列的实时演进数据集,整合序列分割、聚类、模式在线匹配等处理流程,提出了一种主题发现与联合决策相结合的预测方法.在整个方法构建中,将拟构造的主题发现式预测和联合决策预测融合进前期的序列分割与聚类中,采用多时间粒度、多跨度对序列进行对应分层与分割,聚合形成各层的标准模式集.再以标准模式集,依照预测策略,反向搜索具有高稳定性延展行为的复合模式作为主题模式集,从而实现基于在线模式匹配的行为预测.最后,采用分布式并行计算的架构实现整个处理算法.理论推导和实验数据分析证明,相比传统的时间序列预测方法准确度得到提高.     

基于LSTM-Prophet非线性组合的时间序列预测模型

目前采用单一预测模型对于复杂的非线性时间序列具有预测精度较低,且不能很好地捕捉时间序列的复合特征的问题,因此本文提出一种基于BP神经网络组合的长短期记忆网络-Prophet(LSTM-Prophet)时间序列预测模型。模型将长短期记忆网络及Prophet这2种预测模型得到的预测值通过BP神经网络进行非线性组合,得出最终的预测值。随后设计实现本文模型与3个单项模型的对比实验,使用3个不同领域的数据集验证本文模型的准确性和有效性。实验结果表明提出的预测模型具有较高的预测精度、较好的通用性和应用前景。     

Multi-task least-squares support vector machines

There are often the underlying cross relatedness amongst multiple tasks, which is discarded directly by traditional single-task learning methods. Since multi-task learning can exploit these relatedness to further improve the performance, it has attracted extensive attention in many domains including multimedia. It has been shown through a meticulous empirical study that the generalization performance of Least-Squares Support Vector Machine (LS-SVM) is comparable to that of SVM. In order to generalize LS-SVM from single-task to multi-task learning, inspired by the regularized multi-task learning (RMTL), this study proposes a novel multi-task learning approach, multi-task LS-SVM (MTLS-SVM). Similar to LS-SVM, one only solves a convex linear system in the training phrase, too. What’s more, we unify the classification and regression problems in an efficient training algorithm, which effectively employs the Krylow methods. Finally, experimental results on school and dermatology validate the effectiveness of the proposed approach.     

基于分态的煤矿瓦斯浓度预测模型的研究

由于影响瓦斯浓度变化的因素很多且内部关系复杂,传统的单一预测模型无法客观准确地反映其变化规律,导致预测精度较低。为有效提高瓦斯浓度预测精度,提出一种基于分态的预测模型。应用最大李雅普诺夫指数（Lyapunov指数）对瓦斯浓度时间序列的混沌特性进行识别,将其分为非混沌态和混沌态,接着分别采用改进的最小二乘支持向量机（LS-SVM）和基于径向基函数（Radial Basis Function,RBF）的神经网络进行建模和训练参数的优化,最终得到最佳预测模型并对瓦斯浓度时间序列进行预测。结果表明,分态预测模型有效提高了预测精度,降低了预测误差,用该方法可以更加客观准确地对瓦斯浓度进行预测。     

LS-SVM时间序列预测 ——免疫文化基因算法进行LS-SVM参数选优

针对最小二乘支持向量机（LS-SVM）在时间序列预测中的参数不确定问题,在训练阶段,使用结合了全局搜索和局部搜索的免疫文化基因算法来进行参数寻优。实验中通过对Lorenz时间序列和建筑能耗的两组预测实验,对比了免疫文化基因算法、遗传算法和网格搜索算法对LS-SVM参数的优化效果,证明了免疫文化基因算法的优化效果最好,且LS-SVM的预测精度比支持向量机（SVM）和BP网络预测都要高。