基于密集连接卷积神经网络的链路预测模型

现有的基于网络表示学习的链路预测算法主要通过捕获网络节点的邻域拓扑信息构造特征向量来进行链路预测，该类算法通常只注重从网络节点的单一邻域拓扑结构中学习信息，而对多个网络节点在链路结构上的相似性方面研究不足。针对此问题，提出一种基于密集连接卷积神经网络（DenseNet）的链路预测模型（DenseNet-LP）。首先，利用基于网络表示学习算法node2vec生成节点表示向量，并利用该表示向量将网络节点的结构信息映射为三维特征数据；然后，利用密集连接卷积神经网络来捕捉链路结构的特征，并建立二分类模型实现链路预测。在四个公开的数据集上的实验结果表明，相较于网络表示学习算法，所提模型链路预测结果的ROC曲线下方面积（AUC）值最大提高了18个百分点。     

基于Transformer模型的四旋翼无人机时空协同航迹预测方法设计

无人机在执行任务时面临的飞行环境复杂多变,为了减少事故的风险,并在飞行时对异常情况进行预测和响应,研究一种基于Transformer模型的四旋翼无人机时空协同航迹预测方法。采集四旋翼无人机原始航迹,实施异常点剔除和缺失点插值处理,以优化和清理原始航迹数据,便于后续的航迹预测。结合深度学习和表示学习方法完成数据降维,基于Transformer模型实现无人机时空协同航迹的精准预测。实验测试结果表明,设计方法的预测结果虽然相对于真实的坐标点稍有偏差,然而整体结果在可接受范围内,验证集所有数据的均方误差在数据条数为300时仅为0.32m,R方测试结果最接近1,具有良好的航迹预测能力。     

基于多通道Transformer的交通量预测方法

目前,我国高速公路拥堵程度居高不下,而交通流预测作为实现智能交通系统的重要一环,若能对其实现高精度的预测,那么将能够高效地管理交通,从而缓解拥堵。针对该问题,提出了一种考虑时空关联的多通道交通流预测方法（MCST-Transformer）。首先,将Transformer结构用于不同数据的内在规律提取,然后引入空间关联模块对不同数据间的关联特征进行挖掘,最后,借助通道注意力整合优化全局信息。采用广东省高速公路数据,实现了两小时内92个收费站的高精度流量预测。结果表明：MCST-Transformer优于传统机器学习方法以及部分基于注意力机制的时间序列模型,在120 min预测跨度下,相比贝叶斯回归,MAPE降低了5.1%;对比Seq2Seq-Att以及Seq2Seq这些深度学习算法,所提方法的总体MAPE也能降低0.5%,说明通过多通道的方式能够区分不同数据的特性,进而更好地预测。     

基于卷积神经网络和Transformer的手写体英文文本识别

手写体文本识别技术可以将手写文档转录成可编辑的数字文档。但由于手写的书写风格迥异、文档结构千变万化和字符分割识别精度不高等问题,基于神经网络的手写体英文文本识别仍面临着许多挑战。针对上述问题,提出基于卷积神经网络（CNN）和Transformer的手写体英文文本识别模型。首先利用CNN从输入图像中提取特征,而后将特征输入到Transformer编码器中得到特征序列每一帧的预测,最后经过链接时序分类（CTC）解码器获得最终的预测结果。在公开的IAM（Institut für Angewandte Mathematik）手写体英文单词数据集上进行了大量的实验结果表明,该模型获得了3.60%的字符错误率（CER）和12.70%的单词错误率（WER）,验证了所提模型的可行性。     

一种基于时空Transformer的交通事故预测方法

为实现实时道路交通事故的精准预测,提出了基于时空Transformer的高速交通事故预测方法.在该方法中,首先对传统高速交通固定站点数据进行预处理,获得交通特征参数作为算法输入.然后将交通流的时空特征结合时空Transformer捕获交通流静态和动态的时空依赖性,并通过多次提取时交通流空依赖性结合卷积神经网络得到事故发...     

基于Transformer的图像分类网络MultiFormer

为解决目前ViT模型无法改变输入补丁大小且输入补丁都是单一尺度信息的缺点,提出了一种基于Transformer的图像分类网络MultiFormer。MultiFormer通过AWS（attention with scale）模块,将每阶段不同尺度输入小补丁嵌入为具有丰富语义信息的大补丁;通过GLA-P（global-local attention with patch）模块交替捕获局部和全局注意力,在嵌入时同时保留了细粒度和粗粒度特征。设计了MultiFormer-tiny、-small和-base三种不同变体的MultiFormer模型网络,在ImageNet图像分类实验中top-1精度分别达到81.1%、82.2%和83.2%,后两个模型对比同体量的卷积神经网络ResNet-50和ResNet-101提升了3.1%和3.4%;对比同样基于Transformer分类模型ViT,MultiFormer-base在参数和计算量远小于ViT-Base/16模型且无须大量数据预训练前提下提升2.1%。     

基于Transformer人像关键点检测网络的研究

为解决目前基于卷积网络的关键点检测模型无法建模远距离关键点之间关系的问题,提出一种Transformer与CNN(卷积网络)多分支并行的人像关键点检测网络,称为MCTN(multi-branch convolution-Transformer network),其利用Transformer的动态注意力机制建模关键点之间的远距离联系,多分支并行的结构设计使得MCTN包含共享权重、全局信息融合等特点。此外,提出一种新型的Transformer结构,称为Deformer,它可以将注意力权重更快地集中在稀疏且有意义的位置,解决Transformer收敛缓慢的问题;在WFLW、300W、COFW数据集的人像关键点检测实验中,归一化平均误差分别达到4.33%、3.12%、3.15%,实验结果表明,MCTN利用Transformer与CNN多分支并联结构和Deformer结构,性能大幅超越基于卷积网络的关键点检测算法。     

基于图卷积网络的药物靶标关联预测算法

传统的基于生物学实验的药物-靶标关联预测成本高、效率低,难以满足医药研发的需求。为了解决上述问题,提出一种新的基于图卷积网络的药物靶标关联预测（GCDTI）算法。GCDTI利用半监督学习方法将图卷积和自编码技术相结合,从而分别构建用于整合节点特征的编码层和用于预测全链接交互网络的解码层;同时使用图卷积技术建立潜在因子模型,并有效利用药物和靶标的高维属性信息进行端到端的学习。所提算法不需要对输入的特征信息进行任何预处理便可以将其与已知相互作用网络相结合,证明了该模型的图卷积层能够有效地融合输入数据与节点特征。与其他先进方法相比,GCDTI的预测精度和平均受试者工作特性（ROC）曲线下的面积（AUC）（0.924 6±0.004 8）最高,且具有较强的鲁棒性。实验结果表明：当需要预测大量的药物和靶标数据的关联关系时,利用端到端学习的模型架构的GCDTI有潜力成为一种可靠的预测方法。     

基于情感分析和Transformer模型的微博谣言检测

针对微博文本以实现谣言检测为目标,深度挖掘微博正文内容的语义信息,并且着重强调用户在微博评论中体现的情感倾向性,提升谣言识别效果.为提高谣言检测的准确率,采取基于XLNet的词嵌入方法,使用Transformer的En-coder的模型提取微博正文内容的语义特征,并结合BiLSTM+Attention网络实现微博评论的...     

基于深度学习的用户投诉预测模型研究*

用户投诉预测模型能有效的降低电信用户投诉率,对企业提高用户满意度和竞争力有着至关重要的作用。在模型训练过程中,由于人工设计特征的缺陷和设计过程中存在难以预估的复杂性,使得模型预测的精度和设计特征的效率不能有很大的提升。针对上述问题,本文提出了一种基于深度学习的用户投诉预测模型。该模型通过深层网络特征学习单元能从电信用户原始数据中自动学习到适合分类器分类的高层非线性组合特征,并将这些高层特征输入到传统分类器中来提高模型的精度。通过实验结果分析,本文的预测模型在AUC指标上比以往用户投诉模型提升了7.1%,证明了该模型自动学习特征的有效性和深度学习在电信大数据领域的可用性。     

基于Transformer和双重注意力融合的分层交互答案选择模型

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征;最后,通过双重注意力融合过滤句子噪声,增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果。     

基于行为轮廓矩阵增强的业务流程结果预测方法

预测性过程监控依赖于预测效果,针对如何增强预测性过程监控预测效果的问题,提出了一种基于行为轮廓矩阵增强的业务流程结果预测方法。首先,通过分析活动间的行为关系提取行为轮廓矩阵,并将其与事件序列一同输入到模型中。随后,结合卷积神经网络（CNN）和长短期记忆网络（LSTM）分别学习矩阵图像特征和序列特征。最后,引入注意力机制以整合图像特征和序列特征进行预测。通过真实事件日志进行验证,在预测事件日志结果方面,提出的增强方法对比基准的LSTM预测方法提高了预测效果,验证了方法的可行性。该方法结合行为轮廓矩阵增强了预测模型对事件日志中行为之间关系的理解,进而提升了预测效果。     

基于栈式自编码网络的风机叶片结冰预测

针对风电机组叶片结冰严重影响风机发电效率和安全性、经济性的问题，提出一种基于SCADA数据的栈式自编码（SAE）网络叶片结冰早期预测模型。该模型采用编码-解码的非监督方法对无标签的数据集预训练，再利用反向传播算法对有标签的数据集进行训练微调，实现了故障特征的自适应提取和状态分类，有效降低了传统预测模型的复杂度，同时避免了人为特征提取对模型效果的影响。利用SCADA系统采集的某15号风机的历史数据进行训练和测试，该模型测试结果准确率为97.28%。与支持向量机（SVM）和主成分分析-支持向量机（PCA-SVM）方法得到的建模分别为91%和93%的准确率进行对比分析，实验结果表明，基于栈式自编码网络的风机叶片结冰预测模型精确度更高。     

轻量级图像超分辨率的蓝图可分离卷积Transformer网络

目的 图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来,基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能,然而,这些网络往往参数量巨大、计算成本较高。针对该问题,设计了一种轻量级图像超分辨率重建网络。方法 提出了一种轻量级图像超分辨率的蓝图可分离卷积Transformer网络（blueprint separable convolution Transformer network,BSTN）。基于蓝图可分离卷积（blueprint separable convolution,BSConv）设计了蓝图前馈神经网络和蓝图多头自注意力模块。然后设计了移动通道注意力模块（shift channel attention block,SCAB）对通道重点信息进行加强,包括移动卷积、对比度感知通道注意力和蓝图前馈神经网络。最后设计了蓝图多头自注意力模块（blueprint multi-head self-attention block,BMSAB）,通过蓝图多头自注意力与蓝图前馈神经网络以较低的计算量实现了自注意力过程。结果 本文方法在4个数据集上与10种先进的轻量级超分辨率方法进行比较。客观上,本文方法在不同数据集上取得了不同程度的领先,并且参数量和浮点运算量都处于较低水平。当放大倍数分别为2、3和4时,在Set5数据集上相比SOTA（state-of-theart）方法,峰值信噪比（peak signal to noise ratio,PSNR）分别提升了0.11dB、0.16dB和0.17dB。主观上,本文方法重建图像清晰,模糊区域小,具有丰富的细节。结论 本文所提出的蓝图可分离卷积Transformer网络BSTN以较少的参数量和浮点运算量达到了先进水平,能获得高质量的超分辨率重建结果。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

基于自监督学习的社交网络用户轨迹预测模型

针对当前用户轨迹数据建模中存在的签到点稀疏性、长时间依赖性和移动模式复杂等问题,提出基于自监督学习的社交网络用户轨迹预测模型SeNext,对用户轨迹进行建模和训练来预测用户的下一个兴趣点(POI).首先,使用数据增强的方式来丰富训练数据样本,以解决数据不足及个别用户足迹太少导致的模型泛化能力不足的问题;其次,将循环神经...     

基于行程时间多步预测的实时路径导航算法

针对现有车辆导航算法仅考虑单一数据,使所得路径实际行程时间比预期更长的问题,首先建立了基于卡尔曼滤波理论的行程时间多步预测模型;其次,提出了综合利用实时数据、行程时间多步预测数据及历史数据的实时路径导航算法,并改进了其实现的核心算法Dijkstra_pred.实验结果表明,基于三类数据的实时路径导航算法所得路径的实际行程时间从整体上优于仅采用实时数据的导航算法,且路径变化较少.     

深度学习在肺癌患者生存预测中的应用研究

肺癌是一种严重威胁患者生命的恶性肿瘤。通过对肺癌病人进行生存预测分析并制定针对性治疗方案,对提高病人生存率具有重要意义。提出一种基于病理学图像的肺癌患者生存预测分析方法。首先采用深度学习方法对病理学图片进行肺癌细胞自动检测,并对检测出的肺癌细胞进行特征提取。在特征选取中,引入了反映肺癌细胞间关系和分布特性的拓扑特征的提取方法,将提取的拓扑特征作为生存分析的预测因素。最后采用Cox-Lasso方法对肺癌患者进行生存预测分析。实验结果表明,该方法能够提高细胞检测的效率和准确性,并具有较高的肺癌患者生存预测分析能力。     

基于深度学习的PM2.5浓度长期预测

为提高PM2.5长期预测精度,以空气污染物与气象因素作为影响因子,提出一种基于深度学习的TSMN(time series memory network)预测模型.该模型由两个组件构成,本地记忆组件利用外部记忆方式提高模型长程记忆能力,并与多站点空间关系建模的邻域组件协同从时空角度完成PM2.5长期预测.通过使用不同评价指标将TSMN模型与多种模型进行对比,其中与性能较优的CNN-LSTM模型相比,该模型的RMSE、MAE分别下降5.2％、5.7％,R2提升7.5％.实验结果表明TSMN模型能够有效提高PM2.5浓度的长期预测精度.     

基于概念漂移检测的数字孪生流程预测模型

预测性流程监控可以在业务流程运行过程中提供及时的信息,以便采取措施来应对潜在风险,如何提高流程预测的准确度一直受到高度关注。现有的研究方法大部分都在静态环境下引入,很少有结合数字孪生技术在动态环境中的流程预测。为此,提出了一个基于概念漂移检测的方法,并构建数字孪生流程预测模型（digital twin based on concept drift,DTBCD）预测下一个活动。首先利用事件流行为关系和权重散度将流程中的活动进行特征提取,得到数据流的特征集,其次进行漂移检测,动态选择特征集输入人工智能模型中训练并预测下一个活动,然后运用物联网和云计算等先进技术创建数字孪生虚拟环境,最后得到基于概念漂移的数字孪生模型。通过公开可用的数据集进行评估分析,实验结果表明,提出的方法能够有效提高预测的准确性。