融合注意力LSTM的协同过滤推荐算法

针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量;其次,基于注意力机制的长短期记忆网络利用项目辅助信息来提取项目的潜在向量;最后,将用户与项目的潜在向量用于概率矩阵分解中,从而预测用户偏好。在两个真实数据集MovieLens-100k和MovieLens-1M上进行实验,采用RMSE和Recall指标进行评估。实验结果表明,该模型与其他相关推荐算法相比在推荐性能上有所提升。     

融合长短期记忆网络与广义矩阵分解的神经协同过滤模型

在实现推荐的过程中,用户对项目的浏览和关注的时间顺序是推荐算法中重要的数据信息,同一用户在不同时间对项目的喜好不同对推荐结果也有着一定的影响.本文在神经协同过滤模型的框架下,提出将长短期记忆网络和广义矩阵分解进行融合,同时捕捉用户的短期偏好和长期偏好.利用长短期记忆网络对时序数据的强拟合能力,学习用户的短期偏好信息,捕...     

一种基于自注意力机制的组推荐方法

基于自注意力网络和神经协同过滤模型（neural collaborative filtering,NCF）提出一种基于自注意力机制的组推荐系统模型SAGR（self-attention group recommendation）,用于建模用户交互数据以及学习群组潜在偏好的表示。通过在用户级和项目级分别使用自注意力机制,动态调整组中每个用户的权重,解决偏好融合问题从而得到组表示。再通过多层神经网络框架NCF从数据中挖掘组和项目之间的交互,最终完成群组推荐。在CAMRa2011和MovieLens数据集上与同类方法进行对比,实验结果表明SAGR方法能够取得更好的组推荐结果。     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

融合多方面潜在特征和神经网络的推荐模型

目前,潜在因子模型被广泛用于推荐,现有的方法大多利用用户与项目之间的交互信息来学习潜在特征,然而,用户和项目的潜在特征可能是来自多个方面.同时,考虑到神经结构可以替代矩阵分解中内积的形式,模拟用户和项目之间的交互,本文提出了一种融合多方面潜在特征和神经网络的推荐模型.首先,将推荐系统建模为包含丰富语义的异构信息网络,然后利用元路径和异构skip-gram模型提取并学习不同方面的潜在特征;其次,结合注意力机制将这些特征向量加权融合;最后,将得到的用户和项目的全局向量表示送入到神经网络中以实现评分预测.本文模型在movielens数据集和豆瓣电影数据集上进行了实验,结果表明,该算法相比于传统仅基于单一方面的算法和不采用神经结构的算法具有更低的平均绝对误差和均方误差.     

基于神经网络的LncRNA与蛋白质互作关系预测算法

论文提出一种基于注意力机制(Attention)的融合神经网络预测方法预测LncRNA与蛋白质的相互作用,命名为PIPAFNN.通过栈式自编码器和融合神经网络(CNN)-长短期记忆网络(LSTM)分别对LncRNA和蛋白质的序列进行特征提取,在模型学习过程中使用注意向量,使得训练出的模型能够关注不同样本中对预测方法具有...     

一种用于航空发动机RUL预测的推理网络模型

剩余使用寿命预测对于航空发动机的故障预测和健康管理至关重要.为解决传统长短期记忆网络只利用最后一步学习到的特征进行回归的问题,本文提出了一种基于注意力机制的航空发动机剩余使用寿命预测模型.利用长短期记忆网络处理航空发动机的时序数据,自动提取与时间有关的特征,采用注意力机制为不同传感器特征和不同的时间步进行了加权.此外,本文还考虑到了不同操作条件对发动机剩余使用寿命的影响,将自动提取的特征与操作条件进行了特征融合.实验结果表明,本文提出的模型能有效预测航空发动机的剩余使用寿命,为基于状态的维护提供了可靠的支持.     

融合画像和文本信息的轻量级关系图注意推荐模型

针对当前基于图神经网络的推荐系统受数据稀疏影响推荐效率不高的问题,提出融合画像和文本信息的轻量级关系图注意推荐模型(LightRGAN)。首先,利用用户画像和项目画像初始化用户和项目的嵌入表示。其次,引入评论、项目描述和项目类型作为辅助信息,并通过基于多头注意力机制的文本嵌入网络挖掘同一用户评论集和描述集中文本之间的潜在联系。然后,通过融合注意力机制的轻量级关系图卷积网络学习用户和项目的嵌入表示。最后,对各层嵌入表示加权求和并通过预测网络计算匹配分数。在三个公开数据集上的实验结果表明LightRGAN的效果优于多个现有的基线模型,评估指标HR@20、NDCG@20较最优基线模型最少提升了2.58%、2.37%。     

融合时空特征的光伏气象因子预测模型

光伏发电极易受到天气的影响而具有波动性和不确定性,因此对气象因子的准确预测对光伏电站的运维具有重要意义。提出了一种基于深度学习的时空特征融合模型,实现对光伏气象因子的精准预测。在时间维度上,设计了一种改进的长短期记忆模块,融合注意力机制和遗传算法,得到最优注意力参数以提高预测精度;在空间维度上,将光伏电站所在区域按照经纬度划分,利用张量分解对区域内气象因子进行预测。在中国东南部某光伏系统的真实数据集上,对该模型的有效性进行了评估。结果表明,该模型在时间维度和空间维度均具有较高预测精度,同时对稀疏数据有较强的鲁棒性。     

基于图注意力的神经协同过滤社会推荐算法

互联网技术的发展使得信息过载问题日趋严重，为了解决传统推荐技术的数据稀疏和冷启动问题，社会推荐逐渐成为近年来的研究热点。图神经网络(GNNs)作为一种能够自然整合节点信息和拓扑结构的网络，为改进社会推荐提供了巨大的潜力。但基于图神经网络的社会推荐还存在许多挑战，例如，如何从用户项目交互图和社交网络图中学习准确的用户和项目的潜在因子表示；简单映射用户和项目的固有属性来获取嵌入，但用户项目交互的关键协作信号未被学习。为了学习更准确的潜在因子表示，捕获关键的协作信号，提升推荐系统的性能，提出了基于图注意力的神经协同过滤社会推荐模型(AGNN-SR)。该模型基于用户项目交互图和社交网络图，通过多头注意力机制多角度地学习用户和项目的潜在因子；此外，图神经网络利用高阶连通性递归地在图上传播嵌入信息，显式编码协作信号，探索用户和项目之间的深层复杂的交互关系。最后，在3个真实数据集上验证了AGNN-SR模型的有效性。     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

基于异构信息网络元路径作张量分解的深度学习推荐系统

过去基于学习用户和物品的表征向量的推荐系统算法在大规模数据中取得了较好的结果。相比早期经典的基于矩阵分解（matrix factorization,MF）的推荐算法,近几年流行的基于深度学习的方法,在稀疏的数据集中具有更好的泛化能力。但许多方法只考虑了二维的评分矩阵信息,或者简单的对各种属性做嵌入表征,而忽略了各种属性之间的内部关系。异构信息网络（heterogeneous information network,HIN）相比同构网络能够存储更加丰富的语义特征。近几年结合异构信息网络与深度学习的推荐系统,通过元路径挖掘关键语义信息的方法成为研究热点。
为了更好地挖掘各种辅助信息与用户喜好的关联性,本文结合张量分解、异构信息网络与深度学习方法,提出了新的模型hin-dcf。首先,基于数据集构建特定场景的异构信息网络;对于某一元路径,根据异构图中的路径信息生成其关联性矩阵。其次,合并不同元路径的关联性矩阵后,得到包含用户、物品、元路径三个维度的张量。接着,通过经典的张量分解算法,将用户、物品、元路径映射到相同维度的隐语义向量空间中。并且将分解得到的隐语义向量作为深度神经网络的输入层的初始化。考虑到不同用户对不同元路径的关联性偏好不同,融入注意力机制,学习不同用户、物品,与不同元路径的偏好权重。在实验部分,该模型在精确度上有效提升,并且更好地应对了数据稀疏的问题。最后提出了未来可能的研究方向。     

基于注意力机制的协同卷积动态推荐网络

一直以来, 各种推荐系统关注于如何挖掘用户与物品特征间的潜在关联, 特征信息的充分利用有利于用户到物品的精准匹配. 基于矩阵分解和分解机的推荐算法是该领域的主流, 前者学习用户历史行为而后者分析对象特征关系, 但都难以兼顾用户行为与个体特征. 而近年来, 深度神经网络凭借其强大的特征学习能力和灵活可变的结构被应用到了推荐系统领域. 鉴于此, 本文提出了一种基于注意力机制的协同卷积动态推荐网络(Attentionbased collaborative convolutional dynamic network, ACCDN), 它通过注意力机制实现用户历史行为、用户画像与物品属性的多重交互, 再通过卷积网络逐层捕捉更高阶的特征交互. 网络同时接受不同组块输出的低阶至高阶信息, 最后给出用户对指定物品青睐评分概率的预估. 而且本文还提出了一种基于无参时间衰减的用户兴趣标签来量化用户关注的变化. 通过比较若干先进模型在两个现实数据集的表现, 本文设计的动态推荐模型不但能够缓解推荐时滞性, 还能明显提高推荐质量, 为用户带来更好的个性化服务体验.     

基于注意力机制的规范化矩阵分解推荐算法

近年来,矩阵分解(MF)技术因其有效性和简便性在推荐系统中得到广泛应用.但是,数据稀疏和冷启动问题导致MF学习到的用户特征向量不能准确地代表用户的偏好以及反映用户间的相似关系,影响了模型的性能.为了解决该问题,规范化矩阵分解(RMF)技术引起了研究者的关注.挖掘用户间可靠的相似关系,是RMF需要解决的问题.此外,MF将目标用户特征向量和目标项目特征向量的内积作为目标用户对目标项目的评分,这种简单的线性关系忽略了用户对项目各个属性特征不同的关注度.如何分析用户对项目属性特征的关注度,获取用户更准确的偏好,仍然是一个挑战.针对上述问题,提出了基于注意力机制的规范化矩阵分解模型(ARMF).具体地,为了获取用户间可靠的相似关系解决数据稀疏和冷启动问题,该模型同时依据用户信任网络和评分记录构建用户-项目异构网络,并基于该异构网络挖掘用户间的相似关系;为了进一步提升模型性能,通过在MF中引入注意力机制,分析用户对项目各个属性特征不同的关注度来获取用户更准确的偏好.最后,在两个真实数据集上对比ARMF与现有工作,实验结果证明,ARMF有更好的准确性和健壮性.     

融合物品相似性与流形正则化的矩阵分解推荐模型

矩阵分解是推荐系统中应用最为广泛的方法之一,但其对物品隐因子及其相似性学习不够充分.社会网络分析中认为相互连接的个体有一定共性,受此启发提出一个能够借助近邻关系有效学习物品隐因子及其相似性的矩阵分解推荐模型.首先基于评分矩阵对物品相似性计算进行改良,综合同一用户和相似用户的评分共现信息对物品信息建模;然后通过构建相似性优化和流形局部保持正则化项,使物品相似性作用在矩阵分解中,从而充分学习物品隐因子特征及其相似性;最后根据用户和物品隐因子矩阵计算推荐指数.在公开数据集上的实验结果表明,通过流形正则化技术将改良的物品相似性作用在矩阵分解中,可以有效提升推荐效果.     

基于深度学习的入侵检测模型综述

随着深度学习技术的不断深入发展,基于深度学习的入侵检测模型已成为网络安全领域的研究热点。对网络入侵检测中常用的数据预处理操作进行了总结;重点对卷积神经网络、长短期记忆网络、自编码器和生成式对抗网络等当前流行的基于深度学习的入侵检测模型进行了分析和比较;并简单说明了基于深度学习的入侵检测模型研究中常用的数据集;指出了现有基于深度学习的入侵检测模型在数据集时效、实时性、普适性、模型训练时间等方面存在的问题和今后可能的研究重点。     

基于张量建模和进化K均值聚类的社区检测方法

很多传统社区检测方法大多局限于单关系网络,适用性和准确性均较弱。针对此问题,提出了一种针对多关系网络的社区检测方法。首先,为进行多关系网络建模,使用了三阶邻接张量,其中张量的每个切片表示与参与者之间一种类型的关系相对应的邻接矩阵。从数据表示的角度,将多关系网络解读为三阶张量利于将因子分解方法作为学习方法使用。然后,应用RESCAL分解作为关系学习的工具,从而揭示参与者的唯一隐性表征。最后,在上一步得到的结果上应用进化K均值聚类算法,以确定多维度上的社区结构。在一个合成数据集和两个公开数据集上进行实验。实验结果表明,与基于上下文信息的社区检测（CICD）方法、Memetic方法和局部谱聚类（LSC）方法相比,所提方法的纯度最少提高了5个百分点,重叠归一化互信息（ONMI）最少提高了2个百分点,F得分最少提高了3个百分点,并且验证了该方法具有较快的收敛速度。     

基于隐含主题协同注意力网络的领域分类方法

基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果。然而当训练数据的规模有限,或者测试数据与训练数据的分布有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到。为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法。该文利用隐含主题模型学习隐含主题注意力,并将其引入到文本分类常用的双向长短时记忆网络(BiLSTM)中,与软或硬注意力(soft- or hard-attention)机制一起构成协同注意力。在中文话语领域分类基准语料SMP-ECDT上的实验结果表明,隐含主题协同注意力网络取得了显著优于注意力机制的领域分类效果,比基线注意力机制Soft att、Hard att以及单独的隐含主题注意力机制BTM att分别提高了2.85%、1.86%和1.74%的分类正确率。此外,实验结果还验证了,在额外的未标记数据上训练隐含主题,可以进一步提高该文方法的领域分类性能。     

融合深度神经网络和张量分解的地点推荐算法

为提高利用张量分解技术进行基于位置社交网络的地点推荐的推荐性能,提出一种利用张量分解技术且融合神经网络的地点推荐算法。融合多层感知机和长短期记忆网络基于张量分解技术建模用户的签到行为,将学习到的用户偏好表示馈送到推荐生成器和推荐判别器组成的对抗生成网络中,通过对抗训练学习最佳用户偏好表示用于推荐。基于真实数据集的实验验证了该算法的有效性和高效性。