融合知识图谱的推荐系统研究进展

针对推荐系统存在的数据稀疏、冷启动、推荐可解释性低、个性化不足等问题，分析知识图谱在推荐系统中的融入情况.从推荐系统的需求、知识图谱的相关概念、推荐系统与知识图谱的融合方式3个方面，对当前推荐系统存在的问题及推荐系统融合知识图谱后的解决方案进行概括.总结近年来通过结合注意力机制、神经网络、强化学习方法，采用取舍节点、整合节点、探索路径等原理充分利用知识图谱中复杂结构信息，从而提升推荐系统满意度.提出融合知识图谱的推荐系统所面临的知识图谱完备性、动态性、高阶关系可利用度以及推荐性能方面的挑战及未来可能的发展方向.     

基于深度强化学习的文本实体关系抽取方法

从文本大数据中快速准确地抽取文本的实体关系信息是构建知识图谱的关键.针对目前主流的远程监督关系抽取方法常常忽略实体对的类型信息和句子语法信息的问题,该文提出了一种基于深度强化学习的文本实体关系抽取方法.首先,利用结合实体周围词注意力机制的双向长短期记忆网络作为句子编码的第一个模块;然后,在此基础上加入实体类型嵌入模块,...     

基于注意力机制和编码-解码架构的施工场景图像描述方法

为了实现在光线不佳、夜间施工、远距离密集小目标等复杂施工场景下的图像描述,提出基于注意力机制和编码-解码架构的施工场景图像描述方法. 采用卷积神经网络构建编码器,提取施工图像中丰富的视觉特征;利用长短时记忆网络搭建解码器,捕捉句子内部单词之间的语义特征,学习图像特征与单词语义特征之间的映射关系;引入注意力机制,关注显著性强的特征,抑制非显著性特征,减少噪声信息的干扰. 为了验证所提方法的有效性,构建一个包含10种常见施工场景的图像描述数据集. 实验结果表明,所提方法取得了较高的精度,在光线不佳、夜间施工、远距离密集小目标等复杂施工场景下具有良好的图像描述性能,且具有较强的泛化性和适应性.     

面向会话型推荐系统的个性化分层循环模型

为了精准地捕捉用户行为模式,引入中期兴趣的概念,提出一个基于循环神经网络（RNN）的个性化分层循环模型,通过在同一框架下联合利用用户的会话、区块和全部行为序列来学习用户的综合兴趣.利用一个捕捉会话内序列模式的会话级RNN建模用户的短期兴趣;设计了一个捕捉区块内相邻会话关联关系的区块级RNN,进一步描述用户的中期兴趣;使用一个用户级RNN追踪长期兴趣的演化;引入带有不同交互机制的融合层,以有效融合不同层次的兴趣信息.在3个真实数据集上进行实验,结果表明,该方法与先进的推荐方法相比,Recall@10提升了18.35%.     

基于跨视图对比学习的知识感知推荐系统

知识感知推荐(KGR)领域普遍存在监督信号稀疏问题,为了解决这个问题,对比学习方法被越来越广泛地应用于KGR。但是,过去基于对比学习的KGR模型仍存在一些问题:(1)使用图卷积对所有邻居节点直接聚合,无法排除知识图谱中不必要邻居节点信息的干扰；(2)只关注全局视图的信息,忽略了局部特征,这会导致过平滑问题。为了解决以上问题,提出一种基于跨视图对比学习的知识感知推荐系统(KRSCCL)。KRSCCL使用关系图注意力网络构建包含用户、物品和实体节点的全局视图；使用轻量级图卷积网络构建包含用户和物品节点的局部视图,强调局部特征,有效地缓解过平滑问题。最后,在构建的两个视图的图内和图间节点对之间进行对比学习,以充分提取KG信号,优化用户和物品表示。论文方法在三个不同领域的公开数据集上进行了大量实验,实验结果表明:关系图注意力网络可以有效排除复杂网络聚合时的噪声问题；引入局部视图可以优化节点表示生成,缓解过平滑问题；KRSCCL模型在这三个数据集上都表现良好,在电影领域数据集Movielens-1M上,其推荐的F1分数较最强基线提升2.0%；在音乐领域数据集Last.FM上,其推荐的F1分数较最强基线提升0.3%；在书籍领域数据集Book-crossing上,其推荐的F1分数较最强基线提升5.1%。证明了论文方法的有效性。     

基于关系聚合的时序知识图谱表示学习

针对静态知识图表示方法不能对时间进行建模的局限性，从时序图谱实际应用的需求出发，设计了基于关系聚合的时序图谱表示学习方法来描述和推理动态知识图谱的时间信息.与离散的快照时序网络不同，将时间信息视为实体间的链接属性，提出利用时间感知的关系图注意力编码器来学习时序图谱的实体表征.将中心节点的邻域关系和时间戳融入图结构中，然后分配不同的权重，高效地聚合时间知识.在公开的时序知识图谱数据集上运行，结果表明,与传统的时序图谱编码框架相比,面向注意力聚合的时序图谱表示学习方法在补全和对齐任务的性能上都有较强的竞争优势,尤其对高时间敏感度实体更加显著，体现出算法的优越性和强鲁棒性.     

基于双向条目注意网络的推荐系统

提出了一个基于双向条目注意网络(Dual-aspect Item Attention Network, DIAN)的推荐系统, DIAN由2个主要模块组成, 分别是用于建模历史条目和目标条目之间的条目相似性的神经关注模型(Neural Attentive Item Similarity Model, NAIS)和用于建模历史条目之间相似性的双归一化自注意力条目相似性模型(Dual Normalization Self-attention Item Similarity, SAIS)。一方面, 引入神经注意模型来区分用户配置文件中历史项对目标项的影响。另一方面, 为了更好地表达用户的兴趣, 引入自注意力网络, 从用户的历史交互项中推断出条目与条目之间的关系。提出的SAIS模型能够估计用户交互轨迹中每个条目对用户兴趣的相对权重。用双重归一化机制改进了标准的自注意力网络, 并且在2个公共基准上进行大量实验证明所提出的方法优于最先进的推荐模型。     

基于对比学习和傅里叶变换的序列推荐算法

提出一种基于自注意力机制和傅立叶变换的序列推荐算法CSFTRec。通过过滤原始数据中的噪声，最大限度地提高自注意力机制对序列数据的特征捕捉能力。根据对比学习的特点，在贝叶斯个性化排名的基础上引入一种新的对比损失，用于联合训练，可以缩短不同相似序列之间的距离。在8个公共数据集上的实验表明，CSFTRec的收敛速度更快，推荐精度有3%～5%的提高，更适合处理序列数据。     

关系生成图注意力网络的知识图谱链接预测

针对实体邻域三元组缺少联系的问题,提出基于关系生成图注意力网络(RGGAT)的知识图谱链接预测方法. 利用不同类型的关系生成相应的注意力机制参数,邻域三元组按照关系类型使用对应的参数计算注意力系数. 实体通过聚合以关系为主导的邻域三元组信息得到更丰富的嵌入向量. 在训练过程中对编码器和解码器进行共同训练,将编码器更新的实体向量和关系向量直接输入到解码器中,保证编码器和解码器训练目标一致. 在3个公开数据集上进行链接预测实验,对比实验选用目前主流的5个模型作为基线. RGGAT方法在3个数据集上的Hits@10能达到0.519 8、0.510 4和0.973 9,高于传统图注意力网络嵌入方法的. 在邻域聚合阶数对比实验中,1阶关系邻域聚合的方法相比2阶关系在Hits@10上提升3.59%.     

基于评分子空间和信任机制的协同过滤推荐算法

互联网技术的快速发展导致了互联网上数据信息的爆炸式增长.推荐系统作为解决互联网信息过载问题的关键技术,其核心思想是通过用户历史行为数据挖掘出用户的个性化偏好,为用户推荐其感兴趣的物品.然而,稀疏的评分数据会导致相似度计算不够准确,进而影响相似用户集的质量.为了提高相似用户搜索的可靠性,引入信任机制和评分子空间,提出基于评分子空间和信任机制的协同过滤推荐算法.创新点主要包括以下两点：首先,算法引入基于用户显式声明的关系数据所构建的信任机制,该关系数据能够对稀疏的评分数据进行补充.其次,利用评分子空间和信任关系,设计了一种基于隐式和显式相似度的混合相似度度量方式,并将之引入到多阶近邻的相似用户搜索方法和迭代评分预测方案中.实验结果表明,所提算法提高了推荐的准确度,具备较好的预测能力.     

基于BERT的复合网络模型的中文文本分类

针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。     

融合文本信息的轻量级图卷积网络推荐模型

在基于图卷积网络的推荐模型中,图卷积对仅包含编号信息的输入节点进行信息聚合会引发严重的瓶颈问题,影响推荐精度.为缓解此问题,考虑通过辅助信息丰富节点特征,提出了一种融合文本信息的轻量级图卷积网络推荐模型.模型把卷积神经网络提取出文本评论特征添加到图的节点嵌入中.为了简化图卷积网络结构,采用轻量级图卷积框架将融合的特征信息在用户-电影项目图上线性传播来学习用户和电影项目的嵌入,并将所有图卷积子层上特征嵌入的加权总和作为最终特征输出,用于预测评分.3个实际数据集上的实验结果表明,该方法可以缓解信息聚合瓶颈问题,提高推荐的准确度,并且模型可以缓解推荐中的冷启动问题.     

基于用户兴趣图谱的个性化推荐系统设计

借鉴Web2．0、社交网络、复杂网络、本体论和云计算等理论,设计了基于用户兴趣图谱的个性化推荐系统结构,阐明了基于用户兴趣图谱的推荐原理,提出了用户兴趣图谱生成与集成方法,以及用户兴趣图谱的动态演化与反馈机制,提高了推荐系统的推荐质量和精度。     

基于Att-iBi-LSTM的新闻主题词提取方法研究

针对LSTM网络进行主题词提取时因没有考虑中心词的下文对主题词的影响而导致提取准确率低的问题,提出了一种双向LSTM引入Attention机制模型（Att-iBi-LSTM）的主题词提取方法。首先利用LSTM模型将中心词的上文和下文信息在两个方向上建模;然后在双向LSTM模型中引入注意力机制,为影响力更高的特征分配更高的权重;最后利用softmax层将文档中的词分为主题词或非主题词。并且还提出了一种两阶段模型训练方法,即在自动标注的训练集上进行预训练之后,再利用人工标注数据集训练模型。实验在体育、娱乐和科技3种新闻文本上进行主题词提取任务,实验结果表明本文提出的Att-iBi-LSTM模型与SVM、TextRank和LSTM相比F1值分别提高了13.78%、24.31%和3.32%,使用两阶段训练方法的Att-iBi-LSTM比一阶段训练的F1值提高了1.56%。     

面向新闻情报分析的自动摘要技术研究

随着现代化网络技术的快速发展和广泛使用,信息处理技术获得了很大的发展和进步,对于新闻情报信息来说怎样利用计算机自动地从情报信息中提取摘要变得越来越重要。摘要应该覆盖新闻情报中的最核心的内容以及对用户最有价值的信息,再通过言简意赅的文章段落的表现形式生成,以实现将新闻情报中重要的信息及时、方便的呈现给用户,为用户提供高效的新闻情报分析体验,这种关于新闻情报分析的自动摘要技术对于新闻事业有着重要的意义。     

一种面向目标的情感极性分析方法

面向目标的情感分析是细粒度情感分析的重要任务之一,旨在预测句子中给定目标实体的情感极性.当前大多数研究方法忽略了句法结构信息,在情感判别时往往会关注无关词汇,从而使分类性能下降.为此,设计了一种新的引入句法结构的模型,该模型利用双向预训练编码器和作用于依存句法树的图卷积网络分别捕获文本的上下文信息和句法结构信息,并使用多头注意力机制进行信息聚合得到目标的情感分类表征.此外,还将该模型与现有的领域自适应方法相结合,同时向模型中引入领域知识和句法结构知识,进一步提升了模型效果.在几个常用的标准数据集上的实验结果表明了上述模型的有效性.     

基于知识迁移和双向异步序列的对话生成模型

针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练的知识库问答模型获取输入语句的知识表达、候选知识表达以及关键字;搭建2个编码器?解码器结构,通过双向异步解码将关键字显式地生成在对话回复中;编、解码阶段均引入预训练模型的知识理解和知识表达能力,提升对话生成对知识信息的捕捉能力.提出重复检测惩罚机制,通过赋予惩罚权重的方式减少对话生成中的重复词汇.实验结果表明,所提模型在自动评估和人工评价指标上均优于已有的对话生成方法.     

Research on Chinese place name recognition based on kernel classifier

SVM[1]is a new approach of pattern recognitionbased on Structural Risk Minimization which have thefollowing striking property:bode good for generalizationperformance,find a global optimal solution,complexityof the solution depends on the intricacy of the …     

基于图卷积神经网络的位置语义推断

挖掘位置社交网络(LBSNs)中的签到数据背后所蕴藏的信息是城市计算、智慧城市的重要研究方向,其中一个关键的任务是推断位置语义。位置语义因其在位置检索、位置推荐、数据预处理等领域的广泛应用而受到越来越多的关注。现有的推断方法倾向于手工提取位置的时空特征或用户签到活动的时空模式训练分类器进而推断位置语义。然而,提取有价值的时空模式或时空特征是一项困难的任务。该文提出一种新的基于图卷积神经网络的位置语义推理模型(SI-GCN)。SI-GCN利用node2vec和变分自编码器来学习位置的空间和时间特征。构建用户?位置访问二部图,利用图卷积神经网络来捕获用户签到活动中的高阶信息。此外,SI-GCN引入自注意力机制区分用户?位置访问二部图中不同邻居节点的贡献。SI-GCN在两个真实签到数据集上的实验表明,SI-GCN比现有3种算法具有更好的推断性能。