面向点击通过率预测的交互边选择算法研究

点击通过率(click-through rate, CTR)作为推荐系统中必不可少的核心任务分支，提高其预测准确性，既能改善用户的浏览体验，也能为平台增加收益。以往模型在对点击通过率进行建模预测时，保留所有的交互特征存在信息冗余，交互低效等问题。针对这一问题提出了一种面向点击通过率预测的交互边选择模型，通过自动识别冗余信息来动态选择有益的交互特征，主要由交互边选择网络层，图节点相似度注意力层构成。交互边选择网络层引入过滤阈值机制并结合动态关联矩阵来去除冗余信息，图节点相似度注意力层通过学习相似度权重矩阵来解决节点过度平滑问题。在Criteo和Avazu两个公开数据集上的大量实验证明，该模型的预测能力优于已有模型。     

基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate, CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction, SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network, DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于双注意力深度学习的在线资源推荐

为了提高在线资源推荐的性能，采用深度学习卷积神经网络(Convolutional neural network, CNN)进行资源推荐，同时对资源-用户特征进行双注意力机制特征提取，以进一步提高推荐精准度。对资源-用户特征进行编码并初始化，分别进行通道注意力机制运算和空间注意力机制运算。将两个注意力机制的运算结果加权求和得到新的用户-资源特征。建立基于CNN的在线资源推荐模型，并以资源和用户的最小特征差作为损失函数进行迭代优化，从而求解出CNN网络参数。通过双注意力机制的用户-资源特征输入到CNN模型，并执行训练以获得符合用户需求的推荐结果。试验结果表明，通过合理设置双注意力机制通道数及卷积核尺寸等参数，可以有效提高双注意力CNN的推荐性能。与常用资源推荐算法相比，所提算法在推荐准确度及稳定性方面均具有一定的提升。     

基于概率稀疏自注意力的航空发动机剩余寿命预测

航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力（ProbSparse Self-Attention）的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制，提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征，通过自注意力神经网络自动学习特征内部的依赖关系，由依赖关系来决定需要关注的特征，从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析，SATransNet推荐模型在不同数据集上的预测评分较好，均方误差总体呈优。与基于注意力机制的推荐模型相比，SATransNet推荐模型的归一化折损累计增益均有提升，具有较好的预测评分效果和推荐相关性。     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

网络环境下公共图书馆提高公众阅读注意力的探讨

公共图书馆作为一个共享信息资源的重要平台,在网络环境下表现出更强的共享能力,而基于提高公众阅读注意力的视角,网络环境下的公共图书馆应该发挥本身的信息共享功能,使其成为当前公共图书馆管理的重点内容之一。阐述了网络环境下公共图书馆提高公众阅读注意力的原则,深入分析了提高公众阅读注意力的具体方法。     

论网络时代高校德育工作的新思路

加强高校德育工作是当今高等学校的首要任务。网络对高校德育工作既带来机遇又带来挑战。网络时代有其自身的时代特征，高等学校应当充分利用网络工具以吸引大学生注意力，从而达到教育大学生的目的。     

可堆叠重校准特征金字塔目标检测方法

无人机、车载识别等边缘设备应用日益增长,对模型参数量、检测速度以及精度提出了进一步的要求。为了提高目标检测在这些领域的项目落地能力,提出一种可堆叠重校准特征金字塔模块以及改进的SR-YOLOv3目标检测网络,使用对边缘设备友好的主干网络作为特征提取网络,通过堆叠轻量的金字塔模块,在减少参数数量的同时,提高检测精度及速度。在公开的目标检测数据集PascalVOC上进行性能评估,实验结果显示,该改进算法的参数量有明显下降,且计算速度得到提升。     

网络公众关注度的走势、原因及其在渤海溢油事件中的应用研究

本文从分析公众对于不同类别突发事件的关注度走势出发,总结出其共性和特征;然后对2011年7月21日到2011年10月1日之间发生的诸如河南瘦肉精事件、温州动车事故、渤海溢油事件、西安山体滑坡、台风纳沙、上海地铁追尾事件等六个事件进行了分析,基于事件关键词搜索技术研究公众对于突发事件的关注度,发现公众对于相继发生或是有时间交叉的突发事件的关注度之间存在独立效应,并分析了一些产生这种效应的原因;然后根据得出的结论和观点分析渤海蓬莱19-3油田溢油事故的网络公众关注度走势,并找出其不同点,然后对其特殊性及造成这种特殊性的原因进行分析总结。通过本文对于不同类别事件网络公众关注度的走势变化的分析,希望能够帮助政府准确评估事件的影响度,加强对公众的了解,并在此基础上正确引导公众舆论,稳定社会秩序,从而能够更加有效地解决突发事件带来的损失。     

基于二阶池化特征融合的孪生网络目标跟踪算法

为提升基于孪生网络目标跟踪算法的特征表达能力,获得更好的跟踪性能,提出了一种轻量级的基于二阶池化特征融合的孪生网络目标跟踪算法。首先,使用孪生网络结构获取目标的深度特征;然后,在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力,以获取目标的二阶池化特征和通道注意力特征;最后,将目标的深度特征、二阶池化特征和通道注意力特征进行融合,使用融合后的特征进行互相关操作,得到地响应图能很好地区分目标和背景,提高跟踪模型的判别能力,改善目标定位的精度,从而提升跟踪性能。所提算法使用Got 10k数据集进行端到端的训练,并在数据集OTB100和VOT2018上进行验证。实验结果表明,所提算法与基准算法相比,跟踪性能取得了显著提升：在OTB100数据集上,精确度和成功率分别提高了7.5%和5.2%;在VOT2018数据集上,预期平均重叠率(EAO)提高了4.3%。     

基于改进DCGAN轮胎缺陷图像生成方法

针对深度卷积生成对抗网络的数据扩充方法存在生成图像质量差、模型框架不稳定、模型收敛速度慢等问题，提出一种改进DCGAN轮胎缺陷图像生成模型。将残差网络和注意力机制嵌入到DCGAN模型中，提升模型特征的提取能力；同时摒弃DCGAN损失函数JS散度，使用带有梯度惩罚项的Wasserstein距离，提高模型训练的稳定性。实验结果表明，使用给定模型生成的轮胎缺陷图像质量优于使用DCGAN，WGAN，CGAN与SAGAN所生成图像，其平均FID值可以达到116.28，最小FID值可以达到84.94。所提出的模型可以稳定生成质量更好的轮胎缺陷图像，为轮胎缺陷样本数据集的扩充提供了一种有效途径，有助于有效解决深度学习在缺陷检测领域发展所面临的小样本问题。     

基于图注意力网络的多标签图像分类模型

针对ML-GCN中标签共现嵌入维度过高影响模型分类性能和ML-GCN中没有充分发掘标签之间不对称关系的问题,提出一种基于图注意力网络的多标签图像分类模型ML-GAT;ML-GAT模型首先对高维标签语义嵌入矩阵进行降维;然后通过降维后的低维标签语义嵌入表示和标签类别共现图得到标签共现嵌入;与此同时ML-GAT将多标签原始...     

基于注意力网络特征的社区发现算法

现实世界中许多网络都是根据社区结构紧密组织起来的, 发现社区对于了解复杂网络的结构及其关系有很大的帮助, 文中提出了一种基于注意力网络特征的社区发现(community discovery algorithm based on attention network features, CANF)算法, 利用标记节点频率和反示例节点频率度量初始网络标记特征, 并且引入注意力机制, 对示例节点的每个邻居节点更好地分配权重, 将初始权重与分配权重相结合, 使初始度量的网络特征获取更多与目标有关的细节信息。文中通过分配的注意力网络特征进行复杂网络预处理以及社区博弈归并, 于真实网络中进行验证, 实验结果表明, CANF算法在准确度、模块度以及运行时间方面优于其他社区发现算法。     

基于百度指数的中国A级旅游洞穴景区网络关注度分布特征研究

对旅游洞穴景区网络关注度分布特征的研究,可从新的视角为我国旅游洞穴的开发、管理和宣传营销提供有益的指导.运用均值比率、核密度分析和标准差椭圆等空间分析方法,对百度指数收录的我国64个A级旅游洞穴景区网络关注度的分布特征进行研究.研究表明:A级旅游洞穴景区的网络关注度普遍不高;大部分潜在游客对3A级以下旅游洞穴景区没有兴趣;中国A级旅游洞穴景区网络关注度在空间上形成了3个高关注度带,2个高值关注中心;中国A级旅游洞穴景区网络关注度空间分布格局呈东北—西南走向,网络关注度重心在湖北省中部地区.     

一种基于图注意力机制的气温预测模型

 积极应对气候变化是可持续发展的目标之一。针对气温准确预测任务，提出了一种基于图注意力机制的气温预测模型。该模型在气温站点组成的拓扑结构上使用了注意力机制，选择性地聚合周围区域的气温特征，再使用神经网络拟合复杂的气温变化规律，得到预测结果。实验使用了2000-2010年京津冀地区的气温数据，经大量实验验证，在极少依赖历史气温数据的情况下，模型能够得到更准确的预测值。模型能够为气候预测和气候灾害预防提供决策支持。