基于用户动态兴趣的视频点击率预测模型

针对经典的点击预测模型无法捕捉用户动态兴趣和分析特征低阶高阶交互困难的问题,提出一种基于用户动态兴趣的视频点击预测模型。该模型首先将离散的数据经嵌入过程后映射成易于操作的低维连续向量;为捕捉用户动态兴趣变化,引入transformer模型,同时分析用户点击视频序列与待预测的候选视频,抽取行为序列中的视频与待推荐视频之间的相互作用;为深入挖掘用户点击行为背后的隐式特征交互,引入DeepFM网络并在网络结构上进行优化改进,使模型更加适合顺序依赖的点击数据。实验结果表明本文提出改进的模型预测精度优于在点击率预测方面比较具有代表性的深度分解机等模型,同时引入transformer机制可以明显提升点击率预测的精度。     

基于联合概率矩阵分解的上下文广告推荐算法

上下文广告与用户兴趣及网页内容相匹配,可增强用户体验并提高广告点击率.而广告收益与广告点击率直接相关,准确预测广告点击率是提高上下文广告收益的关键.目前,上下文广告推荐面临如下问题:(1) 网页数量及用户数量规模很大;(2) 历史广告点击数据十分稀疏,导致点击率预测准确率低.针对上述问题,提出一种基于联合概率矩阵分解的因子模型AdRec,它结合用户、广告和网页三者信息进行广告推荐,以解决数据稀疏时点击率预测准确率低的问题.算法复杂度随着观测数据数量的增加呈线性增长,因此可应用于大规模数据.     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。     

基于深度置信网络的广告点击率预估的优化

随着互联网广告的飞速发展,如何预测目标用户对互联网广告的点击率（click-through rate,简称CTR）,成为精确广告推荐投放的关键技术,并成为计算广告领域的研究热点和深度神经网络的应用热点.为了提高广告点击率预估的精确度,提出了基于深度置信网络的广告点击率预估模型,并通过基于Kaggle数据挖掘平台数据集的1 000万条随机数据的实验,研究不同的隐藏层层数和隐含节点数目对预测结果的影响.为了解决深度置信网络在数据规模较大的工业界解决方案中的训练效率问题,通过实验证明：广告点击率预估中,深度置信网络的损失函数存在大量的驻点,并且这些驻点对网络训练效率有极大的影响.为了提高模型效率,从发掘网络损失函数特性入手,进一步提出了基于随机梯度下降算法和改进型粒子群算法的融合算法,以优化网络训练.融合算法在迭代步长小于阈值时可以跳出驻点平面,继续正常迭代.实验结果表明,与传统的基于梯度提升决策树和逻辑回归的广告点击率预估模型以及模糊深度神经网络模型相比,基于深度置信网络的预估模型具有更好的预估精度,在均方误差、曲线下面积和对数损失函数指标上分别提升2.39%,9.70%,2.46%和1.24%,7.61%,1.30%;使用融合方法训练深度置信网络,训练效率提高30%~70%.     

基于用户实时反馈的点击率预估算法

当前主流的在线广告点击率（CTR）预估算法主要通过机器学习方法从大规模日志数据中挖掘用户与广告间的相关性从而提升点击率预估精度,其不足之处在于没有充分考虑用户实时行为对CTR的影响。对大规模真实在线广告日志进行分析后发现,在会话中,用户CTR的动态变化和用户先前的反馈行为高度相关,不同的用户行为对用户实时CTR的影响不尽相同。基于上述分析结果,提出一种基于用户实时反馈的点击率预估算法。首先,从大规模真实在线广告日志数据中定量分析用户反馈和点击率预估精度的相关关系;然后,根据分析结果将用户的反馈行为特征化;最后,使用机器学习方法对用户的行为进行建模,并根据用户的反馈实时动态调整广告投放,从而提升在线广告系统的点击率预估精度。实验结果表明,用户实时反馈特征和用户点击率高度相关;相比于传统没有用户实时反馈信息的预测模型,该算法在测试集上对AUC（Area Under the Curve）和RIG（Relative Information Gain）指标提升分别为0.83%和6.68%。实验结果表明,用户实时反馈特征显著提高点击率预估的精度。     

面向视频冷启动问题的点击率预估

视频的点击率预估是视频推荐系统中的重要任务之一,推荐系统可以根据点击率的预估调整视频推荐顺序以提升视频推荐的效果.近年来,随着视频数量的爆炸式增长,视频推荐的冷启动问题也变得愈发严重.针对这个问题,提出了一个新的视频点击率预估模型,通过使用视频的内容特征以及上下文特征来加强视频点击率预估的效果;同时,通过对冷启动场景的模拟训练和基于近邻的替代方法提升模型应对新视频点击率预估的能力.提出的模型可以同时对旧视频和新视频进行点击率预估.在两个真实的电视剧（Track_1_series）和电影（Track_2_movies）点击率预估数据集上的实验表明：提出的模型可以显著改善对旧视频的点击率预估性能,并在两个数据集上均超过了现有的模型;对于新视频,相比于不考虑冷启动问题的模型只能获得0.57左右的AUC性能,该模型在两个数据集上分别获得0.645和0.615的性能,表现出针对冷启动问题更好的鲁棒性.     

基于改进的FolkRank广告推荐及预测算法

广告的点击率预测是指利用点击日记预测的点击率,其结果受到多方面因素影响,其中包括用户性质。有效的预测广告点击率,可以提高用户对网站展示广告的满意程度。基于Page Rank的Folk Rank算法在一个用户、资源、标签的三元组中进行迭代计算,求出推荐的标签。本文使用改进后的Folk Rank方法,通过个性化地从目标节点向其他各个结点传递权重,达到广告推荐的目的中,并实现对推荐广告的广告点击率预测。     

基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征, 然后分别进行低阶和高阶的特征交互来预测用户点击行为. 该方法可以在数据稀疏以及系统冷启动情况下, 更深层地学习特征嵌入与交叉之间的关系. 该模型关注特征域之间的交互, 动态修复低频数据的特征嵌入, 具有更强的鲁棒性. 此外, 该方法可以动态应用到其他深度学习模型, 具有更高的灵活性. 实验结果表明, 该方法在点击率预测和系统冷启动问题上的性能表现均优于现有方法.     

基于用户点击流的标签兴趣模型的研究与实现

分析用户的网络交互行为与用户兴趣之间的关系,针对目前的兴趣标签建模方法的不足,提出将用户的点击对象进行标签量化,通过用户的点击行为建立用户兴趣模型的方法,并在社交网络环境中对模型进行用户兴趣分析与测试。测试结果表明,该方法能有效地构建用户兴趣模型,证明了该方法的可行性。     

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户.专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点.使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练.模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右.     

LBSN协作式个性化链接预测算法

在基于位置的社交网络中用户链接与位置链接之间具有一定的内在关联,而且不同的用户在社交网络中的表现也存在差异,因此对于以上问题提出一种协作式个性化链接预测算法。针对用户的个性化特征,采用核密度估计方式对用户在时间和空间维度建模,基于兴趣组对用户进行重叠社团划分,并通过社团、好友以及签到关系进行个性化用户链接预测;基于个性化用户链接预测结果,利用从社团重启的随机游走预测用户的个性化位置链接;协作式个性化链接预测算法通过用户链接预测和位置链接预测的迭代使得两者性能相互提升。实验结果表明,所提算法相比于现有算法具有更好的预测性能。     

关联项目增强的多兴趣序列推荐方法

现有基于多兴趣框架的序列推荐方法仅从用户近期交互序列中学习得到用户多兴趣表示,忽略了数据集中项目间的关联信息。针对这一问题,提出了一种关联项目增强的多兴趣序列推荐方法IAMIRec（item associations aware multi-interest sequential recommendation method）。首先通过数据集中用户交互序列计算得到项目关联集合和对应的项目关联矩阵,然后根据项目关联矩阵通过多头自注意力机制建模用户的近期交互序列,最后使用多兴趣框架学习得到用户的多个兴趣向量并进行top-N推荐。在三个数据集上对该方法进行了测试与分析,IAMIRec在recall、NDCG（normalized discounted cumulative gain）和hit rate指标上的表现均优于相关方法。实验结果说明 IAMIRec可以实现更优的推荐性能,也表明引入项目关联信息可以有效增强用户的多兴趣表示。     

融合动态社交关系的距离度量推荐算法

目前,用户的好友关系及其自身呈现的动态变化趋势,使得基于静态社交关系的推荐算法难以满足现今瞬息万变的世界。为解决准确度较低等问题,提出利用用户购买物品的时序行为挖掘隐式社交关系的方法。首先将隐式社交与相似度算法相融合,其次针对近邻评分的稀疏性,提出改进的近邻评分填补方法,然后使用填补后的近邻评分对模型预测评分进行修正,最后生成预测评分。实验部分采用MovieLens数据集评估提出的方法,并与现存算法作对比分析。结果表明,该算法与传统算法及改进算法相比更稳定,也更有效地预测了目标用户的真实评分。     

基于用户兴趣模型的推荐算法

传统的协同过滤算法虽然可以很容易地挖掘出用户的兴趣爱好,但存在数据冷启动和稀疏性问题.针对这些问题,提出一种基于用户兴趣模型的推荐算法.首先通过LDA主题模型训练数据集得到物品-主题概率分布矩阵,利用物品-主题概率分布矩阵得到用户历史兴趣模型,然后结合用户历史行为信息和物品内容信息得到用户兴趣模型,最后计算用户与候选集之间的相似度,进行TOP-N推荐.在豆瓣电影数据集上的实验结果表明,改进后的推荐算法能够更好地处理稀疏数据和冷启动问题,并且明显提高了推荐质量.     

LBSN中融合类别信息的混合推荐模型

针对基于位置的社交网络（Location-Based Social Network,LBSN）中用户签到数据的高稀疏性问题及用户隐私问题,提出了一种混合推荐模型（SoGeoCat）.首先,通过用户潜在兴趣点数据模型,学习用户的潜在兴趣点;其次,将用户的潜在兴趣点纳入融合类别信息的矩阵分解模型中并优化;最后,根据用户特征矩阵、兴趣点特征矩阵,提出推荐策略.基于Foursquare真实数据集,实验结果表明：（1）相比于其他几个推荐模型,该算法将用户的潜在兴趣点填充至用户-兴趣点矩阵中,可以有效地缓解数据稀疏性的影响;（2）该算法可保护用户家庭信息;（3）在推荐模型中纳入类别信息的影响能提高推荐效果.     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

面向人机对话意图分类的混合神经网络模型

随着人机对话的不断发展,让计算机能够准确地理解用户查询意图,对整个人机对话领域都有着重要意义.意图分类的主要目标是在人机对话的过程中判断用户的意图,提升人机对话系统的准确度与自然度.首先分析多个分类模型在意图分类任务上的优缺点.在此基础上,提出一种混合神经网络模型,综合利用多个深度网络模型的多样性输出.在输入特征预处理上,采用语言模型词向量,将语言模型拥有的语义挖掘能力应用到混合网络中,可以进一步提升模型的表达能力.所提出的混合神经网络模型相对于最好的基准模型在两份数据集上分别取得了2.95%和3.85%的性能提升.新模型在该数据上取得了最优的性能.     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高;还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型（MB-LGCA）。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。