结合自编码器和卷积神经网络的推荐系统

传统推荐系统以评分作为推荐依据,没有分析与利用用户的评论内容,导致推荐系统存在推荐准确性低和数据稀疏性的问题.针对这种情况,结合降噪自编码器和卷积神经网络提出一种推荐系统.通过卷积神经网络学习评论内容在方面级的情感和观点,基于降噪自编码器对方面级的观点集合进行归纳和分组,以三阶张量分解技术为基础,推断出用户对项目的综合评分.实验结果表明,该系统有效提高了推荐系统的推荐性能,优化了推荐项目的顺序.     

基于多核学习卷积神经网络的稀疏数据推荐

针对当前稀疏数据推荐准确率低的问题,提出一种基于多核学习卷积神经网络的稀疏数据推荐算法.将项目的辅助信息送入卷积神经网络学习特征,将向量在可再生核希尔伯特空间组合,利用多核学习技术增强卷积神经网络的特征学习能力;基于学习的卷积特征集初始化非负矩阵模型,通过非负矩阵模型实现对缺失评分的预测.实验结果表明,该算法有效提高了稀疏数据集的推荐性能,验证了多核学习卷积神经网络的有效性.     

HRS-DC：基于深度学习的混合推荐模型

针对传统的矩阵分解算法,仅利用评分信息作为推荐依据,当评分数据稀疏时,不能准确获取隐式反馈,影响推荐的准确性,充分利用辅助信息进行隐式特征的提取成为研究热点之一,提出一种基于深度学习的推荐模型HRS-DC,利用深度神经网络和卷积神经网络从辅助信息中分别提取出用户和项目的隐性特征向量,再将特征向量经过改进的神经协同过滤得出新的评分矩阵。通过在三个真实的数据集上进行验证,与概率矩阵分解（PMF）、协同过滤主题回归（CTR）、协同过滤深度学习（CDL）、卷积矩阵分解ConvMF算法相比提高了评分预测的准确性,也在一定程度上缓解了冷启动问题。     

基于卷积神经网络的fMRI数据分类方法*

功能性磁共振成像(fMRI)数据分类方法无法有效提取fMRI数据的局部特征,影响分类准确性.因此文中提出基于卷积神经网络的fMRI数据分类方法.首先设计卷积神经网络结构,并根据卷积神经网络的卷积核尺寸构建受限玻尔兹曼机模型.然后使用fMRI数据感兴趣区域体素构造数据,对受限玻尔兹曼机进行预训练,并将训练得到的权重矩阵进行相对变换,用于初始化卷积神经网络的卷积核参数.最后训练初始化好的整个模型,得到最终的分类模型.在Haxby和LPD数据集上的实验表明,文中方法可以有效提升fMRI数据的分类准确率     

基于图卷积与外积的协同过滤推荐模型

推荐系统帮助用户主动找到满足其偏好的个性化物品并推荐给用户.协同过滤算法是推荐系统中较为经典的算法,但是其会受到数据冷启动和稀疏性的限制,具有可解释性差和模型泛化能力差等缺点.针对其缺点进行研究,通过将原始的评分矩阵以用户—项目二部图的形式作为输入,将图卷积神经网络设计为一种图自编码器的变体,通过迭代的聚合邻居节点信息得到用户和项目的潜在向量表示,并在其基础上结合卷积神经网络,提出了一种基于卷积矩阵分解的推荐算法,提升了模型的可解释性和泛化能力,同时融合辅助信息也解决了数据的稀疏性问题,并使推荐的性能分别得到了1.4％和1.7％的提升.为今后在基于图神经网络的推荐方向上提供了一种新的思路.     

基于大数据技术的人才智能推荐方法

复杂多样的岗位信息使得很多求职人员很难查找到适合自己的岗位信息,为了提高人力资源的推荐质量,本文基于梯度提升树和混合卷积神经网络设计一种有针对性的人才市场推荐模型。利用流式分布式方法收集求职人员信息并将其转换为可用于算法分析的独热编码,使用梯度提升树提取求职人员特征。混合卷积神经网络在经过训练之后可实现有针对性的人才推荐。本文模型与不结合梯度提升树的混合卷积神经网络、结合梯度提升树的卷积神经网络相比,在召回率和F1-Score上分别提高了9.78%和10.1%。这说明,结合梯度提升树的混合卷积神经网络算法能够有效提高人力资源的推荐质量。     

基于CNN-LFM模型的个性化推荐

评分数据的稀疏性和新物品的冷启动问题一直是阻碍推荐系统发展的难题。针对这些问题,利用物品的图像数据作为辅助信息以提高评分预测的准确性,提出一种基于卷积神经网络与隐语义模型的推荐模型(CNN-LFM)。CNN-LFM模型利用隐语义模型挖掘评分数据,获得用户和物品的潜在特征,其中物品的潜在特征会在卷积神经网络提取的图像特征的约束下不断完善。在真实数据集下进行实验,对结果的定量和定性分析表明CNN-LFM模型不存在新物品的冷启动问题,即使当评分数据十分稀疏时,其性能也远远优于其它推荐模型。     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

基于一维卷积神经网络的网络流量分类方法

针对传统机器学习算法对于流量分类的瓶颈问题,提出基于一维卷积神经网络模型的应用程序流量分类算法。将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。设计了一种新的一维卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中特征选择问题。通过网络公开数据集进行模型测试,相比于传统的一维卷积神经网络模型,所设计的神经网络模型的分类准确率提升了16.4%,总分类时间节省了71.48%。另外在类精度、召回率以及[F1]分数方面都有较好的提升。     

基于轻量型卷积神经网络的交通标志识别方法

交通标志识别设备的功耗和硬件性能较低,而现有卷积神经网络模型内存占用高、训练速度慢、计算开销大,无法应用于识别设备.针对此问题,为降低模型存储,提升训练速度,引入深度可分离卷积和混洗分组卷积并与极限学习机相结合,提出两种轻量型卷积神经网络模型:DSC-ELM模型和SGC-ELM模型.模型使用轻量化卷积神经网络提取特征后,将特征送入极限学习机进行分类,解决了卷积神经网络全连接层参数训练慢的问题.新模型结合了轻量型卷积神经网络模型内存占用低、提取特征质量好以及ELM的泛化性好、训练速度快的优点.实验结果表明.与其他模型相比,该混合模型能够更加快速准确地完成交通标志识别任务.     

一种基于文本卷积神经网络的推荐算法

传统的矩阵因子分解模型不能有效提取用户和物品特征,而基于深度学习模型可以很好地提取特征信息。当前,主流的基于深度学习推荐算法只是单一地将神经网络的输出或物品特征与用户特征乘积的形式来做推荐预测,不能充分挖掘用户和物品之间的关系。基于此,本文提出一种基于文本卷积神经网络与带偏置项的奇异值分解(BiasSVD)结合的推荐算法,利用文本卷积神经网络(TextCNN)来充分提取用户和物品的特征信息,然后用奇异值分解方法来做推荐,深层次理解文档上下文信息,进一步提高推荐的准确性。将该算法在MovieLens的2个真实数据集上做广泛的评估分析,推荐的准确度要明显优于ConvMF算法及主流深度学习推荐算法。     

自动化张量分解加速卷积神经网络

近年来,卷积神经网络（CNN）展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习（AutoML）的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.     

结合时间特征的协同过滤深度推荐算法

针对推荐算法中的数据稀疏性和冷启动问题,提出了基于卷积神经网络的结合时间特征的协同过滤深度推荐算法（CNN-deep recommend algorithm with time,C-DRAWT）与基于多层感知机的结合时间特征的协同过滤深度推荐算法（MLP-deep recommend algorithm with time,M-DRAWT）。算法进行数据预处理,利用二进制来编码用户与项目的信息,缓解了one-hot编码的书籍稀疏性问题。提取出用户与项目的隐藏特征,将用户和项目的特征融合时间戳特征,分别输入到优化后的卷积神经网络和多层感知机进行,得到最新时刻的推荐项目。两个算法经过基于MovieLens-1M数据集的对比实验验证,得到的F1-Score值平均提高了0.78%,RMSE值平均提高了2.7%。结果表明,该方法能够缓解数据稀疏性和冷启动问题,相比较于之前的模型具有较好的推荐效果。     

基于CNN的恶意Web请求检测技术

目前,基于卷积神经网络的Web恶意请求检测技术领域内只有针对URL部分进行恶意检测的研究,并且各研究对原始数据的数字化表示方法不同,这会造成检测效率和检测准确率较低。为提高卷积神经网络在Web恶意请求检测领域的性能,在现有工作的基础上将其他多个HTTP请求参数与URL合并,将数据集HTTP data set CSIC 2010和DEV_ACCESS作为原始数据,设计对比实验。首先采用6种数据数字向量化方法对字符串格式的原始输入进行处理;然后将其分别输入所设计的卷积神经网络,训练后可得到6个不同的模型,同时使用相同的训练数据集对经典算法HMM,SVM和RNN进行训练,得到对照组模型;最后在同一验证集上对9个模型进行评估。实验结果表明,采用多参数的Web恶意请求检测方法将词汇表映射与卷积神经网络内部嵌入层相结合对原始数据进行表示,可使卷积神经网络取得99.87%的准确率和98.92%的F1值。相比其他8个模型,所提方法在准确率上提升了0.4~7.7个百分点,在F1值上提升了0.3~13个百分点。实验充分说明,基于卷积神经网络的多参数Web恶意请求检测技术具有明显的优势,且使用词汇表映射和网络内部嵌入层对原始数据进行处理能使该模型取得最佳的检测效果。     

基于改进eRCNN的局部路网交通流预测

针对误差反馈循环卷积神经网络在运用到短时交通流预测时存在仅仅能接收时序误差序列,忽略交通流误差数据中隐含的空间拓扑特征,且在模型初始化时其采用的通用卷积神经网络初始化方法降低了模型训练效率的问题,本文提出一种优化的误差反馈循环卷积神经网络模型,在误差反馈循环卷积神经网络模型基础上根据预测误差数据的时空特性对误差反馈层进行结构强化,能够处理包含简单空间关系的误差序列。同时通过在模型训练的过程中分离模型产生的历史预测误差和训练误差,使得模型构建过程更加高效,加速了模型收敛速度。通过北京市四环道路交通数据的实验表明,优化的误差反馈循环卷积神经网络预测模型在预测精度、构建效率及鲁棒性上均得到有效提高。     

融合社交网络用户潜在因子的社会化推荐

针对传统社会化推荐准确率不高的问题,提出一种融合社交网络用户潜在因子的推荐算法SGCN-MF。SGCN-MF考虑社交网络中用户的隐语义信息对推荐结果的影响。使用图卷积神经网络将用户-项目历史交互信息和用户社交网络进行编码嵌入,学习得到具有用户特征和网络结构信息的节点在低维向量空间的潜在特征表达;将用户潜在因子融入基于矩阵分解的社会化推荐模型中;使用梯度下降算法训练模型参数。在Filmtrust、Ciao和Epinions数据集上的实验表明,与传统的社会化推荐算法相比,SGCN-MF能够提升推荐的准确率。     

级联的卷积神经网络人脸检测方法

针对由于光照、分辨率、姿态和表情等因素变化引起的人脸检测准确性不高的问题和大多人脸检测算法使用单一的卷积神经网络去提取特征引起的算法的泛化能力变弱的问题,提出了三层由浅及深的级联的卷积神经网络结构。通过全卷积神经网络快速定位人脸候选区域,采用深度神经网络提取人脸鲁棒性特征,对候选区域进一步分类验证,并用联合回归的方法确定最终人脸位置,提高检测精度。同时通过加权降低得分改进常用的非极大值抑制的方法,解决了由于相邻人脸高度重叠引起的漏检问题。实验结果表明,该模型对上述引起人脸检测准确率不高的因素具有较好的鲁棒性,并且在FDDB数据集上有着较高的准确率和运行速度。改进后的非极大值抑制算法对在FDDB的测试准确率也有一定的提升。     

基于Xception改进的卷积神经网络服装分类算法

针对服装图像分类模型的参数量过大, 时间复杂度过高和服装分类准确度不高等问题. 提出了一种利用网络剪枝方法和网络稀疏约束, 减少卷积神经网络Xception中从卷积层到全连接层的冗余参数, 增加网络的稀疏性和随机性, 减轻过拟合现象, 在保证不影响精度的前提下尽可能降低模型的时间复杂度和计算复杂度. 此外在卷积层引入了注意力机制SE-Net模块, 提升了服装图像分类的准确率. 在DeepFashion数据集上的实验结果表明, 使用网络剪枝方法缩减的网络模型在空间复杂度上和时间复杂度上均有所降低, 服装图像分类准确率和运行效率与VGG-16, ResNet-50和Xception模型相比均有所提升, 使得模型对设备的要求更低, 深度卷积神经网络在移动端、嵌入式设备中使用成为可能, 在实际服装领域的电商平台的应用中有比较高的使用价值.     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。