一种结合类激活映射的半监督图像分类方法

半监督学习要求无标记数据集远大于标记数据集,然而无标记数据集中包含的复杂无关信息又会对模型训练造成负面影响.针对此问题,本文提出了一种基于增强的均值教师模型的半监督图像分类方法.首先根据类激活映射的工作机制,构建一个具有类激活映射功能的网络;然后将无标记数据集输入结合类激活映射的目标初定位网络,得到目标初定位图;最后将标记图像和目标初定位图像组成训练数据集,训练得到半监督图像分类器.本文设置了标记数据占比、骨干网络、数据集的对比实验,结果表明,本文算法在Top1和Top5上的表现优于现有算法,说明了本文算法的可行性和有效性.     

具有奖罚机制STDP的Spike-CNN模型的机械臂故障分类

在计算机视觉领域中,卷积神经网络取得了举世瞩目的成就,但其能耗问题一直未能得到很好解决.基于此问题,本文主要研究无监督学习范式下的Spike-CNN分类性能以及计算力.首先,本文设计了一种基于CNN和SNN的混合结构,在层级结构上实现脉冲机制;其次,为减少模型训练时间,本文提出了ReLU-ROC编码方案;最后,为使兴奋性神经元快速做出决策,本文提出了具有决策能力的RP-STDP学习方案：计算每对突触前与突触后兴奋性神经元的相对时间差.实验结果表明：以工业机器人采集到多元时间序列数据解决机械臂不同工作状态的3分类、4分类、5分类问题,在没有引入其他分类器的情况下,本文提出的具有奖罚机制的STDP的Spike-CNN方法平均准确率为LP1(91.07%)、LP2(96.66%)、LP4(93.95%).     

卷积神经网络圆检测方法用于多硬币检测

为了开发一种检测精度高,检测速度快的圆检测方法,研究者们进行了大量的研究.然而,现有的圆检测方法都依赖于边缘检测器获取的边缘图进行计算,边缘图不仅包含大量无效边缘,而且将有效的圆弧边缘也混杂为一体,不利于多圆检测.受到卷积神经网络在其他领域成功的启发,本文提出一种基于卷积神经网络的圆检测方法.本文方法利用目标检测技术和语义分割技术将多圆检测任务划分为多个单圆检测任务,并且能准确地提取圆的边缘信息(不包含背景和纹理的边缘).为了训练检测模型和验证方法的有效性,本文收集了硬币图像进行标注作为数据集,并通过实验对比三种优秀的圆检测方法.实验结果表明,本文的圆检测方法获得了较高的检测精度,在测试集上优于所有对比方法.     

一种隐私保护的联邦学习框架

大数据时代,数据安全性和隐私性受到越来越多的关注和重视。联邦学习被视为是一种隐私保护的可行技术,允许从去中心化的数据中训练深度模型。针对电力投资系统中各部门因担心数据隐私信息泄露而带来的数据孤岛和隐私保护问题,提出了一种隐私保护的联邦学习框架,允许各部门自有数据在不出本地的情况下,联合训练模型。首先,提出了联邦学习的架构,支持分布式地训练模型;其次,引入同态加密技术,提出了隐私保护的联邦平均学习流程,在数据隐私保护的情况下,实现联合训练模型;最后,实验结果表明,该框架具有较好的收敛性,而且联合训练得到的模型具有较好的精度。     

基于有向图模型的旅游领域命名实体识别

旅游领域命名实体识别是旅游知识图谱构建过程中的关键步骤,与通用领域的实体相比,旅游文本的实体具有长度长、一词多义、嵌套严重的特点,导致命名实体识别准确率低。提出一种融合词典信息的有向图神经网络（L-CGNN）模型,用于旅游领域中的命名实体识别。将预训练词向量通过卷积神经网络提取丰富的字特征,利用词典构造句子的有向图,以生成邻接矩阵并融合字词信息,通过将包含局部特征的词向量和邻接矩阵输入图神经网络（GNN）中,提取全局语义信息,并引入条件随机场（CRF）得到最优的标签序列。实验结果表明,相比Lattice LSTM、ID-CNN+CRF、CRF等模型,L-CGNN模型在旅游和简历数据集上具有较高的识别准确率,其F1值分别达到86.86%和95.02%。     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。     

基于因果干预与不变性的卷积预训练模型优化研究

基于卷积神经网络（CNN）的深度模型在图像识别与分类领域应用广泛,但在全局特征控制、概念层次特征不变性提取和变量之间的因果关系确定方面仍存在不足,使得深度模型缺乏灵活性、适应性及泛化性。基于因果干预和不变性,提出一种基于CNN深度模型的定向修剪和网络结构优化方法。通过对模型输入进行基于不变性的干预调制,根据生成的调制图片序列分析预训练网络卷积子结构的输出分布,筛选和定向修剪噪声敏感子结构。构建基于类间区分度的目标函数,借助经济学领域中的资本资产定价模型构建网络的层间连接,生成在单分类任务下能增大类间区分度的网络拓扑结构,逐层优化构建概念层次的稳定特征。在ImageNet-2012数据集上的实验结果表明,优化后的深度模型相比于ResNet50基线预训练模型的分类准确率约提升了5个百分点,并大幅降低了训练集规模。     

基于多尺度分割的图像识别残差网络研究

深度卷积神经网络能够解决复杂的计算机视觉问题,被广泛应用于图像识别任务中。在基于深度卷积神经网络的图像识别过程中,增加网络的深度和宽度能够产生丰富的特征信息,使用多尺度分割方法能够有效减少冗余的特征信息。然而,增加网络的深度和进行多尺度分割都会影响识别速度。如何在保证精度的同时提高识别速度,成为设计高效网络的关键问题。通过增加网络宽度的方法对ResNet残差网络进行改进,在保证精度的基础上提升识别速度。使用ResNet-D中的残差结构并减少网络长度,得到长度只有7层的残差网络,同时对HS-ResNet中的多尺度分割方法进行优化,只保留最后一次连接合并操作,得到图像识别残差网络SSRNet。在CIFAR 10和CIFAR 100数据集上的实验结果显示,SSRNet速度最高较ResNet网络提升7倍多,同时错误率最高下降8.81%,表明缩短网络长度可大幅加快图像识别速度,同时结合多尺度分割方法能够有效提升识别精度。     

结合超混沌系统和Logistic映射的视频图像加密算法

对视频图像使用传统的单幅图像加密算法,容易出现算法耗时长、效率低等问题。为提高视频图像加密效率,通过使用细胞神经网络（CNN）超混沌系统和Logistic混沌映射,提出一种单帧逐一加密和多帧组合加密相结合的算法。根据视频帧使用SHA-256生成Logistic初值,经过Logistic映射迭代得到Logistic混沌序列,利用生成的混沌序列对视频帧逐帧扩散。将视频帧以二进制的形式组合成一个矩阵,把根据组合矩阵产生的初值代入CNN超混沌系统,利用得到的混沌序列对组合矩阵进行置乱,视频所有帧各像素点扩散、置乱一步完成,从而缩短加密时间。在此基础上,将组合矩阵重新分解为单帧图像,得到最终加密的视频图像。实验结果表明,在算法中使用高维超混沌系统安全性更高,能够有效缩短加密视频图像的耗时,且能抵抗统计攻击、差分攻击和暴力攻击,具有较好的安全性。     

基于复杂结构信息的图神经网络序列推荐算法

图结构因其在序列推荐场景中的自然适应性而备受关注,而现有的基于图神经网络的会话序列推荐算法虽然能够利用图结构信息达到较好的推荐效果,但是没有考虑用户在会话序列中的重复点击行为和项目之间的复杂转换,且未很好地利用图中复杂的结构信息,导致推荐的效果受到一定程度的限制。提出有向与无向信息同注意力相融合的图神经网络序列推荐算法,并基于推荐算法给出项目隐含向量建模算法,结合会话序列图中的有向结构信息与无向结构信息,通过考虑用户的重复点击行为和引入注意力机制建立会话中点击项目的复杂转换模型。图节点在特征传播的过程中平衡邻居节点信息与自身信息的比例,以更准确地预测推荐过程中生成的会话向量。在Diginetica、Yoochoose 1/64、Yoochoose 1/4 3个数据集上的实验结果表明,与SR-GNN、TAGNN算法相比,该算法精度最高提升4.34%,能够更好地预测用户在会话中的下一次点击精度。