融合迁移学习的Inception-v3模型在古壁画朝代识别中的应用

针对古代壁画图像数量少、质量差、特征提取困难和存在壁画文本与绘画风格相似等问题,提出了一种融合迁移学习的Inception-v3模型来对古代壁画的朝代进行识别与分类。首先,将Inception-v3模型在ImageNet数据集上进行预训练以得到迁移模型;然后,将迁移模型在小型壁画数据集上进行参数微调后对壁画图像提取高层特征;其次,增加两个全连接层来增强特征表达能力,并用颜色直方图与局部二值模式（LBP）纹理直方图提取壁画的艺术特征;最后,将高层特征与艺术特征相融合,用Softmax分类器进行壁画的朝代分类。实验结果表明,所提出的模型训练过程稳定,在构造的小型壁画数据集上,其最终准确率为88.70%,召回率为88.62%,F1值为88.58%,以上各评价指标均优于AlexNet、VGGNet等经典网络模型;与LeNet-5、AlexNet-S6等改进的卷积神经网络模型相比,该模型对各朝代类别准确率平均提升了至少7个百分点。可见,该模型泛化能力强,不易出现过拟合现象,能有效识别壁画所属朝代。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图（HOG）特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果，在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法，提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先，使用梯度统计特征提取层对图像中的梯度信息进行统计，构建方向梯度直方图（HOG）特征图；其次，使用卷积层提取出图像的颜色信息，把提取出的颜色信息与HOG特征图融合构成HOG-C特征图；最后，输入卷积层提取HOG-C特征图的抽象特征，并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装，使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中，该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明，该模型在交通监控下的车型分类上具有更好的效果。     

基于残差网络的血管内超声图像识别

为提高血管内超声(Intravenous Ultrasound,IVUS)图像在动脉粥样硬化识别准确率,实现更高效的计算机辅助诊断,提出综合使用图像增强、特征提取和基于批量归一化(Batch Normalization,BN)优化残差网络的血管内超声图像识别方法。使用Sobel算子在原图像水平和垂直方向进行边缘检测,在此基础上获得锐化增强图像,结合使用灰度共生矩阵提取纹理特征信息;为丰富网络的特征信息,防止梯度消失,使用残差学习对卷积神经网络进行改进。批量归一化通过拟合数据特征分布减少内部协变量转移加速网络收敛。实验结果表明上述方法相比较传统机器学习与改进前的卷积神经网络识别错误率平均降低了58.23%。     

增强一致性生成对抗网络在壁画修复上的应用

针对古代壁画由于历史风化出现不同程度起甲、脱落等问题,提出一种增强一致性生成对抗网络的算法修补壁画缺失区域.该算法以生成对抗网络为框架,首先在卷积层提取深层的图像特征信息,经过反卷积将特征映射到原图像大小的图像空间,并输出修复的图像;然后在判别网络中使用全局判别网络和局部判别网络,增强已修复壁画图像的在整体和补全区域表现的一致性;最后在生成网络中引入空洞卷积增大卷积核感受野,增加网络层数并加入残差模块来获取更丰富的图像特征,卷积层使用批标准化加快建模周期等在细节方面对网络进一步优化,判别网络中也增加了网络的层数,使得判别模型具有了更好的泛化能力.采用的自制数据集进行实验,与现有几种壁画修复算法对比的结果表明,该算法的PSNR值平均提高2～5 dB, SSIM值增加0.02～0.07,较好地完成了在纹理结构强、缺失区域较大的壁画图像上的修复,可应用于古代壁画数字修复工作.     

改进DBNet与CRNN的面标识别方法

为解决板坯喷涂面标实时识别问题，构建文本检测和识别模型。改进可微二值化算法网络，引入高效通道注意力模块SENet,进行自适应空间特征融合(ASFF),增强特征金字塔预测多尺度目标的能力。识别模型改进卷积递归神经网络的VGG网络，将卷积与循环神经网络联合训练。实验结果表明，检测模型的精确率、召回率和调和平均值达到93.30%、86.45%、89.85%,提升显著；识别模型平均准确率达到86.01%,精度提升4.99%。模型满足实时与准确性要求。     

基于多特征融合和卷积神经网络的植物叶片识别

植物叶片识别是植物自动分类识别研究的重要分支和热点,利用卷积神经网络进行图像分类研究已成为主流.为了提高植物叶片识别准确率,提出了基于多特征融合和卷积神经网络的植物叶片图像识别方法.首先对植物叶片图像进行预处理,提取LBP特征和Gabor特征,将多特征相加融合输入网络进行训练,使用卷积神经网络(AlexNet)构架作为分类器,利用全连接层对植物叶片进行识别.为了避免过拟合现象,使用"dropout"方法训练卷积神经网络,通过调节学习率、dropout值、迭代次数优化模型.实验结果表明,基于多特征融合的卷积神经网络植物叶片识别方法对Flavia数据库32种叶片和MEW2014数据库189种叶片识别分类效果较好,平均正确识别率分别为93.25％和96.37％,相比一般的卷积神经网络识别方法,该方法可以提高植物叶片的识别准确率,鲁棒性更强.     

融合胶囊网络的文本-图像生成对抗模型

在传统文本-图像对抗模型的实现中,判别器中的卷积网络用于提取图像特征,但是卷积网络无法考虑到底层对象之间的空间关系,导致生成图像的质量较差,而胶囊网络是一种有效的解决方法。基于胶囊网络的方法对传统的文本条件式生成对抗网络模型进行了改进,将判别器中卷积网络换为胶囊网络,增强其对图像的鲁棒性。在Oxford-102和CUB数据集上的实验结果表明新模型可以有效提高生成质量,生成花卉图像的FID的数值降低了14.49%,生成鸟类的图像的FID的数值降低了9.64%。在Oxford-102和CUB两个数据集上生成图像的Inception Score分别提高了22.60%和26.28%,说明改进后模型生成的图片特征更丰富、更有意义。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于多通道可分离网络的古代壁画分类方法

古代壁画艺术价值高、内容丰富,对壁画种类进行准确分类是研究者的难题之一.传统的壁画分类任务繁重且需要有经验的研究者完成;现有的图像分类算法已不适于分类含有较强背景噪声的壁画图像.针对以上问题提出了一种新的多通道可分离网络模型(multi-channel separable network model,MCSN)的解决方案.以GoogLeNet网络模型为基本框架,用小卷积核对壁画背景特征进行浅层提取,然后将7×7、3×3等较大卷积核十字分离成7×1、1×7和3×1、1×3等较小的卷积核提取壁画重要的深层次特征信息;使用软阈值化激活缩放策略(activation scaling)增加网络训练时的稳定性,最后通过softmax对壁画分类;使用小批量随机梯度下降(min-batch SGD)算法更新参数.精确率、召回率和F1值分别为88.16％、90.01％和90.38％.与主流分类算法相比,分类准确率、泛化能力、稳定性有了一定的提升,提高了壁画分类效率.     

特征融合AlexNet模型的古代壁画分类

目的 针对古代壁画图像自身特征提取存在的主观单一性和客观不充分性等问题,以经典AlexNet网络模型为基础,提出了一种结合特征融合思想的卷积神经网络模型,用于古代壁画图像的自动分类。方法 首先,由于大型壁画数据集较为缺乏,通过对壁画样本使用缩放、亮度变换、加噪和翻转等图像增强算法来扩大数据集,并提取壁画图像第1阶段的边缘等底层特征;其次,采用结构不同的双通道网络对提取的第1阶段特征进行第2阶段的深层抽象,得到两个通道的特征;最后,融合两个通道的特征,共同构建损失函数得到分类结果,从而提高模型的鲁棒性和特征表达能力。结果 实验结果表明,在构造的壁画图像数据集上,该模型最终达到了85.39%的准确率。与AlexNet模型以及一些改进的卷积神经网络模型相比,各项评价指标均有大约5%的提高;与未进行预训练的经典模型相比,本文网络结构不易产生过拟合现象;与结合预训练的经典模型相比,准确率大致上有1%~5%的提升,从硬件条件、网络结构和内存消耗上来说代价更小。由此验证了本文模型对于壁画图像自动分类的合理性和有效性。结论 本文提出的壁画分类模型,综合考虑网络宽度和深度的影响,能从多局部的角度提取壁画图像丰富的细节特征,具有一定的优势和使用价值,可进一步结合到与壁画图像分类的相关模型中。     

数字壁画病害提取与修复算法研究

数字图像修复为古代石窟壁画的科学保护与修复提供了重要依据,目前数字壁画病害信息的完整提取与合理化修复是文物虚拟修复的重要课题.以麦积山数字壁画为研究对象,分析风化裂隙伴随点状剥落的病害特征与形成机理,病害信息的完整提取以文物修复的最小干预为原则,采用以加权平均为相似性度量的局域最优层次聚类进行提取,并形成病害信息掩膜.以此掩膜图像为对象,其合理化修复利用增加了有效像素估计的曲率驱动扩散模型实现图像修复.该方法使得麦积山石窟壁画病害的虚拟修复更精确,达到了文物修复最小干预原则的效果.     

基于分块 PCA 与端元提取的壁画线条增强研究

线状特征是壁画中的重要元素。然而受到自然及人为因素的影响,壁画的部分线条常常变得模糊,人眼难以辨别。因此,提出一种利用高光谱影像分块主成分分析(PCA)与端元提取相结合的线状特征增强方法。首先,利用支持向量机(SVM)对壁画的合成真彩色影像进行分类,根据分类结果得到壁画标签数据,实现高光谱影像同质区域的分块数据。其次,对各分块影像进行顶点成分分析(VCA)得到候选端元集,通过构造投影矩阵合并相似端元确定最终端元集。然后,利用非负最小二乘算法解混得到线条丰度图。最后,将分块 PCA 的第一主成分影像归一化后与线条丰度图进行波段加权平均获取线状特征增强影像,将其与合成真彩色影像进行 HSV 图像融合得到线状特征融合影像。以瞿昙寺壁画局部高光谱影像为例进行了验证,结果表明,该算法能增强壁画中的线状特征,且较 PCA 增强法效果更好。     

基于兴趣边缘优化的壁画影像与激光扫描数据非刚性配准

将壁画影像与激光扫描数据配准,并进行定位和纠正在壁画的数字化保护中有非常重要的意义.本文以激光扫描数据强度信息为中介,提出了一种基于兴趣边缘优化的壁画影像与激光扫描数据的非刚性配准方法:由激光扫描数据生成强度影像,以壁画彩色影像的兴趣边缘和强度影像的梯度场作为配准基元,在影像刚性配准基础上,对每条兴趣边缘进行优化配准,然后以优化后边缘的特征点为控制点,构造影像之间的非刚性变换模型,完成壁画影像与激光扫描数据的配准.实验结果表明本方法在不同数据中都能获得较高的配准精度.     

改进DeepLabV3+模型在壁画分割中的应用

针对古代壁画图像分割过程中出现的目标边界模糊、图像分割效率低等问题,提出一种融合轻量级卷积神经网络的多分类图像分割模型MC-DM,该模型将DeepLabV3+结构和MobileNetV2相结合,利用DeepLabV3+特有的空间金字塔结构对壁画的卷积特征进行多尺度融合,从而减少壁画分割时的图像细节损失。首先,通过MobileNetV2对输入图像进行特征提取,从而在确保图像信息准确提取的同时减少耗时;其次,通过空洞卷积处理图像特征,从而扩展感受野,并在不改变参数数量的情况下得到更多的语义信息;最后,采用双线性插值的方法对输出特征图像进行上采样,以得到像素级的预测分割图,从而最大限度保证图像分割的准确性。在JetBrains PyCharm Community Edition 2019环境下,利用以1 000张壁画扫描图片制作而成的数据集进行测试,实验结果表明,MC-DM模型较传统的基于SegNet的图像分割模型在训练精确度上提升了1个百分点,较基于PSPNet的图像分割模型在精确度上提升了2个百分点,且MC-DM模型的峰值信噪比（PSNR）较实验对比模型平均提高了3～8 dB,充分验证了该模型在壁画分割领域的有效性。所提模型为古代壁画图像分割提供了新的思路。     

Fair relay selection in decode-and-forward cooperation based on outage priority

The opportunistic cooperation schemes,where only the "best" relay is selected to forward the message,have been widely investigated recently for their good performance in terms of outage probability.However,the unfair selections of relays may cause unbalance power consumptions among relays,which reduces the lifetime of energy constrained networks.In this paper,we introduce a novel concept of outage priority based fairness(OPF),aiming at improving the selection fairness among relays appropriately without outage performance deterioration.Then,a cooperation scheme is proposed to meet this concept,and corresponding theoretical analysis is also provided.Afterward,based on OPF,the achievable upper bound of the fairness is derived,and an optimal cross-layer designed scheme is also provided to achieve the bound.Numerical simulations are carried out finally,which not only validate the theoretical analysis,but also show that taking advantages of the proposed schemes,the fairness among all relays,as well as the network lifetime,can be greatly improved without any loss of outage performance,especially in high SNR regime.     

基于生成模型的古壁画非规则破损部分修复方法

为了更好地保存和修复珍贵的古代壁画艺术,在现有的人工修复技术之上,结合 数字虚拟修复方法,使用深度学习中生成网络的方法自动生成壁画缺失部分,可以有效地提高 修复效率,降低修复成本。用于修复的网络整体上是一个自编码器结构,编码器将待处理壁画 图像和破损部分对应的掩膜作为输入,进行特征提取。解码器将编码器得到的特征图通过反卷 积的方法恢复到原来尺寸,完成修复,自动将破损区域进行补全。同时,通过对待修复壁画进 行分块修复再拼接的方法实现了对任意尺寸壁画的修复。与其他数字壁画修复方法相比,该方 法更加通用,不受壁画种类和破损情况的限制。在一般破损的壁画上可以得到超过目前先进水 平的修复效果,并且在人眼无法辨识有效信息的大面积破损的壁画上,仍可以恢复得到有完整 语义的图像。     

基于改进的胶囊网络模型的高光谱图像分类方法

针对卷积神经网络无法有效提取高光谱图像光谱与空间特征以及识别特征之间的空间位置问题,提出一种基于胶囊网络的改进神经网络模型.采用1×1卷积核对高光谱图像块进行降维处理;利用双通道卷积神经网络提取降维图像的初级特征,进而在PrimaryCaps层将初级特征信息封装为胶囊向量;通过DigitCaps层计算胶囊向量的模长来判...