基于多尺度多分类器卷积神经网络的混合失真类型判定方法

针对图像混合失真类型判定难的问题,在深度学习多标签分类思想的基础上,提出了一种基于多尺度多分类器卷积神经网络（CNN）的混合失真类型判定方法。首先,从图像中截取得到含有高频信息的图像块,将该图像块输入到不同感受野的卷积层中以提取图像的浅层特征图;其次,将浅层特征图输入到各子分类器结构中以进行深层次的特征提取和融合,将融合的特征通过Sigmoid分类器得到判定结果;最后,将各子分类器的判定结果进行融合得到图像的混合失真类型。实验结果表明,在自然场景混合失真数据库（NSMDID）上,所提方法对图像中存在的混合失真类型的平均判定准确率可以达到91.4%,且对大部分类型的判定准确率都在96.8%以上,可见所提方法能够对混合失真图像中的失真类型进行有效的判定。     

基于边缘检测的卷积核数量确定方法

针对卷积神经网络中卷积核数量多凭经验确定的问题,提出了一种统计图像边缘信息来确定卷积核数量的方法。首先,采用边缘检测算子对训练图像进行边缘检测,并依据卷积层的卷积核尺寸对边缘图像进行边缘块提取;然后,统计提取到的边缘块以获得边缘特征矩阵;最后,计算边缘特征矩阵各列的方差,将方差排序且归一化,选择方差较大部分边缘类型的个数作为卷积核数量。在Mnist和Chars74K数据集上的实验结果表明,本文方法能依数据集特点自适应地确定卷积核数量,构造的卷积神经网络模型大小适应于特定数据集,且能获得较高分类准确率。     

自适应混合卷积神经网络的雾图能见度识别

为充分利用高速公路沿线视频监控,实现高速公路大雾天气能见度全程监测,提出一种自适应混合卷积神经网络（Convolutional Neural Network,CNN）算法。在CNN算法输入层使用ResNet、VGG19预训练模型进行迁移学习,防止训练结果出现过拟合现象;在算法前向与反向传播过程之间构建参数自适应调整模块,根据卷积神经网络训练周期数和训练误差增强参数系数,实现权值自适应更新,有效地提高模型训练的收敛速度和能见度识别正确率。基于高速公路视频图像样本库进行实验,对算法的收敛性、时间复杂性以及识别正确率进行评价。实验结果显示,自适应混合卷积神经网络算法能够加快模型训练,模型综合识别准确率达到0.80以上。     

基于小样本学习的LCD产品缺陷自动检测方法

针对高分辨率液晶显示器产品(liquid crystal display, LCD)质量在线检测需求,基于深度学习提出一种LCD缺陷自动检测方法。通过设计自适应浅层特征提取层,并引入稀疏卷积结构,多维度、多尺度的提取深层特征,采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练,构建基于小样本学习的LCD表面缺陷检测模型。其特征在于,采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习的图像子块,并根据模型对图像子块的判定类别和定位坐标,同时获取多类型缺陷检测结果。实验结果表明,本文模型可以有效提高检出率,并减少漏检率。     

基于双通道卷积神经网络的图像单失真类型判定方法

针对图像单失真类型判定算法对部分失真类型判定精度低的问题,提出了一种基于双通道卷积神经网络（CNN）的图像单失真类型判定方法。首先,对图像进行裁剪以得到固定尺寸的图像块,并对图像块进行Haar小波变换从而得到高频信息图;然后,将图像块与对应的高频信息图分别输入到不同通道卷积层中以提取深层特征图后,对深层特征进行融合并输入到全连接层中;最后,将全连接层最后一层的值输入到Softmax函数分类器中得到图像单失真类型概率分布。LIVE数据库上的实验结果表明,所提方法的图像单失真类型判定准确率达到了95.21%,并且对JPEG2000和快速衰落失真这两种失真类型的判定精度相较用于对比的其他五种图像单失真类型判定方法分别提升了至少6.69个百分点和2.46个百分点。所提方法能够准确地判定出图像中存在的单失真类型。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题,提出一种基于神经网络的轻量级交通标志识别方法。首先,利用图像归一化、仿射变换和限制对比度自适应直方图均衡化（CLAHE）方法进行图像预处理,以提高图像质量;其次,基于卷积神经网络（CNN）,融合空间金字塔结构和批量归一化（BN）方法构建改进空间金字塔池化卷积神经网络（SPPN-CNN）模型,并利用Softmax分类器实现交通标志分类;最后,选用德国交通标志识别数据集（GTSRB）,对比不同图像预处理方法、模型参数和模型结构的训练效果,并验证和测试所提模型。实验结果表明,SPPN-CNN模型的识别精度达到98.04%,损失小于0.1,在低配GPU条件下识别速率大于3 000 frame/s,验证了模型精度高、泛化性强、实时性好的特点。     

基于特征整合的卷积神经网络草地分类算法

为提高遥感影像草地分类的精度,分析了卷积神经网络中提取图像特征的特点,提出了一种基于特征整合深度神经网络的遥感影像特征提取算法。首先,将遥感影像数据进行PCA白化处理,降低数据之间的相关性,加快神经网络学习的速率;其次,将从卷积神经网络中提取到的浅层特征和深层特征进行双线性整合,使得整合后的新特征更加完善和优化;最后,对遥感数据进行训练,由于新特征中有效信息的增加,使得特征表达能力得到提高,达到提高草地分类准确率的目的。实验结果表明:该算法能够有效地提高草地分类的准确率,分类精度达到94.65%,相较于卷积神经网络、BP神经网络和基于SVM的分类算法分别提高了4.3%、10.39%和15.33%。     

基于改进ResNeXt的肺癌病理图像分类

针对肺癌病理图像的自动分类,提出一种改进的卷积神经网络,引入一种新型卷积结构。以ResNeXt残差网络作为基础网络模型,使用新型卷积involution替代部分传统卷积层,解决传统卷积核的感受野小和通道之间信息比较冗余的问题。实验结果表明,该网络模型在LC25000数据集的肺癌病理图像分类任务中,肺良性图像、肺腺癌图像和肺鳞状细胞癌图像准确率分别达到100.00%、99.47%、99.47%,整个数据集准确率达到99.47%,表明改进的网络模型可以提高对肺癌病理图像分类的准确率。     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

Patch-based Segmentation of Latent Fingerprint Images Using Convolutional Neural Network

Latent fingerprint segmentation involves marking out all the foreground regions accurately in a latent fingerprint image, but due to poor quality images and complex background, segmentation of latent fingerprint images is one of the most difficult tasks in automatic latent fingerprint recognition systems. In this article, we propose a patch-based technique for segmentation of latent fingerprint images, which uses Convolutional Neural Network (CNN) to classify patches. CNN has recently shown impressive performance in the field of pattern recognition, classification, and object detection, which inspired us to use CNN for this complex task. We trained the CNN model using SGD to classify image patches into fingerprint and non-fingerprint classes followed by proposed false patch removal technique, which uses “majority of neighbors” to remove the isolated and miss-classified patches. Finally, based on the final class of patches, an ROI is constructed to mark out the foreground from the background of latent fingerprint images. We tested our model on IIIT-D latent fingerprint database and the experimental results show improvements in the overall accuracy compared to existing methods.     

采用Transformer网络的视频序列表情识别

目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法 首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络（long short-term memory network,LSTM）和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s （Bahcesehir University multimodal）和RML （Ryerson Multimedia Lab）视频情感数据集上的试验结果表明,该方法分别取得了60.72%和75.44%的正确识别率,优于其他对比方法的性能。结论 该方法采用端到端的学习方式,能够有效提升视频序列表情识别性能。     

基于Gabor小波和CNN的图像失真类型判定算法

针对图像失真分类问题,提出了一种基于Gabor小波和卷积神经网络（convolutional neural network,CNN）的失真类型判定算法。该算法先利用Gabor小波的良好特性对图像进行特征粗提取,再通过改进的CNN进一步提取关键特征。算法步骤包括：首先对图像进行预处理（包括标签设定、样本均衡和样本扩充）;然后对预处理后的图像进行八方向的Gabor小波变换,并将不同方向的子带叠加构成输入样本;最后通过自行设计的CNN和Softmax分类器对样本进行训练,训练过程中采用随机梯度下降和反向误差传播的方法对卷积核参数进行优化得到最终模型。对训练好的模型进行失真类型判定实验,在LIVE标准图像库上分类正确率达95.62%,表明本算法具有较高的准确性和鲁棒性。     

A central-point-enhanced convolutional neural network for high-resolution remote-sensing image classification

As one of the most important algorithms in the field of deep learning technology, the convolutional neural network (CNN) has been successfully applied in many fields. CNNs can recognize objects in an image by considering morphology and structure rather than simply individual pixels. One advantage of CNNs is that they exhibit translational invariance; when an image contains a certain degree of distortion or shift, a CNN can still recognize the object in the image. However, this advantage becomes a disadvantage when CNNs are applied to pixel-based classification of remote-sensing images, because their translational invariance characteristics causes distortions in land-cover boundaries and outlines in the classification result image. This problem severely limits the application of CNNs in remote-sensing classification. To solve this problem, we propose a central-point-enhanced convolutional neural network (CE-CNN) to classify high-resolution remote-sensing images. By introducing the central-point-enhanced layer when classifying a sample, the CE-CNN increases the weight of the central point in feather maps while preserving the original textures and characteristics. In our experiment, we selected four representative positions on a high-resolution remote-sensing image to test the classification ability of the proposed method and compared the CE-CNN with the traditional multi-layer perceptron (MLP) and a traditional CNN. The results show that the proposed method can not only achieves a higher classification accuracy but also less distortion and fewer incorrect results at the boundaries of land covers. We further compared the CE-CNN with six state-of-the-art methods: k-NN, maximum likelihood, classification and regression tree (CART), MLP, support vector machine, and CNN. The results show that the CE-CNN’s classification accuracy is better than the other methods.     

Fine-Grained Pornographic Image Recognition with Multi-Instance Learning

Image has become an essential medium for expressing meaning and disseminating information. Many images are uploaded to the Internet, among which some are pornographic, causing adverse effects on public psychological health. To create a clean and positive Internet environment, network enforcement agencies need an automatic and efficient pornographic image recognition tool. Previous studies on pornographic images mainly rely on convolutional neural networks (CNN). Because of CNN’s many parameters, they must rely on a large labeled training dataset, which takes work to build. To reduce the effect of the database on the recognition performance of pornographic images, many researchers view pornographic image recognition as a binary classification task. In actual application, when faced with pornographic images of various features, the performance and recognition accuracy of the network model often decrease. In addition, the pornographic content in images usually lies in several small-sized local regions, which are not a large proportion of the image. CNN, this kind of strong supervised learning method, usually cannot automatically focus on the pornographic area of the image, thus affecting the recognition accuracy of pornographic images. This paper established an image dataset with seven classes by crawling pornographic websites and Baidu Image Library. A weakly supervised pornographic image recognition method based on multiple instance learning (MIL) is proposed. The Squeeze and Extraction (SE) module is introduced in the feature extraction to strengthen the critical information and weaken the influence of non-key and useless information on the result of pornographic image recognition. To meet the requirements of the pooling layer operation in Multiple Instance Learning, we introduced the idea of an attention mechanism to weight and average instances. The experimental results show that the proposed method has better accuracy and F1 scores than other methods.     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于空间通道挤压激励模块的肝硬化识别

针对卷积神经网络对特征信息学习不全面、识别准确率和分类精度不高的问题,提出一种采用空间通道挤压激励模块的scSE_MVGG网络,将其应用于肝硬化识别。对肝硬化图像进行数据增强,以避免深度学习训练出现过拟合现象,改进VGG网络使其适应不同实验样本尺寸,同时将scSE模块与改进的MVGG网络相融合,通过提高网络提取特征的指向性增强肝硬化识别效果。实验结果表明,该网络对肝硬化图像的识别率达到98.78%,较scSE_VGG、scSE_AlexNet等网络识别效果更优。