卷积神经网络在生物医学图像上的应用进展

生物医学成像领域的迅速发展引起相关图像信息的爆炸式增长,对其图像进行人工智能辅助分析日益成为科学研究、临床应用、即时诊断等领域的迫切需求。近年来深度学习,尤其是卷积神经网络在生物医学图像分析领域取得广泛应用,在生物医学图像的信息提取,包括细胞分类、检测,生理及病理图像的分割、检测等领域发挥日益重要的作用。介绍了深度学习及卷积神经网络相关技术的发展;重点针对近几年卷积神经网络在细胞生物学图像、医学图像领域的应用进展进行了梳理;对卷积神经网络在生物医学图像分析领域研究目前存在的问题及可能的发展方向进行了展望。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

基于小样本学习的图像分类技术综述

图像分类的应用场景非常广泛, 很多场景下难以收集到足够多的数据来训练模型, 利用小样本学习进行图像分类可解决训练数据量小的问题. 本文对近年来的小样本图像分类算法进行了详细综述, 根据不同的建模方式, 将现有算法分为卷积神经网络模型和图神经网络模型两大类, 其中基于卷积神经网络模型的算法包括四种学习范式: 迁移学习、元学习、对偶学习和贝叶斯学习; 基于图神经网络模型的算法原本适用于非欧几里得结构数据, 但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务, 有关的研究成果目前相对较少. 此外, 本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较. 最后, 讨论了小样本图像分类技术的难点及未来研究趋势.     

基于卷积神经网络的图像分割应用

近年来,计算机视觉领域随着深度学习的发展取得了长足进步,而该领域中卷积神经网络发挥了重要作用。计算机视觉领域的发展与物品识别检测、视频监控分析等息息相关,在日常生活和生产中具有重要作用。作为其最基本的算法之一,图像语义分割更是关键所在,只有保证图像语义分割,才能使后续算法正常执行分类或者识别命令。基于此,探讨了卷积神经网络在计算机视觉领域尤其是图像分割方面的应用,以提升图像分割算法的效率及效果。     

基于迁移学习的卷积神经网络服装图像分类

针对服装图像分类过程中图像数量过少、需大量人工标注和效率低等问题,提出一种基于迁移学习的卷积神经网络服装图像分类方法。该方法通过卷积神经网络直接从原始像素中自动学习图像的有效表征,有效减少人工标注的成本,同时,微调预训练好的网络模型参数,二次训练数据。实验表明,图像分类取得了较好的分类结果,平均分类准确度达到90%以上。     

卷积神经网络在图像分类和目标检测应用综述

卷积神经网络具有强大的特征学习能力,随着大数据时代的到来和计算机能力的提升,近年来卷积神经网络在图像识别、目标检测等领域取得了突破性进展,掀起了新的研究热潮。综述卷积神经网络的基本原理,以及其在图像分类、目标检测上的研究进展和典型模型,最后分析了卷积神经网络目前的问题,并展望了未来的发展方向。     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。     

卷积神经网络在图片分类中层级结构效用分析

卷积神经网络等深度学习算法在图片分类等计算机视觉应用领域取得了很好的效果。利用卷积神经网络算法对猫狗图片进行分类,取得较好的实验效果,通过对实验过程中图片、数据的中间层级输入、输出结果的比对分析,深入剖析了卷积神经网络在图片分类中的层级结构效用,提示深度学习框架下的计算机视觉技术具有明显的优势。     

深度学习在图像识别中的应用研究综述

深度学习作为图像识别领域重要的技术手段，有着广阔的应用前景，开展图像识别技术研究对推动计算机视觉及人工智能的发展具有重要的理论价值和现实意义，文中对深度学习在图像识别中的应用给予综述。介绍了深度学习的由来，具体分析了深度信念网络、卷积神经网络、循环神经网络、生成式对抗网络以及胶囊网络等深度学习模型，对各个深度学习模型的改进型模型逐一对比分析。总结近年来深度学习在人脸识别、医学图像识别、遥感图像分类等图像识别应用领域取得的研究成果并探讨了已有研究值得商榷之处，对深度学习在图像识别领域中的发展趋势进行探讨，指出有效使用迁移学习技术识别小样本数据，使用非监督与半监督学习对图像进行识别，如何对视频图像进行有效识别以及强化模型的理论性等是该领域研究的进一步方向。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于卷积神经网络的图像分类算法综述

卷积神经网络（CNN）是目前基于深度学习的计算机视觉领域中重要的研究方向之一。它在图像分类和分割、目标检测等的应用中表现出色,其强大的特征学习与特征表达能力越来越受到研究者的推崇。然而,CNN仍存在特征提取不完整、样本训练过拟合等问题。针对这些问题,介绍了CNN的发展、CNN经典的网络模型及其组件,并提供了解决上述问题的方法。通过对CNN模型在图像分类中研究现状的综述,为CNN的进一步发展及研究方向提供了建议。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

An improved convolutional neural network with an adaptable learning rate towards multi-signal fault diagnosis of hydraulic piston pump

Hydraulic piston pump is a vital component of hydraulic transmission system and plays a critical role in some modern industrials. On account of the deficiencies of traditional fault diagnosis in preprocessing of original data and feature extraction, the intelligent methods based on deep learning accomplish the automatic learning of fault information by integrating feature extraction and classification. As a popular deep learning model, convolutional neural network (CNN) has been demonstrated to be potent and effective in image classification. In this research, an improved intelligent method based on CNN with adapting learning rate is constructed for fault diagnosis of a hydraulic piston pump. Firstly, three raw signals are converted into two dimensional time–frequency images by continuous wavelet transform, including vibration signal, pressure signal and sound signal. Secondly, an improved deep CNN model is built with an adaptive learning rate strategy for identifying the different fault types. Moreover, t-distributed stochastic neighbor embedding is employed to visualize the distribution of features learned by the main layers of CNN model. Confusion matrix is used to analyze the classification accuracy of each fault type. Compared with the CNN model without adapting learning rate, the improved model achieves a higher accuracy based on the selected three kinds of signals. Experiments indicate that the improved CNN model can effectively and accurately identify various faults for a hydraulic piston pump.     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

基于深度学习的短文本分类方法研究综述

从CNN、RNN、CNN-RNN、GCN及其他深度学习方法五方面,全面分析了深度学习在短文本分类应用中的研究现状,比较了各自的优缺点,总结了常用的标签数据集。结果表明：目前深度学习在短文本分类中的应用研究主要集中在高效算法改进以及文本信息拓展两方面;对模型检验中构建标签数据集的研究也处于起步阶段,大多是针对影评、商品评论、新闻等特定领域的,还需不断完善;基于深度学习的短文本分类方法研究,今后在理论研究方面将重点关注算法改进、信息拓展以及二者的相互融合,在实践中探索某些分类效果较好的特定领域应用。     

CNN-ELM混合短文本分类模型

针对目前自然语言处理研究中,使用卷积神经网络（CNN）进行短文本分类任务时可以结合不同神经网络结构与分类算法以提高分类性能的问题,提出了一种结合卷积神经网络与极速学习机的CNN-ELM混合短文本分类模型。使用词向量训练构成文本矩阵作为输入数据,然后使用卷积神经网络提取特征并使用Highway网络进行特征优化,最后使用误差最小化极速学习机(EM-ELM)作为分类器完成短文本分类任务。与其他模型相比,该混合模型能够提取更具代表性的特征并能快速准确地输出分类结果。在多种英文数据集上的实验结果表明提出的CNN-ELM混合短文本分类模型比传统机器学习模型与深度学习模型更适合完成短文本分类任务。     

基于迁移学习的小样本DGA恶意域名检测方法

域名生成算法（DGA）存在变化多、部分类别样本难获取的特点,使得采用传统机器学习的恶意域名检测模型准确性不高。提出一种基于迁移学习和多核CNN的小样本DGA恶意域名检测模型。该模型将目标域名映射到向量空间中,使用样本充足的DGA种类进行预训练,并迁移预训练得到的参数到小样本检测模型。采用多核CNN小样本分类模型根据发音习惯进行域名特征提取并分类。通过实验对比发现,无知识迁移的小样本分类模型只有11类域名准确率超过92%,经过迁移学习的多核CNN模型20类准确率超过92%,11类准确率超过97%,检测效果接近数据充足时的分类效果。     

Attention-based convolutional neural network deep learning approach for robust malware classification

Recently, transforming windows files into images and its analysis using machine learning and deep learning have been considered as a state-of-the art works for malware detection and classification. This is mainly due to the fact that image-based malware detection and classification is platform independent, and the recent surge of success of deep learning model performance in image classification. Literature survey shows that convolutional neural network (CNN) deep learning methods are successfully employed for image-based windows malware classification. However, the malwares were embedded in a tiny portion in the overall image representation. Identifying and locating these affected tiny portions is important to achieve a good malware classification accuracy. In this work, a multi-headed attention based approach is integrated to a CNN to locate and identify the tiny infected regions in the overall image. A detailed investigation and analysis of the proposed method was done on a malware image dataset. The performance of the proposed multi-headed attention-based CNN approach was compared with various non-attention-CNN-based approaches on various data splits of training and testing malware image benchmark dataset. In all the data-splits, the attention-based CNN method outperformed non-attention-based CNN methods while ensuring computational efficiency. Most importantly, most of the methods show consistent performance on all the data splits of training and testing and that illuminates multi-headed attention with CNN model's generalizability to perform on the diverse datasets. With less number of trainable parameters, the proposed method has achieved an accuracy of 99% to classify the 25 malware families and performed better than the existing non-attention based methods. The proposed method can be applied on any operating system and it has the capability to detect packed malware, metamorphic malware, obfuscated malware, malware family variants, and polymorphic malware. In addition, the proposed method is malware file agnostic and avoids usual methods such as disassembly, de-compiling, de-obfuscation, or execution of the malware binary in a virtual environment in detecting malware and classifying malware into their malware family.     

Alpha Fusion Adversarial Attack Analysis Using Deep Learning

The deep learning model encompasses a powerful learning ability that integrates the feature extraction, and classification method to improve accuracy. Convolutional Neural Networks (CNN) perform well in machine learning and image processing tasks like segmentation, classification, detection, identification, etc. The CNN models are still sensitive to noise and attack. The smallest change in training images as in an adversarial attack can greatly decrease the accuracy of the CNN model. This paper presents an alpha fusion attack analysis and generates defense against adversarial attacks. The proposed work is divided into three phases: firstly, an MLSTM-based CNN classification model is developed for classifying COVID-CT images. Secondly, an alpha fusion attack is generated to fool the classification model. The alpha fusion attack is tested in the last phase on a modified LSTM-based CNN (CNN-MLSTM) model and other pre-trained models. The results of CNN models show that the accuracy of these models dropped greatly after the alpha-fusion attack. The highest F1 score before the attack was achieved is 97.45 And after the attack lowest F1 score recorded is 22%. Results elucidate the performance in terms of accuracy, precision, F1 score and Recall.     

卷积神经网络在高光谱图像分类中的应用综述

高光谱图像（Hyperspectral Imagery,HSI）分类是高光谱图像处理和应用的一项重要工作。随着深度学习的不断发展,卷积神经网络（Convolutional Neural Network,CNN）日渐成为处理高光谱遥感图像分类问题的一个有效方法。首先对高光谱遥感图像分类任务进行了概述,分析了目前存在的问题;其次对CNN及其基于光谱特征、空间特征、空谱特征的分类方法进行了系统的梳理,并且将上述的分类方法通过实验分析其性能;最后对高光谱遥感图像分类的关键问题进行了总结,并讨论了未来的研究方向。