基于傅立叶变换的多维数据可视化分类

基于雷达图表示多维数据的原理,提出一种利用傅立叶描述子识别雷达图形的可视化数据分类新方法。该方法采用多元统计中的雷达图表示多维数据,不同模式类别的多维数据构成不同形状的雷达图形。在此基础上对雷达图的边界曲线进行傅立叶变换,计算傅立叶描述子作为雷达图的图形特征,并运用改进的概率神经网络进行识别。实验结果表明该方法具有较好的分类效果,分类精度比传统分类方法提高了约8.25%。     

结合改进主动学习的SVD-CNN弹幕文本分类算法

为解决传统卷积神经网络（CNN）模型使用池化层进行文本特征降维会损失较多文本语义信息的问题,提出一种基于奇异值分解（SVD）算法的卷积神经网络模型（SVD-CNN）。首先,采用改进的基于密度中心点采样的主动学习算法（DBC-AL）选择对分类模型贡献率较高的样本进行标注,以低标注代价获得高质量模型训练集;然后,结合SVD算法建立SVD-CNN弹幕文本分类模型,使用奇异值分解的方法代替传统CNN模型池化层进行特征提取和降维,并在此基础上完成弹幕文本分类任务;最后,使用改进的梯度下降算法（PSGD）对模型参数进行优化。为了验证改进算法的有效性,使用多种弹幕数据样本集,对提出的模型与常用的文本分类模型进行对比实验。实验结果表明,改进的算法能够更好地保留文本语义特征,保证训练过程的稳定性并提高了模型的收敛速度,在不同的弹幕文本上较传统算法具有更好的分类性能。     

基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类方法

问句分类的目标是将用户提出的自然语言问句分到预先设定的类别.在社区问答中,如何准确高效的对问句进行分类是一项重要任务.本文提出了一种基于深度神经网络的问句分类方法,该方法首先将问句用词向量进行表示,然后用融合双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）结构并包含注意力机制的深度学习模型提取问句特征进行分类.该方法的特色在于利用Bi-LSTM和CNN在句子级文本表示的优点,充分捕捉问句特征,并结合问句的对应答案来表示问句,丰富了问句信息.实验表明,该问句分类方法准确率较高,在多个数据集上取得不错结果.     

基于转换学习的半监督分类

近年来，基于图的半监督分类是机器学习与模式识别领域的研究热点之一.该类方法一般通过构造图来挖掘数据中隐含的信息，并利用图的结构信息来对无标签样本进行分类，因此半监督分类的效果严重依赖于图的质量，尤其是图的构建方法和数据的质量.为解决上述问题，提出了一种基于转换学习的半监督分类（semi-supervised classification based on transformed learning, TLSSC）算法.不同于已有的大多数半监督分类算法，此算法试图学习到一个转换空间，并在该空间上构建图，进行标签传播.具体来说，此算法建立了一个统一的联合优化框架，其由3个部分组成：1）使用转换学习将原始数据映射到转换空间中；2）借鉴数据自表示思想，在转换空间上学习一个图；3）在图上进行标签传播.这3个步骤交替进行、互相促进，避免低质量图导致的次优解.对人脸和物品数据集进行实验，结果表明所提出的TLSSC算法在大部分情况下优于现有的其他算法.     

结合Bi-2DPCA与CNN的美式手语识别

针对现有美式手语（ASL）识别算法准确率低和模型训练时间长的问题,提出一种结合双向二维主成分分析（Bi-2DPCA）与卷积神经网络（CNN）并基于贝叶斯优化的识别算法。利用Bi-2DPCA算法对原始图像做数据降维处理,提取行、列方向的特征图,使用卷积神经网络对特征图进行训练分类,同时采用贝叶斯优化算法对模型超参数进行自动调参。在24分类ASL数据集上的实验结果表明,该算法的识别准确率达到99.15%,训练时间相比传统CNN算法减少90.3%。     

基于时频域的卷积神经网络运动想象脑电信号识别方法

针对目前运动想象脑电（EEG）信号识别率较低的问题，考虑到脑电信号蕴含着丰富的时频信息，提出一种基于时频域的卷积神经网络（CNN）运动想象脑电信号识别方法。首先，利用短时傅里叶变换（STFT）对脑电信号的相关频带进行预处理，并将多个电极的时频图组合构造出一种二维时频图；然后，针对二维时频图的时频特性，通过一维卷积的方法设计了一种新颖的CNN结构；最后，通过支持向量机（SVM）对CNN提取的特征进行分类。基于BCI数据集的实验结果表明，所提方法的平均识别率为86.5%，优于其他传统运动想象脑电信号识别方法；同时将该方法应用在智能轮椅上，验证了其有效性。     

基于多维数据雷达图表示的图形分类器研究

分析介绍了用雷达图表示多维数据以及雷达图的图形特征选取和融合的基本方法,提出了一种基于多维数据雷达图表达的可视化图形分类新方法,该方法用雷达图表示多维数据,不同类别的多维数据对应不同的雷达图形,形成以雷达图形特征为表达主要特征的分类方法。并通过模糊推理方来来自动识别雷达图形,完成自动分类。实验表明,此方法简单、直观,实现了分类过程可视化、分类结果可视化,并且有良好的分类效果。     

基于空间结构的符号数据仿射传播算法*

由于符号型数据缺乏清晰的空间结构,很难构造一种合理的相似性度量,从而使诸多数值型聚类算法难以推广至符号型数据聚类.基于此种情况,文中引入一种空间结构表示方法,把符号型数据转化为数值型数据,能够在保持原符号型数据的结构特征的基础上重新构造样本之间的相似度.基于此方法,将仿射传播(AP)聚类算法迁移至符号数据聚类中,提出基于空间结构的符号数据AP算法(SBAP).在UCI数据集中若干符号型数据集上的实验表明,SBAP可以使AP算法有效处理符号型数据聚类问题,并且可以提升算法性能.     

基于卷积神经网络的室内指纹定位算法

随着无线网络和智能设备的普及,室内定位得到了迅速发展.在室内定位中,基于指纹的定位方法因为无需外部设施、抗干扰性强等优点逐渐成为研究热点.近几年深度学习的发展为提高指纹定位算法的精度带来了新的机遇.因此提出了一种基于CNN的指纹定位算法,使用卷积神经网络（convolutional neural network,简称CNN）来改进指纹库的构建.首先,在收集了CSI与磁场数据后,通过CNN对这些数据进行处理,将每个参考点处的CNN模型参数值用作为指纹.然后使用一种概率方法来进行最后的指纹匹配.实验结果表明,该定位算法比传统的指纹定位算法具有更好的鲁棒性和更高的定位精度.     

基于CNN的智慧农场图像分类方法

为解决新疆兵团农业现代化建设中有感知无决策的问题，提出一种基于注意力机制模块（SENet）与卷积神经网络混合模型迁移学习的图像分类方法（TL-DA-SE-CNN）。该方法选择4种不同的CNN模型进行权重采集，包括VGGNet、ResNet、InceptionNet和MobileNet。模型使用SENet分类器代替卷积神经网络的全连接层，提取图像的结构性高阶统计特征进行主题分类，并使用BP算法进行参数调整，分类准确度达98.20%。实验结果表明，将CNN与迁移学习、数据增强和SENet相结合的技术提高了牲畜图像分类的性能，是卷积神经网络在农场自动化分群中的有效应用。     

基于CNN和农作物光谱纹理特征进行作物分布制图

以卷积神经网络（Convolutional Neural Network, CNN）为代表的深度学习技术,在农作物遥感分类制图领域具有广阔的应用前景。以多时相Landsat 8 多光谱遥感影像为数据源,搭建CNN模型对农作物进行光谱特征提取与分类,并与支撑向量机（SVM）常规分类方法进行对比。进一步引入影像纹理信息,利用CNN对农作物光谱和纹理特征进行提取,优化作物分布提取结果。实验表明：① 基于光谱特征的农作物分布提取,验证结果对比显示,CNN对应各类别精度、总体精度均优于SVM,其中二者总体精度分别为95.14%和91.77%;② 引入影像纹理信息后,基于光谱和纹理特征的CNN农作物分类总体精度提高至96.43%,Kappa系数0.952,且分类结果的空间分布更为合理,可有效区分花生、道路等精细地物,说明纹理特征可用于识别不同作物。基于光谱和纹理信息的CNN特征提取,可面向种植结构复杂区域实现农作物精准分类与分布制图。     

基于CNN和农作物光谱纹理特征进行作物分布制图

以卷积神经网络（Convolutional Neural Network, CNN）为代表的深度学习技术，在农作物遥感分类制图领域具有广阔的应用前景。以多时相Landsat 8 多光谱遥感影像为数据源，搭建CNN模型对农作物进行光谱特征提取与分类，并与支撑向量机（SVM）常规分类方法进行对比。进一步引入影像纹理信息，利用CNN对农作物光谱和纹理特征进行提取，优化作物分布提取结果。实验表明：① 基于光谱特征的农作物分布提取，验证结果对比显示，CNN对应各类别精度、总体精度均优于SVM，其中二者总体精度分别为95.14%和91.77%；② 引入影像纹理信息后，基于光谱和纹理特征的CNN农作物分类总体精度提高至96.43%，Kappa系数0.952，且分类结果的空间分布更为合理，可有效区分花生、道路等精细地物，说明纹理特征可用于识别不同作物。基于光谱和纹理信息的CNN特征提取，可面向种植结构复杂区域实现农作物精准分类与分布制图。     

Attention-based convolutional neural network deep learning approach for robust malware classification

Recently, transforming windows files into images and its analysis using machine learning and deep learning have been considered as a state-of-the art works for malware detection and classification. This is mainly due to the fact that image-based malware detection and classification is platform independent, and the recent surge of success of deep learning model performance in image classification. Literature survey shows that convolutional neural network (CNN) deep learning methods are successfully employed for image-based windows malware classification. However, the malwares were embedded in a tiny portion in the overall image representation. Identifying and locating these affected tiny portions is important to achieve a good malware classification accuracy. In this work, a multi-headed attention based approach is integrated to a CNN to locate and identify the tiny infected regions in the overall image. A detailed investigation and analysis of the proposed method was done on a malware image dataset. The performance of the proposed multi-headed attention-based CNN approach was compared with various non-attention-CNN-based approaches on various data splits of training and testing malware image benchmark dataset. In all the data-splits, the attention-based CNN method outperformed non-attention-based CNN methods while ensuring computational efficiency. Most importantly, most of the methods show consistent performance on all the data splits of training and testing and that illuminates multi-headed attention with CNN model's generalizability to perform on the diverse datasets. With less number of trainable parameters, the proposed method has achieved an accuracy of 99% to classify the 25 malware families and performed better than the existing non-attention based methods. The proposed method can be applied on any operating system and it has the capability to detect packed malware, metamorphic malware, obfuscated malware, malware family variants, and polymorphic malware. In addition, the proposed method is malware file agnostic and avoids usual methods such as disassembly, de-compiling, de-obfuscation, or execution of the malware binary in a virtual environment in detecting malware and classifying malware into their malware family.     

融合CNN和EWC算法的不平衡文本情绪分类方法

文本情绪分类是自然语言处理领域的一个基本任务。然而,基于不平衡数据的学习使得传统文本情绪分类方法的分类性能降低。针对这个问题,该文提出了一种融合CNN和EWC算法的不平衡文本情绪分类方法。首先,该方法使用随机欠采样方法得到多组平衡数据;其次,按顺序单独使用每一组平衡数据输入CNN训练,同时在训练过程中引入EWC算法用以克服CNN中的灾难性遗忘;最后,把使用最后一组平衡数据输入CNN训练得到的模型作为最终分类模型。实验结果表明,该方法在分类性能上明显优于基于欠采样和多分类算法的集成学习框架,且该方法比基于多通道LSTM神经网络的不平衡情绪分类方法在Accuracy和G-mean上分别提高了1.9%和2.1%。     

Very high resolution remote sensing image classification with SEEDS-CNN and scale effect analysis for superpixel CNN classification

Pixel-based convolutional neural network (CNN) has demonstrated good performance in the classification of very high resolution images (VHRI) from which abstract deep features are extracted. However, conventional pixel-based CNN demands large resources in terms of processing time and disk space. Therefore, superpixel CNN classification has recently become a focus of attention. We therefore propose a CNN based deep learning method combining superpixels extracted via energy-driven sampling (SEEDS) for VHRI classification. The approach consists of three main steps. First, based on the concept of geographic object-based image analysis (GEOBIA), the image is segmented into homogeneous superpixels using the SEEDS based superpixel segmentation method thereby decreasing the number of processing units. Second, the training data and testing data are extracted from the image and concatenated on a superpixel level at a variety of scales for CNN. Third, the training data are input to train the parameters of CNN and abstract deep features are extracted from the VHRI. Using these extracted deep features, we classify two VHRI data sets at single scales and multiple scales. To verify the effectiveness of SEEDS based CNN classification, the performance of SEEDS and three others superpixel segmentation algorithms are compared, and the superpixel extraction via SEEDS method was found to be the optimal superpixel segmentation approach for CNN classification. The scale effect on CNN classification accuracy was investigated by comparing the four superpixel segmentation methods. We found that (1) There is no strong evidence that using scales combinations is better than a single scale in some specific situations; (2) Natural objects with low complexity are not as sensitive to scale as artificial objects; (3) For a simple VHRI that contains clear artificial objects and simple texture, the classification result with multiple scales performs better a the single scale; (4) In contrast, for the complex VHRI containing a large number of complex objects, the classification result with a single small-scale best.     

SRAD-CNN for adaptive synthetic aperture radar image classification

The performance of synthetic aperture radar (SAR) image classification based on a conventional convolutional neural network (CNN) is limited by a trade-off between immunity to speckle noise and the ability to locate boundaries accurately. Difficulties regarding the accurate location of boundaries are a result of the smoothing effect of the pooling layer. To address this issue, we propose a novel framework called SRAD-CNN for SAR image classification. In this framework, we apply a filtering layer constructed according to prior knowledge of the speckle reducing anisotropic diffusion (SRAD) filter. The filtering layer can not only reduce speckle but also enhance the boundaries. The main parameter that controls the degree of filtering can be optimized adaptively by a backpropagation algorithm. Image patches adaptively filtered by the filtering layer are then put into the CNN layers to assign a label. Due to the effect of the filtering layer, for our proposed SRAD-CNN, both the speckle noise immunity and the sensitivity to boundaries are superior to those of conventional CNN.To confirm the performance of the proposed SRAD-CNN, we conducted experiments using both simulated and real SAR images. The experimental results demonstrated that the parameter of the filtering layer could be optimized adaptively for different scenes, different noise levels, and different image resolutions. The SRAD-CNN outperformed the conventional CNN in both overall classification accuracy and maintenance of boundary accuracy on images with different resolutions and noise levels with limited training samples.     

卷积神经网络在心拍类识别中的应用

心电图（ECG）心拍分类对心脏疾病的临床诊断具有重要意义,但是ECG四类心拍间数据不平衡问题严重制约着心拍分类性能的提升。针对这一问题,以卷积神经网络（CNN）为基础,首先在组合四类心拍等量数据基础上构建用于表达噪声及四类心拍间共性信息的通用CNN模型,接着以通用CNN模型为基础分别在四类心拍数据上构建四个更为有效表达对应心拍类别倾向性信息的类别CNN模型,最后综合四个类别CNN模型的输出判别心拍类型。在MIT-BIH心电图数据库上的实验结果显示,该方法的平均灵敏度为99.68%、平均阳性检测率是98.58%、综合指标是99.12%,显著优于二级联合聚类法在MIT-BIH心电图数据库上的分类性能。     

面向小样本股骨骨折分型的多视角注意力融合方法

目的 股骨粗隆间骨折是老年人最常见的骨折,不同类型的骨折需要不同的治疗方法。计算机图像识别技术可以辅助医生提高诊断准确率。传统的图像特征提取和机器学习方法,无法实现细粒度、高精度的分类,且少见针对3维图像的骨折分型方法。基于深度学习方法,通常需要大量的样本参与训练才能得出较好的分型性能。针对上述问题,本文提出一种面向小样本、多分类的骨折分型方法。方法 将原始CT （computed tomography）分层扫描图像进行3维重建,获取不同视角下的2维图像信息,利用添加注意力机制的多视角深度学习网络融合组合特征,并联合旋转网络获得视角不变特征,最终得到预期分型结果。结果 针对自建训练数据集（5类,每类23个样本）,实验在4种3维深度学习网络模型上进行比较。基于注意力机制的多视角融合深度学习方法比传统深度学习模型的准确率提高了25%;基于旋转网络的方法比多视角深度学习方法提高8%。通过对比实验表明,提出的多视角融合深度学习方法大大优于传统基于体素的方法,并且也有利于使网络快速收敛。结论 在骨折分型中,本文提出的添加注意力机制的多视角融合分型方法优于传统基于体素的深度学习方法,具有更高的准确率和更好的性能。     

卷积神经网络和深度置信网络在SAR影像冰水分类的性能评估

目的 海冰分类是海冰监测的主要任务之一。目前基于合成孔径雷达SAR影像的海冰分类方法分为两类：一类是基于海冰物理特性与SAR成像特征等进行分类,这需要一定的专业背景;另一类基于传统的图像特征分类,需要人为设计特征,受限于先验知识。近年来深度学习在图像分类和目标识别方面取得了巨大的成功,为了提高海冰分类精度及海冰分类速度,本文尝试将卷积神经网络（CNN）和深度置信网络（DBN）用于海冰的冰水分类,评估不同类型深度学习模型在SAR影像海冰分类方面的性能及其影响因素。方法 首先根据加拿大海冰服务局（CIS）的冰蛋图构建海冰的冰水数据集;然后设计卷积神经网络和深度置信网络的网络架构;最后评估两种模型在不同训练样本尺寸、不同数据集大小和网络层数、不同冰水比例的测试影像以及不同中值滤波窗口的分类性能。结果 两种模型的总体分类准确率达到93%以上,Kappa系数0.8以上,根据分类结果得到的海冰区域密集度与CIS的冰蛋图海冰密集度数据一致。海冰的训练样本尺寸对分类结果影响显著,而训练集大小以及网络层数的影响较小。在本文的实验条件下,CNN和DBN网络的最佳分类样本尺寸分别是16×16像素和32×32像素。结论 利用CNN和DBN模型对SAR影像海冰冰水分类,并进行性能分析。发现深度学习模型用于SAR影像海冰分类具有潜力,与现有的海冰解译图的制作流程和信息量相比,基于深度学习模型的SAR影像海冰分类可以提供更加详细的海冰地理分布信息,并且减小时间和资源成本。     

基于卷积神经网络的视频图像失真检测及分类*

为了检测不同失真类型的视频图像,实现对失真视频图像的分类处理,本文提出一种基于卷积神经网络的视频图像失真检测及分类方法。首先,将视频图像分割成较小的图像块作为输入,然后利用卷积神经网络主动学习特征,引入正负例均衡化和自适应学习速率减缓过拟合和局部最小值问题,由softmax分类器预测图像块的失真类型,最后采用多数表决规则,得到视频图像的预测类别。采用仿真标准图像库(LIVE)和实际监控视频库对本文方法进行性能测试,前者的总体分类准确率达到92.22%,后者的总体分类准确率达到92.86%。整体的分类准确率均高于已有的其他三种算法。引入正负例均衡化和自适应学习速率后,CNN的分类准确率得到明显提升。实验结果表明本文方法能主动学习图像质量特征,提高失真视频图像分类检测的准确率,通用于任意失真类型的视频图像分类检测,具有较强的鲁棒性和实用性。