融合CNN-BiLSTM-Attention的集成学习价格预测

价格预测对于大宗农产品市场的稳定具有重要意义,但是大宗农产品价格与多种因素有着复杂的相关关系.针对当前价格预测中对数据完整性依赖性强与单一模型难以全面利用多种数据特征等问题,提出了一种将基于注意力机制的卷积双向长短期记忆神经网络(CNN-BiLSTM-Attention)、支持向量机回归(SVR)与LightGBM组合的增强式集成学习方法,并分别在包含历史交易、天气、汇率、油价等多种特征数据的数据集上进行了实验.实验以小麦和棉花价格预测为目标任务,使用互信息法进行特征选择,选择误差较低的CNN-BiLSTM-Attention模型作为基模型,与机器学习模型通过线性回归进行增强式集成学习.实验结果表明该集成学习方法在小麦及棉花数据集上预测结果的均方根误差(RMSE)值分别为12.812, 74.365,较之3个基模型分别降低11.00%, 0.94%、4.44%,1.99%与13.03%, 4.39%,能够有效降低价格预测的误差.     

抑制图像非语义信息的通用后门防御策略

目的 后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法 核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果 实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论 提出的非语义信息抑制防御方法能够在不需要相关先验知识的...     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度（Cross view,CV）精度达到92.5%,平均跨视角（Cross subject,CS）精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。     

高阶条件随机场引导的多分支极化SAR图像分类

目的 针对极化合成孔径雷达（polarimetric synthetic aperture radar,PolSAR）小样本分类问题,基于充分挖掘有限样本的极化、空间特征考虑,提出一种由高阶条件随机场（conditional random field,CRF）引导的多分支分类网络模型。方法 利用Yamaguchi非相干目标分解方法,构建每个像素的极化特征向量。设计了由高阶CRF能量函数引导的多卷积分支特征提取网络,将像素点极化特征向量作为输入,分别提取像素点的像素特征、邻域特征和位置特征信息。将以上特征进行加和融合,并输入到softmax分类器中得到预分类结果。利用超像素方法对预分类结果图进行进一步修正和调优,平滑相邻像素之间的特异性和相似性。结果 采用1%的采样率对两组真实的极化SAR数据进行测试。同时,为了更好地模拟实际应用中训练样本位置分布不均匀的情况,考虑了空间不相交采样方法作为对比实验。综合两种采样策略的实验结果表明,相较于只利用像素级特征或简单利用空间特征的方法,本文方法总分类精度平均提升7%～10%,不同地物类别的分类精准度均在90%以上,运行速度相比于支持向量机（support vector machine,SVM）提高了2.5倍以上。结论 通过构建高阶CRF引导的卷积神经网络,将像素特征信息、同质区域特征和地理位置信息进行融合,有效建立了像素级和对象级数据之间的尺度关联,进一步扩充了像素点之间的空间依赖性,提取到了更强大更准确的表征特征,显著提高了标记样本数量较少情况下的卷积网络模型的分类性能,进一步保证了地物目标散射机制表征的全面性和可靠性。     

遥感图像全色锐化的卷积神经网络方法研究进展

随着计算机科学、遥感科学和大数据科学等领域的迅速发展,基于卷积神经网络的方法在图像处理、计算机视觉等任务上发挥着越来越重要的作用。而在遥感图像全色锐化领域,卷积神经网络由于其优秀的融合效果,已得到研究学者的广泛关注并有大量的研究成果产生。尽管如此,依然有一些亟待解决的问题,例如缺乏全色锐化数据集的仿真细节描述、公平公开的训练—测试数据集、简单易懂的统一代码编写框架等。对此,本文主要从以下几方面回顾当前遥感图像全色锐化问题在卷积神经网络方面的一些进展,并针对前述问题发布相关数据集和代码编写框架。1)详细介绍7种典型的基于卷积神经网络的全色锐化方法,并在统一数据集上进行公平比较(包括与典型传统方法的比较);2)详细介绍训练—测试数据集的仿真细节,并发布相关卫星(如WorldView-3, QuickBird, GaoFen2,WorldView-2)的全色锐化训练—测试数据集;3)针对本文介绍的7种基于卷积神经网络的方法,发布基于Pytorch深度学习库的Python代码统一编写框架,便于后来初学者入门、开展研究以及公平比较;4)发布统一的全色锐化传统—深度学习方法MATLAB测试软件包,...     

CNN parameter design based on fault signal analysis and its application in bearing fault diagnosis

As a representative deep learning network, Convolutional Neural Network (CNN) has been extensively used in bearing fault diagnosis and many good results have been reported. In Prognostics and Health Management (PHM) field, the CNN’s input size is usually designed as a 1D vector or 2D square matrix, and the convolution kernel size is also defined as a square shape like 3 × 3 and 5 × 5, which are directly adopted from the image recognition. Though satisfying results can be obtained, CNN with such parameter specifications is not optimal and efficient. To this end, this paper elaborated the physical characteristics of bearing acceleration signals to guide the CNN design. First, the fault period under different fault types and shaft rotation frequency were used to determine the size of CNN’s input. Next, an exponential function was involved in fitting the envelope of decaying acceleration signal during each fault period, and signal length within different decaying ratios was used to define the CNN’s kernel size. Finally, the designed CNN was validated with the Case Western Reserve University bearing dataset and Paderborn University bearing dataset. Results confirm that the physics-guided CNN (PGCNN) with rectangular input shape and rectangular convolution kernel works better than the baseline CNN with higher accuracy and smaller uncertainty. The feasibility of designing CNN parameters with physics-guided rules derived from bearing fault signal analysis has also been verified.     

基于CNN和LSTM混合网络的电动汽车充电桩运行状态预测方法

随着电动汽车的大规模发展,公共充电桩运行数量和充电量逐年增长。然而,充电桩运行始终存在故障频发、运维难度大和维修成本高等问题,并且传统故障检测方法效率低下。因此提出了一种基于卷积神经网络(CNN)和长短期记忆(LSTM)网络的混合网络电动汽车充电桩运行状态预测方法,可以实现对电动汽车充电桩运行状况的综合评估。在特征数据输入阶段,对充电桩运行状态的关键指标进行分析,通过CNN提取运行状态影响因素的特征量,再利用LSTM判断和预测充电桩运行状态,从而实现对充电桩潜在故障的预警。试验结果表明,该方法预测准确率高、实用性强,能较准确地反映和预测充电桩的运作状态,可实际用于充电桩故障预测与运维检修。     

考虑数据不均衡的居民用户负荷曲线分类方法

由于用户用电行为的多样性和随机性,负荷数据存在分布不均衡的问题,传统负荷曲线分类方法在处理不均衡数据时性能较差,为此,提出一种改进K-means与LSTM（long short term memory network）-CNN（convolutional neural network）分类模型结合的负荷曲线分类方法。首先,为提升K-means算法对不均衡数据的聚类效果,基于密度峰值聚类算法（density peaks clustering,DPC）思想,提出一种相对k近邻密度峰值初始聚类中心选取方法（related k-nearest neighbor density peaks,RKDP）,将其作为K-means算法的初始中心进行聚类;其次,为提高RKDP_K-means处理高维负荷数据的性能,采用LSTM自编码器进行特征降维后再聚类（LSTM-auto-encoder RKDP_K-means,LARK）获得精准类别标签;最后,基于LSTM和CNN网络分别提取负荷特征构建负荷曲线分类模型,实现对大规模负荷曲线的分类。算例表明在大规模负荷曲线分类时,相比于LARK算法,本文所提方法轮廓系数指标提升29.7%,效率提升3.46倍,具有良好的负荷曲线分类效果。     

基于MobileNet卷积神经网络的焊缝缺陷识别

针对焊缝X射线图像缺陷识别传统方法的计算量大与准确度差的问题,提出了基于MobileNet的识别方法。首先对样本图像进行预处理和数量上的增强;然后引入MobileNet结构以解决传统深度卷积神经网络中对计算资源要求高的问题,引入残差结构与ELU激活函数以解决原始MobileNet网络中出现的退化问题与权重偏置更新失效的问题,在训练时应用迁移学习方法,解决小数据集容易过拟合与训练效率低的问题;最后,针对相同数据集,与改进前的网络、AlexNet网络和VGG-16网络进行对比,表明该文方法具备更优的识别准确率和相比传统网络拥有更小的计算量,相比传统网络的缺陷识别方法拥有更大的应用范围。