基于多隐层Gibbs采样的深度信念网络训练方法

深度信念网络（Deep belief network，DBN）作为一类非常重要的概率生成模型，在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段，首先是对受限玻尔兹曼机（Restricted Boltzmann machine，RBM）层自底向上逐层进行的贪婪预训练，使得每层的重构误差最小，这个阶段是无监督的；随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法，通过多隐层的Gibbs采样，将局部RBM层组合，并在原有的逐层预训练和整体精调之间进行额外的预训练，有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式，在MNIST和ShapeSet以及Cifar10数据集上的实验表明，使用两两嵌套组合方式比传统的方法错误率更低.新的训练方法可以在更少的神经元上获得比以往的训练方法更好的准确度，有着更高的算法效率.     

变结构径向基函数网络及其在混沌序列在线预测中的应用

为了利用径向基函数(RBF)神经网络对混沌序列进行精确和快速的在线预测,提出一种在线构造变结构RBF神经网络的序贯学习算法。该算法建立实时更新的滑动数据窗口,通过学习窗口内的数据对隐节点进行增加和删除,动态确定RBF神经网络隐节点的数目及中心位置,并对隐层至输出层的连接权值进行在线调整。该算法具有调节参数少、学习速度快以及所得网络结构精简等特点。将该网络用于Mackey-Glass混沌时间序列的在线预测实验,结果验证该算法对该混沌序列具有良好的在线动态辨识和预测性能。     

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络（DBN）权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索（CS）算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播（BP）算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机（RBM）训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13~4.33、2.00~3.34、1.07~3.34和1.40~3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。     

深度信念网软件缺陷预测模型

软件缺陷预测技术在检测软件缺陷、保证软件质量方面发挥了重要的作用。利用神经网络分类算法构建的软件缺陷预测模型得到了广泛的应用。但是利用神经网络分类算法训练历史数据只能进行“浅层学习”,无法对数据特征进行深度挖掘。针对该问题,利用多层限制玻尔兹曼机叠加成深度信念网,先进行特征集成与迭代,并对这些特征数据进行深度学习,构建了基于深度信念网的软件缺陷预测模型(DBNSDPM)。仿真实验表明,本模型预测的准确性与传统的神经网络缺陷预测模型预测的准确性相比有显著提高。     

基于影响度剪枝的极端学习机分类算法研究

针对极端学习机(ELM)网络规模控制问题,从剪枝思路出发,提出了一种基于影响度剪枝的ELM分类算法。利用ELM网络单个隐节点连接输入层和输出层的权值向量、该隐节点的输出、初始隐节点个数以及训练样本个数,定义单个隐节点相对于整个网络学习的影响度,根据影响度判断隐节点的重要性并将其排序,采用与ELM网络规模相匹配的剪枝步长删除冗余节点,最后更新隐含层与输入层和输出层连接的权值向量。通过对多个UCI机器学习数据集进行分类实验,并将提出的算法与EM-ELM、PELM和ELM算法相比较,结果表明,该算法具有较高的稳定性和测试精度,训练速度较快,并能有效地控制网络规模。     

基于遗传神经网络的超混沌时间序列预测

研究了超混沌系统的预测问题。通过分析混沌时间序列,建立具有多个隐节点的3层前馈网络,基于泛化性考虑采用剪枝算法训练,在保证预测精度的基础上消去部分隐节点以降低网络复杂性,利用遗传算法具有的全局寻优能力重新训练网络,利用具有局部寻优能力BP算法再次训练该网络。对Mackey-Glass时滞混沌系统预测实验结果表明,改进算法的泛化性能优于经典BP网络,归一化预测精度提高10倍多,能够较好地解决超混沌系统的预测问题。     

城市物流效率分析自适应DBN算法研究

深入研究了城市物流效率分析的研究现状,结合深度学习相关理论,针对具体问题构建三隐层连续型深度信念网络（DBN）,对网络知识集进行了定义,提出了自适应DBN算法,分析了算法的收敛性。利用Iris数据集和Wine数据集验证了网络及算法的模式分类能力,分类精度高于双隐层深度信念网络与深度误差反向传播网络。根据新丝绸之路经济带沿线城市物流特点,以物流效率为评估目标,选取4个维度的13项指标建立评价指标体系,以20个核心节点城市为研究对象,利用自适应DBN算法和社会网络分析法（SNA）进行聚类分析,结果表明自适应DBN算法相对更为合理有效。研究结果为确定新丝绸之路经济带沿线城市物流发展策略、促进国内物流业未来的协作与发展奠定了研究基础。     

一种改进的深度信念网络算法

为了找到更合适的网络激活函数,来进一步提高深度信念网络算法的非线性逼近能力和性能,本文提出了一种基于径向基函数的深度信念网络算法.该算法将径向基函数引入其中,作为其激活函数,同时利用对比分歧的方式对激活函数的重点变量(中心、宽度、权值)进行了优化和调整.然后,设计了人脸识别预测实验和洛伦兹序列预测实验来对本文算法进行验证,人脸识别预测实验使用了比较权威的户外脸部检测数据库LFW.实验结果表明,本文所提出的算法在性能、预测准确率方面优于传统方法,同时具备可行性.     

基于改进RBF网络的多变量序列建模和预测

针对复杂系统多变量序列预测研究中数据样本过多、信息冗余等问题,从学习样本选择和聚类中心优化两方面对径向基函数(RBF)网络进行改进.基于复杂系统多变量时间序列,首先采用一个线性相关函数和一个非线性相关函数分别计算多变量状态间的线性相关性和非线性相关性,确定一个包含系统有效信息的小数据集;然后基于小数据集,采用K均值聚类方法确定RBF网络的隐层聚类中心,并引入局部搜索过程,优化聚类中心结果;输入其它训练样本,确定网络权值.仿真结果表明,与常规RBF网络学习方法比较,在隐层节点数目相同情况下,改进的方法有效地确定了网络的聚类中心,达到更好的预测精度.     

应用深度自编码网络的网络安全态势评估

针对BP神经网络类方法对标签数据的依赖性缺陷,提出了一种基于深度自动编码网络的态势评估方法。模型应用深度自动编码器作为基本单元构建深度自编码网络,结合专家经验和层次化评估的方法训练深度自编码网络。利用无标签数据采用无监督逐层算法对网络进行预训练,确定网络各层参数及权值的范围空间。在此基础上,采用有监督算法使用有标签样本对网络进行微调,对各层参数及权值进行优化,最终形成具有对输入态势数据进行准确评估能力的模型。多种样本数量条件下的对比实验表明,相对于BP神经网络类方法,基于深度自动编码网络模型受标签的影响较小,明显减少了对专家经验的依赖,并且具有整体上较高的评估精度。     

基于时空卷积神经网络的数据缺失交通流预测

针对数据连续缺失情况下交通流预测精度下降甚至失效的问题,提出了一种时空卷积神经网络预测模型,根据横向分布的时间相关性和纵向分布的空间相关性,构建路网交通数据时空矩阵,引入掩码矩阵标记数据的缺失状况,利用卷积操作提取路网中各检测器之间隐含的非线性关联,建立当前时刻与未来交通状态的映射关系,实现数据缺失情况下的交通流预测....     

基于改进的深度置信网络的电离层F2层临界频率预测

随着深度学习理论的日趋成熟,针对各种场合的实际应用逐渐成为研究的焦点。本文提出一种基于深度置信网络（Deep Belief Network,DBN）对本区域未来24h的电离层临界频率foF2进行预测的方法。首先,对选取的数据集进行处理,生成用于训练和测试的数据集,其次改进DBN网络基本单元的结构,以适应对连续型数据特征的提取与学习,再通过试验的方式确定DBN网络基本结构,最后利用训练数据集对改进后的网络进行训练,实现对 foF2值的预测。与实测值相比较,改进的DBN网络具有极佳的预测准确性,与浅层结构BP网络和SVM网络相比,改进的DBN网络不但克服了浅层结构所固有的问题,而且也表现出更加优异的对于连续型数据的预测性能,尤其是当预测值受到高维复杂因素影响时改进的DBN模型依旧能表现出很好的预测性能。     

结合通道注意力的特征融合多人姿态估计算法

为了提高二维复杂场景下多人姿态估计准确度和速度,提出了一种Mobile-YOLOv3模型与多尺度特征融合全卷积网络相结合的自顶向下多人姿态估计方法.利用深度可分离卷积改进YOLOv3网络以作为高效的人体目标检测器.针对网络特征下采样过程中上层高分辨率信息不断遗失问题,在经典U型网络结构中嵌入多尺度特征融合模块,从而使网络中的低尺度特征也包含高分辨率信息,并在特征融合模块中引入通道注意力机制,进一步突出多尺度融合特征图的关键通道信息.试验结果表明:相比于堆叠沙漏网络(Stacked Hourglass Network,SHN)和级联金字塔网络(Cascaded Pyramid Network,CPN),文中所提出的人体姿态估计算法在COCO数据集上的姿态估计平均准确率分别提高了4.7和3.7.     

一种结合二元蚁群和粗糙集的连续属性离散化算法

离散化是一个重要的数据预处理过程,在规则提取、知识发现、分类等研究领域都有广泛的应用。提出一种结合二元蚁群和粗糙集的连续属性离散化算法。该算法在多维连续属性候选断点集空间上构建二元蚁群网络,通过粗糙集近似分类精度建立蚁群算法适宜度评价函数,寻找全局最优离散化断点集。通过UCI数据集验证算法的有效性,实验结果表明,该算法具有较好的离散化性能。     

一种改进的深度置信网络在交通流预测中的应用

针对现有交通流预测方法忽视对交通流数据自身特征的有效利用以及不能模拟更复杂的数学运算,提出了一种改进深度置信网络（deep belief network,DBN）的交通流预测方法。该方法结合深度置信网络模型与Softmax回归作为预测模型,利用连续受限玻尔兹曼机（continuous restricted Boltzmann machines,CRBM）处理输入特征向量,利用自适应学习步长（adaptive learning step,ALS）减少RBM训练网络模型时重建误差所需的时间,用改进的深度置信网络模型进行交通流特征学习,在网络顶层连接Softmax回归模型进行流量预测。实验结果表明,在实际的交通流数据预测中,改进的DBN模型的预测准确率以及时间复杂度相比传统预测模型都得到了较好的改善。     

基于人工蜂群算法的计算机网络DDoS攻击检测方法

计算机网络在DDoS入侵下容易出现停止服务、网络崩溃,为了提高网络安全性,提出基于人工蜂群算法的计算机网络DDoS攻击检测方法。根据特征样本之间的相关性构建计算机网络DDoS攻击的自适应的入侵检测信息分析模型,根据网络数据流与潜在空间之间的映射关系,结合测试样本和学习样本之间特征差异性进行DDoS攻击数据特征提取,在基站上设置入侵检测数据处理终端,采用人工蜂群算法实现对计算机网络攻击检测的个体最优值和全局最优值寻优,根据人工蜂群的动态寻优和组合优化结果,实现对组合网络流量数据间的攻击信息特征提取和聚类分析,解决计算机网络DDoS攻击检测过程中的连续多变量优化问题。仿真测试结果表明,采用该方法进行计算机网络DDoS攻击检测的寻优能力较好,精度和效率高于传统方法。     

基于改进LS-SVM的随钻测量数据传输误码率预测

针对泥浆连续波随钻测量数据传输误码率预测精度低、数据传输过程中易受干扰信号影响等缺点,提出利用改进的最小二乘向量积(LS-SVM)对连续波数据传输误码率建立预测模型,并引用遗传算法对参数寻优,在建立模型过程中利用狄克逊准则对数据进行筛选,从而提高误码率预测的精度.在小样本数据的情况下,采用Matlab建立基于改进的最小二乘支持向量机泥浆连续波数据传输模型.仿真结果表明该模型能够有效地避免陷入局部最优问题,具有较强的泛化能力和预测能力.通过与误差反传前馈(Back propagation,BP)和Elman神经网络预测模型对比可知,该模型预测精度更高,预测值更接近于实际值,可以用于泥浆连续波数据传输误码率预测.     

基于聚类过采样和自动编码器的网络入侵检测方法

近年来,随着互联网技术的不断发展,入侵检测在维护网络空间安全方面发挥着越来越重要的作用。但是,由于网络入侵行为的数据稀疏性,已有的检测方法对于海量流量数据的检测效果较差,模型准确率、F-measure等指标数值较低,并且高维数据处理的成本过高。为了解决这些问题,本文提出了一种基于稀疏异常样本数据场景下的新型深度神经网络入侵检测方法,该方法能够有效地识别不平衡数据集中的异常行为。本文首先使用k均值综合少数过采样方法来处理不平衡的流量数据,解决网络流量数据类别分布不平衡问题,平衡网络流量数据分布。再采用自动编码器来处理海量高维数据并训练检测模型,来提升海量高维流量中异常行为的检测精度,并在两个真实典型的入侵检测数据集上进行了大量的实验。实验结果表明,本文所提出的方法在两个真实典型数据集上的检测准确率分别为99.06%和99.16%, F-measure分别为99.15%和98.22%。相比于常用的欠采样和过采样方法, k均值综合少数过采样技术能够有效地解决网络流量数据类别分布不平衡的问题,提升模型对低频攻击行为的检测效果。同时,与已有的网络入侵检测方法相比,本文所提出的方法在准确率、F-m...     

基于单层神经网络的流程相似性的研究

业务流程建模推荐是辅助流程建模的主要方式之一,流程相似性是该方法的核心技术,直接影响流程推荐的准确率.流程相似性包括流程图结构相似性与行为相似性两方面,为了解决流程相似性量化困难,准确率低的问题,提出基于单层神经网络的流程相似度的量化方法.对构建基于行为的流程体系,建立业务流程、独立路径、流程节点之间的函数表达关系;使...     

基于极限学习离散过程神经网络的示功图识别

针对传统神经网络进行抽油机示功图识别诊断时受同步瞬时输入限制,不能有效体现连续输入信号的时间累积效应,诊断精度偏低的问题,提出一种极限学习离散过程元网络,模型内部通过三次样条数值积分处理离散样本和权值的时域的聚合运算．模型训练算法采用极限学习,将模型训练转化为最小二乘问题,通过利用Moore-Penrose广义逆和隐层输出权值矩阵来计算输出权值,提升模型学习速度．进行示功图识别时,直接将位移和载荷离散时间序列作为模型输入,对常见的5种示功图状态进行识别．实验结果表明,该方法具有较高的识别精度,同时相对于其它过程神经网络模型,学习速度较快．