能耗优化的神经网络轻量化方法研究进展

近年来，神经网络在语音识别、计算机视觉、自然语言处理等领域都取得了良好的进展.大量的神经网络被部署于诸如手机、摄像头等依赖电池或太阳能供电的小型设备.但神经网络参数量大计算复杂，需占用大量计算资源并消耗电能，从而限制了其在资源受限平台上的应用.学术界和工业界逐渐关注于神经网络的高能耗问题.神经网络轻量化方法可以有效地减少参数数量、降低参数精度或优化计算过程从而降低神经网络能耗.本文从能耗优化的角度梳理了神经网络能耗估算方法和神经网络轻量化方法的基本思路，综述了近年来该领域主要研究成果，并提出了能耗估算和能耗优化的神经网络轻量化方法存在的挑战及进一步研究的方向.其中神经网络能耗估算方法包括测量法、分析法和估算法.能耗优化的神经网络轻量化方法包括剪枝、量化、张量分解和知识蒸馏.对于进一步研究方向我们认为，首先需要建立可自适应网络类型的能耗模型；然后需要考虑平衡精度和能耗的轻量化方法.其次需要实现硬件平台可泛化的轻量化方法；最后开发搜索空间可约束的轻量化方法.     

CDBN‑IKELM的轴承变工况故障诊断方法

针对现有方法在轴承变工况方面存在的诊断精度低、人工提取特征不充分等问题，提出了基于卷积深度置信网络（convolutional deep belief network，简称CDBN）与改进核极限学习机 （improved Kernel?based extreme learning machine，简称IKELM）的滚动轴承故障智能识别方法。首先，由卷积深度置信网络对原始信号内的故障特征进行深层自适应提取；其次，利用等距特征映射对提取的多维特征进行降维，去除冗余特征信息；然后，采用改进的核极限学习机对特征进行分类，使用粒子群（particle swarm optimization， 简称PSO）对模型重要参数进行优化，实现滚动轴承变工况下的故障识别；最后，将所提方法应用于不同工况下多种轴承故障的诊断。实验结果表明，该方法能够智能有效地识别变工况的轴承故障，诊断结果优于已有的智能故障诊断方法。     

基于VMD和改进TCN的短期光伏发电功率预测

光伏发电功率存在波动性,且光伏出力易受各种气象特征影响,传统TCN网络容易过度强化空间特性而弱化个体特性。针对上述问题,文中提出一种基于VMD和改进TCN的短期光伏发电功率预测模型。通过VMD将原始光伏发电功率时间序列分解为若干不同频率的模态分量,将各个模态分量以及相对应的气象数据输入至改进TCN网络进行建模学习。利用中心频率法确定VMD的最优分解模态分解个数。在传统TCN预测模型的基础上,使用DropBlock正则化取代Dropout正则化以达到抑制卷积层中信息协同的效果,并引入注意力机制自主挖掘并突出关键气象输入特征的影响,量化各气象因素对光伏发电的影响,从而提高预测精度。以江苏省某光伏电站真实数据为例进行仿真实验,结果表明所提预测方法的RMSE为0.62 MW,MAPE为2.03%。     

基于卷积神经网络的5G蜂窝网络无线定位方法

5G蜂窝网络发展迅猛，其覆盖面积将逐渐增大，因此使用5G蜂窝网络进行定位是有研究潜力的研究方向。本文提出一种新的深度学习技术来实现高效、高精度和低占用的定位，以代替传统指纹定位过程中繁重的指纹库生成以及距离计算。该方法建立了一个特殊的卷积神经网络，并根据5G天线信号的接收信号强度指示、相位和到达角等特征量，选择合适的输入数据格式构造样本组建训练集，对该卷积神经网络进行训练。训练得到的卷积神经网络可以替代指纹定位中的庞大指纹库，非常有利于直接在5G移动设备端实现定位。虽然卷积神经网络在训练过程中需要大量时间，但在训练完毕后直接进行分类定位的速度非常快，可以保障定位实现的实时性。本文所实现的卷积神经网络权重与偏置所占内存不到0.5 MB，且能够在实际应用环境中以95%的定位准确率以及0.1 m的平均定位精度实现高精度定位。     

基于RGB颜色信息聚类的光谱反射率重建

针对光谱反射率研究中因训练样本数据量大造成的冗杂等问题，提出了一种基于RGB信息进行聚类的样本分类方法。首先对颜色进行聚类并确定聚类个数，后对每一类光谱反射率使用BP神经网络分别进行重建。对于实验结果，使用ΔE₀₀、均方根误差（RMSE）以及适应度系数等标准进行评价，同时与主成分分析算法进行对比。从实验分析可得出，在聚类数目为7时光谱反射率重建效果最好，这时的平均CIE2000的色差为0.836，平均RMSE为0.0149，平均适应度系数为99.82%，并且，在最后对重建色差较大的色块进行了优化处理。实验证明，颜色聚类方法可以很好的应用于光谱反射率重建。     

基于神经网络的谣言检测综述

由于传播媒介的多样化,信息数据量呈爆炸式增长,从海量的事件信息中检测到谣言变得十分困难。为了减少人工成本,提高谣言检测准确率,深度学习中的神经网络模型被用到谣言检测任务中。首先文章对多种基于神经网络的谣言检测方法进行了介绍,分析了多种神经网络谣言检测模型的检测过程,以及多种神经网络模型在谣言检测过程中的判断依据及其特征提取效果,然后对现有的谣言检测模型结构进行了归纳,总结了使用神经网络检测谣言的模块化流程,最后对谣言检测的方法提出了建议。     

结合结构学习的多头密集连接图池化模型

目的:利用图神经网络，构建带有结构学习的多头密集连接图池化模型并用于图分类任务。方法:首先，用图卷积神经网络提取节点的初始特征。其次，用多头密集连接网络学习节点重要性得分，并根据得分进行节点采样得到池化图。之后，对池化图中的节点进行结构学习，以保证图结构的完整性。最后，将学到的图表示放到分类器中，完成图分类任务。结果:与其他图分类模型在七个广泛使用的数据集上进行实验对比，我们构建的模型在五个数据集上的分类结果达到最优。结论:结合结构学习的多头密集连接图池化模型在图分类任务中具有先进性。