基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。     

基于参数子空间和缩放因子的YOLO剪枝算法

为保证YOLO网络在嵌入式设备上正常运行,需采用剪枝算法精简滤波器以减小网络存储空间和计算量,而现有剪枝算法耗时较长且剪枝精度较低。提出一种基于参数子空间和批量归一化（BN）层缩放因子的双准则剪枝算法。将卷积层滤波器通过k均值聚类得到不同参数子空间,在子空间内使滤波器按权重排序并去除权重较低的滤波器,同时采用BN层缩放因子剪枝算法避免剪枝精度下降。实验结果表明,采用该算法剪枝后的YOLOv3网络在精度不变的情况下,占用的内存减少5/6且计算时间缩短1/3,与PF、CP等剪枝算法相比,该算法在保持较高网络精度的情况下计算量更少。     

基于免疫原理的模糊控制器优化设计与仿真

利用免疫进化算法,提出了一种新的模糊控制器优化设计方法。该方法以实数方式对模糊控制规则和隶属函数参数进行独立编码,分步联合优化,有效降低了待寻优参数的维数,提高了寻优的速度和精度。最后,通过对调压铸造压力控制系统的仿真表明了这种方法的有效性。     

基于翻译规则的统计机器翻译

扩展HMM模型可以解决词语对齐结果与句法约束冲突,从而更好地进行词语对齐。在短语对齐基础上利 用目标语言的短语结构树抽取翻译规则。采用扩展CYK算法CYKA+作为系统的解码器,该算法可以处理非乔姆 斯基范式的翻译规则;采用两轮解码算法在解码过程中整合语言模型。实验表明,与传统词语对齐模型相比,改进的 HMM词语对齐模型具有更高的对齐准确率,并且翻译结果的BLEU评测得分更高。采用翻译规则的系统在不同数 据集上具有更稳定的翻译结果。两轮解码算法与立方剪枝算法具有相近的解码质量,但前者解码速度更快。     

一种基于短语统计机器翻译的高效柱搜索解码器

描述了一种基于短语统计机器翻译的柱搜索解码器。搜索算法的效率是解码的关键，基于传统的柱搜索解码算法，提出了提高搜索效率的改进措施：动态剪枝策略改进了原来固定地剪枝对搜索当前情形反应不足的问题，提高了剪枝精度；预剪枝策略限制了较差的扩展，减少了不必要的扩展，提高了搜索速度；在研究了当前主要位置重排限制的基础上，提出了一种快速位置重排限制策略，加快了位置重排时的解码速度。此外，针对领域术语翻译唯一性问题提出了专门处理方法以提高翻译的准确度。分析对比实验结果，证明了算法的有效性。     

一种隐私保护关联规则挖掘的混合算法*

针对现有的隐私保护关联规则挖掘算法无法满足效率与精度之间较好的折中问题,提出了一种基于安全多方计算与随机干扰相结合的混合算法。算法基于半诚实模型,首先使用项集随机干扰矩阵对各个分布站点的数据进行变换和隐藏,然后提出一种方法恢复项集的全局支持数。由于采用的是对项集进行干扰,克服了传统方法由于独立地干扰每个项而破坏项之间相关性,导致恢复精度下降的缺陷。将小于阈值的项集进行剪枝,再使用安全多方计算在剪枝后的空间中精确找出全局频繁项集,进而生成全局关联规则。实验表明,该算法在保持隐私度的情况下,能够获得精度和效率之间较好的折中。     

免疫模糊控制算法在飞机防滑刹车系统中的应用研究

提出一种基于免疫进化原理的模糊控制优化算法,该方法利用免疫进化算法对模糊控制规则和隶属函数参数进行独立编码,分步联合优化,有效降低了待寻优参数的维数,提高了寻优的速度和精度;以某型飞机为例,针对不同的跑道(干、湿、冰)情况,将该控制方法在MATLAB环境下进行了数字仿真;仿真结果表明:基于免疫进化原理的模糊控制优化算法,在飞机的防滑刹车控制中,具有很好的刹车效果和较强的鲁棒性;采用基于免疫进化原理的模糊控制优化算法可以大大地提高飞机防滑刹车效率,为飞机防滑刹车系统的控制方法提供一条新的思路。     

基于改进的PSO算法的神经网络相关性剪枝优化*

针对传统的神经网络训练算法收敛速度慢、易陷入局部最优的问题,提出了一种基于改进的分期变异微粒群优化算法（SMPSO）的神经网络相关性剪枝优化方法。SMPSO在初期使适应度过低的微粒发生变异,在后期使停滞代数过高的个体极值和全局极值发生变异,后将SMPSO用于优化神经网络相关性剪枝算法。实验结果表明,该方法与采用BP算法及标准PSO算法进行相关性剪枝相比,在训练收敛速度、剪枝效率及分类正确率三方面都有较大提高。     

基于深度神经网络二阶信息的结构化剪枝算法

现有结构化剪枝算法通常运用深度神经网络（DNN）的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下,在ResNet110网络上的分类准确率提升了0.74%,剪枝效果优于PF、LCCL等经典剪枝算法。     

基于YOLOv5s剪枝模型的输电线路全景监测研究

随着人工智能技术的快速发展,基于深度学习的目标检测算法在诸多行业得到了应用。针对当前输电线路影像中典型障碍物目标识别对人工要求较高的问题,提出了基于YOLOv5模型剪枝的算法来对输电线路附近典型目标进行检测。首先,算法进行基础训练后得到一个检测精度和推理速度两种性能比较均衡的网络模型,再进行稀疏训练以获得参数较为稀疏的神经网络模型,最后,采取不同剪枝策略对网络进行修剪,达到压缩模型大小提高推理速度的目的。在自制数据集上使用多种算法进行对比试验,实验结果表明：相较于YOLOv4、CenterNet和SSD算法,所提算法在保持相对较高检测精度条件下提高了检测速度,能够满足实际需要。     

基于贝叶斯优化的无标签网络剪枝算法

针对深度神经网络（DNN）的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数（FLOPS）压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。     

针对锋电位的启发式阈值检测算法

作为植入式脑电信号处理的关键环节,锋电位检测的精确度将直接影响后续脑电信号的解码与分析.提出了一种基于启发式阈值的锋电位自动检测算法.通过对椭圆滤波器参数的优化,降低了原始信号中有用信号衰减程度,实现了较低幅值锋电位的有效保留.并且启发式阈值的设定大大降低了采集环境引入的混杂噪声干扰,实现了具有鲁棒性的锋电位自动阈值检...     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。     

基于非均匀感知策略的MLC闪存系统

面向多级单元（Multi-Level Cell,MLC）的LDPC码的最小和（Min-Sum,MS）译码算法译码性能取决于码字中每个比特对应的对数似然比（Log-Likelihood Ratio,LLR）的准确度,然而基于均匀感知策略的MLC电压读取方法需要提高感知精度才能获取精度高的LLR值,这将增加MLC闪存单元的读取时间. 针对这种情况,本文提出一种基于非均匀感知策略的MLC闪存MS译码算法,该算法对MLC闪存阈值电压的感知采用非均匀的感知策略. 在相同的感知精度下,相比于均匀感知策略,非均匀感知策略能够提高LLR的准确度,获得更低的原始比特错误率. 仿真结果表明,在MLC闪存信道条件下,该算法既可保证MLC闪存单元可靠性,而且保持较快的读取速度,从而实现了译码速度和译码性能间的良好折衷.     

利用优化剪枝GoogLeNet的人脸表情识别方法

为了提高人脸表情识别的准确率和加快处理速度,提出了一种基于优化剪枝GoogLeNet的人脸表情识别方法。利用GoogLeNet网络提取面部特征,其中Inception模块加深学习深度,并利用典型的分类器实现人脸表情分类。改进GoogLeNet网络,添加全局最大池化层并保留检测目标的位置信息,以Sigmoid交叉熵作为训练目标,获得全面的人脸表情特征信息。通过剪枝算法对GoogLeNet网络进行训练、修剪低权重连接和再训练网络等操作,以简化网络结构和参数量,提高运行效率。在JAFFE、CK+和Cohn-Kanade数据集上对所提方法进行验证,实验结果表明,所提方法的识别准确率分别为83.84%、85.09%和84.87%,运行时间低于200?ms,优于对比方法,具有较好的适用性。     

基于模型压缩的YOLOV3实时枪支识别方法

以枪支为代表的危险目标检测一直是安防领域的重要研究之一.针对当前人工通过监控视频检查枪支等危险物效率低且准确率易受检查人员工作时长影响的问题,提出了利用剪枝方法对YOLOV3模型做压缩的实时枪支检测方法.采用K-means++算法对图像样本进行锚定框Anchor大小聚类,以提高模型精度.利用"通道+层"剪枝方法将训练后...     

基于GoogLeNet模型的剪枝算法

GoogLeNet包含多个并行的卷积层和池化层,极具表现力,但也导致其参数数量冗余和计算量大,解决该问题的根本途径是将网络稀疏化.剪枝算法通过训练网络、修剪低权重连接和再训练网络三步操作,只保留卷积层和完全连接层中的强相关连接,实现简化网络结构和参数数量的效果,获得近似的网络模型,不影响网络后验概率估计的准确性,达到压缩效果.传统计算方式不适合非均匀稀疏数据结构,所提出的阈值剪枝算法设定合适的阈值,将原始GoogLeNet模型中将近1040万参数减少到65万,大约压缩了16倍.原始网络在进行剪枝处理后,准确率会有所降低,但经过少数次迭代,网络的准确率与原始模型不相上下,达到了压缩模型的效果,验证了阈值剪枝算法对改进GoogLeNet模型训练过程的有效性.