随机ADD算法的不确定网络优化研究

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢.加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率.但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证.基于此,提出了一种随机形式的ADD算法来解决该网络优化问题.理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值.实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级.     

栈式自编码的恶意代码分类算法研究

针对传统机器学习方法不能有效地提取恶意代码的潜在特征,提出了基于栈式自编码(Stacked Auto Encoder,SAE)的恶意代码分类算法。 其次,从大量训练样本中学习并提取恶意代码纹理图像特征、指令语句中的隐含特征;在此基础上,为提高特征选择对分类算法准确性的提高,将恶意代码纹理特征以及指令语句频度特征进行融合,训练栈式自编码器和softmax分类器。 实验结果表明：基于恶意代码纹理特征以及指令频度特征,利用栈式自编码分类算法对恶意代码具有较好的分类能力,其分类准确率高于传统浅层机器学习模型（随机森林,支持向量机）,相比随机森林的方法提高了2.474％ ,相比SVM的方法提高了1.235％。     

基于牛顿梯度优化的弹性多核学习

已有稀疏多核学习(MKL)模型在产生核函数权重稀疏解时容易导致信息丢失且泛化能力差,且基于梯度下降法的MKL在接近最优解时收敛速度慢.建立了基于支持向量机(SVM)的弹性多核学习(EMKL)模型并给出了一种基于牛顿梯度优化的EMKL(NO-EMKL).模型在MKL的目标函数中引入弹性项,并设计了基于二阶牛顿梯度下降法的优化算法.实验结果表明:算法不仅具有更好的分类精度,还具有较快的收敛速度.     

基于改进MobileNetV2的恶意代码分类方法

针对传统恶意代码分类方法存在的精度不足、预测时间成本高和抗混淆能力弱等问题，提出一种基于改进MobileNetV2的恶意代码分类方法。首先，针对恶意代码加密和混淆等问题，使用坐标注意力（CA）方法引入更大范围的空间位置来增强恶意代码图像的特征；然后，针对从头开始训练导致的训练成本过高的问题，使用迁移学习（TL）来改进MobileNetV2的学习方式以提升抗混淆能力；最后，针对传统深度学习网络计算量大和收敛慢的问题，使用MobileNetV2轻量化卷积网络模型，并结合Ranger21改进训练方式以促进网络迅速收敛。实验结果表明：上述方法对Malimg数据集和DataCon数据集的准确率分别达到了99.26%和96.98%。在malimg数据集相较于AlexNet方法在准确率上平均提升了1.49%，检测效率上平均提升了45.31%；在DataCon数据集相较于集成学习方法准确率平均提升了1.14%。可见，基于改进MobileNetV2的恶意代码分类方法可以提升模型的泛化能力、抗混淆能力与分类效率。     

基于卷积神经网络模型的手写数字辨识算法研究

针对目前基于卷积神经网络模型(CNN)手写数字辨识算法收敛速度慢、识别率低的问题,设计一种CNN网络模型。在模型训练时,改进模型学习率,使学习率指数可以动态衰减;使用Dropout正则化方法,提高模型的泛化能力;与批量随机梯度下降法、Momentum算法、Adagrad算法、RMSprop算法、Adam算法等参数优化方法作比较。实验结果表明:基于RMSprop或Adam的优化算法CNN模型在对MNIST数据集进行训练时,算法收敛速度快、测试集识别准确率为99.40%或99.70%。     

基于BiTCN-DLP的恶意代码分类方法

为应对不断升级的恶意代码变种,针对现有恶意代码分类方法对特征提取能力不足、分类准确率下降的问题,文章提出了基于双向时域卷积网络（Bidirectional Temporal Convolution Network,BiTCN）和池化融合（Double Layer Pooling,DLP）的恶意代码分类方法（BiTCN-DLP）。首先,该方法融合恶意代码操作码和字节码特征以展现不同细节；然后,构建Bi TCN模型充分利用特征的前后依赖关系,引入池化融合机制进一步挖掘恶意代码数据内部深层的依赖关系；最后,文章在Kaggle数据集上对模型进行验证,实验结果表明,基于Bi TCN-DLP的恶意代码分类准确率可达99.54%,且具有较快的收敛速度和较低的分类误差,同时,文章通过对比实验和消融实验证明了该模型的有效性。     

基于一维卷积神经网络的恶意代码家族多分类方法研究

为了提取有效的恶意代码特征,提高恶意代码家族多分类的准确率,提出一种改进模型.该模型将恶意代码的特征映射为灰度图,使用改进的恶意样本图像缩放算法进行图像的规范化处理,基于VGG模型构建一维卷积神经网络分类模型ID-CNN-IMIR.实验结果表明,恶意代码特征的提取和处理提升了分类效果;对比经典的机器学习算法、二维卷积神经网络、其他基于深度学习的恶意代码分类模型,ID-CNN-IMIR分类准确率是最好的,达到98.94％.     

双分支迭代的深度增量图像分类方法

针对深度增量学习可能产生灾难性遗忘的问题,提出双分支迭代的深度增量图像分类方法,使用主网络存储旧类知识,分支网络学习增量数据中的新类知识,并在增量过程中使用主网络的权重优化分支网络的参数.使用基于密度峰值聚类的方法从迭代数据集中筛选典型样本并构建保留集,并加入增量迭代训练中,减轻灾难性遗忘.实验表明,文中方法的性能较优.     

基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。     

基于半监督生成对抗网络的恶意代码家族分类实现

随着互联网的发展,恶意代码呈现海量化与多态化的趋势,恶意代码家族分类是网络空间安全面临的挑战之一。将半监督生成对抗网络与深度卷积学习网络相结合,构建半监督深度卷积生成对抗网络,提出了一种恶意代码家族分类模型,通过恶意代码家族特征分析,对恶意代码进行特征提取,转化为一维灰度图像;然后基于一维卷积神经网络1D-CNN,构建半监督生成对抗网络SGAN,形成恶意代码家族分类模型SGAN-CNN。从特征提取优化、半监督生成对抗训练算法优化等方面进行恶意代码家族分类能力提升。为了验证SGAN-CNN模型的分类效果,在Microsoft Malware Classification Challenge数据集上进行实验。5折交叉验证测试显示,本文提出的模型在样本标注标签占80%的情况下,分类的平均准确率达到98.81%;在样本标注标签仅有20%的情况下,分类的平均准确率达到98.01%,取得了较好的分类效果。在小样本数量情况下,也能取得不错的分类准确率。     

基于最大熵神经网络算法的柔性制造系统调度策略研究

为了解决传统神经网络BP梯度下降算法在解决柔性制造系统调度策略时易陷入局部最优的问题,在规则化神经网络结构的基础上,提出了一种基于最大熵的神经网络权值优化算法,利用神经网络隐层节点变量的条件概率,在计算寻优过程中,通过改变收敛算子求解熵函数的期望,进而迭代求解网络的最优权重向量,对比实验表明,相较BP梯度下降算法,采用最大熵权值调整算法,数据搜索空间范围大,能保证系统准确收敛到全局最优解,算法鲁棒性好,在实际的调度策略应用中,该算法能明显缩短整体生产任务的加工周期,达到提高企业生产效率的目的。     

基于IRBF神经网络在高压断路器故障诊断中的研究

提出一种基于免疫算法的改进学习算法（IRBY）。该算法将输入数据作为抗原,网络的隐层中心点作为抗体,运用免疫算法得到多样性的抗体记忆集合即为隐层网络的中心点,避免网络隐层中心点难求的问题．然后采用梯度下降法确定权值,用训练好的网络进行高压断路器机械故障诊断。仿真结果表明,该方法对高压断路器的机械振动信号的分析,有很好的应用价值。     

基于CNN-BiLSTM的恶意代码家族检测技术

近年来快速增加的恶意代码数量中大部分是由原有家族中通过变异产生,所以对恶意代码家族进行检测分类显得尤为重要。提出了一种基于CNN-BiLSTM网络的恶意代码家族检测方法,将恶意代码家族可执行文件直接转换为灰度图像,利用CNN-BiLSTM网络模型对图像数据集进行检测分类。此方法在避免计算机受到恶意代码伤害的同时全面高效地提取特征,结合CNN和BiLSTM的优点从局部和全局两个方面学习恶意代码家族的特征并实现分类。实验对4个恶意代码家族的4 418个样本进行识别,结果表明该模型相对于传统机器学习具有更高的准确率。     

带有微分项改进的自适应梯度下降优化算法

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■.最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.     

由点云数据重建的隐式曲面的可视化算法

针对由点云数据重建的隐式曲面提出一种新的基于粒子系统的可视化算法。首先,基于平行线束的初始化方法在隐式模型表面找到均匀分布的采样点,避免原来粒子系统中的分割-死亡过程;用共轭梯度法替代原来粒子系统中的梯度下降法作为优化算法,将每一个椭圆粒子累进移动到低能量状态,避免了较长的收敛时间和围绕最小值的摆动现象;用贪婪选择法选择能够覆盖整个曲面的且不产生空洞的活动子集;松弛过程进一步改善依赖曲率的各向异性粒子采样。本文的粒子专门为基于Splats的表示法而设计,可以直接转换为椭圆Splats而不需要任何改动。因此,本算法可以快速、高质量地绘制出复杂隐式曲面模型。     

基于PSO的BP神经网络学习算法

针对标准反向传播(BP)算法收敛速度慢和易陷入局部极值等缺陷,提出一种基于粒子群优化的BP神经网络学习算法。采用标准BP梯度下降法调整权值,利用粒子群优化算法进行网络权值及阈值的修正。将该算法与标准BP算法及传统基于粒子群优化BP网络算法进行仿真比较。实验结果表明,该算法能够克服标准BP算法的缺点,性能优于其他2个BP网络优化模型。     

一种自适应遗传BP神经网络模型研究及应用

如何更有效地提高神经网络的收敛速度和收敛质量。基于遗传算法的全局搜索和BP神经网络局部精确搜索的特性，提出一种自适应遗传BP神经网络模型，该模型的主要算法是先采用一种自适应遗传算法优化BP网络初始权重。而后再进行BP网络的训练过程。最后并研究如何利用该模型进行三级跳远成绩预测。实验结果表明该方法优于传统BP算法。有利于提高网络的收敛性以及学习能力，可在一定程度上提高三级跳远成绩预测的准确率，具有一定的实用价值。     

基于潜层向量对齐的持续零样本学习算法

在持续学习多任务过程中,持续零样本学习旨在积累已见类知识,并用于识别未见类样本.然而,在连续学习过程中容易产生灾难性遗忘,因此,文中提出基于潜层向量对齐的持续零样本学习算法.基于交叉分布对齐变分自编码器网络框架,将当前任务与已学任务的视觉潜层向量对齐,增大不同任务潜层空间的相似性.同时,结合选择性再训练方法,提高当前任务模型对已学任务判别能力.针对不同任务,采用已见类视觉-隐向量和未见类语义-隐向量训练独立的分类器,实现零样本图像分类.在4个标准数据集上的实验表明文中算法能有效实现持续零样本识别任务,缓解算法的灾难性遗忘.     

基于交叉验证的改进RBF分类器设计

本文提出了一种利用k均值聚类算法确定RBF神经网络径向基函数数目、函数中心及宽度,输出层权值由线性方程组确定,而网络参数的优化采用梯度下降法的网络设计方法.为了解决学习样本数据的有限性、RBF网络泛化能力较差和容易出现过拟合等问题,在网络训练中采用了基于交叉验证的归一化网络训练方法.通过仿真实验表明该方法训练所得的网络泛化能力及分类的准确率明显提高,并有效避免了过拟合问题.     

基于图持续学习的时序数据分析

随着可穿戴设备大规模进入生活, 基于动作传感器产生的时序数据来人体行为识别已成为该领域的研究热点. 然而目前的方法无法发现多个传感器数据在时空中相互作用的关系. 此外, 传统神经网络在学习新任务时, 由于学习的新任务参数会覆盖掉旧任务参数, 这会引起“灾难性遗忘”问题. 为解决这两个问题, 本文提出了一种基于图注意力网络与生成式回放持续学习机制融合方法的人体行为识别算法. 该算法通过卷积神经网络与图注意力网络提取时序特征, 使得模型能够同时关注时间与空间特征, 同时, 采用了基于生成式数据重放策略的情景记忆持续学习方法, 通过条件变分自编码器记忆历史数据分布来解决灾难性遗忘问题. 最后, 通过在多个公开数据集上与不同的基线算法对比, 实验结果表明本文所提算法可以在取得较高的准确率的同时, 缓解灾难性遗忘问题.