基于博弈论优化的高效联邦学习方案

随着网络信息技术与互联网的发展,数据的隐私与安全问题亟待解决,联邦学习作为一种新型的分布式隐私保护机器学习技术应运而生。针对在联邦学习过程中存在个人数据信息泄露的隐私安全问题,结合Micali-Rabin随机向量表示技术,基于博弈论提出一种具有隐私保护的高效联邦学习方案。根据博弈论激励机制,构建联邦学习博弈模型,通过设置合适的效用函数和激励机制保证参与者的合理行为偏好,同时结合Micali-Rabin随机向量表示技术设计高效联邦学习方案。基于Pedersen承诺机制实现高效联邦学习的隐私保护,以保证联邦学习各参与者的利益和数据隐私,并且全局达到帕累托最优状态。在数字分类数据集上的实验结果表明,该方案不仅提高联邦学习的通信效率,而且在通信开销和数据精确度之间实现平衡。     

基于联邦学习和深度残差网络的入侵检测

深度学习被广泛应用到入侵检测领域,但大多数研究的重点是通过改进算法提高入侵检测的准确率,却忽视了在实际应用中单个用户拥有的数据无法满足训练需求的问题。为了实现网络入侵检测模型在训练过程中保护用户隐私安全的同时,仍具有对网络流量数据检测异常的能力,提出一种基于联邦学习并融合深度残差网络（ResNet）和注意力机制的入侵检测模型FL-SEResNet(Federation Learning Squeeze-and-Excitation network ResNet)。在训练过程中,通过对数据压缩、解压、分发、加密和聚合等操作,可以在保护参与者数据隐私的同时,通过多方参与提供足够的训练数据。在NSL-KDD和UNSW-NB15数据集上,所提模型在多分类实验的识别准确率分别为84.22%和80.38%。在NSL-KDD上,与同属于联邦学习的CNN-FL相比,对多分类的识别准确率提升了1.82个百分点,对少数类R2L(Remote to Local)的识别准确率提升了24.94个百分点。     

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型,保证数据留在客户端本地,从而保护用户隐私.由于参与训练的设备数目庞大,存在数据非独立同分布和通信带宽受限的情况.因此,降低通信成本是联邦学习的重要研究方向.梯度压缩是提升联邦学习通信效率的有效方法,然而目前常用的梯度压缩方法大多针对独立同分布的数据,未考虑联邦学习的特性.针对数据非独立同分布的联邦场景,本文提出了基于投影的稀疏三元压缩算法,通过在客户端和服务端进行梯度压缩,降低通信成本,并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响.实验结果表明,本文提出的算法不仅提升了通信效率,而且在收敛速度和准确率上均优于现有的梯度压缩算法.     

联邦学习综述：概念、技术、应用与挑战

在强调数据确权以及隐私保护的时代背景下,联邦学习作为一种新的机器学习范式,能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前,基于联邦学习的建模方法已成为主流并且获得了很好的效果,因此对联邦学习的概念、技术、应用和挑战进行总结与分析具有重要的意义。首先,阐述了机器学习的发展历程以及联邦学习出现的必然性,并给出联邦学习的定义与分类;其次,介绍并分析了目前业界认可的三种联邦学习方法：横向联邦学习、纵向联邦学习和联邦迁移学习;然后,针对联邦学习的隐私保护问题,归纳并总结了目前常见的隐私保护技术;此外,还对联邦学习的现有主流开源框架进行了介绍与对比,同时给出了联邦学习的应用场景;最后,展望了联邦学习所面临的挑战和未来的研究方向。     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

一种隐私保护的联邦学习框架

大数据时代,数据安全性和隐私性受到越来越多的关注和重视。联邦学习被视为是一种隐私保护的可行技术,允许从去中心化的数据中训练深度模型。针对电力投资系统中各部门因担心数据隐私信息泄露而带来的数据孤岛和隐私保护问题,提出了一种隐私保护的联邦学习框架,允许各部门自有数据在不出本地的情况下,联合训练模型。首先,提出了联邦学习的架构,支持分布式地训练模型;其次,引入同态加密技术,提出了隐私保护的联邦平均学习流程,在数据隐私保护的情况下,实现联合训练模型;最后,实验结果表明,该框架具有较好的收敛性,而且联合训练得到的模型具有较好的精度。     

基于联邦学习的轻量级医疗影像辅助诊断系统设计与实现

基于深度学习的医疗影像辅助系统在辅助疾病诊疗方面具有较高的应用价值,但在应用过程中仍面临诸多挑战。由于医学数据的独特性,数据孤岛问题导致的数据源不足和标签缺乏制约着人工智能赋能疾病诊疗。联邦学习可以在保护数据安全和隐私的前提下有效地进行数据共享,从而发挥多中心数据的最大价值。文章设计并实现了一个基于联邦学习的轻量级医疗影像辅助诊断系统,使用改进的轻量级RetinaNet算法模型识别医疗图像,构建一个安全、高效、可扩展、轻量级的分布式医疗辅助诊断平台。     

基于隐私保护联邦学习与区块链的图像分类方案

传统的中心化图像分类方法受制于数据隐私问题和计算资源限制,无法满足实际需求。现有的联邦学习框架依赖中心服务器,存在单点故障和数据中毒攻击等安全挑战。为解决这些问题,提出了一种面向隐私保护联邦学习与区块链的图像分类方案,通过将联邦学习与区块链技术相结合,实现在分布式环境下进行图像分类任务的可靠性和安全性。图像分类模型通过联邦学习进行训练,并上传至区块链网络进行验证和共识;在分类阶段,模型通过加权组合得到最终分类结果。实验结果表明,该方案在确保用户隐私的同时提高了图像分类的准确度,本方法为解决图像分类中的数据隐私和安全问题提供了一种有效途径,并为提高分类准确性作出了积极探索。     

基于ResNet和注意力机制的花卉识别

花卉识别在生活中有重要的应用价值,传统的花卉识别方法存在识别准确率低、泛化能力较弱等问题。针对这些问题,本文提出一种加入注意力机制的ResNet34网络模型,在ResNet34第一层卷积层和各残差块后加入通道注意力机制、空间注意力机制,并使用迁移学习训练网络模型。实验表明,在花卉数据集上ResNet34比AlexNet、VGG-16、GoogLeNet识别准确率更高,加入注意力机制并使用迁移学习的ResNet34模型的识别准确率比原模型提高了6.1个百分点,比仅使用迁移学习的原模型提高了1.1个百分点。与传统深度学习模型相比,本文提出的模型显著地提高了识别准确率。     

医学影像疾病诊断的残差神经网络优化算法研究进展

残差神经网络（residual neural network,ResNet）及其优化是深度学习研究的热点之一,在医学图像领域应用广泛,在肿瘤、心脑血管和神经系统疾病等重大疾病的临床诊断、分期、转移、治疗决策和靶区勾画方面取得良好效果。本文对残差神经网络的学习优化进行了总结：阐述了残差神经网络学习算法优化,从激活函数、损失函数、参数优化算法、学习衰减率、归一化和正则化技术等6方面进行总结,其中激活函数的改进方法主要有Sigmoid、tanh、ReLU、PReLU（parameteric ReLU）、随机化ReLU（randomized leaky ReLU,RReLU）、ELU（exponential linear units）、Softplus函数、NoisySoftplus函数以及Maxout共9种;损失函数主要有交叉熵损失、均方损失、欧氏距离损失、对比损失、合页损失、Softmax-Loss、L-Softmax Loss、A-Softmax Loss、L2 Softmax Loss、Cosine Loss、Center Loss和焦点损失共12种;学习率衰减总结了8种,即分段常数衰减、多项式衰减、指数衰减、反时限衰减、自然指数衰减、余弦衰减、线性余弦衰减和噪声线性余弦衰减;归一化算法有批量归一化和提出批量重归一化算法;正则化方法主要有增加输入数据、数据增强、早停法、L1正则化、L2正则化、Dropout和Dropout Connect共7种。综述了残差网络模型在医学图像疾病诊断中的应用研究,梳理了残差神经网络在肺部肿瘤、皮肤疾病、乳腺癌、大脑疾病、糖尿病和血液病等6种疾病诊断中的应用研究;对深度学习在医学图像未来发展进行了总结和展望。     

基于残差网络的血管内超声图像识别

为提高血管内超声(Intravenous Ultrasound,IVUS)图像在动脉粥样硬化识别准确率,实现更高效的计算机辅助诊断,提出综合使用图像增强、特征提取和基于批量归一化(Batch Normalization,BN)优化残差网络的血管内超声图像识别方法。使用Sobel算子在原图像水平和垂直方向进行边缘检测,在此基础上获得锐化增强图像,结合使用灰度共生矩阵提取纹理特征信息;为丰富网络的特征信息,防止梯度消失,使用残差学习对卷积神经网络进行改进。批量归一化通过拟合数据特征分布减少内部协变量转移加速网络收敛。实验结果表明上述方法相比较传统机器学习与改进前的卷积神经网络识别错误率平均降低了58.23%。     

基于双注意力模型和迁移学习的Apex帧微表情识别

微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用“留一交叉验证法”进行实验,结果表明本文方法相比一些现有的方法识别准确率及 ${F_1}$ 值更高。     

Classification and recognition of computed tomography images using image reconstruction and information fusion methods

In this paper, we propose a diagnosis and classification method of hydrocephalus computed tomography (CT) images using deep learning and image reconstruction methods. The proposed method constructs pathological features differing from the other healthy tissues. This method tries to improve the accuracy of pathological images identification and diagnosis. Identification of pathological features from CT images is an essential subject for the diagnosis and treatment of diseases. However, it is difficult to accurately distinguish pathological features owing to the variability of appearances, fuzzy boundaries, heterogeneous densities, shapes and sizes of lesions, etc. Some study results reported that the ResNet network has a better classification and diagnosis performance than other methods, and it has broad application prospectives in the identification of CT images. We use an improved ResNet network as a classification model with our proposed image reconstruction and information fusion methods. First, we evaluate a classification experiment using the hydrocephalus CT image datasets. Through the comparative experiments, we found that gradient features play an important role in the classification of hydrocephalus CT images. The classification effect of CT images with small information entropy is excellent in the evaluation of hydrocephalus CT images. A reconstructed image containing two channels of gradient features and one channel of LBP features is very effective in classification. Second, we apply our proposed method in classification experiments on CT images of colonography polyps for an evaluation. The experimental results have consistency with the hydrocephalus classification evaluation. It shows that the method is universal and suitable for classification of CT images in these two applications for the diagnosis of diseases. The original features of CT images are not ideal characteristics in classification, and the reconstructed image and information fusion methods have a great effect on CT images classification for pathological diagnosis.

     

乳腺超声双模态数据的协同约束网络

目的 通过深度学习对乳腺癌早期的正确诊断能大幅提高患者生存率。现阶段大部分研究者仅采用B型超声图像作为实验数据,但是B型超声自身的局限性导致分类效果难以提升。针对该问题,提出了一种综合利用B型超声和超声造影视频来提高分类精度的网络模型。方法 针对B型超声图像及造影视频双模态数据的特性设计了一个双分支模型架构。针对传统提取视频特征中仅使用单标签的不足,制定了病理多标签预训练。并设计了一种新的双线性协同机制,能更好地融合B型超声和超声造影的特征,提取其中的病理信息并抑制无关噪声。结果 为了验证提出方法的有效性,本文设计了3个实验,前两个实验分别对B型超声和超声造影进行预训练。在造影分支,使用根据医学领域设计的病理多标签进行预训练。最后,采用前两个实验的预训练模型进行第3个实验,相比单独使用B型超声图像精度提升6.5%,比单用超声造影视频精度提高7.9%。同时,在使用双模态数据里,本文方法取得了最高精度,相比排名第2的成绩提高了2.7%。结论 本文提出的协同约束网络,能对不同模态的数据进行不同处理,以提取出其中的病理特征。一方面,多模态数据确实能从不同角度展示同一个病灶区,为分类模型提供更多的病理特征,进而提高模型的分类精度。另一方面,合适的融合方式也至关重要,能最大程度地利用特征并抑制噪声。     

基于ConA-FPN的肝脏肿瘤检测算法

深度学习方法在病灶检测任务中被广泛应用,但因肝脏肿瘤较小和样本较少的问题,导致无法达到辅助诊断的准确率要求。针对以上问题,提出基于ConA-FPN的肝脏肿瘤检测算法,具体过程为：使用融合ResNet和注意力机制的特征金字塔替换Faster R-CNN中的特征提取网络;使用融合特征解决特征金字塔中的高层模块通道信息损失问题,通过添加CAG注意力机制解决了特征融合带来的特征混叠问题,增强模型对小肿瘤的检测能力;使用迁移学习和数据增强提升模型在小数据集上的检测能力和泛化能力。实验结果表明,ConA-FPN在LITS2017和3D-IRCADB上的平均精度达到87.43%,明显优于主流检测模型。     

基于改进残差学习的东巴象形文字识别

基于深度学习模型的东巴象形文字识别效果明显优于传统算法,但目前仍存在识别字数少、识别准确率低等问题.为此本文建立了包含1387个东巴象形文字、图片总量达到22万余张的数据集,大幅度增加了可识别字数,并辅助提高了东巴象形文字的识别准确率.同时,本文根据东巴象形文字相似度高、手写随意性大的特点,选择ResNet模型作为改进...     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

融合迁移学习的AlexNet神经网络不锈钢焊缝缺陷分类

针对不锈钢焊缝缺陷特征提取存在主观单一性和客观不充分性等问题,提出一种融合迁移学习的AlexNet卷积神经网络模型,用于不锈钢焊缝缺陷的自动分类。首先,由于不锈钢焊缝缺陷数据较为缺乏,通过采用迁移学习对网络前3层冻结,减少网络对输入数据量的要求;对后2层卷积层提取的特征信息批量归一化(batch normalization, BN),以加快网络的收敛速度;并使用带泄露线性整流(leaky rectified linear unit, LeakyReLU)函数对抑制神经元进行激活,从而提高模型的鲁棒性和特征提取能力。结果表明,该模型最终达到了95.12%的准确率, 相比原结构识别精度提高了9.8%。验证了改进后方法能够对裂纹、气孔、夹渣、未熔合和未焊透5类不锈钢焊缝缺陷实现高精度分类。相比现有方法,其识别面更广,精度更高,具有一定的工程实践意义。