基于茫然传输协议的FATE联邦迁移学习方案

利用不同来源的数据参与机器学习模型的训练,能够使得训练出的模型的预测结果更加准确,然而大量的数据收集则会产生隐私方面的相关问题。FATE联邦迁移学习是一种基于同态加密的联邦学习框架,但FATE联邦迁移学习中同态加密计算复杂,收敛速度相对较慢,导致模型训练效率低。提出一种基于茫然传输协议的安全矩阵计算方案。通过实现矩阵加法和乘法及数乘的安全计算,完成参与两方交互下具有数据隐私保护特性机器学习模型的损失函数计算与梯度更新,并以此构造更高效的FATE联邦迁移学习算法方案。在此基础上,通过茫然传输扩展协议和通信批量处理,减少需要调用的茫然传输协议的数量,缩减通信轮数,从而降低茫然传输协议带来的通信消耗。性能分析结果表明,该方案的安全模型满足安全性和隐私保护性,并且具有一定的可扩展性,在局域网环境下,相比基于同态加密的方案,模型收敛的平均时间缩短约25%,并且随着数据样本特征维度的增加,该方案仍能保持稳定的收敛速度。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

安全多方计算及其在机器学习中的应用

随着人工智能、大数据等技术的发展,数据采集、数据分析等应用日渐普及,隐私泄露问题越来越严重.数据保护技术的缺乏限制了企业之间数据的互通,导致形成"数据孤岛".安全多方计算(securemultiparty computation,MPC)技术能够在不泄露明文的情况下实现多方参与的数据协同计算,实现安全的数据流通,达到数据"可用不可见".隐私保护机器学习是当前MPC技术最典型也是最受关注的应用与研究领域,MPC技术的应用可以保证在不泄露用户数据隐私和服务商模型参数隐私的情况下进行训练和推理.针对MPC及其在隐私保护机器学习领域的应用进行全面的分析与总结,首先介绍了MPC的安全模型和安全目标;梳理MPC基础技术的发展脉络,包括混淆电路、不经意传输、秘密分享和同态加密;并对MPC基础技术的优缺点进行分析,提出不同技术方案的适用场景;进一步对基于MPC技术实现的隐私保护机器学习方案进行了介绍与分析;最后进行总结和展望.     

基于纵向联邦学习的航班延误预测

针对传统的基于机器学习的航班延误预测模型存在隐私风险及数据信息共享不充分导致的数据孤岛问题，提出一种基于纵向联邦学习框架融合改进逻辑回归模型的方法。在不共享本地隐私数据的前提下，利用纵向联邦学习处理不同参与方拥有的垂直分区数据，利用Paillier同态加密技术对模型参数进行加密，解决模型重要参数泄露问题，建立安全的逻辑回归模型。将仿真结果与其它集中式模型范式进行比较，验证了联邦模型在二分类实验中既有效提高了预测准确率又保证了数据隐私安全。为民航相关部门制定战略性业务决策提供了安全有效的依据。     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

基于使用MapReduce并行的同态加密和梯度选择的联邦迁移学习算法

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个新的算法和框架,称之为联邦迁移学习(Federated Transfer Learning,FTL)。FTL在允许不损害用户隐私的情况下共享知识,并且也允许跨域传输互补知识,因此可以利用源域中丰富的标签,来为目标域建立一个灵活而有效的模型。在联邦迁移学习中,使用了同态加密算法来保证在传输知识时不泄露用户隐私,在提出的安全联邦迁移学习中,使用了并行方法来提升加密速度。在已有的知识基础上,结合了同态加密和Hadoop环境下MapReduce并行框架,提出了基于MapReduce并行同态加密的联邦迁移学习算法,并对该方案的安全性和正确性进行了理论的分析。论文还在联邦迁移学习中,引入了梯度选择算法Top-K,以此来减少通信开销。实验结果表明,基于MapReduce并行同态加密的联邦迁移学习算法,可以更加有效地减少数据加密的时间损耗,训练的准确率和明文训练达到同一水平。     

两方参与的隐私保护岭回归方案与应用

大数据环境下,同态加密可以有效解决机器学习中的隐私泄露问题.本文利用CKKS同态加密技术,设计了一种两方参与、基于密文域上带除法延迟的改进共轭梯度法的隐私保护岭回归方案,参与模型训练的双方可以通过少量的交互,在密文数据上高效地训练岭回归模型,防止过程中有隐私被泄露;分析了方案的安全性、计算以及通信复杂度,基于HEAAN同态加密库利用C++实现了该方案;在公开数据集上验证了该方案,实验证明所提方案可以安全高效地训练岭回归模型.对于特征维度为77,样本个数为4000的UCI数据集Twitter,训练模型所需迭代次数仅为16,时间损耗为127.5 s,通信量为41.87MB,密文域上带除法延迟的改进共轭梯度法收敛速度快,模型训练效率高,通信损耗小,且在密文数据上的训练得到的模型参数与在明文数据上的计算结果相比误差不超过0.001,可以满足特定场景下的实际应用需求.     

联邦学习及其安全与隐私保护研究综述

联邦学习(FL)是一种新兴的分布式机器学习技术,只需将数据留在本地即可通过各方协作训练一个共有模型,解决了传统机器学习中数据难以采集和隐私安全的问题。随着联邦学习技术的应用和发展,相关研究发现联邦学习仍可能受到各类攻击。为了确保联邦学习的安全性,研究联邦学习中的攻击方式及相应的隐私保护技术显得尤为重要。首先介绍了联邦学习的背景知识及相关定义,总结概括了联邦学习的发展历程及分类;接着阐述了联邦学习的安全三要素,从基于安全来源和基于安全三要素2个角度分类概述了联邦学习中的安全问题及研究进展;然后对隐私保护技术进行分类,结合相关研究应用综述了联邦学习中安全多方计算(SMC)、同态加密(HE)、差分隐私(DP)、可信执行环境(TEE)4种常用隐私保护技术;最后对联邦学习的未来研究方向进行展望。     

决策树隐私计算研究

为了应对信息时代隐私保护和数据挖掘两方面的要求，提出了一种基于函数秘密共享的决策树隐私计算协议。在机器学习即服务的模型下，服务提供商拥有训练好的决策树模型，用户拥有希望分类的数据，双方都想保护自己的数据不被泄漏。在这个场景下，该协议可以保护决策树的参数、分类数据以及最终分类结果的隐私。使用了基于函数秘密共享的分段函数协议、隐私比较协议、加性秘密共享等安全多方协议，在不影响正确率的情况下实现了隐私保护。     

多数据源下机器学习的隐私保护研究

在多数据源的情况下,隐私保护机器学习是一个具有重要现实意义的研究课题,直接影响着人工智能在现实社会中的发展和推广。目前,已有许多致力于解决机器学习算法中隐私问题的方案,文章阐述并分析了四种常见的隐私保护技术,它们包括同态加密、秘密共享、乱码电路和差分隐私。介绍了近年来一种流行的联合学习解决方案框架—联邦学习,并对其存在的不足进行了讨论。基于对现有技术和方案的分析,文章提出了一种适用于多数据源场景的隐私保护方案,方案具有良好的安全性、健壮性和可校验性三个特点。     

基于区块链的隐私保护去中心化联邦学习模型

传统的联邦学习依赖一个中央服务器,模型训练过程易受单点故障和节点恶意攻击的影响,明文传递的中间参数也可能被用来推断出数据中的隐私信息.提出了一种基于区块链的去中心化、安全、公平的联邦学习模型,利用同态加密技术保护协同训练方的中间参数隐私,通过选举的联邦学习委员会进行模型聚合和协同解密.解密过程通过秘密共享方案实现安全的密钥管理,利用双线性映射累加器为秘密份额提供正确性验证.引入信誉值作为评估参与方可靠性的指标,利用主观逻辑模型实现不信任增强的信誉计算作为联邦学习委员会的选举依据,信誉值作为激励机制的参考还可以保障参与公平性.模型信息和信誉值通过区块链实现数据的防篡改和不可抵赖.实验表明,模型在训练准确率相比中心化学习模型略有损失的情况下,能够保障在多方协作的环境下以去中心化的方式训练模型,有效实现了各参与方的隐私保护.     

机器学习隐私保护研究综述

机器学习已成为大数据、物联网和云计算等领域核心技术.机器学习模型训练需要大量数据,这些数据通常通过众包方式收集,里面含有大量隐私数据包括个人身份信息（如电话号码、身份证号等）、敏感信息（如金融财务、医疗健康等信息）.如何低成本且高效地保护这些数据是一个重要的问题.介绍了机器学习及其隐私定义和隐私威胁,重点对机器学习隐私保护主流技术的工作原理和突出特点进行了阐述,并分别按照差分隐私、同态加密和安全多方计算等机制对机器学习隐私保护领域的研究成果进行了综述.在此基础上,对比分析了机器学习不同隐私保护机制的主要优缺点.最后,对机器学习隐私保护的发展趋势进行展望,并提出了该领域未来可能的研究方向.     

基于共用密钥的高效多密钥同态加密方案研究

作为安全多方计算理想的实现方式之一，多密钥同态加密在抗量子攻击和便于构建安全多方计算方案上有显著优势。然而，现有的BGV型多密钥同态加密算法存在密钥计算复杂、密文尺寸大等问题。为此提出了一种使用单密钥同态加密方案构造多密钥同态加密方案，该方案将主要的运算部分用单密钥同态加密方案加密完成，在产生共用密钥和共同解密部分采用已有的多密钥同态加密完成。理论分析表明，该加密方案可以减小密钥尺寸，降低同态乘法复杂度，提高加密运算效率。     

一种基于MLWE的同态内积方案

同态内积在安全多方几何计算、隐私数据挖掘、外包计算、可排序的密文检索等场景有广泛的应用.但现有的同态内积计算方案大多是基于RLWE的全同态加密方案,普遍存在效率不高的问题.在柯程松等人提出的基于MLWE的低膨胀率加密算法基础上,提出了一种同态内积方案.首先给出了密文空间上的张量积运算⊗,该密文空间上的运算对应明文空间上的整数向量内积运算;然后分析了方案的正确性与安全性;最后给出了两种优化的加密参数,对应计算两种不同大小的整数向量同态内积的应用场景.通过C++与大整数计算库NTL实现了该方案.对比其他同态加密方案,该方案能够比较高效地计算整数向量的同态内积.     

基于内积加密的双向隐私保护医疗诊断云服务方案

部署于云平台的医疗诊断服务不仅推进了医疗资源的整合,还提高了病情诊断的精准性和高效性,但是该场景用户失去了对个人信息的掌控,对高度敏感的病理数据来说安全与隐私保护是实现基于云平台决断的前提.云端医疗数据的隐私保护可以通过差分隐私、安全多方计算和同态加密等密码学技术实现,避免泄露用户医疗大数据中的隐私信息.差分隐私中引入随机噪声会降低计算精度,安全多方计算技术面临昂贵的通信成本,同态加密需要花费较大的时间加密深度学习模型.本文基于内积加密技术提出一种实现双向隐私保护的医疗诊断云服务方案,不仅保护用户医疗大数据中的个人隐私,而且帮助模型开发方避免云端部署造成的模型信息泄漏风险,甚至能降低隐私保护技术对医疗诊断效率和准确率造成的影响.为了保障用户个人隐私,方案中用户上传密文形态的个人医疗数据到云端服务器,云服务器通过密文数据预测疾病的结果.该方案的疾病诊断服务由云服务器提供并维护,而疾病诊断服务的实现依赖于模型开发方部署到云端的模型.模型开发方使用自行的深度学习算法训练明文形式的数据集,并获得预训练模型,使之可以处理密文形式的数据.实验分析表明,所述模型能完成CRC-VAL-HE-7K数据集...     

基于同态加密的神经网络模型训练方法

针对云环境下数据隐私泄露与基于同态加密的隐私保护神经网络中精度不足的问题,文中提出了一种双服务器协作的隐私保护神经网络训练(PPNT)方案,在云服务器协同训练过程中实现了对数据传输、计算过程及模型参数的隐私保护。首先,为避免使用多项式近似方法实现指数和比较等非线性函数,并提高非线性函数的计算精度,基于Paillier半同态加密方案和加法秘密共享技术设计了一系列基础安全计算协议;其次,在已设计的安全计算协议基础上,构造了神经网络中的全连接层、激活层、Softmax层及反向传播相应的安全计算协议,以实现PPNT方案;最后,通过理论与安全性分析,证明了PPNT方案的正确性及安全性。性能实验结果显示,与PPMLaaS方案相比,PPNT方案的模型精度提高了1.7%,且在安全计算过程中支持客户端离线。     

云环境下集合隐私计算

多方保密计算是网络空间安全与隐私保护的关键技术,基于同态加密算法的多方保密计算协议是解决云计算安全的一个重要工具.集合隐私计算是多方保密计算的一个基本问题,具有广泛的应用.现有的集合隐私计算方案多是基于两方的情况,基于多方的方案较少,效率较低,且这些方案都不能扩展到云计算平台.本文首先设计了一种新的编码方案,根据新的编码方案和同态加密算法在云计算环境下构造了一个具有普遍适用性且抗合谋的保密计算集合并集问题解决方案.该方案中的同态加密算法既可以是加法同态又可以是乘法同态的加密算法.本文进一步利用哥德尔编码和ElGamal公钥加密算法构造了一种适用于云计算的高效集合并集计算方案.这些方案还可以对多个集合中的所有数据进行保密排序,并证明这些方案在半诚实模型下是安全的.本文中的方案经过简单改造,也可以保密地计算多个集合的交集.     

联邦学习研究综述

联邦学习由于能够在多方数据源聚合的场景下协同训练全局最优模型,近年来迅速成为安全机器学习领域的研究热点。首先,归纳了联邦学习定义、算法原理和分类;接着,深入分析了其面临的主要威胁与挑战;然后,重点对通信效率、隐私安全、信任与激励机制3个方向的典型研究方案对比分析,指出其优缺点;最后,结合边缘计算、区块链、5G等新兴技术对联邦学习的应用前景及研究热点进行展望。     

基于同态加密的云环境障碍最短路径导航的隐私保护算法

针对基于位置服务(LBS)中外包计算最短路径可能泄露用户隐私的问题,基于同态加密和安全多方计算,提出了一个基于同态加密的云环境障碍最短路径导航的隐私保护算法,为用户和数据所有者提供隐私保护.在该算法中,使用安全多方计算解决两种不同条件下计算道路中有无障碍物的最短路径隐私问题,并基于同态加密提出了有障碍物查询和无障碍物查询两个协议.最后,依照上述协议在理论和实践两个方面证明了所提出框架的有效性.     

基于安全多方计算的多候选人电子投票方案

多候选人的电子投票方案在很多实际选举场景中有重要的应用价值.全隐私性是安全电子投票方案关注的一个重要性质,是指对选民和候选人的隐私保护.本文基于安全多方计算提出了一个多选多的电子投票方案.此方案将选民的投票意见映射为数组的形式,结合ElGamal同态加密系统,在半诚实模型下由选民和候选人通过交互计算输出选举结果,实现了...