基于使用MapReduce并行的同态加密和梯度选择的联邦迁移学习算法

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个新的算法和框架,称之为联邦迁移学习(Federated Transfer Learning,FTL)。FTL在允许不损害用户隐私的情况下共享知识,并且也允许跨域传输互补知识,因此可以利用源域中丰富的标签,来为目标域建立一个灵活而有效的模型。在联邦迁移学习中,使用了同态加密算法来保证在传输知识时不泄露用户隐私,在提出的安全联邦迁移学习中,使用了并行方法来提升加密速度。在已有的知识基础上,结合了同态加密和Hadoop环境下MapReduce并行框架,提出了基于MapReduce并行同态加密的联邦迁移学习算法,并对该方案的安全性和正确性进行了理论的分析。论文还在联邦迁移学习中,引入了梯度选择算法Top-K,以此来减少通信开销。实验结果表明,基于MapReduce并行同态加密的联邦迁移学习算法,可以更加有效地减少数据加密的时间损耗,训练的准确率和明文训练达到同一水平。     

面向混合云的可并行多关键词Top-k密文检索技术

随着云计算技术的迅猛发展,越来越多的企业和个人青睐使用私有云和公有云相结合的混合云环境,用于外包存储和管理其私有数据。为了保护外包数据的私密性,数据加密是一种常用的隐私保护手段,但这同时也使得针对加密数据的搜索成为一个具有挑战性的问题。文中提出了面向混合云的可并行的多关键词Top-k密文检索方案。该方案通过对文档、关键词分组进行向量化处理,并引入对称加密和同态矩阵加密机制,保护外包数据的私密性,同时支持多关键词密文检索;通过引入MapReduce计算模式,使得公有云和私有云合作完成的密文检索过程能够按照并行化方式执行,从而能够支持针对大规模加密数据的并行化检索。安全分析和实验结果表明,提出的检索方案能够保护外包数据的隐私,且其检索效率优于现有的同类方案。     

基于MapReduce的并行混合混沌加密方案

为了解决云环境中大数据量加密速度慢的问题,针对云计算环境中多节点的特点,结合混沌加密和MapReduce并行框架,提出一种并行混合混沌加密方案.通过对明文数据进行分组,在分组加密初始化时,混合三维Lorenz混沌系统和Chen混沌系统产生用于加密混沌系统的初值和干扰值,在加密过程中再次混合Henon映射和2D Logistic混沌映射,通过产生的混沌序列和干扰值对明文进行加密.实验结果表明,基于MapReduce的并行混合混沌加密技术能够在96个核的集群中提升360％的加密速度,减少81.2％的加密时间.     

用于Hadoop平台的混沌加密研究与实现

为解决传统单机模式串行加密方法存在的不足,设计了一种基于Hadoop平台的混沌加密算法的运行方案。该方案运用MapReduce并行框架和混沌加密伪随机数以及初值敏感的原理,提出一种针对MapReduce框架和混沌加密优化的并行混沌加密方案,即用明文长度作为初值,分别对Chen、Lorenz、Rossler三种超混沌系统进行初始迭代,同时提出对明文数据按1 MB进行分块的设计理念,通过根据偏移量,判断每个分块生成长度为1 MB的Chen、Lorenz、Rossler三个密钥序列的方法,达到提升数据密度安全性、减少运行内存占有量等目的。该设计框架中,Chen序列用于明文置乱操作,Lorenz序列用于异或的扩散操作,Rossler序列用于取模的辅助扩散操作。实验证明,针对MapReduce并行框架特性和混沌系统特性的优化算法,在有效减小内存占用量、提高加密速度的同时,明文关联的加密操作达到了有效防御选择明文攻击的目的。     

基于MapReduce并行化计算的大数据聚类算法

面对大数据规模庞大且计算复杂等问题,基于MapReduce框架采用两阶段渐进式的聚类思想,提出了改进的K-means并行化计算的大数据聚类方法。第一阶段,该算法通过Canopy算法初始化划分聚类中心,从而迅速获取粗精度的聚类中心点;第二阶段,基于MapReduce框架提出了并行化计算方案,使每个数据点围绕其邻近的Canopy中心进行细化的聚类或合并,从而对大数据实现快速、准确地聚类分析。在MapReduce并行框架上进行算法验证,实验结果表明,所提算法能够有效地提升并行计算效率,减少计算时间,并提升大数据的聚类精度。     

适于进化算法的迭代式MapReduce框架

MapReduce模块化的编程大大降低了分布式算法的实现难度,但同时也限制了它的应用范围。介绍了MapReduce的基本结构及其实现迭代算法的缺陷,并针对基于MapReduce进化算法效率低下的问题,在对MapReduce的计算框架进行研究的基础上提出了一种适用于进化算法的迭代式MapReduce计算框架。描述了迭代式MapReduce计算框架的实现需求及其具体实现,提出并证明了异常机制的可行性,且在公有的Hadoop云计算平台上对提出的框架进行了验证。实验结果表明,基于迭代式MapReduce计算框架的并行遗传算法在算法的加速比上与基于MapReduce的并行遗传算法相比有较大的提高。     

同态加密的硬件卸载及其在隐私保护计算中的应用

同态加密可以满足计算外包、数据共享、数据交易等应用对隐私保护计算的需要,但是同态加密的高计算开销限制了它在实际生产中的应用.本文从硬件卸载的角度解决同态加密的高性能计算问题,基于Intel QAT加速卡实现了一个半同态加密的高性能异步卸载框架QHCS. QHCS通过重构同态加密应用的软件栈来实现高效的异步卸载,并通过引入协程机制、批量加密技术等实现加密性能的最大化.本文同时给出了偏好不同性能指标(吞吐量、延迟)的两种卸载方案.进一步地,在由GPU及QAT组成的异构计算系统中,利用QHCS完整地实现了一个隐私保护的线性回归应用.实验结果表明,QHCS的吞吐量是目前软件实现的110倍,在百万量级的高维数据上实施隐私保护的线性回归计算只需十几分钟,可以较好地满足实际应用的需要.     

基于同态加密的隐私保护逻辑回归协同计算

随着数据交易市场的建立和规范化，多方协同进行机器学习建模成为新需求。联邦学习允许多个数据拥有方联合训练一个机器学习模型，适用于模型共建共用场景，但现有联邦学习计算框架无法适用于数据拥有方和模型需求方诉求不同、模型共建不共用的场景。提出一种不依赖于第三方计算平台且基于同态加密的隐私保护逻辑回归协同计算方案，包括由数据拥有方、模型需求方和密钥生成者构成的多方协同计算框架，以及基于该框架的多方交互协同计算流程，在不泄露模型信息及各方数据隐私的前提下协作完成模型训练任务，通过建立攻击模型分析协同计算方案的安全性。基于先进的浮点数全同态加密方案CKKS在小型计算机集群上实现协同计算的原型系统，并对原型系统进行计算和通信优化，包括提前终止训练和将密文同态运算卸载到GPU上提高计算效率。实验结果表明，计算优化措施获得了约50倍的速度提升，协同计算原型系统在中小规模的数据集上可满足实用性要求。     

针对全同态加密体制的反馈攻击

全同态加密体制能够在不解密的条件下对密文进行任意的函数运算,是解决云计算中数据隐私保护难题的关键技术。构造全同态加密方案的核心是有效控制密文同态运算中的噪声增长,稀疏子集和问题是实现该目标所需的基本困难性问题。针对基于该问题困难性的全同态加密方案,提出一种改进的反馈攻击方法,使攻击者可以对公钥中的部分数据进行特定计算,通过访问解密谕示得到完整的私钥。分析结果表明,该方法能够充分利用预计算提高攻击效率,对基于稀疏子集和问题的全同态加密方案具有良好的适用性。     

针对全同态加密体制的反愤攻击

全同态加密体制能够在不解密的条件下对密文进行任意的函数运算,是解决云计算中数据隐私保护难题的关键技术。构造全同态加密方案的核心是有效控制密文同态运算中的噪声增长,稀疏子集和问题是实现该目标所需的基本困难性问题。针对基于该问题困难性的全同态加密方案,提出一种改进的反馈攻击方法,使攻击者可以对公钥中的部分数据进行特定计算,通过访问解密谕示得到完整的私钥。分析结果表明,该方法能够充分利用预计算提高攻击效率,对基于稀疏子集和问题的全同态加密方案具有良好的适用性。     

基于云计算模型的分数阶超混沌加密算法

针对大数据安全以及混沌加密安全性等问题,提出了一种基于云计算模型的分数阶超混沌系统的加密算法。首先选取了两个分数阶超混沌系统的初始值作为密钥参数,基于分数阶混沌生成用于加密的伪随机序列,进而提出了一个结合云计算MapReduce并行数据处理模型的加密算法。在MapReduce并行加密方面,依次进行分块、Map并行加密和Reduce数据归并等操作。为了抵御明文类的密码攻击,算法中采用与明文特征关联的混沌序列生成方法。最后,在云计算实验环境中的实验结果表明,该算法的密钥空间达到372 bit,能够有效抵御明文类的密码攻击,具有密钥高度敏感的特性。同时,实验结果验证了云计算MapReduce并行加密的有效性。     

支持浮点运算的高效并行全同态加密算法

云计算的快速发展在给人们带来便利的同时,其 隐私安全问题也备受关注。结合全同态加密算法,实现直接对密文的运算,是解决隐私安全问题的一种可行方案。但目前大多同态算法支持的数据类型有限,难以有效应用于实际环境。鉴于此,提出一种支持浮点运算的全同态加密算法,以及基于Spark环境的并行算法,并分析了算法的安全性和实际性能。实验结果表明,基于Spark的并行浮点数全同态加密算法支持整数和浮点同态运算,在4节点16核心的集群中 能够达到3.9的整体加速比,能有效减少数据加密和密文运算的时间,满足云计算环境中对大规模浮点数据进行高效同态加密的需求。     

Hadoop云平台MapReduce模型优化研究

针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理,验证该模型的性能和效率,实验结果证明MapReduce+OpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率,是对Hadoop平台大数据分析处理模型有效的完善和优化。     

奇偶直方图负载均衡超立方对等云MapReduce模型*

针对传统MapReduce算法结构在处理大数据时,负载均衡性能不理想的缺点,设计了一种具有负载均衡机制的层次MapReduce模型。该模型利用超立方拓扑结构对MapReduce的映射操作进行改进,通过特定算法将八个结构化的数据中心链接到一个对等的云环境结构中,并使用奇偶直方图组合采样方式的均衡划分方法,实现在用户请求下的节点工作负荷指数均衡。最后,基于Hadoop框架对所提算法进行仿真实验,结果显示本文所提算法结构相对于原始MapReduce结构,具有更高的并行计算的资源利用率,以及更佳的容错和负载均衡性能,综合性能得到有效提升。     

基于整数多项式环的全同态加密算法

为确保云计算环境下用户数据的安全性,利用同态加密算法对数据和加密函数的隐私保护功能,设计一种基于整数多项式环的全同态加密算法。该算法包括同态算法和重加密算法,前者针对明文数据进行加密,后者针对密文数据进行二次加密。分析结果表明,该算法的计算复杂度为O(n5),低于理想格全同态加密算法。     

基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的CPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过 定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapReduce框架中,可高效处理海量数据。     

基于云计算的混合超混沌加密算法研究

针对云计算环境中的数据安全问题,提出了一种基于云计算的混合超混沌加密算法。首先,选取三个超混沌系统的初始值作为密钥参数,利用超混沌系统更加复杂的动力学行为产生随机特性良好的混沌序列;接着,对三个超混沌系统进行预处理后,进而设计一个混合超混沌分组加密方案;最后,基于MapReduce的云计算分布式编程模型,设计并行超混沌加密算法。实验结果和分析表明,算法具有执行效率高,密钥空间大及密钥敏感性良好的特性。     

Cloud computing-based parallel genetic algorithm for gene selection in cancer classification

Cancer classification is one of the main steps during patient healing process. This fact enforces modern clinical researchers to use advanced bioinformatics methods for cancer classification. Cancer classification is usually performed using gene expression data gained in microarray experiment and advanced machine learning methods. Microarray experiment generates huge amount of data, and its processing via machine learning methods represents a big challenge. In this study, two-step classification paradigm which merges genetic algorithm feature selection and machine learning classifiers is utilized. Genetic algorithm is built in MapReduce programming spirit which makes this algorithm highly scalable for Hadoop cluster. In order to improve the performance of the proposed algorithm, it is extended into a parallel algorithm which process on microarray data in distributed manner using the Hadoop MapReduce framework. In this paper, the algorithm was tested on eleven GEMS data sets (9 tumors, 11 tumors, 14 tumors, brain tumor 1, lung cancer, brain tumor 2, leukemia 1, DLBCL, leukemia 2, SRBCT, and prostate tumor) and its accuracy reached 100% for less than 25 selected features. The proposed cloud computing-based MapReduce parallel genetic algorithm performed well on gene expression data. In addition, the scalability of the suggested algorithm is unlimited because of underlying Hadoop MapReduce platform. The presented results indicate that the proposed method can be effectively implemented for real-world microarray data in the cloud environment. In addition, the Hadoop MapReduce framework demonstrates substantial decrease in the computation time.

     

基于Hadoop 的分布式朴素贝叶斯文本分类

云计算的诞生,有效地解决了海量数据集的存储和分析处理。在云计算实现的开源Hadoop分布式系统集群上,使用MapReduce并行编程模型,设计并实现了一种对TFIDF改进的分布式朴素贝叶斯文本分类算法。实验结果表明,基于Hadoop框架的分布式朴素贝叶斯文本自动分类器不仅能处理节点失效,同时具有高效性和易扩展性的优势。