面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

有向网络分布式优化的Barzilai-Borwein梯度跟踪方法

本文研究有向网络上的分布式优化问题, 其全局目标函数是网络上所有光滑强凸局部目标函数的平均值.受Barzilai-Borwein步长改善梯度方法表现的启发, 本文提出了一种分布式Barzilai-Borwein梯度跟踪方法. 与文献中使用固定步长的分布式梯度算法不同, 所提出的方法中每个智能体利用其局部梯度信息自动地计算其步长. 通过同时使用行随机和列随机权重矩阵, 该方法避免了由特征向量估计引起的计算和通信. 当目标函数是光滑和强凸函数时, 本文证明了该算法产生的迭代序列可以线性地收敛到最优解. 对分布式逻辑回归问题的仿真结果验证了所提出的算法比使用固定步长的分布式梯度算法表现更好     

带事件触发机制的分布式量化随机无梯度投影算法

本文研究多智能体系统的分布式约束优化问题,系统中的每个智能体仅知道自身的局部目标函数和全局非空约束集,通过与邻居节点进行信息交互,最终协同求出优化问题的最优解.本文所提出的算法针对通信网络为时变不平衡有向图,且每个智能体不知道它的出度的情况.同时考虑到现实中通信带宽有限和通讯成本的限制,应用基于编译码方案的量化技术对节点之间的通讯信息进行预处理,再利用事件触发广播技术降低网络的通信次数.同时引入高斯光滑函数和随机无梯度方法替代传统的次梯度方法.本文提出了基于事件触发的分布式量化随机无梯度算法,在目标函数为凸且Lipschitz连续的条件下,证明了所提算法能收敛到最优值的邻域,同时给出了使量化器不饱和量化水平更新规则.最后通过数值仿真验证了算法的有效性和可行性.     

传感器网络中面向隐私保护的高精确度数据融合算法

无线传感器网络是物联网的重要组成部分,在数据融合的同时加入隐私保护机制是无线传感器网络隐私保护与安全的手段之一.文中针对现有SMART隐私保护方案的一些性能缺陷,加入多类优化因子,形成新的传感器网络数据融合隐私保护算法.这些算法的重点是提高数据融合的精确度和安全性,其中加入局部优化因子的算法在保证高精确度的同时,构成了新的隐私保护方案,有效地降低了通信量,从而减少节点能量支出,间接地延长了网络存活时间.仿真结果显示,吸收这些优化因子的P-SMART-CLPNT算法是一种具有精确度高、通信量小的隐私保护数据融合算法.     

WSNs中可保护数据完整性和隐私的数据融合算法

提出一种可进行数据完整性和隐私保护的无线传感器网络安全数据融合算法IPPDA。通过在感知数据中附加一组同余数, 使汇聚节点能通过中国剩余定理进行数据完整性检测; 以时间和密钥为参数计算基于杂凑函数的消息验证码, 保证数据的新鲜性; 利用同态加密算法对数据进行隐私保护。仿真结果表明, IPPDA可以有效保护融合数据的隐私性、完整性和新鲜性, 能花费比iCPDA和iPDA算法更少的数据通信量和计算量, 得到更加精确的数据融合结果。     

推荐系统中的隐私保护矩阵分解算法研究

针对协同过滤推荐系统中的用户数据和模型保护问题,提出一种隐私保护矩阵分解算法.该算法基于分布式架构,其梯度下降优化过程由服务器和各个用户相互协作完成.每轮迭代中,服务器仅从客户端得到物品隐藏因子向量梯度更新信息,从而有效保护了用户评分和推荐模型.基于多方安全求和的原理,在梯度更新过程中加入混淆机制,实现了对用户评分"存在性"的保护.开发系统原型并与现有方法进行实验对比,结果表明,该方法在保护用户隐私的同时能够提供更好的推荐准确度.     

面向子图匹配的社会网络隐私保护方法

云平台作为存储和处理分析大规模社会网络数据的工具逐渐变为主流,针对大规模社会网络子图匹配隐私保护问题,提出分布式K-自同构社会网络隐私保护算法,保护上传至云平台的社会网络图的结构隐私。通过节点间传递标记信息的方式添加噪声边,使原始图匿名为具有k个对称子图的K-自同构社会网络图。提出分布式的子图匹配方法对上传图进行子图匹配,根据搜索图中节点的选择性对搜索图进行分解得到搜索分解子图;在每个计算节点内进行分布并行的子图匹配得到搜索分解子图匹配结果,将结果连接后得到关于搜索图的匹配结果;在客户端中根据K-自同构社会网络图的对称性和K-自同构函数对得到的子图匹配结果进行恢复和过滤得到正确匹配结果。实验结果表明:分布式K-自同构社会网络隐私保护算法和分布式子图匹配方法在处理大规模社会网络图时具有很高的效率,并且有效解决了隐私泄露问题。     

一种基于分布式编码的同步梯度下降算法

基于数据并行化的异步随机梯度下降（ASGD）算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降（SSGD）算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。     

无线传感器网络多应用场景下的安全数据融合方案

针对无线传感器网络多应用场景下异构数据的安全融合问题,提出了一种轻量级的安全数据融合保护方案,该方案可同时保障数据的隐私性、完整性和新鲜性。首先,以当前融合轮数和节点预置密钥作为哈希函数的输入,为节点更新每个融合周期的密钥;其次,采用同态加密技术,使中间节点能够对密文直接执行融合操作;然后,采用同态消息认证码,使基站能够验证融合数据在传输过程中是否被篡改;进一步,对明文信息采用编码机制,以满足多应用场景下异构数据聚集的使用需求。理论分析和仿真结果表明,该算法具有较好的安全性、较低的通信开销和更高的融合精确度。     

基于Bandit反馈的自适应量化分布式在线镜像下降算法

多智能体系统的在线分布式优化常用于处理动态环境下的优化问题, 节点间需要实时传输数据流. 在很多情况下, 各节点无法获取个体目标函数的全部信息(包括梯度信息), 并且节点间信息传输存在一定的通信约束. 考虑到非欧投影意义下的镜像下降算法在处理高维数据和大规模在线学习上的优势, 本文使用个体目标函数在两点处的函数值信息对缺失的梯度信息进行估计, 并且根据镜像下降算法的性质设计自适应量化器, 提出基于Bandit反馈的自适应量化分布式在线镜像下降算法. 然后分析了量化误差界和Regret界的关系, 适当选择参数可得所提算法的Regret界为O(√T). 最后, 通过数值仿真验证了算法和理论结果的有效性     

基于密钥分发和密文抽样的云数据确定性删除方案

针对云数据过期后不及时删除容易导致非授权访问和隐私泄露等问题,结合加密算法和分布式哈希表（DHT）网络,提出一种基于密钥分发和密文抽样的云数据确定性删除方案。首先加密明文,再随机抽样密文,将抽样后的不完整密文上传到云端;然后评估DHT网络中各节点的信任值,使用秘密共享算法处理密钥,并将子密钥分发到信任值高的节点上;最后,密钥通过DHT网络的周期性自更新功能实现自动删除,通过调用Hadoop分布式文件系统（HDFS）的接口上传随机数据覆写密文,实现密文的完全删除。通过删除密钥和云端密文实现云数据的确定性删除。安全性分析和性能分析表明所提方案是安全和高效的。     

Privacy-preserving distributed projected one-point bandit online optimization over directed graphs

The distributed online optimization (DOO) problem with privacy-preserving properties over multiple agents is considered in this paper, where the network model is built by a strongly connected directed graph. To solve this problem, a stochastic bandit DOO algorithm based on differential privacy is proposed. This algorithm uses row- and column-stochastic matrix as the weighting matrices, the requirement of the double random weighting matrix is released. To handle the unknown objective function, the one-point bandit is used to estimate the true gradient information, and the estimated gradient information is used to update of decision variables. Different from the existing DOO algorithms that ignore privacy issues, this algorithm successfully protects the privacy of nodes through a differential privacy policy. Theoretical results show that the algorithm can not only achieve sublinear regret bounds but also protect the privacy of nodes. Finally, simulation results verify the effectiveness of the algorithm.     

区块链隐私保护研究与实践综述

基于区块链的分布式账本，集成了非对称加密体系、P2P网络、共识算法、智能合约等多种技术，保证事务记录的一致性和不可篡改性.但是，区块链技术中的账本共享机制也带来了隐私威胁，用户身份、账户地址、交易内容等信息的隐私保护成为研究的关注点.讨论了区块链系统中的隐私威胁；着重分析了地址混淆、信息隐藏、通道隔离等3类隐私保护机制，详细介绍各类机制的原理、模型、特征及实现技术；最后探讨了实际应用中，区块链隐私保护技术在系统性能和可扩展性方面的挑战和发展方向.     

一种面向图数据的AWG-LDP局部差分隐私保护算法研究

针对传统的图数据隐私保护方法只关注保护属性或结构两者之一易导致节点或边隐私信息泄露的问题,提出了一种对属性加权图的局部差分隐私的保护算法（AWG-LDP）。首先,该算法利用GN算法将图数据划分成社区子图;其次,分别计算每个社区子图的局部敏感度,对于划分后的每一个子图,通过结合结构相似性和属性相似性并添加拉普拉斯噪声进行边扰动,实现局部差分隐私;最后,利用属性泛化的方式将待发布的节点进行泛化,防止节点敏感信息被攻击。利用真实的图数据集进行了不同参数配置以及不同算法的对比实验,实验结果表明该算法提升了隐私保护效果,同时,降低了信息损失,提高了数据的可用性。     

基于分布式压缩感知和散列函数的数据融合隐私保护算法

针对群智感知网络数据融合传输过程中隐私泄露、信息不完整、数据窜改等安全问题,提出了一种基于分布式压缩感知和散列函数的数据融合隐私保护算法。首先,采用分布式压缩感知方法对感知数据进行稀疏观测,去除冗余数据;其次,利用单向散列函数求取感知数据观测值的散列值,将其和不受限的伪装数据一起填充到感知数据观测值中,达到隐藏真实感知数据的目的;最后,在汇聚节点提取伪装数据之后,再次获取感知数据的散列值并验证数据的完整性。仿真结果表明,该算法兼顾了数据的机密性和完整性保护,同时大大降低了通信开销,在实际应用中具有很强的适用性和可扩展性。     

基于差分隐私保护的谱聚类算法

针对传统的聚类算法存在隐私泄露的风险,提出一种基于差分隐私保护的谱聚类算法。该算法基于差分隐私模型,利用累计分布函数生成满足拉普拉斯分布的随机噪声,将该噪声添加到经过谱聚类算法计算的样本相似度的函数中,干扰样本个体之间的权重值,实现样本个体间的信息隐藏以达到隐私保护的目的。通过UCI数据集上的仿真实验,表明该算法能够在一定的信息损失度范围内实现有效的数据聚类,也可以对聚类数据进行保护。     

隐私保护的分布式决策树分类算法的研究*

针对分布式决策树构造过程中的隐私保护问题,引入安全多方计算方法设计了可以保护隐私的分布式C4.5决策树分类算法。该算法适用于数据集垂直分布和水平分布两种情况,同时提出了一种新的隐私保护程度的度量方法。实验结果证明设计的隐私保护分布式决策树分类算法不仅很好地保护了原始数据不泄露,同时保持了较高的分类精度。     

非平衡有向网络下带约束的连续时间分布式优化算法设计EI北大核心CSCD

本文基于权重不平衡有向网络,对一类分布式约束优化问题进行研究,其中全局目标函数等于具有李普希兹梯度的强凸目标函数之和,并且每个智能体的状态都有一个局部约束集.每个智能体仅知道自身的局部目标函数和非空约束集.本文的目标是用分布式方法求解该问题的最优解.针对优化问题,提出了一种新的分布式投影梯度连续时间协调算法,利用拉普拉斯矩阵的零特征值对应的左特征向量消除了图的不平衡性.在某些假设下,结合凸分析理论和李雅普诺夫稳定性理论,证明了算法能够获得问题的最优解.最后,通过仿真验证了算法的有效性.     

一种基于分布式最小均方差序贯估计的气体泄漏源定位算法

基于无线传感网络的气体泄漏源定位在环境监测、安全防护和污染控制等多个领域具有重要意义。提出一种基于分布式最小均方差(D-MMSE)序贯估计的气体泄漏源定位算法。其通过构建一个包含节点之间信息增益与网络能量消耗两方面参数的信息融合目标函数,并对目标函数寻优实现路由节点的调度与选择。所选节点在其测量值和前节点估计值并通过与邻居节点信息交互的基础上完成气体泄漏源位置参数估计量及其方差的更新与传递。为了降低网络能耗,邻居节点集的选择半径随估计量方差做动态调整。仿真分析表明所提算法对比单节点序贯估计定位算法在一定的能耗条件下可获得较高的定位精度和速度。