车联网区块链吞吐量优化的深度强化学习方法研究

区块链应用于车联网（IoV）可以有效解决车联网数据安全和隐私等问题。但是,区块链吞吐量低的问题阻碍了其在车联网中的广泛应用。已有的区块链吞吐量优化研究大都存在决策行为空间爆炸的问题,可扩展性较差。针对上述问题,提出了一种基于深度强化学习（DRL）的区块链车联网吞吐量优化方法,通过选择区块生产者和共识算法,调整区块大小和区块间隔优化区块链的吞吐量,同时保证IoV区块链的去中心化、延迟和安全性。该方法通过引入BDQ框架将行为空间进行细粒度划分,解决了区块链使用传统深度强化学习方法对吞吐量进行优化时出现的行为空间爆炸问题。仿真结果表明,提出的方法可以有效地提高IoV区块链系统的吞吐量。     

区块链预言机节点选择的深度强化学习中间件

优化区块链环境中现有预言机方案中的节点选择问题,以提高预言机节点选择的准确性和可靠性。引入了基于深度强化学习的区块链预言机节点选择中间件ORLM（oracle reinforcement learning modlse）。该中间件考虑了不同服务需求下多个节点的消耗,并建立了预言机节点的声誉值模型来评估预言机数据提供节点的声誉值,从而尽可能避免对具有恶意历史的节点的选择。通过深度强化学习DQN（deep Q network）算法,中间件能够对选择节点的过程进行优化,以在保证安全性的情况下进行更好的节点选择。实验结果表明,所提出的中间件能够更好地满足用户的服务请求,且具有较高的可扩展性和可用性,证明了引入深度强化学习来优化预言机节点选择是一个可行的方向。     

区块链分片技术综述

区块链作为分布式账本的关键技术之一,其去中心化、可匿名、不可篡改的特性受到学术界和工业界的青睐,被广泛应用于金融、数字货币、公共服务等领域。分片技术作为区块链扩容的主流方式之一,能够在不降低区块链去中心化程度的同时实现高性能的链上扩容,从而解决区块链可拓展性不足以及吞吐量较低的问题。介绍近年来出现的分片技术以及相关协议,总结分片技术的关键理论与方法,从分片配置、重配置、片内共识协议、跨片共识协议、状态存储等方面对分片技术方案进行对比,归纳不同分片方案在网络分片、交易分片、状态分片等设计中存在的优势和不足。同时,阐述一些经典分片技术在性能和实现方式上的特点,对许可区块链和无许可区块链、片内共识协议、跨片共识协议、准入性方案、状态分片方式等进行分析和概述。在此基础上,从分片内、分片间以及系统层级的角度总结分片技术当前所面临的困境和挑战,并对该领域的发展前景及未来研究方向加以展望。     

BETASCO: 面向智能合约分片的联盟区块链系统

基于区块链的去中心化应用已在加密数字货币、云存储、物联网等多个领域提供健壮、可信且持久的服务, 然而区块链的吞吐能力难以满足去中心化应用日益增长的性能需求. 分片是当前主流的区块链性能优化技术, 但现有的区块链分片主要面向用户和用户之间的转账交易, 并不完全适用于以智能合约调用交易为主的去中心化应用. 针对此问题, 设计并实现面向智能合约分片的联盟区块链系统BETASCO. BETASCO为每个智能合约提供一个分片作为独立执行环境, 通过基于分布式散列表的合约定位服务将交易路由至目标智能合约所在的分片, 并通过智能合约间的异步调用机制满足跨智能合约的通信和协作需求. BETASCO通过节点虚拟化允许一个节点加入多个分片, 支持同一组节点上多个智能合约的并行执行. 实验结果表明, BETASCO整体吞吐能力可随智能合约数量的增加而线性增长, 且执行单个智能合约的吞吐能力与HyperLedger Fabric相当.     

区块链星型分片架构通量模型及应用

并行化是区块链扩容方案中最有效的一类方案,现有的并行化方案可根据网络架构分为星型架构与平行架构两类,但是当前的研究工作中,缺少对于星型分片架构方案的性能边界及性能瓶颈影响因素的分析.因此,针对不同的星型分片架构方案抽象出了一种通用的区块链星型分片架构,并对该通用架构中的交易过程进行了量化建模,得到了区块链通量与分片数量的关系,建立了星型分片架构的通量模型.根据建立的星型分片架构通量模型,可以发现星型架构的通量性能存在上限,存在一个最优的分片数量使得系统的通量达到最高,且通量的最大值与主链功能复杂度存在明确的函数关系.基于所提的通量模型,相关的区块链系统可以结合自身方案的设计,平衡分片数量与主链功能复杂度,使得系统通量达到理论上限,因此对于星型并行化方案设计具有重要指导意义.     

一种抗合谋攻击的区块链网络分片算法

分片技术是区块链用来解决可扩展性问题的主流技术之一。通过分片技术可以有效地提升区块链的吞吐量,然而由于子链算力分布不均导致区块链安全性差。为了降低网络分片引起的子链合谋攻击风险,提出基于一种抗合谋攻击的区块链网络分片算法（anti-collusion attack network sharding algorithm for blockchain,AANS）。该算法综合考虑节点行为特征及算力特征,通过轮询区块链网络中的恶意节点,将算力均匀分配在各个子链中,避免恶意节点聚集造成合谋攻击问题。仿真实验从子链恶意节点数量、子链合谋算力、子链合谋攻击占比和危险子链占比这四个方面验证所提出AANS算法的有效性。仿真结果表明,AANS算法可以有效避免子链恶意节点聚集,降低子链合谋攻击风险,保证区块链子链的安全性。     

基于信誉的区块链分片共识方案

分片是一种解决区块链扩容问题的技术,但是分片可能会导致恶意节点更容易集中在单个分片内,从而阻碍整个系统的安全运行。文中提出了一种基于信誉的区块链分片共识协议,通过建立信誉机制来衡量节点行为,促使节点遵循协议,并通过基于信誉等级的分片方法来减小各分片节点信誉等级分布的差异,防止恶意节点集中在单一分片进行作恶。提出一种验证链和记录链相结合的双链模型,该模型通过交易信息的差异化存储,在扩展区块链存储容量的同时提高了区块链的安全性。将投票份额与节点信誉相关联,同时差异化节点承诺,提出了基于信誉的快速拜占庭容错共识算法,使诚实节点更快达成共识,并减小恶意节点的影响。安全性分析表明,RCBSP能够保证分片内节点分布的合理性和共识过程的安全性,防止双花攻击、无利害关系攻击。实验结果表明,RBSCP在保证安全性的前提下,能够做到低分区时延、低共识时延和高吞吐量。     

基于深度学习和区块链的JavaScript恶意代码检测系统

目前基于深度学习的恶意代码检测技术是恶意代码检测领域的研究热点,然而大多数研究集中于如何改进算法来提高恶意代码检测的准确率,忽略了恶意代码数据集样本标签的不足导致无法训练出高质量的模型.本文利用区块链技术来解决恶意代码检测数据样本孤岛和数据可信任的问题;同时在代码特征提取上,使用马尔可夫图算法提取特征;基于分布式深度学...     

星型区块链架构的TKM分片算法

区块链系统的通量严重不足,而解决此问题最有效的一类方案是并行化处理,并行化方案主要为星型架构,当前星型架构对系统中节点的分片方式多为账户随机分片,这种分片方式的系统通量仍然不足。针对此问题,提出了一种基于星型结构的TKM分片算法,该算法将原始K-means聚类算法进行改进,并运用在节点分片上。TKM分片算法将聚类算法与区块链的网络分片技术相结合,使节点根据地理位置进行分片,极大提高邻近节点发生的交易为片内交易的概率,从而提高系统通量,同时在原始算法的基础上引入了时间戳,减少了恶意节点的攻击。仿真实验表明该算法与传统的随机分片算法相比,最大系统通量提高了20%。根据上述通量模型,通过实验得出基于TKM算法的星型区块链系统的最优分片数量。     

面向工业互联网的区块链分层分片研究

区块链的不可篡改、去中心化等特点能够有效解决工业互联网中日益突出的安全和隐私问题,然而当前主流区块链平台的吞吐量远不能满足工业互联网海量数据快速上链的需求,并且传统区块链采用的高冗余存储机制也无法适用于工业互联网场景。建立分层分片区块链架构,将区块数据分层存储在多个分布式云服务器和边缘服务器中,以应对工业互联网不断增长的数据量。依据边缘服务器之间的拓扑结构,设计一种基于复杂网络社团划分算法的改进区块链网络分片算法,在提升区块链网络吞吐量的同时缩短分片时间。将区块广播过程形式化为生成树论证了区块广播时间对吞吐量的影响,在此基础上提出一种基于生成树的片内主节点选取算法,进一步提升区块链网络的吞吐量。实验结果表明,与经典复杂网络社团划分算法相比,改进的区块链网络分片算法在对大规模网络进行分片时能够在不牺牲分片质量的前提下缩短约36%的分片时间,同时减少了各分片内区块的广播时间。     

强化学习求解组合最优化问题的研究综述

组合最优化问题(COP)的求解方法已经渗透到人工智能、运筹学等众多领域.随着数据规模的不断增大、问题更新速度的变快,运用传统方法求解COP问题在速度、精度、泛化能力等方面受到很大冲击.近年来,强化学习(RL)在无人驾驶、工业自动化等领域的广泛应用,显示出强大的决策力和学习能力,故而诸多研究者尝试使用RL求解COP问题,...     

多Agent深度强化学习综述

近年来, 深度强化学习(Deep reinforcement learning, DRL)在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力, 深度强化学习已经成为实现人工智能颇有前景的学习范式.然而, 深度强化学习在多Agent系统的研究与应用中, 仍存在诸多困难和挑战, 以StarCraft Ⅱ为代表的部分观测环境下的多Agent学习仍然很难达到理想效果.本文简要介绍了深度Q网络、深度策略梯度算法等为代表的深度强化学习算法和相关技术.同时, 从多Agent深度强化学习中通信过程的角度对现有的多Agent深度强化学习算法进行归纳, 将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策3种主流形式.从训练架构、样本增强、鲁棒性以及对手建模等方面探讨了多Agent深度强化学习中的一些关键问题, 并分析了多Agent深度强化学习的研究热点和发展前景.     

多智能体深度强化学习研究综述

多智能体深度强化学习是机器学习领域的一个新兴的研究热点和应用方向,涵盖众多算法、规则、框架,并广泛应用于自动驾驶、能源分配、编队控制、航迹规划、路由规划、社会难题等现实领域,具有极高的研究价值和意义。对多智能体深度强化学习的基本理论、发展历程进行简要的概念介绍;按照无关联型、通信规则型、互相合作型和建模学习型4种分类方式阐述了现有的经典算法;对多智能体深度强化学习算法的实际应用进行了综述,并简单罗列了多智能体深度强化学习的现有测试平台;总结了多智能体深度强化学习在理论、算法和应用方面面临的挑战和未来的发展方向。     

基于深度强化学习DDPG算法的投资组合管理

将深度强化学习技术应用于投资组合管理,采用深度强化学习中的深度确定性策略梯度DDPG（Deep Deterministic Policy Gradient）算法,通过限制单只股票的投资权重,分散风险,并采用丢弃算法（Dropout）,即在训练模型时随机丢弃节点,解决过拟合问题。以中国股市为例,选取16只中证100指数成分股作为风险资产进行实验。结果表明,本文基于深度强化学习方法构建的投资组合,在实验期间的价值增幅显著高于对照组（等权重组合）,2年达到65%,约为对照组的2.5倍,表明了本文方法的有效性。而且通过进一步实验,表明了当用于训练的数据离测试数据时间越近,则本文构建的投资组合表现越好。     

Traffic Signal Timing via Deep Reinforcement Learning

In this paper, we propose a set of algorithms to design signal timing plans via deep reinforcement learning. The core idea of this approach is to set up a deep neural network (DNN) to learn the Q-function of reinforcement learning from the sampled traffic state/control inputs and the corresponding traffic system performance output. Based on the obtained DNN, we can find the appropriate signal timing policies by implicitly modeling the control actions and the change of system states. We explain the possible benefits and implementation tricks of this new approach. The relationships between this new approach and some existing approaches are also carefully discussed.      

基于深度强化学习的智能灯个性化调节方法

提出一种基于深度强化学习的智能灯亮度个性化调节方法,综合考虑自然光亮度及用户位置对用户实际感受亮度的影响,动态计算并设置灯光亮度,以满足用户个性化使用习惯.在每次完成灯光亮度自动调节后,根据用户是否再次进行手动调节设定正、负反馈,训练强化学习模型逐渐拟合用户使用习惯.实验分别实现了DQN、DDQN和A3C三种算法,在基...     

基于强化学习的Lustre文件系统的性能调优

高能物理计算是典型的数据密集型计算.分布式存储系统的吞吐率和响应时间是最关键的性能指标,往往也是重点关注的性能优化目标.存储系统中存在大量可供调节的参数,这些参数的设置对系统的性能有着很大的影响.目前,这些参数被直接设置为静态值,或者由经验丰富的管理员定义一些启发式规则来自动调整.考虑到数据访问模式和硬件配置的多样性,以及依靠人类经验来找到数百个交互参数的启发式规则的难度,这2种方法的效果都不太乐观.实际上,如果把调节引擎看作是智能体,把存储系统看作是环境,存储系统的参数调节问题是典型的顺序决策问题.因此,基于高能物理计算的数据访问特点,提出了用强化学习的方法来进行自动化的参数调优.实验表明:在相同的测试环境下,以Lustre文件系统默认参数为基准,该方法可使其吞吐率提升30%左右.     

深度强化学习及在路径规划中的研究进展

路径规划的目的是让机器人在移动过程中既能避开障碍物,又能快速规划出最短路径。在分析基于强化学习的路径规划算法优缺点的基础上,引出能够在复杂动态环境下进行良好路径规划的典型深度强化学习DQN（Deep Q-learning Network）算法。深入分析了DQN算法的基本原理和局限性,对比了各种DQN变种算法的优势和不足,进而从训练算法、神经网络结构、学习机制、AC（Actor-Critic）框架的多种变形四方面进行了分类归纳。提出了目前基于深度强化学习的路径规划方法所面临的挑战和亟待解决的问题,并展望了未来的发展方向,可为机器人智能路径规划及自动驾驶等方向的发展提供参考。