基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

Seadown:一种异构MapReduce集群中面向SLA的能耗管理方法

数据中心的能耗管理已经成为大规模数据处理中的热点问题,其主要目标是控制相关成本的急剧增长.大量的工作围绕着在集群利用率较低时,关闭部分服务器来降低能耗,但是这些方法都严重受限于数据存储策略,同时难以保证应用的实时性能.MapReduce集群作为目前流行的大规模数据处理平台,能耗问题尤为突出.文中针对异构MapReduce集群,提出一种面向SLA的能耗管理方法Seadown.首先,提出一种混合数据副本存储策略,它允许关闭大量节点,同时保证数据的完整性和集群的容错能力.其次,设计了一种基于历史记录的响应时间预测方法,它根据服务器节点的数量、性能参数和运行时间的历史信息准确估计程序的响应时间,相对误差大都在6％以下.最后,通过选择性地关闭部分节点以达到最小化能耗,同时保证应用程序的实时性能.文中证明了该优化问题是NP-hard问题,并提出了一种启发式的节点关闭策略.实验结果表明,在节点关闭策略下MapReduce应用的实时性得以保证,同时降低了大量的能耗.     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

面向电耗与网络同步代价优化的数据副本放置研究

在数据中心放置海量数据时,每个数据常有多个副本,服务提供商需要支付巨额电费以运行存储这些数据副本的服务器。同时,为保证多个数据副本的一致性,放置在不同数据中心的副本需要通过数据中心之间的网络进行同步,从而引发高额的网络传输费用。为此,以最小化多副本数据放置代价为目标,建立数据放置问题模型,并提出一种基于数据组和数据中心划分的数据放置算法DDDP。将数据划分为多个数据组,按用户访问数据的延迟要求将数据中心划分成数据中心子集,并将每个数据组中的数据放置到能满足访问延迟要求且能最小化放置代价的数据中心子集中。仿真结果表明,相比NPR算法,DDDP算法能有效降低数据中心存储数据时的放置代价。     

云环境下一种兼顾成本与存储空间的副本策略

传统的副本布局大多假定数据是独立的、不需要任何管理成本,但并未考虑副本开销以及中间数据的生成对副本布局的影响。为此,给出一种兼顾成本与存储空间的两阶段高效数据副本生成与存储策略,在数据副本初始布局阶段,基于遗传算法通过比较数据传输开销与存储开销,尽可能地将数据放置在数据中心。在数据中心利用数据生成关系,通过比较数据存储开销与生成开销,并基于Dijkstra最短路径算法确定最小数据开销的数据存储与生成策略。实验结果表明,成本感知的两阶段副本存储与生成策略在确保数据可靠性访问的同时,可以有效减少数据开销与数据存储空间,从而提升云存储系统性能。     

基于分布式文件系统HDFS的节能算法

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.     

访问特征驱动的副本存储策略自动生成框架

大规模分布式数据存储是云计算和大数据时代的重要支撑技术.在分布式存储系统中,数据副本如何放置是一个基本问题.然而,现有可实用的算法或忽略应用具体的访问特征而牺牲效率,或拘泥于单一应用而不具备泛化能力.通过建立副本存储策略的统一描述模型以及提取应用的关键访问特征参数,定义出副本存储策略自动生成算法的输出和输入;通过机器学习的方法获得访问特征参数和最优副本存储策略参数之间的一般性关系,从而形成自动生成机制的核心算法.在提高存储系统访问性能及节约能耗等成本的同时,有效降低副本存储策略设计过程中的人工干预程度.     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

VOD服务器集群中的改进SLF存储调度策略

在VOD服务器集群中,存储调度策略是影响整个系统存储容量和总并发数的关键技术之一.针对现有存储调度策略中最小负载优先（SLF）副本放置算法调整代价过高的问题,提出了一种改进SLF算法.算法以最小化负载不平衡度和最小化副本调整代价为目标,在放置过程中充分利用当前已经存储的副本,降低副本调整的代价.仿真实验表明,基于改进SLF算法的存储调度策略可以最小化负载不平衡度,降低了存储调度的调整代价,同时提高了系统的用户请求接受概率.     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

容器云环境虚拟资源配置策略的优化

针对容器化云环境中数据中心能耗较高的问题，提出了一种基于最佳能耗优先（Power Full，PF）物理机选择算法的虚拟资源配置策略。首先，提出容器云虚拟资源的配置和迁移方案，发现物理机选择策略对数据中心能耗有重要影响；其次，通过研究主机利用率与容器利用率，主机利用率与虚拟机利用率，主机利用率与数据中心能耗之间的数学关系，建立容器云数据中心能耗的数学模型，定义出优化目标函数；最后，通过对物理机的能耗函数使用线性插值进行模拟，依据邻近事物相类似的特性，提出改进的最佳能耗优先物理机选择算法。仿真实验将此算法与先来先得（First Fit，FF）、最低利用率优先（Least Fit，LF）、最高利用率优先（Most Full，MF）进行比较，实验结果表明，在有规律不同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低45%、53%和49%；在有规律相同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低56%、46%和58%；在无规律不同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低32%、24%和12%。所提算法实现了对容器云虚拟资源的合理配置，且在数据中心节能方面具有优越性。     

基于Storm平台的数据恢复节能策略

作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm,DR-Storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-Storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比,DR-Storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.     

虚拟化数据中心全局能耗优化调度方法

虚拟化数据中心的制冷和供电设备能耗比重大且浪费严重,但当前虚拟化能耗优化的研究仅考虑IT设备能耗,针对该问题,通过对数据中心能耗逻辑的研究,提出一种虚拟化数据中心全局能耗优化调度方法。该方法通过感知数据中心负载和热分布状况,依据虚拟化调度规则生成动态调度策略,并对虚拟设备组的制冷供电设备进行同步调度,减少数据中心冗余制冷和设备空载损耗,以此最小化数据中心能耗。实验结果表明,该调度方法可节省制冷设备近26％的冗余制冷,并提升供电设备8％左右的供电效率,提高数据中心的能耗有效性,降低整体能耗。     

基于改进萤火虫聚类的异构WSNs能耗优化路由算法

针对随机分簇算法未考虑节点位置和对节点能量利用不充分的问题,提出了一种基于改进萤火虫聚类的异构无线传感器网络能耗优化路由算法(IFCEER)。该算法将改进萤火虫聚类算法用到高能节点分簇中,在时间充裕的数据传输阶段预测与聚类中心和基站等位置相关的主副簇头,进而形成结构紧密的全局最优簇集合,避免簇头可能集中于局部区域造成簇半径随意扩大的缺点,平衡了异构节点的能耗,降低了频繁重新聚类消耗能量的风险。仿真实验结果显示：与原有算法相比,在自由空间模型主导的100m×100m监测环境和多路径衰减模型主导的 300m×300m监测环境中,网络内第一个节点死亡时间分别延迟43%到225%;随着节点间传输距离的增加,300m×300m 监测环境能耗减少达到60%。     

基于MapReduce虚拟集群的能耗优化算法

随着全球能源危机的出现,许多研究者开始关注数据中心的能耗问题。在满足用户需求的前提下,减少数据中心的活跃节点个数能够有效地降低其能耗。传统的减少活跃节点的方式是虚拟机迁移,但虚拟机迁移会造成极大的系统开销。提出一种基于MapReduce虚拟集群的能耗优化算法--在线时间平衡算法OTBA,能够减少活跃物理节点数,有效降低数据中心的能耗,并且避免了虚拟机的迁移。通过建立云数据中心的能耗模型、用户提交服务的排队模型和评价作业完成质量的作业运行模型,确定了数据中心节能模型的目标函数和变量因子。在线时间平衡算法是基于虚拟云环境和在线MapReduce作业的一种节能调度算法,能够在虚拟机的生命周期和资源利用率之间做出权衡,使数据中心激活的服务器达到最少,能耗降到最低。此外,该结果通过仿真和Hadoop平台上的实验得到了验证。     

基于簇内能耗最优的设备到设备缓存通信内容共享算法

针对设备到设备（D2D）缓存通信中,终端设备电池容量有限且设备之间数据传输能耗过大导致文件卸载率下降的问题,提出一种簇内节点能耗最优的缓存通信内容共享算法（CCSA）。首先,鉴于用户终端的随机分布特性,将网络中的用户节点建模为泊松簇过程,基于节点设备能量、通信距离建立卸载模型,设计自适应簇首选择权值公式;其次,遍历节点的能量与距离加权和并采用贪婪算法局部最优原则选取簇首节点,从而对用户节点通信距离进行优化,确保用户能耗最低以延长其生存周期,同时提高系统的卸载率。实验结果表明,与成簇随机选簇首（Random）、非成簇的能耗优化（EC）算法相比,所提算法在网络能耗最优时,系统生存周期延长了约60个百分点、72个百分点。CCSA能够提高卸载率且降低系统的卸载能耗。     

Storm平台下的线程重分配与数据迁移节能策略

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略（energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM）,包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.     

面向移动云计算的自适应虚拟机调度算法

随着移动云计算的快速发展和应用普及,如何对移动云中心资源进行有效管理同时又降低能耗、确保资源高可用是目前移动云计算数据中心的热点问题之一.本文从CPU、内存、网络带宽和磁盘四个维度,建立了基于多目标优化的虚拟机调度模型VMSM-EUN(Virtual Machine Scheduling Model based on Energy consumption,Utility and minimum Number of servers),将最小化数据中心能耗、最大化数据中心效用以及最小化服务器数量作为调度目标.设计了基于改进粒子群的自适应参数调整的虚拟机调度算法VMSA-IPSO(Virtual Machine Scheduling Algorithm based on Improved Particle Swarm Optimization)来求解该模型.最后通过仿真实验验证了本文提出的调度算法的可行性与有效性.对比实验结果表明,本文设计的基于改进粒子群的自适应虚拟机调度算法在进行虚拟机调度时,能在降低能耗的同时提高数据中心效用.     

一种新型能耗优化的无线传感器网络成簇算法

能量消耗一直是限制WSN广泛应用的热门问题之一,能源容量的大小对各个传感器节点产生重要的影响.针对WSN中能耗过快,以及网络区域内能量消耗不均衡而导致的网络生命周期缩短的问题,同时为了提高WSN的能量利用率,提出了一种新型能耗优化的无线传感器网络非均匀成簇算法(UCNE).该算法首先根据节点的历史能耗来竞选簇头节点,将整个网络划分为不均匀的簇群从而平衡簇内节点通信与簇间节点通信的能耗.其次设立新的能量阈值作为网络重新分簇的标准,减少了频繁分簇造成的不必要的控制消息能耗.最后为了降低簇头节点的负担,竞选副簇头节点作为中继转发节点转发主簇头加工的数据并根据权值选择向前向簇头节点传递数据.通过对比相关协议,UCNE协议在平衡网络能耗,延长网络寿命方面表现更优.