能耗优化的神经网络轻量化方法研究进展

近年来,神经网络在语音识别、计算机视觉、自然语言处理等领域都取得了良好的进展.大量的神经网络被部署于诸如手机、摄像头等依赖电池或太阳能供电的小型设备.但神经网络参数量大计算复杂,需占用大量计算资源并消耗电能,从而限制了其在资源受限平台上的应用.学术界和工业界逐渐关注于神经网络的高能耗问题.神经网络轻量化方法可以有效地减少参数数量、降低参数精度或优化计算过程从而降低神经网络能耗.本文从能耗优化的角度梳理了神经网络能耗估算方法和神经网络轻量化方法的基本思路,综述了近年来该领域主要研究成果,并提出了能耗估算和能耗优化的神经网络轻量化方法存在的挑战及进一步研究的方向.其中神经网络能耗估算方法包括测量法、分析法和估算法.能耗优化的神经网络轻量化方法包括剪枝、量化、张量分解和知识蒸馏.对于进一步研究方向我们认为,首先需要建立可自适应网络类型的能耗模型;然后需要考虑平衡精度和能耗的轻量化方法.其次需要实现硬件平台可泛化的轻量化方法;最后开发搜索空间可约束的轻量化方法.     

虚拟化数据中心全局能耗优化调度方法

虚拟化数据中心的制冷和供电设备能耗比重大且浪费严重,但当前虚拟化能耗优化的研究仅考虑IT设备能耗,针对该问题,通过对数据中心能耗逻辑的研究,提出一种虚拟化数据中心全局能耗优化调度方法。该方法通过感知数据中心负载和热分布状况,依据虚拟化调度规则生成动态调度策略,并对虚拟设备组的制冷供电设备进行同步调度,减少数据中心冗余制冷和设备空载损耗,以此最小化数据中心能耗。实验结果表明,该调度方法可节省制冷设备近26％的冗余制冷,并提升供电设备8％左右的供电效率,提高数据中心的能耗有效性,降低整体能耗。     

一种优化MapReduce系统能耗的数据布局算法

在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.     

异构计算中的时间和能耗优化执行方法

计算环境的异构性以及应用任务的复杂多样性导致异构计算的必要性。异构计算的目的是重视并行处理系 统和计算任务的差异,寻求系统和任务的有效匹配,从而获得并行任务在系统上执行的最佳效果。当前,异构计算中 的时间优化执行方法较成熟,但同时将时间和能耗联合起来作为异构计算优化执行目标方面的研究很少。以高性能 计算和绿色计算为总目标,针对异构计算环境中并行任务分配调度执行问题,提出了异构任务模型、异构计算速率矩 阵、异构计算功率矩阵,利用能耗时间归一思想,给出并行任务在异构处理机上时间与能耗启发式优化执行算法,并通 过实例分析证实算法的可行性和有效性。     

异构计算中的时间和能耗优化执行方法

计算环境的异构性以及应用任务的复杂多样性导致异构计算的必要性.异构计算的目的是重视并行处理系统和计算任务的差异,寻求系统和任务的有效匹配,从而获得并行任务在系统上执行的最佳效果.当前,异构计算中的时间优化执行方法较成熟,但同时将时间和能耗联合起来作为异构计算优化执行目标方面的研究很少.以高性能计算和绿色计算为总目标,针...     

工业机器人能耗优化方法研究综述

机器人技术作为智能制造的关键,其能耗问题已引起各制造业大国的关注,国内外的研究十分活跃。针对工业机器人能耗优化问题,介绍了轻量化设计、高效驱动系统设计、能量存储和共享装置等低能耗硬件设计方法,从轨迹规划和任务调度方面对能耗优化的软件方法进行了综述,介绍了具有应用潜力的软件优化和硬件相结合的混合方法,同时突出了主要研究成果并说明了不足之处;最后指出工业机器人能耗优化具有潜力的发展趋势。     

嵌入式软件体系结构级能耗建模方法

从软件体系结构层面出发,假设体系结构级软件特征量与嵌入式软件能耗之间存在非线性函数关系(线性函数关系可被认为是一种特殊的非线性函数关系),并以此假设为基础,提出了一种利用BP神经网络在体系结构级估算软件能耗的模型,能耗模型对5个体系结构级软件特征量进行度量,使用BP神经网络拟合出软件特征量与嵌入式软件能耗的非线性函数关系,并通过实验验证了模型的有效性和假设的合理性.     

商用处理器上针对能耗优化的DVFS调节机制

针对动态电压频率调节(DVFS)对应用程序运行时性能与功耗的影响,基于区间划分方法,使用现有商用处理器提供的性能监测单元,提出一种考虑访存延迟变化的DVFS性能预测模型,并利用该模型实现针对能耗优化的DVFS调节机制(eDVFS)。实验结果表明,与Linux内核提供的ondemand调节策略相比,该eDVFS调节机制能够获得最大23%、平均6.85%的能耗优化。     

SQL能耗建模及优化研究

IT系统能耗的节节攀升,使得设计新一代DBMS时必须考虑其能耗效率问题。由于SQL语句的执行过程大约消耗70%~90%的数据库资源,因此对SQL进行能耗建模及优化对提高数据库的能源使用效率具有重要的意义。在对SQL查询处理机制进行研究的基础上,构建了SQL能耗模型,并对一系列查询优化原则进行了实验,以表明不同优化原则对性能提升及能耗减少的有效性。实验及能耗数据分析表明:CPU利用率是影响系统功耗的最关键因素,SQL能耗优化方法可忽略内存优化且应该均衡考虑性能优化及功耗优化两方面,提出的SQL能耗模型及节能优化方法具有较强的应用价值。     

一种针对异构计算平台的编译期优化方法

针对OpenCL(open computing language)编译时期的特有模式, 提出了一种新的针对异构计算平台的编译期优化方法。该方法根据设备端和主机端的各自特点, 将设备端的一些冗余操作提到主机端或者新的设备端kernel中去执行, 以达到降低存储器读写的目的。这种方法充分利用了异构计算平台的特点, 较传统优化方法相对灵活。大多数情况下能有效提高OpenCL的运行速度, 测试用例中在应用原有编译器优化的基础上最快提高了270%。     

MapReduce能耗建模及优化分析

云计算中心规模的不断扩大以及设计时对能耗因素的忽略,使其日益暴露出高能耗低效率的问题.为提高MapReduce框架能耗利用率,首先对MapReduce任务进行了能耗建模,提出基于CPU利用率估算、主要部件能耗累加及平均功耗估算的任务能耗模型,并在此基础上建立了MapReduce作业能耗模型.其次,基于能耗模型对能耗优化进行了分析,提出从优化MapReduce作业执行能耗、减少MapReduce任务等待能耗与提高MapReduce集群能源利用效率3个方向对MapReduce进行能耗优化.再次,提出异构环境下的数据放置策略减小MapReduce任务等待能耗,提出截止时间约束下的最小资源分配方法提高MapReduce作业能耗利用效率.通过大量的实验及能耗数据分析,验证了能耗模型及能耗优化方法的有效性.     

基于程序流敏感的自修改代码混淆方法

自修改代码混淆方法是一种隐藏程序重要信息的有效技术。为减少代码混淆造成的额外开销而又不影响代码混淆的质量,利用程序流敏感分析方法选择比较重要的指令进行混淆。为提高代码混淆的质量,有效地防止反汇编,提出一个二步比较混淆模型。该模型包括两个子混淆器,混淆器1采用程序流敏感分析方法获得混淆的指令并产生两个混淆代码文件和一个混淆代码映射文件。混淆器2通过比较两个混淆代码文件精确地定位混淆指令在二进制代码中的位置,然后利用混淆代码映射文件对二进制代码进行混淆,以进一步提高代码混淆的质量。通过实验分析,混淆后二进制文件的额外开销只占整个代码的3%左右,并且混淆后的反汇编代码明显异于原始的反汇编代码,甚至出现了一些无法识别的错误指令。     

面向核心网的多层网络能耗优化方法

随着网络规模和流量的迅速增长,Internet的能耗问题变得日益严重.文中研究IP(Internet Protocol)over TDMoverWDM核心网的能耗问题,首先对多层网络的节能机制进行了分析,在此基础上,提出了一种多层网络能耗优化的ITO模型,充分考虑多层网络的体系结构和网络设备的模块化特性,协同使用网络业务流控制和网络资源配置与管理的方法,实现业务流在多个网络层合理的分配和路由以及网络设备的多粒度模块睡眠,以达到降低网络能耗的目的.实验结果表明,ITO模型能有效降低网络的能耗,在网络业务量较低时,可将网络功耗降到业务高峰期时的24％～38％.此外,该文还通过实验探讨了业务的疏导和旁通、不同的网络层组合、网络设备的动态功耗以及网络设备的模块化结构对网络能耗优化的影响,为构建节能高效的绿色网络提供了参考.     

一种低能耗的代码分发协议

在无线传感器网络中,普遍采用周期性广播元数据的数据包来判断代码分发,存在能耗过大的问题。为此,提出一种低能耗的代码分发协议。该协议在节点正常通信时便可判断是否需要代码分发。仿真结果表明,与现有的分发协议相比,该协议可降低代码分发的能量消耗。     

云视频监控系统的能耗优化研究

随着基于云计算的视频监控系统(以下简称云视频监控系统)的兴起,其无限扩展的终端设施、众多的物理服务器、频繁的网络传输等所带来的能耗问题不容忽视.分析了云视频监控系统的体系结构、能耗的产生及其优化机理,并将云视频监控系统的能耗研究分为监控节点、物理节点和存储节点这3个层次;然后,结合国内外应用于传感器网络和云计算数据中心的相关能耗优化理论与方法,分别对3个层面上的云视频监控系统的能耗优化方法进行综述,并进行了深入的分析和比较;最后,针对当前的研究空缺和问题,提出今后可能的研究方向和重点,并进行了总结.     

二进制翻译中的标志位优化技术

在二进制翻译技术中,如何有效降低对源指令集体系结构标志位的模拟开销是一个值得研究的课题．分别针对二进制翻译中的解释执行和动态翻译,提出了相应的标志位模拟优化算法,能够有效地减少翻译生成的目标代码数量,提高目标代码性能．经过大量测试验证,在应用该标志位模拟优化算法后,Digital Bridge系统翻译生成的目标代码量是源体系结构目标代码量的120％,而没有应用该优化算法时该比例是250％,作为对比系统UQDBT系统的比例是150％．     

无人机辅助无线能量收集雾计算网络优化方法

研究了无人机雾辅助无线能量收集网络,其中无人机（unmanned aerial vehicle,简称UAV）作为可以移动的无线能量供应源和雾服务器,传感器设备可利用从UAV信号中所采集的能量完成本地计算任务或将计算任务卸载给UAV进行计算.系统目标是通过联合优化任务卸载调度,计算资源的分配和无人机飞行轨迹,在预定时间内完成给定计算任务和能量收集需求的前提下,最小化无人机的总能量消耗.为此,建立了多变量联合优化问题.由于该问题非凸,提出了一种基于连续凸近似（successive convex approximation,简称SCA）的有效求解方法.仿真结果表明,利用该联合优化方法可以大大降低无人机能耗,其中,通过轨迹优化对UAV能耗的降低效果最为明显.另外,实验结果发现：给定任务完成时间越长,无人机的轨迹越长,随着传感器设备能量收集阈值的升高或能量收集效率的降低,无人机轨迹向传感器偏移得越明显.与传感器均匀分布相比,当传感器位置全部分布在某一侧时,无人机轨迹会向其所在方向偏移.