基于动态任务迁移的近数据处理方法

为了应对大数据应用中数据移动对系统性能和能耗造成的负面影响,基于3D存储器集成存储与逻辑电路的特点和MapReduce模型的并发特性,提出一种基于动态任务迁移的近数据处理（NDP）方法. 对MapReduce应用的工作流解耦以获取核心计算任务,提供迁移机制将计算任务动态迁移到NDP单元中;采用原子操作优化数据访问,从而大幅度减少数据移动. 实验结果表明,对于MapReduce应用,提出的近数据处理方法将75%的数据移动约束在存储单元内部,有效减少了主处理单元与存储单元之间的数据移动. 与目前最先进的工作相比,所提方法在系统性能和系统能效上分别有70%和44%的提升.     

数据密集型计算中负载均衡的数据布局方法

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.     

江苏省主要农作物碳足迹动态及其构成研究

江苏作为农业大省和粮食主产区,全面核算其主要农作物生产碳足迹时序动态变化与构成,可为江苏省主要作物生产体系全过程环境管理及农业绿色发展提供决策依据.本文采用生命周期评价法(LCA)核算江苏省1990—2019年水稻、小麦、玉米、大豆和油菜5种作物生产过程各环节碳排放强度,研究分析不同作物生产碳足迹时序动态变化、构成及影...     

纺织服装原材料阶段碳足迹评价及碳减排措施——以棉花为例

纺织服装产品的碳足迹研究一直以来多集中在对工业加工环节的探讨,对其原材料的获取阶段的碳足迹研究则相对较少.作为产品的全生命周期碳足迹的探讨,原材料阶段的碳足迹也应该加以重视.鉴于棉纤维是我国产量最大的天然纤维,重点探讨棉纺织品原材料--棉纤维的碳足迹,在理解生命周期评价理论的基础上,基于PAS2050指南规范,确定棉花获取的碳足迹评价,在界定系统边界的前提下,给出了各环节碳足迹的计算方法,最后,提出纺织服装产品原材料阶段的碳减排措施.     

MapReduce模型中基于直方图的数据均衡算法

MapReduce模型是一种典型的分布式计算模型,被广泛应用于大规模数据处理,其性能很大程度上依赖于数据分布状态。由于数据内容往往都是不均衡的,再加上存储的随机性,因此MapReduce模型在计算过程中容易出现数据倾斜的问题。针对该问题,通过改进的基于MapReduce的数据直方图并行构建算法,对数据块和整个文件分别建立数据直方图,根据数据块分布情况,判断每个存储节点的数据倾斜程度,并定义了文件均衡偏差值作为数据倾斜的度量标准,进而通过数据均衡算法来降低文件均衡偏差值。改进的基于MapReduce的数据直方图并行构建算法能够适应各种类型的数据应用场景,直方图构建过程中Map端向Reduce端只需要传输直方图统计信息,不需要传输文件内容,数据传输量几乎可以忽略不计;基于直方图的数据均衡算法采用了贪心策略,可以获得均衡分布最优解的一个比较好的近似解,经过不同数据多次实验验证,该算法与随机block分布算法相比,可以降低40%左右的文件均衡偏差值,具有更好的数据均衡效果。     

轿车变速箱制造过程碳排放评估与优化

针对轿车变速箱制造过程碳排放评估问题,提出了一种多层次关联分析理论( HＲA) 与碳排 放系数法( EFA) 相结合的碳排放量化方法． 对轿车变速箱制造过程的碳排放特性进行分析,定义了 碳排放系统边界,将系统内多种碳源进行归类分析,构建了多层次碳排放要素之间的关联矩阵,并 结合碳排放系数法进行基本碳源建模,进而提出了轿车变速箱制造过程碳排放量化方法,根据量化 方法计算得到了轿车变速箱制造过程的碳排放量． 在此基础上,使用遗传算法对轿车变速箱制造过 程碳排放影响因素进行多参数优化,在不断降低碳排放量的同时保证生产效率不会降低,并对轿车 变速箱进行实例优化,研究结果表明: 优化后的碳排放得到了较大程度的降低,充分验证了所提方 法的有效性．     

机械零件制造成本估算系统

机械零件制造成本是评价零件可制造性的 1个指标 ,对产品设计是 1种反馈 .通过产品制造成本的核算可以使设计人员在产品设计的早期阶段了解产品的制造成本 ,及时改进设计以降低成本 .准确、快速估算制造成本 ,不仅便于企业的生产活动的控制和管理 ,而且直接影响企业对市场的分析和产品数据的一致性 .与以往传统的核算方法不同 ,采用的基于特征的神经网络制造成本估算方法 ,避开了设计参数到成本参数之间复杂的非线形映射关系 ,实现了零件制造成本早期估算 .以回转类零件为例 ,对基于特征的神经网络成本估算方法进行了实例应用验证和分析 .     

机械零件制造成本估算系统

机械零件制造成本是评价零件可制造性的1个指标，对产品设计是1种反馈．通过产品制造成本的核算可以使设计人员在产品设计的早期阶段了解产品的制造成本，及时改进设计以降低成本,准确、快速估算制造成本，不仅便于企业的生产活动的控制和管理，而且直接影响企业对市场的分析和产品数据的一致性．与以往传统的核算方法不同，采用的基于特征的神经网络制造成本估算方法，避开了设计参数到成本参数之间复杂的非线形映射关系，实现了零件制造成本早期估算，以回转类零件为例，对基于特征的神经网络成本估算方法进行了实例应用验证和分析。     

基于问卷调查的校园碳足迹计算平台设计研究

校园是一个特殊的区域,各类资源消耗集中。目前,我国各类学校由于学生人数的增加,碳排放量也剧增。为建设低碳校园,促进节能减排,在问卷调查的基础上,核算了校园的碳足迹,探讨了校园碳足迹计算软件的设计流程、思路及实现方法,设计了面向学生、教师和管理部门的碳足迹计算软件,以期为低碳校园建设提供碳核算平台。     

基于问卷调查的校园碳足迹计算平台设计研究

校园是一个特殊的区域,各类资源消耗集中。目前,我国各类学校由于学生人数的增加,碳排放量也剧增。为建设低碳校园,促进节能减排,在问卷调查的基础上,核算了校园的碳足迹,探讨了校园碳足迹计算软件的设计流程、思路及实现方法,设计了面向学生、教师和管理部门的碳足迹计算软件,以期为低碳校园建设提供碳核算平台。     

大数据技术在医疗健康管理的应用与设计

面对传统医疗健康管理系统在存储和管理海量数据方面表现欠佳的问题，提出基于Hadoop对医疗健康数据进行高效管理和快速处理的方法。根据医疗健康数据特点，将HBase与Solr相结合实现多条件查询从而提高查询效率。设计医疗健康数据HBase数据库、医疗健康数据写入HBase过程和医疗健康数据MapReduce查询分析三个组成部分，搭建Hadoop集群环境，对HBase和MapReduce的性能进行测试对比。经测试，当数据量逐渐增大到一定规模时，该模型表现出明显的优势，可满足海量的医疗健康数据管理要求，缩短了计算时间，提高了处理效率。     

再生混凝土绿色建筑碳排放评价及灰色参数敏感性分析

为研究再生混凝土绿色建筑对温室效应碳排放过程的影响,采用生命周期评价法构建了再生混凝土建筑生命周期碳排放量计算边界和计算模型,并利用邓氏灰色关联理论对影响碳排放量关键参数的敏感性进行了数学分析;以某拟建再生混凝土绿色建筑为工程背景,选取再生混凝土有效水灰比、再生粗骨料取代率、骨料运输距离为变化参数进行生命周期碳排放量及其参数敏感性计算,分析各阶段不同建筑材料碳排放特点.研究结果表明:生命周期碳排放量计算模型边界分为原材料生产阶段、原材料运输阶段、成品或构件加工阶段、成品或构件运输阶段、施工安装阶段、建筑运营阶段、拆解阶段7个阶段;在生命周期中,再生混凝土绿色建筑碳排放量对有效水灰比的敏感性最高,其次为运输距离,最小为再生粗骨料取代率;建筑运营阶段和原材料生产阶段是建筑生命周期碳排放量最大的两个阶段.     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于MongoDB的Web信息采集系统应用研究

在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题.文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试.测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息.     

数据库中字符型数据的加密存储与查询

在归纳现有密文检索技术的基础上,提出一种针对字符型数据的加密存储与检索方案。采用两阶段查询法,通过构造索引字段存储敏感数据的结构信息,可使第一阶段的模糊查询过滤掉大部分无关记录,从而提高密文查询速率。实验结论显示,所提方案安全可用。     

考虑碳排放的大型制造企业甩挂运输牵引车调度优化

为了在完成既定运输任务的前提下减少大型制造企业内的碳排放量,阐述了大型企业采用甩挂运输的可行性和优越性。以吨公里CO2排放量为目标函数,构建了硬时间窗约束下的考虑碳排放的大型制造企业内牵引车优化调度模型,并设计了两阶段启发式算法求解该模型。该算法首先应用扫描算法获得模型初始可行解;然后,分别采用模拟退火算法和禁忌搜索算法提高初始可行解质量;最后,将优化模型和算法运用于以湖南华菱钢铁公司实例为基础的11个算例,并进行求解。结果表明:优化调度模型及两阶段启发式求解算法是可行、有效的。本文优化调度方法具有良好的节能减排效果,同时也说明大型制造企业内牵引车的中心节点选址能有效降低甩挂运输的碳排放量。     

基于齐次坐标变换的制造误差建模研究

为了在产品公差设计时考虑制造几何变动,将CAD模型中零件模型及其特征用点集形式表示.采用机器人运动学中的齐次坐标变换来描述工艺系统各组成部分的空间位姿关系,建立了工艺系统各组件的几何误差累积模型.将制造过程看作是刀具轨迹形成的点集更新被加工零件点集的过程,加工后零件点集组成了新的齐次坐标矩阵,该矩阵包含了零件的制造几何变动信息.采用Monte-Carlo仿真研究了特征面制造几何变动, 实现了基于CAD环境的制造过程模拟和制造误差传递分析,从而可在公差设计阶段就考虑制造几何变动,实现了公差并行设计.     

制造/再制造模式下的产品精度建模研究

分析了制造/再制造模式下的产品精度信息特点, 将公差项目分成互参考公差和自参考公差2大类, 以TTRS为理论基础, 在产品模型中增加了公差信息描述; 研究了功能失效与精度散失的关系, 分析了再制造零件精度模型的建立过程, 提出了制造/再制造模式下产品精度建模过程; 采用该建模方法对发动机活塞和汽缸内壁组成的圆柱副进行了实例研究,给出了该圆柱副的产品公差模型, 并将仿真分析获取的圆柱副精度散失信息添加到产品公差模型中,形成制造/再制造模式下的发动机汽缸运动副产品精度模型; 该建模方法能够为产品制造/再制造提供所需的各种信息, 并能方便地在CAX系统中实现.     

基于混合MPLS的多阶段过程质量预报方法

针对传统的多向偏最小二乘方法(multi-way partial least squares, MPLS)在质量预报中存在着模型预测精度低、局部预报能力不足等问题,提出一种多MPLS模型融合方法来提高预报表现。利用高斯混合模型(Gauss mixture model, GMM)对每批次过程和质量数据组成的高维空间进行阶段识别。针对多批次同一子阶段长度不等问题,采用动态时间规整(dynamic time warping, DTW)算法依据最长持续时间同步为等长轨迹,并在子阶段中按变量展开方式建立MPLS模型。根据Fisher判据分析(Fisher discriminate analysis, FDA)最小化子阶段数据集间相关性,利用核密度方法估计子阶段数据集去相关后的概率密度分布来在线监测阶段切换。利用贝叶斯原则融合各子阶段MPLS模型进行质量预报。将该方法应用到工业青霉素发酵过程中,表明了所提方法具有更好的监控性能和预报能力。     

基于MongoDB的物联网开放平台数据存储设计

针对物联网开放平台,设计一个基于MongoDB的实时数据存储方案。选用Node.js作为运行平台,在MongoDB中采用分页存储的形式对设备采集的最新数据实现实时存储;建立设备数据在数据库中的文档存储模型,利用单点写入的方式把数据文档存放到环形先入先出队列中;分别采用单点和多点两种模式进行数据读取。将分页与不分页两种存储方案进行查询效率对比测试,结果显示,所设计的方案可提高查询速度,其查询时间明显低于不分页的存储方案。