基于智能聚类模型的海量数据快速显示方法

为实时显示三维数据体的海量数据,提出一种改进的海量数据快速显示算法。利用CURE聚类算法对数据进行整理,通过Hilbert R-tree对数据建立索引,根据可视化区域预测模型预测下一时刻的可视区域,以实现大量数据的快速可视化。实验结果表明,与基于视点运动的快速显示算法和基于可见性判断的可视化算法相比,该算法在不降低渲染质量的前提下,渲染速度分别提高18.27%和67.06%,预测区域错误率分别降低9.73%和22.37%,能够快速加载数据并且准确绘制大量三维数据体。     

多代表点特征树与空间聚类算法

空间数据具有海量、复杂、连续、空间自相关、存在缺损与误差等的特点，要求空间聚类算法具有高效率，能处理各种复杂形状的簇，聚类结果与数据空间分布顺序无关，并且对离群点是健壮的等性能，已有的算法难以同时满足要求。本文提出了一个适合处理海量复杂空间数据的数据结构一多代表点特征树。基于多代表点特征树提出了适合挖掘海量复杂空间数据聚类算法CAMFT，该算法利用多代表点特征树对海量的数据进行压缩，结合随机采样的方法进一步增强算法处理海量数据的能力；同时，多代表点特征树能够保存复杂形状的聚类特征，适合处理复杂空间数据。实验表明了算法CAMFT能够快速处理带有离群点的复杂形状聚类的空间数据，结果与对象空间分布顺序无关，并且效率优于已有的同类聚类算法BLRCH与CURE。     

Hadoop云平台下的聚类算法研究

为了解决在面对海量数据时机器学习算法很难在有效时间内完成规定的任务,并且很难有效地处理高维度、海量数据等问题,提出了基于Hadoop分布式平台的谱聚类算法并行化研究。利用MapReduce编程模式,将传统的谱聚类算法进行重新编写;在该平台上用Canopy算法对数据进行预处理,以达到更好的聚类效果。实验结果表明了设计的分布式聚类算法在加速比等方面有良好的性能,并且在数据伸缩率方面效果明显,改进后的算法适合处理海量数据。     

基于云计算平台的动态增量密度算法研究

针对传统密度聚类算法处理海量数据时间复杂度高且不适合处理动态数据等问题,提出一种利用参考点和MapReduce模型进行动态增量聚类的密度算法。其创新点在于,该算法实现了一种能够处理海量动态数据的聚类算法,保证了增量聚类与重新聚类结果的一致性,并具有可扩展性的特点。实验结果证明:该算法降低了参数敏感性,提高了密度算法的聚类效率和资源利用率,适合大数据分析。     

Hadoop环境下分布式物联网设备状态分析处理系统

设备故障可能会引起严重的生产事故,对企业、社会和人身安全造成严重威胁.因此,对物联网设备状态分析并进行合理的处理具有重要意义.针对物联网设备数据量大且复杂的特性,本文提出了一种针对物联网设备的海量数据处理架构,同时结合Dask分布式计算框架,设计了基于Hadoop环境的分布式物联网设备状态分析处理系统.本系统主要包括数据服务、数据分析和数据存储3个模块,并通过合理的节点调度方案保证了算法的高效运行和分布式计算的稳定性.系统运行表明能有效的处理大批量数据并实时准确预测设备状态,满足工业智能制造过程中的实际应用.     

基于MapReduce的K-means聚类算法的优化

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷,提出了一种基于MapReduce的改进K-means聚类算法。该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景;文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者;这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势。     

一种基于Hadoop云计算平台的聚类算法优化的研究

随着信息技术的飞速发展,需要处理的数据量急剧增长,聚类算法的研究面临着海量数据分析和处理的挑战。对K-means聚类算法的优化进行了深入的研究,提出了首先选定初始聚类中心的并行K-means聚类算法。对不同大小的数据集进行测试实验,证明该优化算法具有更好的时间性、正确性和稳定性,适合于海量数据的分析和处理。     

面向海量数据的改进最近邻优先吸收聚类算法

针对最近邻优先吸收聚类算法难以应用在海量数据聚类处理上的不足,基于MapReduce提出改进算法。通过引入MapReduce并行框架,利用Canopy粗聚类优化计算过程,并对聚簇交叉部分的处理进行改进。采用3组大小不同的数据集进行实验,结果表明,与K-means算法和最近邻优先吸收聚类算法相比,改进算法在保证聚类质量的基础上具有较快的运行速度,并适用于海量数据的聚类分析。     

ABC_Kmeans聚类算法的MapReduce并行化研究

随着数据的海量增长,数据聚类算法的研究面临着海量数据挖掘和处理的挑战;针对K-means聚类算法对初始聚类中心的依赖性太强、全局搜索能力也差等缺点,将一种改进的人工蜂群算法与K-means算法相结合,提出了ABC_Kmeans聚类算法,以提高聚类的性能;为了提高聚类算法处理海量数据的能力,采用MapReduce模型对ABC_Kmeans进行并行化处理,分别设计了Map、Combine和Reduce函数;通过在多个海量数据集上进行实验,表明ABC_Kmeans算法的并行化设计具有良好的加速比和扩展性,适用于当今海量数据的挖掘和处理。     

一种基于迭代聚类的并行应用性能分析方法

随着超级计算机的发展,其使用到的核心数逐渐达到数十万,而且运行于其上的应用的复杂性也不断加大.因此,开发人员需要对并行应用的性能进行测量,并做出分析,以便对程序源码进行优化,提高程序的执行效率.但是由于核心数的大量增加,对并行程序性能进行测量将得到海量的性能数据,如何处理海量性能数据,以便分析并行程序性能成为一个难点.介绍了一种基于迭代聚类的并行应用性能分析方法,该方法使用数据挖掘的聚类算法处理处理海量性能数据,并可以根据条件迭代执行,确定影响并行程序性能的函数和进程,然后通过贝叶斯信息准则评价聚类结果,以确定迭代聚类的可靠性,最后用实验证明了方法的有效性.     

企业离散式智能设备预测性维护综述

针对智能设备的大量使用且缺乏根据监测大数据进行故障自动分析、判断与处理的问题,研究了基于物联网技术、大数据技术、边云协同技术的智能设备预测性维护框架和模式.提出针对非智能设备安装传感器实现设备智能化的方法.指出边缘计算负责设备工况数据的实时采集、分析,可快速甄别设备故障并实时报警;云计算聚焦同类设备运行海量历史数据的挖掘和分析,形成故障自动预测分析和诊断模式并下载至智能边缘设备.在研究了模型驱动、数据驱动、概率统计驱动、数字孪生和概率数字孪生驱动等故障预测模式后,提出了采用数据驱动的多层级数据融合模式,为制定企业性智能设备维保方案提供借鉴作用.     

动力系统的智能化监测与安全保护设计

直升机旋翼模型风洞试验是高转速、高风险的动态试验,为保护试验的安全运行,必须实时、准确、可靠地监测试验台关键驱动设备-动力驱动系统及辅助系统的运行状态,并根据运行状态分级采取相应的保护措施。本文以动力系统主控PLC为基础,打通试验台各系统之间的信息孤岛,提出了一种基于历史数据分析的设备运行状态分级评价及风险评估方法,根据实时运行数据判断动力系统运行风险,给出安全操作建议。风洞试验应用效果表明本文构建的旋翼模型试验台动力系统智能监测与安全保护设计数据分析科学,状态监测实时,安全保护可靠。提高了直升机试验的安全可靠性。     

Hierarchical indices to detect equipment condition changes with high dimensional data for semiconductor manufacturing

During semiconductor manufacturing process, massive and various types of interrelated equipment data are automatically collected for fault detection and classification. Indeed, unusual wafer measurements may reflect a wafer defect or a change in equipment conditions. Early detection of equipment condition changes assists the engineer with efficient maintenance. This study aims to develop hierarchical indices for equipment monitoring. For efficiency, only the highest level index is used for real-time monitoring. Once the index decreases, the engineers can use the drilled down indices to identify potential root causes. For validation, the proposed approach was tested in a leading semiconductor foundry in Taiwan. The results have shown that the proposed approach and associated indices can detect equipment condition changes after preventive maintenance efficiently and effectively.     

基于SparkStreaming的海量GPS数据实时地图匹配算法

浮动车GPS数据作为交通信息处理的基础,随着被监控车辆数量的高速增长,产生了海量GPS数据,对地图匹配提出了高挑战,为了解决传统匹配方法难以满足匹配效率和精度的不足,提出一种针对于海量GPS数据的实时并行地图匹配算法,能够同时保证较高匹配精度和运算效率。构建一种面向实时数据流的高效、准确实时地图匹配算法,首先通过引入速度、方向综合权重因子对依赖历史轨迹的离线地图匹配算法进行重构,进而引入Spark Streaming分布式计算框架,实现地图匹配算法的实时、并行运算,大幅提升实时地图匹配效率。实验结果表明,该算法在复杂路段的匹配准确率较常规拓扑匹配算法提高10%以上,整体匹配准确率达到95%以上;在匹配效率方面,较同等数量的单机服务器可提高效率4倍左右。实验结果表明,该算法在由11台机器组成的计算集群上实现8 000万个GPS数据点的实时地图匹配,证明了该算法可以完成城市地区的实时车辆匹配。     

消失模自动浇铸过程监控系统设计

针对自动浇铸过程中生产效率低、数字化程度低、浇铸信息不完善等问题,设计了一种基于组态技术以及PLC技术的浇铸监控系统;该系统以MCGS组态软件作为监控系统开发平台,对分布式网络下PLC采集的设备运行状态和处理后的数据进行深层次地解析,实现了对浇铸过程的实时监控;采用无线AP Client的网络架构搭建了底层移动设备间的数据传输通道,保证了系统能够快速且稳定地完成数据采集以及设备的运行控制,实现了浇铸监控系统的实时信息显示、历史数据查询等功能;该系统已经应用于消失模铸造车间,极大提高了车间的数字化程度,利用射频识别技术(RFID)实现了浇铸工位定位,当读写次数达4000~8000,RFID的准确率为100%;以浇铸100 kg的变速箱体为例,平均耗时低于35 s,每包铁水用时累积节约180 s,提高了生产效率。     

基于大数据平台的水轮发电机组故障诊断系统

水轮发电机组是水电站的关键设备,它的运行状况直接关系到水电站的安全生产。目前对水轮发电机组运行状况的掌握大都通过装设的状态监测系统运行数据的分析比对和计划检修相结合的方式,但往往都是故障已经发生后才能予以发现,不能提前对设备运行工况进行预判。本文详细介绍了一种基于大数据平台的水轮发电机组故障诊断系统,该系统主要由数据处理平台、模型算法平台、可视化展示平台三部分组成,是一种基于大数据平台和互联网技术的典型应用。其主要通过挖掘水电厂现有计算机监控系统、状态监测系统等信息系统的实时及历史数据,再经过一系列关联算法提取这些数据中蕴含的丰富的价值信息来实现对机组的运行状况监视、健康评价、趋势预警、故障诊断、检修指导等。     

基于Gradient Boosting算法的ERMS辐射数据预测

影响核辐射监测站点辐射监测HPIC剂量率实时数据准确性的组成因素多且复杂,如自然因素的降雨、温湿度、风向及太阳辐射等,客观因素的设备异常及放射性状况等;以致在实际应用中发现辐射监测状态异常时,很难分析出是什么原因导致的监测数据偏离.结合ERMS海量历史辐射序列监测数据,深入挖掘降雨、温湿度、气压、风向、太阳辐射天顶方向电子量及周边各站点辐射数值等特征因子集,基于Gradient Boosting算法（简称GB算法）建立起HPIC剂量率辐射数据的在线预测模型,有效融合自然特征因子,降低了自然因子对HPIC剂量率辐射监测数值异常的分析及判读的干扰作用,提高了对ERMS辐射异常发现的辅助判断能力及维保效率.     

基于反射内存网络的风洞测量系统状态监测系统设计

为了解决某风洞测量系统监测覆盖面不全、监测手段缺乏、监测数据管理效率低下等不足,在现有设备基础上搭建了环形反射内存网络,构建了状态监测系统;介绍了系统的硬件组成和软件设计方案及实现;状态监测软件基于LabVIEW和SQL Server开发,将测量设备状态信息集中采集、处理、存储,实现了对测量系统设备的实时监测和数据分析等功能;应用结果表明,系统具有良好的实时性和可靠性,功能完备,界面友好,满足风洞试验运行监测要求。     

面向高速列车监测数据的并行解压缩算法

高速列车在运行时产生的实时监测数据通常用变长编码压缩技术进行处理,以便于传输和存储。然而这种方法会使得压缩数据内部结构复杂,导致相应的数据解压缩过程只能遵照压缩数据的组成顺序进行,效率较低。为提升高速列车监测数据的解压缩效率,借助推测技术,提出一种面向高速列车监测数据的并行解压缩算法。首先,研究高速列车监测数据的结构特征,分析影响数据划分的内部依赖;其次,利用推测技术消解内部依赖后,对数据进行试探性划分;然后在分布式计算环境中对划分结果并行地进行解压;最后将并行解压缩结果合并起来,从而提高针对高速列车监测数据的解压缩效率。实验结果表明,在由7个计算节点组成的计算集群上,与串行算法相比,所提推测并行算法的加速比为3左右,展现了该算法良好的性能,可见该算法能够显著提高针对列车监测数据的解压缩效率。     

基于Profibus-DP的水泥自动配料系统设计

针对某水泥厂配料生产线使用的PLC控制系统存在连线多、距离远、故障点多等缺陷,提出了一种基于Profibus-DP的水泥自动配料系统的改造方案,详细介绍了系统的硬件与软件的设计。该系统以西门子S7-300 PLC为主控制器,具有配料系统运行状态监控、运行异常报警、运行参数修改、实时数据自动生成、历史数据报表查询或打印等功能。