飞参数据挖掘中的预处理算法研究

针对飞参数据的特点,从野值剔除和属性选择两个方面对飞参数据预处理进行了研究,提出了基于残差检验的野值剔除方法和基于神经网络的两阶段属性选择方法。在野值剔除方法中,首先计算原始序列和拟合序列的残差,再用门限值对残差进行检验;在属性选择方法中,先用神经网络对属性的相对重要度进行排序,再用神经网络进行属性选择。最后用实验验证了两方法的有效性。     

参数据挖掘中的预处理算法研究

针对飞参数据的特点．从野值剔除和属性选择两个方面对飞参数据预处理进行了研究，提出了基于残差检验的野值别除方法和基于神经网络的两阶段属性选择方法。在野值剔除方法中，首先计算原始序列和拟合序列的残差．再用门限值对残差进行检验；在属性选择方法中，先用神经网络对属性的相对重要度进行排序，再用神经网络进行属性选择。最后用实验验证了两方法的有效性。     

飞参数据综合滤波算法

根据功率相等的原则提出了飞参数据中的野值滤波方法.运用神经网络和最小二乘法加权的方法对缺损数据进行填充,并分别与最小二乘法和神经网络的处理结果进行比较.仿真结果表明,运用该方法进行数据处理,可以在保证数据完整准确的情况下,有效地弥补飞参记录数据的缺陷,提高了数据的准确性和可信度.     

基于小波变换的着舰引导雷达数据剔野算法

在着舰引导雷达的标校过程中,产生的数据包含带趋势项的野值,它不能简单地根据某种统计算法予以剔除。根据小波变换和莱以特理论,提出了一种小波变换与莱以特准则结合的剔野算法,该算法先用小波变换去除数据的趋势项,然后根据莱以特准则剔除剩余数据的野值,最后合并趋势项,实现了着舰引导雷达数据带趋势项的野值剔除。     

莱特准则改进算法的呼伦湖环境信息采集系统的设计

由传感器采集后经ZigBee上传到数据中心的环境数据已经被广泛地使用到工业应用的各个领域,但是由于ZigBee采集的信息数据受到硬件和外界环境因素的影响会随机出现野值,这导致最终数据的偏离或者错误。提出改进的莱特准则剔除野值算法,该算法通过与最大误差和标准差的比较,得出需要保留的数据,最后剔除错误数据。通过对改进算法剔除的系统误差数据进行分析,与传统莱特准则算法相比,改进算法提高了剔除野值的准确性。现场试验结果表明,改进莱特准则算法对采集到的数据进行处理,得到的环境信息数据更加准确。     

飞行器外测数据连续型野值的抽取剔除方法

由于传输环境干扰,飞行器试验中外测数据常产生连续型野值,严重影响外测数据的处理和分析。文中针对连续型野值特点,提出了一种基于奇偶抽取的野值剔除方法。首先把数据按照奇偶位置抽取成2m组数据（m为进行奇偶抽取次数）,利用莱特准则对每组数据分别进行野值剔除,将剔除野值后的2m组数据按照奇偶抽取顺序重新组合,还原外测数据。仿真数据处理结果证明,该方法对于连续型野值的剔除效果明显,适用于飞行器外测数据野值剔除工作。     

实时控制系统中数值外推与平滑研究

依据某航天类项目的应用,提出了实时观测系统中数据引导的补偿方法,针对实时系统中的数据野值提出了剔除策略,给出了数据延迟问题的解决办法,并通过实例演示了编程实现,该方法对航天测控类应用具有普遍意义。     

实时控制系统中数值外推与平滑研究

依据某航天类项目的应用,提出了实时观测系统中数据引导的补偿方法,针对实时系统中的数据野值提出了剔除策略,给出了数据延迟问题的解决办法,并通过实例演示了编程实现,该方法对航天测控类应用具有普遍意义.     

曲线光顺在惯导平台自标定中的应用

提出了一种新的惯导平台自标定数据处理方法——曲线光顺法。根据自标定数据特点给出了适于自标定数据的曲线光顺准则。分析了野值对曲线二阶差商的影响规律,提出了一种野值剔除算法。通过将最小二乘与B样条结合得出二阶差商参考值,并使实际差商与参考差商距离达到最小从而得到野值修改值。实验结果表明,该文的算法能很好地解决惯导平台自标定数据的野值剔除问题,可通过调节参数来控制光顺精度,并具有算法简便、易于操作的优点。     

基于模板卷积的野值剔除方法

测量数据中野值的成功剔除是后续数据处理精度的重要保证.针对测量数据前后相关性这一客观事实,并结合最小二乘理论,对前期提出的基于模板卷积的野值剔除方法进行了改进,从理论上分析了该方法的高精度性和高实时性,并进行了仿真实验.仿真结果表明,该方法能有效剔除测量数据中的野值点.     

IMM-UKF在光电经纬仪实时数据处理中的应用

飞行试验中,异常值是影响光电经纬仪激光测距精度的主要问题。能否准确地剔除异常值,成为试验结论是否正确的首要条件。通过分析无迹卡尔曼滤波UKF和交互多模型IMM的原理及数学模型,提出了可应用于光电经纬仪实时数据处理的改进算法———交互多模型的无迹卡尔曼滤波算法(IMM-UKF),在此基础上给出了算法数学模型,最后通过飞行试验验证了该算法的工程实用性。试验结果表明,该算法有效去除了激光距离中的异常值,提高了估计精度及算法稳定度。     

基于粗糙集理论的序列离群点检测

作为数据挖掘的一项重要任务,离群点检测已经引起人们的广泛关注.本文基于粗糙集理论来讨论离群点的定义与检测问题,提出了一种新的离群点定义--粗糙序列离群点以及相应的离群点检测算法RSOD.该算法利用粗糙集理论中的知识熵和属性重要性等概念来构建三种类型的序列,并通过分析序列中元素的变化情况来检测离群点.在UCI标准数据集上...     

Trajectory-based multi-dimensional outlier detection in wireless sensor networks using Hidden Markov Models

Wireless sensor networks (WSNs) have been increasingly available for monitoring the traffic, weather, pollution, etc. Outlier detection in WSNs is an essential step for many important applications, such as abnormal event detection, fraud analysis, etc. While existing efforts focus on identifying individual outliers from sensory data, the unsupervised high semantic outlier detection in WSNs is more challenging and has received far less attentions. In addition, the correlation between multi-dimensional sensory data has not yet been considered when detecting outliers in WSNs. In this paper, based on multi-dimensional Hidden Markov Models, we propose a trajectory-based outlier detection algorithm by model training and model-based likelihood estimation. Our data preprocessing, clustering, model training and model updating schemes are developed to reduce the computational complexity and enhance the detecting performance. We also explore the possibility and feasibility of adapting the proposed algorithm to real-time outlier detections. Experimental results show that our methods achieve good performance on detecting various kinds of abnormal trajectories composed of multi-dimensional data.     

基于相对距离的反k近邻树离群点检测

针对分布复杂且离群类型多样的数据集进行离群检测困难的问题,提出基于相对距离的反k近邻树离群检测方法RKNMOD（Reversed K-Nearest Neighborhood）.首先,将经典欧氏距离、对象局部密度和对象邻域结合,定义了对象的相对距离,能同时有效检出全局和局部离群点.其次,以最小生成树结构为基础,采取最大边切割法以快速分割离群点和离群簇.最后,人工合成数据集和UCI数据集试验均表明,新算法的检测准确率更高,为分布异常且离群类型多样的数据集的离群检测提供了一条有效的新途径.     

Temporal and spatial outlier detection in wireless sensor networks

Outlier detection techniques play an important role in enhancing the reliability of data communication in wireless sensor networks (WSNs). Considering the importance of outlier detection in WSNs, many outlier detection techniques have been proposed. Unfortunately, most of these techniques still have some potential limitations, that is, (a) high rate of false positives, (b) high time complexity, and (c) failure to detect outliers online. Moreover, these approaches mainly focus on either temporal outliers or spatial outliers. Therefore, this paper aims to introduce novel algorithms that successfully detect both temporal outliers and spatial outliers. Our contributions are twofold: (i) modifying the Hampel Identifier (HI) algorithm to achieve high accuracy identification rate in temporal outlier detection, (ii) combining the Gaussian process (GP) model and graph‐based outlier detection technique to improve the performance of the algorithm in spatial outlier detection. The results demonstrate that our techniques outperform the state‐of‐the‐art methods in terms of accuracy and work well with various data types.     

分布式数据流上的连续异常检测

近年来,数据流异常检测在决策支持和监测等领域有着广泛的应用前景,并成为数据管理与挖掘的研究热点.针对该问题提出了相应的异常定义及检测算法,理论分析表明:与现有异常检测算法相比较,提出的算法具有良好的性能和效率,更适合于数据流应用.     

Coarse-to-fine outlier correction with applications in structure from motion

This paper presents a robust method for outlier detection and correction in structure from motion. Aiming at handling outliers together with missing data, the Discrete Cosine Transform (DCT) based Column Space Fitting (CSF) algorithm is extended and improved. The use of the DCT basis allows for a coarse-to-fine optimization strategy that reconstructs 3D scene geometry and camera motion by increasing the number of DCT basis vectors. With a certain DCT basis, an interior point based L₁-norm solver is used to successively estimate 3D scene structure. In addition, the fidelity of the estimated camera motion matrix is first integrated into an extension of Huber M-estimator to find outliers and to robustly estimate the update magnitude for each outlier. This fidelity can be measured by the effects of camera motion matrix on re-projection errors. Because the Huber M-estimator is only applicable to vector, we extend it into the matrix form. With the increase in the number of DCT basis vectors, outliers are corrected in a coarse-to-fine manner. Experiments on both synthetic and real image sequences confirm the effectiveness of the proposed method.