SAR插补CCD缺失数据算法及其应用检验

提出了一种利用SAR插补因云遮挡导致CCD数据缺失的算法。通过分析云及其阴影的光谱特征,设计出云及其阴影的提取模型,并运用CCD和SAR之间匹配转化算法和有云影响像元的替换运算,得到插补后的新CCD数据。利用高光谱数据反演海面盐度算法所得海面盐度与实测海面盐度做相关性比较分析对本缺失数据插补算法进行检验。结果表明:研究海域中缺失数据区域的海盐反演精度为R²=0.8441,RMSE=0.7031,即SAR插补CCD缺失数据算法具有较强的可靠性和多源遥感数据兼容性,一定程度上恢复了噪声下垫面的实际情况,可以用于融合多传感器生成时空完整、高精度的数据产品。     

一步预测的SVDDBN缺失数据插补算法

变结构离散动态贝叶斯网络（SVDDBN）处理不确定性问题更具有一般性,为了克服SVDDBN缺失数据会导致推理结果精度变差的问题,提出了一步预测的SVDDBN缺失数据插补算法。根据信息可以沿着网络的时间轴方向向下一个时间片传播的规律,利用“混合”信息在线进行信度更新,可得到滤波值,再通过进一步预测得到下一个时间片缺失数据节点的后验概率作为插补值。仿真结果表明：提出的算法能有效插补缺失数据,提高SVDDBN推理的精确度及可靠性。     

面向高维特征缺失数据的K最近邻插补子空间聚类算法

针对高维特征缺失数据在聚类过程中面临的因数据高维引发的维度灾难问题和数据特征缺失导致的样本间有效距离计算失效问题,提出一种面向高维特征缺失数据的K最近邻（KNN）插补子空间聚类算法KISC。首先,利用高维特征缺失数据的子空间下的近邻关系对原始空间下的特征缺失数据进行KNN插补;然后,利用多次迭代矩阵分解和KNN插补获得数据最终可靠的子空间结构,并在该子空间结构进行聚类分析。在6个图像数据集原始空间的聚类结果表明,相较于经过插补后直接进行聚类的对比算法,KISC算法聚类效果更好,说明子空间结构能够更加容易且有效地识别数据的潜在聚类结构;在6个高维数据集子空间下的聚类结果显示,KISC算法在各个数据集的聚类性能均优于对比算法,且在大多数据集上取得了最优的聚类精确度（ACC）和标准互信息（NMI）。KISC算法能够更加有效地处理高维特征缺失数据,提高算法的聚类性能。     

数据预处理方法在移动通信行业中的应用

解决数据本身的质量问题,以某移动通信用户离网原因分析及预测为主题及为数据挖掘模型处理出需要的数据是文章的主要目的.文中运用了数据预处理中,维规约,属性集成与构造,多重插补,离散化,规范化,数据抽样等方法来得到一个完整的、近似真实的数据集.针对所处理数据含有大量缺失值的特点,选取了插补的方法进行处理.包括方法的插补方法的选择,到最后使用多重插补方法对缺失数据进行修正.预处理后的数据应用到具体数据挖掘模型后提高了数据挖掘的效率,降低了数据挖掘复杂度.     

耦合图像间的数据融合算法

耦合数据的融合算法主要通过利用其中一个数据集的信息提高对其他耦合数据集的估计精度和完善对相关潜变量的解释。针对现实中存在的大量耦合图像,基于耦合数据融合中的耦合矩阵和张量分解优化（CMTF-OPT）算法,提出一种针对耦合图像的耦合图像分解优化（CIF-OPT）算法。相应的理论分析及实验结果表明,不同噪声影响下用CIF-OPT算法进行耦合图像融合后的效果均具有鲁棒性,且融合效果优于其他耦合算法（如：CMTF-OPT算法）。特别地,针对其中缺失数据元素的图像,CIF-OPT算法可以利用与其耦合的图像,对缺失数据元素的图像进行精确的数据恢复。     

多雷达站数据融合处理的聚类方法

该文提出了一种针对多个雷达站对空中多个目标采集数据的数据融合方法,包括时间数据融合,空间融合,时空数据融合和参数时空插补方法,该方法简单方便,计算量小,便于实现。     

基于海上风电塔倾斜度的数据融合方法研究

针对漂浮式海上风电塔检测系统中倾斜度检测精度较低的问题，提出一种改进量子粒子群算法-互补滤波融合算法对其采集的数据进行优化与融合。首先通过改进量子粒子群算法对互补滤波器中的互补滤波系数η进行寻优，然后将寻优后的参数配置给互补滤波器，最后利用其互补滤波器对加速度计和陀螺仪分别测量的数据进行数据融合得到倾斜度。通过分别与单一传感器数据计算的结果、PSO和QPSO分别参数寻优的互补滤波融合算法融合的结果进行对比可知使用改进的量子粒子群算法-互补滤波融合算法有效地滤除了数据含有的不良外部干扰且提高了倾斜度的检测精度。     

利用宏编程实现风电场缺失数据的插补

研究人员在进行数据插补的时候,需要进行大量的数学计算。利用宏编程可以用来实现回归分析的重复计算,从而得出更精确的分析结果。使用这种方法解决了风电场缺失数据的插补问题。本方法能够为研究人员整理和分析数据节省大量的时间。     

ARIMA和LSTM方法长时间温度观测数据缺失值插补的比较

针对野外小气象观测站点半小时温度观测长时间数据缺失问题,结合较低频次的人工温度观测数据,采用时间序列分析和深度学习等方法,对缺失的半小时温度观测数据进行高精度插补。首先,选用深度学习数据插补中的序列-序列（Seq2Seq）方法,建立了适合高精度温度数据插补需求的编码-解码深度学习模型BiLSTM-I;然后,选用了传统的代表性方法,从时间序列回归分析——差分整合移动平均自回归模型（ARIMA）状态方程形式中,获取卡尔曼平滑状态估计方程的各项参数,由卡尔曼平滑估计实现对温度观测数据缺失值的插补。实验分析结果表明,所设计的BiLSTM-I深度学习气温插补方法要优于时间序列的双向递归插补方法（BRITS-I）。对缺失值时间窗口为30 d的测试集,测试结果中均方根误差（RMSE）为0.47℃,相较于BRITS-I得到的RMSE,精度提升了0.90;对缺失值时间窗口为60 d的测试集,RMSE为0.49℃,相较于BRITS-I得到的RMSE,精度提升了0.90;基于ARIMA状态模型的插补方法也有较高的精度,RMSE为0.75℃。最后,还分析了BiLSTM-I深度学习插补方法对不同温度缺失时间长度...     

ARIMA和LSTM方法长时间温度观测数据缺失值插补的比较

针对野外小气象观测站点半小时温度观测长时间数据缺失问题,结合较低频次的人工温度观测数据,采用时间序列分析和深度学习等方法,对缺失的半小时温度观测数据进行高精度插补。首先,选用深度学习数据插补中的序列-序列（Seq2Seq）方法,建立了适合高精度温度数据插补需求的编码-解码深度学习模型BiLSTM-I;然后,选用了传统的代表性方法,从时间序列回归分析——差分整合移动平均自回归模型（ARIMA）状态方程形式中,获取卡尔曼平滑状态估计方程的各项参数,由卡尔曼平滑估计实现对温度观测数据缺失值的插补。实验分析结果表明,所设计的BiLSTM-I深度学习气温插补方法要优于时间序列的双向递归插补方法（BRITS-I）。对缺失值时间窗口为30 d的测试集,测试结果中均方根误差（RMSE）为0.47℃,相较于BRITS-I得到的RMSE,精度提升了0.90;对缺失值时间窗口为60 d的测试集,RMSE为0.49℃,相较于BRITS-I得到的RMSE,精度提升了0.90;基于ARIMA状态模型的插补方法也有较高的精度,RMSE为0.75℃。最后,还分析了BiLSTM-I深度学习插补方法对不同温度缺失时间长度...     

一种无参数的微阵列缺失值填补方法

微阵列数据中的缺失值会对随后的数据分析造成影响。因此,正确地估计这些缺失值是很必要的。将一个k值选取算法结合到有序的局部最小二乘填补算法中,提出了一种无参数的缺失值填补方法(SLLSkimpute)。该方法的三个特点是:第一,无需事先确定参数;第二,针对不同的目标基因使用不同数目的邻居基因;第三,有序地估计缺失值,并有选择地将已得到的估计值应用到后续的估计过程中。实验结果证实了该算法的有效性,其估计性能优于其它一些常用的填补方法。     

基于聚类和自动编码机的缺失数据填充算法

当前的不完整数据处理算法填充缺失值时,精度低下。针对这个问题,提出一种基于CFS聚类和改进的自动编码模型的不完整数据填充算法。利用CFS聚类算法对不完整数据集进行聚类,对降噪自动编码模型进行改进,根据聚类结果,利用改进的自动编码模型对缺失数据进行填充。为了使得CFS聚类算法能够对不完整数据集进行聚类,提出一种部分距离策略,用于度量不完整数据对象之间的距离。实验结果表明提出的算法能够有效填充缺失数据。     

航迹融合算法在多传感器融合中的应用

研究寻的制导优化控制问题,针对传统单一传感器导引不能满足性能要求,提出采用多传感器复合制导.航迹融合是多传感器数据融合中一个非常重要的方面.由于公共过程噪声的原因,使在应用状态估计融合系统中,来自不同传感器的航迹估计误差未必有独立性,为了使航迹与航迹关联和融合,提出自适应航迹和协方差加权航迹融合的算法.通过仿真研究说明自适应航迹融合和协方差加权航迹融合的算法对多传感器数据融合技术有很明显的作用,数据融合效果好,为复合寻的制导优化设计提供了依据.     

一种基于动态自适应数据窗口的模糊k-均值聚类缺失数据估算算法

完整性是数据质量的一个重要维度,由于数据本身固有的不确定性、采集的随机性及不准确性,导致现实应用中产生了大量具有如下特点的数据集:1)数据规模庞大;2)数据往往是不完整、不准确的.因此将大规模数据集分段到不同的数据窗口中处理是数据处理的重要方法,但缺失数据估算的相关研究大都忽视了数据集的特点和窗口的应用,而且回定大小的数据窗17容易造成算法的准确性和性能受窗口大小及窗口内数据值分布的影响.假设数据满足一定的领域相关的约束,首先提出了一种新的基于时间的动态自适应数据窗口检测算法,并基于此窗口提出了一种改进的模糊k-均值聚类算法来进行不完整数据的缺失数据估算.实验表明较之其他算法,不仅能更适应数据集的特点,具有较好的性能,而且能够保证准确性.     

传感器网络中一种基于时-空相关性的缺失值估计算法

在无线传感器网络中,感知数据的缺失问题不可避免,并且给无线传感器网络的各种应用带来了巨大困难.解决该问题的最好办法是对缺失数据进行准确估计.文中首先提出了一种基于感知数据时间相关性的缺失值估计算法,该算法采用线性插值模型,能够对较短时间内平稳变化的感知数据的缺失值进行较好估计;其次,文中提出了一种基于感知数据空间相关性的缺失值估计算法,该算法采用多元回归模型,同时考察多个邻居节点并联合地用其感知数据来共同估计缺失值.该算法不仅能够对非平稳变化的感知数据的缺失值取得较好估计效果,而且在给出缺失数据估计值的同时,还能够对用户给定的置信度给出缺失值的置信区间;基于上述两种算法,文中最后给出了一种自适应的基于感知数据时-空相关性的缺失值估计算法.该算法无论对于平稳变化还是非平稳变化的感知数据的缺失值均能取得较好的估计效果.作者在真实的数据集合上对文中提出的算法进行了测试,实验结果证明文中提出的基于感知数据时-空相关性的缺失值估计算法能够有效估计无线传感器网络中的缺失数据,具有可靠、稳定的估计性能.     

传感器网络中一种基于多元回归模型的缺失值估计算法

在无线传感器网络中,感知数据的缺失问题不可避免,并且给无线传感器网络的各种应用带来了巨大困难.解决该问题的最好办法是对缺失数据进行准确估计.提出了一种基于多元回归模型的缺失值估计算法.该算法首先依感知数据的时间相关性和空间相关性分别采用多元线性回归模型对缺失数据进行估计,然后根据回归模型的拟合优度对基于时间维和空间维求出的两个估计值分别赋予相应的权值系数,并将其加权平均值作为缺失数据的最后估计值.由于该算法在对缺失值进行估计时,同时考察多个邻居节点并联合地用其感知数据来共同估计缺失值,因此该算法具有可靠、稳定的估计性能.在两个真实的数据集合上对该算法进行了测试,实验结果表明提出的缺失值估计算法能够有效估计无线传感器网络中的缺失数据.     

一种改进的多无线传感器数据分批估计自适应加权融合算法

为解决温室大棚中多无线传感器监测数据融合精度低的问题,提出了一种改进型的分批估计自适应加权融合算法。算法首先对单个无线温度传感节点一段时间内所采集的数据根据容许函数阈值剔除误差较大的数据,然后对该温度传感器的数据进行分批估计得出该节点某一段时间内的最优估计值,以此得到该区域所有无线温度传感节点最优估计值后,依据权值最优分配原则对每组传感器数据进行组内自适应加权融合,从而计算得到该段时间内温室大棚的温度精确值。通过实验验证得出：相对于平均值法与传统的分批估计算法,本算法数据融合易于实现,融合值相对误差值更低,稳健性更好。     

重复数据中关键属性值缺失填补的改进ROUSTIDA算法

随着数据分析研究的兴起,数据预处理越来越得到研究者的重视,其中缺失数据填补问题的重要性也逐渐显现。在ROUSTIDA数据补齐算法的基础上,针对具有关键属性的重复数据的特点,文中提出了一种改进的ROUSTIDA算法——Key&Rpt_RS算法。Key&Rpt_RS算法继承了ROUSTIDA算法的优势,同时考虑了目标数据的重复性特点,分析了关键属性对填补效果的影响,得到了更加准确且有效的填补结果。     

基于改进自适应加权的多传感器融合监测

针对加注系统多传感器测量数据融合,为满足融合的可靠性与准确性需求,提出了一种改进的自适应加权融合算法。加权融合算法的关键是如何准确判定测量数据权重值,在总结分析当前权重值判定方法优缺点的基础上,将证据理论中的修正证据距离引入测量数据间距离计算,生成融合权重值,完成传感器数据融合。通过一般算例与加注系统典型算例,对所提融合算法进行验证,结果表明算法融合效果较好、鲁棒性强,具有一定的理论意义和较好的工程实用价值。     

Optimal distributed Kalman filtering fusion for a linear dynamic system with cross-correlated noises

In this article, we study the distributed Kalman filtering fusion problem for a linear dynamic system with multiple sensors and cross-correlated noises. For the assumed linear dynamic system, based on the newly constructed measurements whose measurement noises are uncorrelated, we derive a distributed Kalman filtering fusion algorithm without feedback, and prove that it is an optimal distributed Kalman filtering fusion algorithm. Then, for the same linear dynamic system, also based on the newly constructed measurements, a distributed Kalman filtering fusion algorithm with feedback is proposed. A rigorous performance analysis is dedicated to the distributed fusion algorithm with feedback, which shows that the distributed fusion algorithm with feedback is also an optimal distributed Kalman filtering fusion algorithm; the P matrices are still the estimate error covariance matrices for local filters; the feedback does reduce the estimate error covariance of each local filter. Simulation results are provided to demonstrate the validity of the newly proposed fusion algorithms and the performance analysis.