稀疏偏最小二乘方法用于光谱波长选择及定量分析

针对光谱数据局部效应显著、变量间的严重共线性等特征,实施基于转换权向量约束优化的稀疏偏最小二乘回归新技术。它通过在特征变量提取的优化目标函数中加入转换权向量的罚函数,一并执行光谱波长选择和特征提取,随后再构建特征变量与性质变量间的校正模型。其中,罚函数中的最佳罚因子和校正模型中的最优PLS成分数,经由各自取值范围内一定数量试验水平的两因素全面试验设计与校正模型精度调控的交叉验证方式确定。最后,通过面粉生面团切片的近红外光谱数据的试验应用研究,结果显示该技术光谱数据波长选择和特征提取稳健,去噪明显,并显著提高了光谱数据定量校正模型的预测能力。     

基于因子回归模型的软测量方法

在工业过程中,有很多重要变量往往无法在线检测,通常通过软测量方法进行估计,主元回归是其中1种常用方法。相比于主元,因子更具广泛意义,更能反映数据的本质特征。基于此,提出1种基于因子回归模型的软测量方法,先对过程日常运行数据进行因子分析,建立因子生成模型,并提取因子信息,然后建立因子与关键变量间的因子回归模型,在线应用时先将可测变量代入生成模型得到因子变量,然后将因子代入到因子回归模型,软测量出关键变量。将该方法应用到化工吸附分离过程中,比较了因子回归模型与主元回归模型的软测量效果,结果表明前者优于后者。     

基于递推规范变量残差和核主元分析的微小故障检测

微小故障由于故障征兆不明显从而很难在故障发生早期对其进行检测. 针对该问题, 本文提出了一种基于递推规范变量残差和核主元分析(RCVD–KPCA)的微小故障检测方法. 首先构造规范变量残差, 从中提取数据的线性特征. 利用指数加权滑动平均法对规范变量残差进行递推滤波处理, 提高规范变量残差对微小故障的敏感程度;然后使用KPCA提取规范变量残差中的非线性主成分作为非线性特征, 根据提取的特征提出了两个新的故障检测统计量; 此外, 利用核密度估计确定故障检测统计量的控制限. 由于同时提取了过程数据的线性和非线性特征, 有效地提高了非线性动态过程中微小故障的可检测性. 以闭环连续搅拌釜式反应器过程为例进行了仿真分析, 仿真结果表明本文所提方法具有较好的故障检测性能.     

基于数据依赖图的主域变量识别方法*

随着企业/组织中大量遗留系统的产生,遗留系统的业务逻辑提取技术也受到越来越多的关注。对于提取业务逻辑,主域变量是一个很好的入口点。在应用领域中,主域变量对应着重要的业务对象,分析主域变量的状态变化以及主域变量间的关系可以获得大部分的业务逻辑。但现今,国内外对于主域变量识别技术的研究大多只提到它的重要性,并没有提出如何提取主域变量的具体方法。给出了一种基于数据依赖图(DDG)的主域变量识别方法,并将该方法运用到一大型遗留系统的业务逻辑提取中。实践证明该方法大大提高了提取效率,并有效地降低了出错的可能性。     

利用协变量调整控制混杂因子的鲁棒文本分类

针对目前很多文本分类方法很少控制混杂变量,且分类准确度对数据分布的鲁棒性较低的问题,提出一种基于协变量调整的文本分类方法.首先,假设文本分类中的混杂因子（变量）可在训练阶段观察到,但无法在测试阶段观察到;然后,以训练阶段的混杂因子为条件,在预测阶段计算出混杂因子的总和;最后,基于Pearl的协变量调整,通过控制混杂因子来观察文本特征和分类变量对分类器的精度影响.通过微博数据集和IMDB数据集验证所提方法的性能,实验结果表明,与其他方法相比,所提方法处理混杂关系时,可以得到更高的分类准确度,且对混杂变量具备鲁棒性.     

虚拟仪器数据库多变量空间尺度识别方法仿真

针对传统虚拟仪器数据库识别方法无法实现多变量空间尺度的识别,识别效果不佳的问题,提出对虚拟仪器数据库多变量进行空间尺度识别的方法。对虚拟仪器数据库中的多变量进行提取,并采用ICA方法和小波滤波器对提取的多变量数据进行预处理,得到数据的空间尺度信息;将多变量的空间尺度信息视为变量固有属性,根据变量固有属性形成概念分层,依据概念分层中的相关概念对多变量进行空间尺度划分;采用小波变换对多变量划分的结果进行重构,得出多变量空间尺度识别结果。通过多次仿真证明,所提方法可高效地实现对多变量空间尺度的识别,且识别效果较好。     

数据挖掘在河道洪水准确预测中的应用研究

研究河道洪水的准确预测问题。由于水文数据是河道过去某些较短时间段内获取的数据,不能完整包含河道特性,使得较短的水文数据中的预报因子较难提取。传统的预测方法是直接提取水文数据中的预报因子,不能保证预报因子的准确度而造成预测准确性不高。为此,提出数据挖掘技术应用在河道洪水预测中。对水文数据进行分组后根据模糊算法对数据进行优化,采用数据挖掘算法找到水文数据隐藏的深层规律,并据此提取出预报因子,避免直接从较短的水文数据中提取预报因子而不准确的问题,最终根据关联规则构建洪水预测模型,并输入预报因子和降水值完成洪水预测。实验表明,这种方法能够从较短水文数据中有效提取预报因子,准确完成河道的洪水预测。     

试验设计方差分析的算法整合与网络实现

试验设计方差分析是统计学的重要分支,其中,单变量的方差分析应用最为广泛。本研究整合了8种单变量的试验设计方差分析,其中包括单因子设计4种：完全随机设计,随机区组设计,有亚样品的随机区组设计,巢式设计;两因子设计2种：双向分组设计,两因子试验RCBD;多因子设计2种：裂区设计,正交设计。算法用Java网络化实现,图型用户界面友好,简单易用,驻留于远程服务器,可在兼容Java的网络浏览器上调用和运行。不仅可独立使用,也可作为网络软件包及网络数据库的嵌入程序。利用该网络算法,对无脊椎动物多样性数据进行了分析。     

神经网络在光纤故障预警系统中的应用仿真

研究光纤故障预警系统的预警及时性问题.由于光纤承载业务量的不断增加,光纤线路产生大量的光功率告警信息,给预警系统带来巨大数据负担而影响预警及时性,传统的数据库方法对每一个光功率告警信息逐一进行预警分析,无法快速获取预警因子,而造成预警及时性不高.为解决上述问题,提出神经网络技术应用在光纤故障预警系统中.通过神经网络技术构建数据挖掘模型,将大量光功率告警信息输入到模型中进行数据分析,从中挖掘出具有最大决策价值的数据并快速提取其预警因子,避免逐一分析造成的预警因子提取效率不高的问题,利用预警因子快速完成预警.仿真结果表明,改进方法能够从大量光功率信息中快速获取预警因子,及时完成光纤故障的预警.     

支持向量机分类算法中多元变量共线性问题的改进

结合核主成分分析的主因子提取和支持向量机的分类机理,提出了一种组合建模算法.应用核主成分分析过程作为预处理器,可以把共线性的多元变量糅合为几个主因子,但基本不损失有效信息.然后进行基于支持向量机的分类建模和预测.这样不仅可以防止共线性多元变量对模型的负面影响,还可以降低数据维数,减少支持向量机分类过程中的复杂度和运算量.最后用实验进行评估所得到的训练模型,实例说明了所提方法的有效性.     

Dynamic self-organizing maps with controlled growth for knowledgediscovery

The growing self-organizing map (GSOM) algorithm is presented in detail and the effect of a spread factor, which can be used to measure and control the spread of the GSOM, is investigated. The spread factor is independent of the dimensionality of the data and as such can be used as a controlling measure for generating maps with different dimensionality, which can then be compared and analyzed with better accuracy. The spread factor is also presented as a method of achieving hierarchical clustering of a data set with the GSOM. Such hierarchical clustering allows the data analyst to identify significant and interesting clusters at a higher level of the hierarchy, and continue with finer clustering of the interesting clusters only. Therefore, only a small map is created in the beginning with a low spread factor, which can be generated for even a very large data set. Further analysis is conducted on selected sections of the data and of smaller volume. Therefore, this method facilitates the analysis of even very large data sets.     

基于聚类分析的关联规则挖掘方法

从数据集中挖掘数据间的相互关系及其关联规则是数据挖掘研究领域的核心内容之一,为了挖掘实体表现出的数据特征与实体具备因素间的关系,提出了一种挖掘方法.先采用聚类分析的方法对实体的数据进行了聚类,再通过关联分析的方法分析聚类簇中实体的因素,继而得出实体具备的因素与实体数据间的相互影响及其关联规则.通过该方法分析了学生具有的因素对学生学习成绩的影响,分析结果表明了方法的可行性.     

因子分析模型的高光谱数据降维方法

为解决高光谱遥感数据量大且波段间相关性高等问题,提出基于因子分析模型的高光谱数据降维方法。该方法通过因子载荷矩阵求解、模型参数求解、旋转矩阵计算以及因子得分估计,得到表征高光谱图像的本征维数。该方法可以找出少数的几个综合因子来代表众多因子,而这少数几个综合因子不仅能主要反映原来的众多因子的信息,而且彼此独立,从而实现高光谱数据的降维。通过利用航空推扫型成像光谱仪(PHI)数据进行本文方法的性能验证,结果表明,Kappa系数从未降维数据的0.744提高到0.821,满足了得到数据本征维数的同时最大程度的保留     

Exploratory factor analysis revisited: How robust methods support the detection of hidden multivariate data structures in IS research

Exploratory factor analysis is commonly used in IS research to detect multivariate data structures. Frequently, the method is blindly applied without checking if the data fulfill the requirements of the method. We investigated the influence of sample size, data transformation, factor extraction method, rotation, and number of factors on the outcome. We compared classical exploratory factor analysis with a robust counterpart which is less influenced by data outliers and data heterogeneities. Our analyses revealed that robust exploratory factor analysis is more stable than the classical method.     

Factor analysis of transaction data bases

The solution of the factor analysis problem is discussed. A method of factor analysis that provides processing of the data in the form of a transaction base is developed. It involves the rules extraction from the given transaction bases, which results in data generalization and, therefore, exclusion of the extract features, which allows one to reduce the search space and factor analysis execution time. The calculation complexity of the method is analyzed. The experimental investigation of solving practical and test problems is carried out.     

结合领域知识的因子分析:在金融风险模型上的应用

因子分析是一种在工业领域广泛使用的统计学方法.在金融资产管理中,因子分析通过对历史价格波动的极大似然估计推导自适应的统计学因子来生成风险模型.与通过使用预先设定具有经济学含义的因子来生成风险模型的基本面因子模型相比,通过因子分析生成的模型不仅更灵活,还能发现在基本面模型中缺失的因子.然而,由于因子分析所生成模型中的统计...     

X-射线衍射物相分析的统计学方法

应用社会科学统计分析程序(SPSS)对X-射线衍射实验数据进行因子分析和聚类分析计算。结果表明在确定混合物中物相数目的同时,能够分离出每一物相的独立衍射线,为混合物的X-射线衍射物相定性分析提供了可靠的依据。     

带有传送带的矩形巷道中电磁波传播特性研究

为了研究带有传送带的矩形巷道电磁波传播规律,提出一种基于电磁波传播理论和多波模理论的等效分析法,旨在降低研究电磁波传播计算的复杂性.利用计算机对有传送带的矩形巷道中电磁波传播规律进行仿真,将等效分析法方案计算出的仿真数据分别与矿井巷道中实际测量的3组数据进行对比分析.实验结果表明:等效分析法可以近似分析带有传送带的矩形巷道中的电磁波传播的情况,等高方案在30 m范围内的电磁波衰减规律更加符合实测数据.因此该方法可以应用在大型障碍物巷道中研究电磁波传播影响.     

示教再现型烹饪机器人菜肴评定方法的研究

运用因子分析方法,研究了示教再现型烹饪机器人中对菜肴的评定。介绍了烹饪机器人示教系统和菜肴评定方法的关系,以及因子分析的数学模型;最后给出了烹饪机器人菜肴评分因子分析算法和主成分解释,解决了烹饪机器人示教系统中对菜肴评分的机器分析问题。大量实验表明该分析方法能够高效地抽取主成分因子,能较好地满足烹饪机器人示教系统评分数据分析的要求。     

回转窑烧成系统故障诊断方法研究

针对水泥烧成系统过程变量繁多、变量间静态关系耦合强等特点,采用因子分析方法建立静态过程监控模型.针对系统时序相关问题,结合经典动态主元分析DPCA方法和典型变量分析CVA方法,提出典型变量动态主元分析CVDPCA过程监控方法,有效解决了DPCA方法扩展后的数据矩阵维度大等不足之处.将算法用于水泥烧成系统故障检测,结果表...