非线性偏最小二乘建模方法及在近红外光谱建模上的应用

偏最小二乘算法(PLS)是常用的线性光谱建模方法。针对汽油在线调合中具有非线性特点的辛烷值、干点等属性应用PLS方法建立模型误差较大问题,本文提出了残差-递阶偏最小二乘的建模方法,该方法对已经提取成分后的自变量中剩余的信息再提取主成分,并将该主成分作为新的自变量参与回归建模。仿真验证结果表明:残差-递阶偏最小二乘方法建立的模型中验证集的样本数据误差均在正负0.2之间。残差-递阶偏最小二乘方法与偏最小二乘、递阶偏最小二乘叫-PLS)两种方法比较,残差-递阶偏最小二乘建立的模型有的更高的精度和模型适应性。     

基于改进高效偏最小二乘的质量相关故障诊断

高效偏最小二乘(EPLS)作为偏最小二乘(PLS)的扩展算法之一, 在质量相关故障检测中取得了良好的应用 效果. 然而, 研究发现当系统中存在一些与产品质量无关的信息时会导致EPLS的检测率降低, 影响工业生产安全及 效益. 同时, 传统的基于贡献图的故障诊断方法在无故障时输入变量会对故障检测指标的贡献值不均等, 从而影响 故障诊断效果. 针对上述问题, 本文提出了一种改进高效偏最小二乘(IEPLS)的质量相关故障诊断方法. 所提方法首 先用正常数据建立IEPLS算法模型, 利用获得的模型参数对过程变量进行空间分解. 然后在分解后的空间中定义局 部信息增量均值和局部动态阈值, 结合故障判据进行故障检测. 当故障发生后, 利用每个变量的新息矩阵计算对故 障总体的新息贡献率, 根据各个变量新息贡献率大小实现对故障变量的定位. 最后, 使用田纳西伊士曼过程(TEP)对 算法性能进行了验证.     

OPLS在非线性偏最小二乘回归模型的应用

为了解决隐含潜变量回(implicit non-linear latent variable regression,INLR)建模方法中加入自变量的非线性项使系统中出现了与因变量y无关的信息或者噪音的问题,提出了基于正交投影(orthogonal projection to latent structures,OPLS)方法,时INLR数据进行预处理.OPLS算法能有效去除预测矩阵中与因变量y无关的信息,在不影响INLR建模效果的同时减少有意义的成分,改善了模型的解释性和真实性.模拟实验结果表明,改进后算法的建模效果优于INLR、偏最小二乘回归(partial least squares regression,PLSR)算法得到的模型.     

基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取．首先把初始输入映射到高维特征空间，然后在高维特征空间中计算得分向量，降低样本的维数，再用最小二乘支持向量机进行回归．通过实验表明，这种方法得到的效果优于没有特征提取的回归．同时与PLS提取特征相比，KPLS分析效果更好．     

基于偏最小二乘得分重构的质量相关故障检测

偏最小二乘(PLS)作为一种典型的多元统计分析方法被广泛用于多变量统计过程监测,通常要求数据满足高斯–马尔科夫定理.当数据存在多模态或过程变量非线性相关时,基于PLS方法的故障检测性能将受到影响.为此,本文提出一种基于PLS得分重构的故障检测方法(SR–PLS).首先,利用PLS将输入空间分解为质量相关空间与质量无关空间;其次,利用类k邻近规则(k NN)对当前得分向量进行重构,得到重构得分向量;最后利用重构得分构造统计量,由核密度估计(KDE)得到控制限,进行故障检测.本方法降低了变量间的非线性与数据多模态对过程故障检测的影响,提高了故障检测率.将所提方法应用于两个数值仿真例子与田纳西伊士曼过程(TEP),并与PLS,KPLS, LNS–PLS进行对比分析,证明该算法的优越性与有效性.     

基于全相关动态核偏最小二乘法的故障诊断方法

传统KPLS在构造输入变量与输出变量时未考虑样本间的动态特性,使故障样本信息易被其他样本掩盖;同时,KPLS未考虑所有变量对故障样本的影响,使变量间隐藏信息不能被完全表达。针对以上问题,提出一种基于全相关动态KPLS（all correlated dynamic KPLS,ADKPLS）的非线性工业过程故障诊断方法。该方法首先对原始数据进行动态特征分析研究,使组成的数据矩阵能很好地反映变量间的动态关系。然后分析证明了KPLS中输出变量的变化会影响到输入残差空间,设计一个输出变量辅助矩阵,表征输入变量与输出变量的全相关性。最后,采用基于输入变量与输出变量之间的全相关信息构建贡献图以识别故障源变量。与KPLS相比,在输入和输出变量之间建立了更直接的关系。在抽油机生产过程上的仿真结果表明,所提方法具有良好的故障检测与识别性能。     

基于高效核偏最小二乘的质量相关故障检测

核偏最小二乘(KPLS)是一种多元统计方法, 广泛应用于过程监控, 然而, KPLS采用斜交分解, 导致质量相关空间存在冗余信息易引发误报警. 因此, 本文提出了高效核偏最小二乘(EKPLS)模型, 所提方法通过奇异值分解(SVD)将核矩阵正交分解为质量相关空间和质量无关空间, 有效降低质量相关空间中的冗余信息, 并采用主成分分析(PCA)按方差大小将质量相关空间分解为质量主空间和质量次空间. 此外, 为进一步降低由质量无关故障引发的误报警, 提出基于质量估计的正交信号修正(OSC)预处理方法, 并结合EKPLS模型提出了OSC-EKPLS算法. OSCEKPLS通过质量估计值对被测数据进行OSC预处理, 降低了计算复杂度和误报率. 最后, 通过数值仿真和田纳西–伊斯曼过程验证了OSC-EKPLS具有良好的故障检测性和更低的误报率.     

融合随机森林的偏最小二乘法及其中医药数据分析

偏最小二乘方法在多元线性回归建模中存在着诸多优势,但其本质还是线性回归,难以满足中医药非线性的特性。而随机森林构建的回归模型是由多个多元线性片段构成,对非线性数据有良好的拟合效果。本文提出了一种融合随机森林的偏最小二乘方法,该方法主要是利用PLS不断提取主成分并累计,利用随机森林算法将这些主成分分别与原始被解释变量不断构建多棵决策树,直到满足精度条件为止。分别采用麻杏石甘汤君药止咳、平喘和UCI数据集的数据进行分析处理,实验结果表明,融合随机森林的偏最小二乘分析方法对中医药数据有很好的适应性。     

融入深度学习的偏最小二乘优化方法

偏最小二乘在多元变量分析中得到了广泛的应用。但偏最小二乘方法内部采用主成分分析,不能充分表达数据的非线性特征,对非线性数据的预测精度较低。提出了一种融入深度学习的偏最小二乘优化方法,该方法利用深度学习的稀疏自编码器对特征空间提取非线性结构,将提取的特征成分取代偏最小二乘中的成分,从而形成能适应非线性的模型。分别采用大承气汤、麻杏石甘汤、葛根芩连汤和UCI数据集的数据进行分析处理,实验结果表明,融入深度学习的偏最小二乘优化方法能较好反映中医药数据的特征。     

Fitting generalized linear models and their nonlinear extensions with least squares calculations

A class of maximum likelihood algorithms called NRL algorithms that can be implemented with a sequence of least squares calculations is developed. When applied to generalized linear models and their nonlinear extensions, this class includes several algorithms that have been previously proposed. Properties of the algorithms are examined both in the initial iterations and also near the maximum likelihood estimate; different types of algorithm often perform best in these two situations. A strategy for switching between two such NRL algorithms is presented.     

Evaluation of parameters in nonlinear models by the least squares method

An iterative method for the nonlinear weighted least squares parameter estimation when all experimental data are subject to random errors has been developed. The method does not require any linearization, satisfies Deming's criteria and provides the parameter variance-covariance matrix.     

Inferential control system of distillation compositions using dynamic partial least squares regression

In order to control product compositions in a multicomponent distillation column, the distillate and bottom compositions are estimated from on-line measured process variables. In this paper, inferential models for estimating product compositions are constructed using dynamic Partial Least Squares (PLS) regression, on the basis of simulated time series data. It is found that the use of past measurements is effective for improving the accuracy of the estimation. The influence of selection of measurements and sampling intervals on the performance is also investigated. From the detailed dynamic simulation results, it is found that the cascade control system based on the proposed dynamic PLS model works much better than the usual tray temperature control system.     

基于偏最小二乘回归的性别识别

在现有研究中,人脸图像往往局限于简单的受控场景,忽略了自然场景中光照、姿态、表情等因素的影响.针对此问题,重点研究了自然场景下的性别识别问题,并提出了基于偏最小二乘回归(PLS)的性别识别算法.在人脸特征提取阶段,提出了一种新的特征描述算子多尺度方差局部二元模式(MBV-LBP),并与多尺度局部二元模式(MB-LBP)结合作为最终的人脸特征表示,采用PLS模型同时完成特征降维和性别识别,简化了计算过程.通过在LFW数据库和一个Web人脸图像库上进行实验,实验结果表明了算法的优越性.     

偏最小二乘改进算法与特征抽取

采用基于正交约束的非迭代PLS可以实现PLS成分的快速有效抽取,但不能保证所抽取的成分之间不相关。而基于统计不相关约束的非迭代PLS建模方法所抽取的成分之间是无关的,从而可以保证图像识别时的有效性和稳定性。基于2DPCA思想的2DPLS特征抽取技术,直接从图像矩阵中抽取特征,能有效地解决小样本问题。但在使用PLS对单特征数据进行维数压缩时,传统的类标编码过于简单,为了充分利用数据分布信息,采用模糊k-近邻法对每个样本赋予一个样本标号,将近邻样本类别信息反映在该样本的类编码中,从而提出了基于样本标号的PLS及2DPLS改进算法。在ORL人脸库上的实验结果表明,该改进算法优于传统的PLS,能够更有效地抽取识别特征,其识别率要高于传统的PLS算法。     

The construction of fuzzy least squares estimators in fuzzy linear regression models

A new concept and method of imposing imprecise (fuzzy) input and output data upon the conventional linear regression model is proposed. Under the considerations of fuzzy parameters and fuzzy arithmetic operations (fuzzy addition and multiplication), we propose a fuzzy linear regression model which has the similar form as that of conventional one. We conduct the h-level (conventional) linear regression models of fuzzy linear regression model for the sake of invoking the statistical techniques in (conventional) linear regression analysis for real-valued data. In order to determine the sign (nonnegativity or nonpositivity) of fuzzy parameters, we perform the statistical testing hypotheses and evaluate the confidence intervals. Using the least squares estimators obtained from the h-level linear regression models, we can construct the membership functions of fuzzy least squares estimators via the form of “Resolution Identity” which is well-known in fuzzy sets theory. In order to obtain the membership degree of any given estimate taken from the fuzzy least squares estimator, optimization problems have to be solved. We also provide two computational procedures to deal with those optimization problems.     

基于递推非线性部分最小二乘模型的间歇过程批到批优化

针对间歇过程控制策略优化问题,提出一种基于递推非线性部分最小二乘(NLPLS)模型的批到批优化方法:首先采用非线性部分最小二乘方法建立软测量模型,根据过程的控制操作变量对最后的产品质量进行预测。然后基于该模型,计算出最优控制策略并在实际装置上实施。为了解决模型和对象失配并且存在未知扰动的问题,采用递推算法,在每个批次结束后根据新得到的数据和旧模型参数对原模型进行更新。然后,重新求解最优控制策略并在对象上实施。通常经过几个批次,控制策略将收敛到一个满意解。在一个间歇过程上进行仿真研究,同时与基于PLS模型的批到批优化算法进行对比,结果表明采用NLPLS模型取得了优于采用PLS模型的结果。     

A unifying theorem for linear and total linear least squares

It is shown how both linear least-squares and total linear least-squares estimation schemes are special cases of a rank one modification of the data matrix or the sample covariance matrix. For a problem with n unknowns, there exist n linear least-squares solutions while the total linear least-squares solution is (generically) unique. When the signal-to-noise ratio is sufficiently high, the total least-squares solution is a nonnegative combination of the least-squares solutions