正交信号校正用于偏最小二乘建模过拟合现象的研究

通过用近红外光谱和PLS建立测定二元、三元调合食用油中花生油含最模型以及二甲亚砜水溶液浓度模型,使用交互验证统计参数,包括决定系数RC,标准偏差SEC,预测值和实际值线性拟合方程的斜率a和截距b,和外部验证统计参数,包括决定系数RV,标准偏差SEP,预测值和实际值线性拟合方程的斜率a和截距b,评价建模效果,比较了分别使用原始光谱和正交信号校正(OSC)处理光谱的PLS建模结果.研究结果表明:OSC校正可明显改善近红外光谱与被测物质浓度的线性相关性.虽然OSC预处理可以改善PLS模型的交互验证结果,似是外部验证结果变差,即正交信号校正用于PLS建模将导致过拟合现象.通过分析算法原理,认为OSC与PLS1对光谱中与性质无关的信息作了重复剔除,误删除了部分有效信息,导致过拟合效应.     

正交信号校正应用于多元线性回归建模的研究

通过近红外光谱技术建立二元、三元调和食用油中花生油含量模型以及二甲亚砜水溶液浓度模型,比较了分别采用原始光谱和正交信号校正(OSC)处理后光谱进行MLR建模的结果,并对所建的正交信号校正后光谱MLR模型与原始光谱PLS模型进行预测结果比较.比较过程中使用交互验证参数(包括决定系数Rc,标准偏差SEC,预测值和实际值线性...     

温度影响下短波近红外酒精度检测的传递校正

短波近红外光谱结合多元校正方法测量酒精度具有快速、无损的特点,可以现场应用和在线检测。但是温度对预测模型的性能影响很大。作者研究了温度变化对乙醇水溶液的短波近红外光谱的影响,采用四种方法建立了温度变化下的偏最小二乘(PLS)传递校正模型：直接校正、全局校正、正交信号处理(OSC)和广义最小二乘加权法(GLSW)。结果表明,温度变化时直接传递校正存在很大的预测系统偏差,而采用全局校正、OSC和GLSW均能在一定程度上减小系统误差。全局校正需要较多的建模样品数量,得到的模型也更为复杂。而OSC和GLSW方法能得到更为简洁的模型和优良的预测结果。相比之下,GLSW算法得到的预测误差和使用的建模隐含变量数目均小于OSC方法,能够建立更为稳健的传递校正模型。     

正交信号校正在人体血糖近红外光谱分析中的研究

本文以血清的近红外光谱为研究对象,首先运用载荷向量分析确定最佳定标谱区为4192-4943 cm-1与5294-7200 cm-1两个波段,然后分别用平滑、一阶导数、正交信号校正(OSC)预处理方法,结合偏最小二乘回归方法建立了血清中血糖的模型.用平滑、一阶导数所建立模型的预测标准偏差(RMSEP)分别是0.545、0.568,用OSC校正后所建立模型的RMSEP是0.390,结果表明使用OSC校正对光谱进行合理的校正,能够滤除光谱矩阵与浓度矩阵无关的信号,降低模型的因子数,从而降低模型的复杂性,提高模型的稳健性.     

近红外光谱法快速测定毛竹Klason木质素的含量

研究了用近红外漫反射光谱法对毛竹Klason木质素含量的快速预测。选取了代表不同竹龄、不同高度和横向不同位置的54个竹材粉末样品,用常规实验室方法测定了54个样品的Klason木质素含量,用近红外光谱仪漫反射方式在350～2500 nm范围内采集相应样品的光谱,利用多变量统计分析软件建立样品木质素含量和光谱数据之间的相关性模型。结果表明,对原始光谱进行二阶导数预处理后,选择1 011～1675 nm和1930～2488 nm波长区间,用偏最小二乘法(PLS1)和完全交互验证方式建立了的校正模型和预测模型的相关系数分别为0.99,和0.97,校正标准误差SEC＝0.36％,预测标准误差SEP=0.59％,说明毛竹Klason木质素含量和近红外光谱之间存在非常好的相关性,用近红外光谱技术可以实现对竹材样品中Klason木质素含量的快速预测。     

近红外光谱技术快速预测泡桐活立木年轮密度

应用近红外光谱分析技术主要对兰考泡桐活立木年轮密度进行了研究。取样时采用无损的方式,即不伐木,只从样木胸径处钻取直径为5 mm的木芯;用近红外光谱仪采用自动进级式采集样品光谱,波谱范围为350～2 500 nm;密度值采用水银体积仪测量;校正模型和预测模型建立与分析采用偏最小二乘和完全交互验证法。研究结果表明,中径级和大径级泡桐所选年轮数与近红外光谱值之间均存在很好的相关关系,预测模型相关系数分别达0.88和0.91;中径极的泡桐年轮密度与近红外光谱的校正模型和预测模型相关系数分别达到0.90和0.83,校正标准误差(SEC)和预测标准误差(SEP)分别为0.012和0.016。由此可见,该法可简单、快速、无损的预测中径级即接近采伐龄泡桐活立木的年轮密度。     

便携式中波近红外光谱仪在线无损检测生鲜猪肉胆固醇

应用便携式近红外光谱仪采集320份生鲜猪肉在近红外光谱中波区的光谱信息,采用不同优化方法建立猪肉胆固醇预测模型,并对异常样品的剔除及组合预处理方法对模型性能的改善进行了分析。研究表明：通过对异常值的二次剔除,并使用SG一阶导数(savitzky-golay first derivative, SG 1stD)、SG平滑(savitzky-golay smoothing, SGS)和正交信号校正(OSC)的组合预处理方法,可获得最佳生鲜猪肉胆固醇预测模型,其参数如下：校正集相关系数(R_c)=0.9137,校正标准差(standard error of calibration, SEC)=2.5607,验证集相关系数(R_p)=0.656 7,预测标准差(standard error of prediction, SEP)=4.985 5,主因子数(principal factor, PF)=4,范围误差比(ratio of performance to standard deviation, RPD)=2.5032,相对预测标准差(relative standard error of prediction, RSEP)=8.625 4%,SEP/SEC=1.946 8,说明模型在近红外光谱中波区对猪肉胆固醇的分辨能力和预测准确度较好,通过向校正集中补充代表性样品可使模型稳健性进一步改善。对检验集样品预测值(prediction value, PV)与参比值(reference value, RV)的t检验显示二者之间无显著性差异(p＞0.05),检验集样品总体预测准确率为62.5%,其中50～70 mg·(100 g)-1区段的局部预测准确率达到91.7%,可以用于生鲜猪肉胆固醇浓度的在线快速初步定量分析。该研究将便携式近红外光谱用于在近红外中波区对生鲜猪肉及肉制品中胆固醇浓度的分析和检测,通过进一步的研究和改进,可将其应用于产品的原料分级、品质和过程控制及市售产品的抽检等。     

杂交稻种宜香725纯度的可见-近红外反射光谱鉴定

提出了一种基于可见-近红外光谱技术快速、无损鉴定杂交稻种纯度的新方法.以FieldSpec(R)3地物光谱仪采集纯度在90%～99%范围内的杂交稻种(宜香725)光谱数据90份,随机分成校正集(75份)和检验集(15份).根据其在380～2 400 nm的反射光谱,以偏最小二乘算法(PLS)建立了回归模型,并比较了不同光谱预处理方法对模型的影响.分析表明采用一阶导数结合标准归一化处理能最有效地提取光谱信息,此时PLS模型校正集决定系数与检验集决定系数分别为0.988 4与0.922 7,校正标准误差(SEC)与预测标准误差(SEP)分别为0.002 5与0.006 6.将经一阶导数结合标准归一化处理后的光谱进行PCA降维,以前20个主成份(含原始光谱86.09%的特征信息)为输入变量,建立杂交稻种纯度鉴定的BP-ANN模型.分析表明BP-ANN模型校正集决定系数与检验集决定系数分别为0.995 2与0.936 9,SEC与SEP分别为0.001 7与0.006 1,具有比PLS模型更高的精度.结果表明以可见-近红外技术进行杂交稻种纯度的快速、无损鉴定是可行的,且PCA结合BP-ANN是一种优选方法.     

可见/近红外漫透射光谱结合CARS变量优选预测脐橙可溶性固形物

可溶性固形物(SSC)是脐橙重要内部品质之一。采用QualitySpec型光谱仪在350～1000 nm波段范围采集脐橙的可见/近红外漫透射光谱,采用CARS(competitive adaptive reweighted sampling)变量选择方法筛选出与脐橙SSC相关的重要变量,并与无信息变量消除(UVE)及连续投影算法(SPA)比较。最后,对选择的38个重要波长变量应用偏最小二乘(PLS)回归建立脐橙SSC预测模型,并对未参与建模的75个样品进行预测。研究结果表明,CARS方法优于UVE及SPA变量选择方法,能有效地筛选出重要波长变量。CARS-PLS建立的SSC预测模型优于全光谱的PLS模型,其校正集及预测集的相关系数分别为0.948和0.917,均方根误差分别为0.347%和0.394%。因此,可见/近红外漫透射光谱结合CARS方法可以预测脐橙可溶性固形物,CARS变量选择方法能有效简化预测模型和提高模型的预测精度。     

小波多尺度正交校正在近红外牛奶成分测量中的应用

光谱分析中,干扰信号的存在直接影响所建分析模型的质量。基于信号和干扰的不同特性,提出了一种扣除背景和噪声干扰的新方法——小波多尺度正交校正(WMOSC)法。首先将原始光谱进行小波变换(DWT),消除噪声及背景信息,然后采用正交信号校正(OSC)滤除与待测组分浓度无关的全部信息。与单纯的小波变换及正交信号校正相比,WMOSC能有效地扣除背景和噪声干扰,使模型具有更强的抗干扰能力,提高了模型的预测精度。利用该方法对牛奶样品的近红外光谱进行处理,采用偏最小二乘法建立校正模型,其牛奶中脂肪、蛋白质和乳糖的预测均方根误差(RMSEP)分别为0.101 6%,0.087 1%和0.110 7%。实验结果表明该方法能有效地去除干扰,保留有用信息。     

BiPLS结合GA优选可见/近红外光谱MLR变量

利用反向区间偏最小二乘法(BiPLS)定位光谱糖度若干信息区间,运用遗传算法(GA)从中选择波长点,建立了多元线性回归(MLR)模型。光谱进行卷积平滑和二阶导数处理后,将光谱(225个数据点)分割成25个子区间时,BiPLS优化结果最优。在所定位的信息区间进行GA二次选择特征变量,运行100次依次选择入选频率较高的12个波长点。为简化MLR模型,对于入选的相邻波长选择频率较高者,最后选择 638,734,752,868,910,916和938 nm作为回归变量,建立的MLR预测模型相关系数(R2)、校正均方根误差(RMSEC)和预测均方根误差(RMSEP)分别为0.984,0.364和0.471,优于常用的逐步多元线性回归的建模结果。表明BiPLS结合GA可以有效地对李子糖度可见/近红外光谱MLR回归变量进行筛选,提高了模型的精度。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

西瓜检测部位差异对近红外光谱可溶性固形物预测模型的影响

西瓜可溶性固形物含量的无损检测对提升其内部品质十分重要。为实现近红外光谱对小型西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对预测模型的影响,以“京秀”西瓜为研究对象,分别采集赤道、瓜脐和瓜梗三部位的漫透射光谱信息,利用偏最小二乘算法(PLS)建立并比较单一检测部位和混合所有检测部位的西瓜可溶性固形物近红外光谱预测模型,并分别采用连续投影算法(SPA)和竞争性自适应重加权算法(CARS)对西瓜可溶性固形物近红外光谱变量进行特征波长筛选。结果显示,相比于单一检测部位的模型,混合所有检测部位的校正集样本建立的模型取得了较优的预测结果。同时,利用CARS算法筛选的42个特征波长变量建模,对三种检测部位预测集样本的预测结果分别为赤道R_P=0.892和RMSEP= 0.684 °Brix,瓜脐R_P=0.905和RMSEP= 0.629 °Brix,瓜梗R_P=0.899和RMSEP= 0.721 °Brix。模型得到了很大的简化,且预测精度较高。比较发现,利用SPA算法筛选的19个特征波长变量所建模型的预测精度较低。利用三种检测部位的西瓜样本建立的PLS混合预测模型,结合CARS算法进行有效特征波长变量筛选,可提高西瓜可溶性固形物预测模型的精度,实现西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对近红外光谱预测模型的影响。结果为今后开发便携式设备检测西瓜表面各部位可溶性固形含量提供参考依据。     

基于遗传算法的安溪铁观音品质快速评价研究

为探究一种快速无损的安溪铁观音品质评价方法,利用遗传算法(GA)对茶样的近红外光谱特征波长进行筛选,结合偏最小二乘(PLS),建立全谱段的PLS定量模型与GA-PLS模型。结果表明,傅里叶变换近红外(FT-NIR)全谱段光谱在经过平滑+二阶导数+归一化处理后,PLS模型预测性能最高,建模结果为：校正集相关系数R_C=0.921,校正集均方根误差RMSEC=0.543,验证集相关系数R_P=0.913,验证集均方根误差RMSEP=0.665。选用近红外光谱6 670～4 000 cm-1谱区,采用遗传算法进行特征波长筛选,参与建模数据点数从1 557缩减到408个。优选波段后,GA-PLS建模结果为：校正集相关系数R_C=0.959,校正集均方根误差RMSEC=0.413,验证集相关系数R_P=0.940,验证集均方根误差RMSEP=0.587。可见,GA-PLS模型的校正集和验证集的预测结果均优于全谱段PLS模型。结果说明,在传统的近红外光谱技术结合化学计量学方法的建模基础上,加入遗传算法进行波长筛选,能有效提高模型预测能力,实现方法学的创新研究,且GA-PLS品质评价模型具有较强的参考和推广价值,为提高我国茶叶品质的检测技术水平提供新的方法借鉴。     

基于SVM算法的近红外光谱技术在鱼糜水分和蛋白质检测中的应用

采用支持向量机(support vector machine,SVM)建立了鱼糜样品中水分和蛋白质含量的近红外光谱校正模型,并采用独立样本集进行了预测。光谱数据经间隔两点一阶导数(DB1G2)、标准正态变换(SNV)、多元散射校正(MSC)相结合的方法预处理后,用偏最小二乘(PLS)降维处理,取前15个投影变量为自变量。获得水分模型的校正相关系数R_c、预测相关系数R_v、定标标准差SEE、预测标准差SEP; 蛋白质模型的校正相关系数R_c、预测相关系数R_v、定标标准差SEE、预测标准差SEP,有较好的预测准确性。基于SVM算法的近红外光谱技术可用于鱼糜水分和蛋白质含量的快速检测。     

FT-NIR光谱法测定烟草中绿原酸、芸香苷、莨菪亭及总多酚含量

研究应用傅里叶变换近红外光谱法快速测定烟草中绿原酸、芸香苷、莨菪亭及总多酚含量的可行性。使用偏最小二乘法(PLS)为建模方法, 选择7 500～4 000 cm-1谱段,采用二阶导数和Norris滤波法进行光谱预处理,建立了烟草中绿原酸、芸香苷、莨菪亭及总多酚的近红外预测模型。组分最佳PLS预测模型的相关系数r分别为0.976 6,0.941 9,0.957 1和0.966 6,SEP均小于1.2倍的SEC,验证集样本的标准偏差(SD)/SEP均大于2。交叉检验的均方差(RMSECV)分别为1.938 9,1.046 2,0.047 9和2.745 2。实验验证了模型偏差的显著性,将近红外光谱技术与常规标准检测方法相比较。结果表明:两种方法测得值在显著水平0.05时,不存在显著性差异,近红外光谱技术可以准确地定量分析烟草中绿原酸、芸香苷、莨菪亭及总多酚。     

利用可见近红外光谱多指标综合预测生鲜牛肉储存期

建立了牛肉基于TVB-N、菌落总数、pH值和肉色参数L*多个指标的储存期预测模型,利用可见近红外光谱(Vis/NIR)技术结合区间偏最小二乘(iPLS)和遗传算法(GA)建立了各个指标的PLS预测模型,实现了多指标综合无损快速预测4 ℃下牛肉的储存期。用iPLS和iPLS-GA提取有效波长变量建立PLS预测模型,以预测相关系数和预测标准差作为模型评价标准,结果表明用iPLS-GA选择变量建立的各个指标的PLS预测模型均优于全波段和iPLS组合的PLS模型。由多个指标的预测值和储存期的预测模型,对校正集和预测集样品储存期进行预测,其预测相关系数和标准差分别是0.903, 0.897和1.88, 2.24。说明利用光谱技术结合得出的储存期预测模型可以实现多指标综合预测牛肉储存期,为无损快速检测牛肉储存期或货架期提供了一种新方法。      

基于遗传算法的苹果糖度近红外光谱分析

遗传算法(GA)应用在偏最小二乘法(PLS)校正模型的波段优化选择中具有显著的效果。将遗传算法用于波段选择, 能更快达到最优解, 有效提高测量精度,减少建模所用变量。文章研究了在近红外苹果糖度无损检测中,遗传算法作为模块进行波段选择,建立了GA-PLS模型;为了说明遗传算法优选波段可行性,另外建立了全谱和经验谱区的PLS定量模型,并评价了模型的稳健性。首先对傅里叶变换近红外光谱进行多元散射校正、Savitky-Golay卷积平滑后,用遗传算法优选波段(R-SGA),参与建模数据点从原始1 550减少到434个。然后采用一阶导数光谱建立GA-PLS模型,相比全谱PLS(1 550个数据点)和经验谱区PLS(717个数据点)模型具有更高的预测精度,其建模结果为R_C=0.966,RMSEC=0.469,R_P=0.954,RMSEP=0.797。结果表明, 遗传算法可用于PLS法建立苹果糖度校正模型前的数据优化筛选, 有效提高测量精度, 并减少建模变量。