基于光谱比值分析的无标样近红外模型传递方法

测量环境及光谱仪台间差异导致近红外光谱(NIRS)模型传递到从机后,常产生较大误差。该文使用标准正态变量变换(SNV)+微分处理光谱消除光谱散射和基线漂移的影响,提出通过仪器间光谱信号比值分析筛选波长的方法(Screening wavelengths based on spectrum ratio analysis,SWSRA),选出仪器间一致性较好且样本间差异大的光谱特征波长,采用筛选出的波长信号建立待测性质的偏最小二乘近红外光谱定标模型。以80个玉米样品中水分、油、蛋白质含量及72个黄芩样品中黄芩苷含量的NIRS预测对该方法进行了检验。结果表明,SWSRA主机模型预测从机样品的各成分含量的平均相对误差均小于4.3%,明显优于全波长模型直接传递的结果,且其预测均方根残差RMSEP与文献报道的其他模型传递方法的结果相当或更优。SWSRA方法具有模型参数少、稳健、简便易行等优点,可以在同类型近红外光谱仪器之间实现模型的无标样传递。     

基于尺度不变特征变换筛选稳定特征波长的近红外光谱模型传递方法

该研究利用一维尺度不变特征变换(SIFT)算法寻找烟叶近红外光谱(Near infrared spectroscopy,NIRS)的稳定特征波长,根据样品精密度测试光谱筛选的波长计算重现率和重现度,采用L_9(3~3)正交表优化SIFT算法中的相关参数,使重现率和重现度尽可能高。基于优化的参数和主机上10个代表性样品的光谱,筛选出10个稳定特征波长集合,以这些波长集合并集的光谱响应为自变量,采用偏最小二乘(PLS)方法构建烟叶总植物碱NIRS模型(简称SIFT-PLS)。该模型直接传递到3台从机后,对3台从机样品总植物碱的平均相对预测误差(MRE)均满足小于6%的企业内控要求,而全光谱模型(WW-PLS)直接转移后仅1台从机的MRE满足要求,经分段直接校正(PDS)方法校正从机光谱后,WW-PLS模型也仅对1台从机的MRE小于6%。采用SIFT算法筛选稳定特征波长建立的NIRS模型可在3台从机直接共享,无需转移集,不需对从机光谱或光谱模型进行校正,实现了真正意义的无标样NIRS模型的直接转移。     

二进制蜻蜓算法-直接校正算法优选标样集在小麦粉蛋白质近红外模型传递中的应用

为了实现小麦粉蛋白质含量近红外分析模型的传递，探究二进制蜻蜓算法(Binary Dragonfly Algorithm, BDA)与直接校正算法(Direct Standardization, DS)相结合构成的BDA-DS算法挑选标样集对模型传递结果的影响。以棱光S450光栅型近红外光谱仪为主机，NeoSpectra Micro傅里叶变换型近红外光谱仪为从机，采集了126个小麦粉的近红外光谱，用偏最小二乘回归法建立了主机近红外光谱与小麦粉蛋白质的关联模型。经BDA-DS算法模型传递后，主机模型对从机样品预测决定系数为0.9812,预测标准偏差为0.1838,从机与主机的光谱集合平均马氏距离由22.34下降到1.40,均接近于主机模型精度水平。该研究同时与采用Kennard/Stone(K/S)挑选标样集再结合DS构成的传统K/S-DS算法进行了对比，结果表明：相对于K/S-DS算法，BDA-DS算法挑选出较少的标样集就能表征仪器的差异，有效地提高了主机模型对从机样品的预测精度，为近红外模型传递提供了一种更加有效的标样集选择方法。     

波长筛选结合直接校正法用于近红外光谱模型传递研究

该文提出了一种新的传递方法模型--波长筛选结合直接校正法(WSDS).首先利用样品的性质信息筛选出最有代表性的波长点信息,然后用直接校正法消除这些信息中包含的仪器间差异,以预测标准偏差(SEP)考察模型传递的效果.利用此算法对航空煤油的近红外光谱分析模型在不同仪器之间进行传递研究.经WSDS校正后,对航空煤油密度预测的...     

烟叶总还原糖近红外光谱稳健模型的建立及其在多台仪器的长期应用

该文使用基于光谱图像特征抽提的尺度不变特征变换（SIFT）的多步波长筛选方法建立了烟叶总还原糖（TRS）的近红外光谱（NIRS）稳健模型，实现了其在多台仪器的直接共享和长期应用。首先采用SIFT方法根据代表性主机样品光谱挑选特征光谱点集合Uc，然后从Uc中剔除样本光谱标准方差（SDSS）过低的点，挑选重要特征光谱点集合Uic，此两步波长筛选法简称为SIFT-SDSS。随后进一步从Uic中挑选对水分不敏感（Moisture-unsensitive,MUS）的波长点，得到重要且稳定的光谱点集合Uisc，此3步波长筛选法简称为SIFT-SDSSMUS。从2011～2013年采集的292个主机烟叶样品中按TRS浓度区间选择80%样品作为建模集，建立不同波长集合下烟叶TRS的偏最小二乘回归（PLSR）校正模型。结果表明，基于SIFT-SDSS两步波长筛选的光谱点建立的TRS模型传递到6台从机预测另外77个2011～2013年样品的TRS时，所有从机样品的平均相对误差绝对值（MARE）均小于6%，满足企业内控要求。该模型对5台近红外仪上2014～2020年各年度样品、1台近红外仪上2014～201...     

基于MC-UVE-VIP两步波长筛选实现近红外光谱模型的无标样传递

该文将蒙特卡洛-无变量信息消除(MC-UVE)算法和变量重要性投影(VIP)算法结合,挑选出重要、有信息的波长变量,建立了MC-UVE-VIP两步波长筛选方法。该法首先采用MC-UVE筛选出稳定性参数大于某一阈值(M_threshold)的有信息波长集合U_UVE,然后采用VIP算法从U_UVE中筛选出VIP参数大于U_UVE中所有波长VIP均值的波长,作为重要、有信息的波长集合U_UVE-VIP。基于U_UVE-VIP建立玉米中蛋白质含量的偏最小二乘回归(PLSR)近红外光谱预测模型,模型的潜变量个数根据累计贡献率大于99.9%确定。该模型变量少、稳健、可解释性强、运算速度快,其预测两台从机样品蛋白质的平均相对误差(MARE)分别为1.64%与1.88%,均小于MC-UVE模型的从机MARE(5.40%与5.19%)和VIP模型的从机MARE(6.23%与7.16%)。因此,基于MC-UVE-VIP两步波长筛选法所建立的玉米蛋白质含量近红外光谱模型可直接传递到从机,...     

基于稳定一致波长优选的综纤维素近红外分析模型传递

以实现纸浆材综纤维素含量的近红外分析模型在3台不同型号光谱仪上共享为目标,提出SWCSS-UVE及SWCSS-CARS联用算法。即分别利用竞争性自适应重加权采样算法（CARS）和无信息变量剔除（UVE）算法,减少SWCSS方法中入选的无信息或信息少波长的不利影响,以提高模型转移精度,并与单独的SWCSS和分段直接标准化算法（PDS）以及斜率截距（S/B）算法校正后的传递结果进行比较。结果表明,通过SWCSS-UVE方法最终可从稳定一致光谱信号中进一步优选出91个波长建立模型,该模型能同时应用于2台从机所测量光谱的分析,预测标准偏差（RMSEP）分别从模型转移前的2.0114和9.4518下降到了1.5919与1.6818,优于SWCSS, SWCSS-CARS和PDS以及S/B算法的结果。这表明SWCSS-UVE算法可以有效剔除SWCSS方法中包含的无效波长,简化模型传递过程,提高模型传递效率和稳健性。     

近红外光谱模型转移新算法

模型转移是解决分析仪器或分析方法通用性的关键技术。近红外光谱受测量仪器或测量条件的影响较大,模型转移对近红外光谱技术的实际应用尤为重要。本文综述了近年来近红外光谱分析中被广泛应用和新提出的模型转移算法,从计算原理角度梳理了有标样和无标样算法的联系和区别。有标样算法重点介绍了基于多元校正、因子分析、人工神经网络、多任务学习的模型转移方法,无标样算法重点介绍了基于光谱校正、模型参数校正和稳健建模的模型转移方法。从算法的角度分析了各种模型转移方法的特点和转移效果,并展望了模型转移算法的进一步发展。在综述的众多方法中分段直接标准化及其变体仍是模型转移的黄金标准,但是,基于因子分析的算法正变得受欢迎且基于神经网络和多任务学习的方法近年来也吸引了越来越多的注意。但是,在实际应用中,获得标准样品以在主机和子机上测得其光谱比较困难甚至是不可能的,无标样模型转移则更加实用。此外,随着仪器小型化、成像及超光谱成像的发展,模型转移在未来会变得愈加必不可少。     

苹果可溶性固形物含量的近红外模型传递研究

研究了苹果可溶性固形物含量(SSC)的近红外模型传递问题。样品集经过异常剔除和预处理之后,建立了主机的偏最小二乘(PLS)预测模型。分别采用一元线性回归直接标准化(SLRDS)、斜率/截距(S/B)法和专利算法(Shenk's)进行主机和从机间的模型传递,讨论了3种算法的传递效果和转换集标样数对传递效果的影响。结果表明,经过3种方法传递后预测集的预测效果比传递前均有不同程度提高,其中SLRDS算法传递效果最佳,经SLRDS传递后相关系数(R)、预测标准偏差(RMSEP)、相对分析误差(RPD)和光谱平均差异(ADS)分别为0.9614,0.4735,3.3866和0.0661。因此利用SLRDS算法实现两台便携式光谱仪之间的模型传递是可行的。     

基于一元线性回归的近红外光谱模型传递研究

为解决近红外光谱分析中的模型传递问题,本研究提出了一元线性回归直接标准化算法(Simple linear regression direct standardization,SLRDS)。为验证算法的有效性,采用玉米样品的近红外光谱集进行实验,并与传统的直接标准化算法(Direct standardization,DS)、分段直接标准化算法(Piecewise direct standardization,PDS)进行比较。实验结果表明,SLRDS算法不仅能够有效消除近红外光谱仪之间的差异,很好地实现玉米样品的PLS校正模型在3台仪器之间的共享,而且与DS和PDS算法相比,具有传递性能高、模型简单及所求参数少等优点。     

基于小波变换动态时间规整的近红外光谱模型传递方法

为解决因测量环境及仪器差异而导致的近红外光谱模型通用性较差的不足,提出一种基于小波变换动态时间规整算法的模型传递方法(Wavelet transform combined with dynamic time warping,WDTW),从而实现不同仪器之间模型的共享。首先,该方法将光谱进行小波变换预处理,然后利用动态时间规整算法(Dynamic time warping,DTW)找到近红外光谱波长点之间最优的对应关系并建立回归方程。使用近红外药品光谱数据集和汽油数据集建立传递模型,验证了基于小波变换动态时间规整模型传递方法的有效性。汽油光谱数据集C7、C8、C9和C10成分的预测标准偏差(SEP)分别为0.414 4、0.801 1、1.090 4和1.290 8;药品光谱数据集活性、硬度和重量的SEP分别为2.585 6、0.434 5和2.270 3,均小于传统方法。上述实验结果表明,所建立的模型传递方法能有效消除源机光谱和目标机光谱之间的差异,提高模型的稳定性和准确性,实现模型传递的效果。     

复烤片烟常规化学成分的傅里叶变换近红外光谱法的模型转移

为实现复烤片烟常规化学成分的模型在不同品牌傅里叶变换近红外仪器上的使用与共享,以贵州产区复烤片烟样品为研究对象,利用Kennard-Stone算法选择标准样品,将偏移量校正(BC)、截距斜率校正(SBC)和光谱空间转换(SST)等3种模型转移算法应用于不同品牌傅里叶变换近红外仪器的模型转移,并对3种模型转移算法的转移结果进行分析。结果表明:将复烤片烟常规化学成分的主机模型直接应用于从机预测时,主机和从机的预测值之间存在显著性差异;采用BC、SBC和SST可以实现不同品牌傅里叶变换近红外仪器的模型转移,其中SST转移结果最优。     

近红外光谱分析模型传递简易方法研究

本文在不同时间安装的多台同型号近红外光谱仪上建立推进剂校正模型时,由于推进剂样品数量少且难于保存,新到仪器在建模时常遇到代表性样品数量严重不足.为此,提出将2台波长一致性好的近红外光谱仪器上采集的光谱组成一个混合校正样品光谱集,使用偏最小二乘法(PLS)建立模型的方法.结果表明,在用户缺少专业模型传递软件情况下,该方法...     

基于最小角回归结合一元线性直接校正法的近红外光谱模型传递方法

针对近红外光谱分析技术中模型通用性较差的问题,提出了一种新的模型传递方法——最小角回归结合一元线性直接校正法(Least angle regression combined simple linear regression direct standardization,LARSLRDS)。该方法首先采用小波变换对样品光谱数据进行预处理,然后利用LAR实现样品全谱区光谱特征波长点的筛选,最后利用SLRDS对筛选出来的变量进行校正。采用汽油和药品样本的近红外光谱数据验证LAR-SLRDS性能,汽油数据集C7、C8、C9和C10成分的光谱差异为0. 002 8、0. 002 7、0. 002 6和0. 002 7,预测标准差为0. 410 6、0. 849 2、1. 034 9和1. 215 8;药品数据集活性、硬度和重量成分的光谱差异为0. 030 0、0. 031 8和0. 033 6,预测标准差为1. 933 8、0. 440 2和2. 130 9。结果表明,LAR-SLRDS算法不仅能够消除主、从仪器光谱之间存在的差异,实现模型传递,而且能够提高PLS定量模型的准确性和稳定性,具有广泛的应用潜力。     

小波多尺度分段直接校正法用于近红外光谱模型传递的研究

分段直接校正(PDS)算法是目前最常用的近红外光谱模型传递方法,但它在对整个谱区进行校正时,始终依赖大小不变的传递窗口.为了提高传递效果,本研究在PDS基础上提出了一种新的算法--小波多尺度分段直接校正法(WMPDS),用于混胺的近红外光谱模型传递,并详细讨论了模型的传递参数和传递结果.本算法首先对混胺的近红外光谱进行...     

基于正交信号校正的秸秆青贮饲料粗蛋白近红外分析模型传递方法

探讨了基于不同数据预处理方法的正交信号校正在秸杆饲料近红外光谱模型传递中的应用.以141个秸杆青贮饲料样品为研究对象,以其粗蛋白含量为目标参数,研究了基于无处理、局部中心化、全局中心化和Z-score标准化预处理方法的正交信号校正,在源仪器(SPECTRUM ONE NTS)和目标仪器1(ANTA-RIS)与目标仪器2(FOSS 6500)之间的模型传递效果.实验表明:对于两台傅里叶变换型近红外光谱仪,采用局部中心化、全局中心化和Z-score标准化预处理方法的正交信号校正均可成功实现模型传递,其中局部中心化和全局中心化法的作用效果基本一致,且优于Z-score标准化法.对于傅立叶变换和光栅型近红外光谱仪,全局中心化的作用效果明显优于其它3组处理效果,且只有全局中心化预处理的正交信号校正传递后的模型可用于实际预测.     

PDS用于不同温度下的近红外光谱模型传递研究

采用合适的计算方法可降低测定环境对近红外光谱校正模型稳健性的影响。该文以喷气燃料为研究对象,考察了分段直接校正算法对所建模型预测结果的影响,通过选择转移样品数及窗口宽度,建立了最佳的校正模型和光谱转移参数。结果表明,在20℃下建立近红外光谱校正模型,直接预测30℃下喷气燃料的密度,预测集样品均方根误差（RMSEP）为0.2031,而30℃近红外光谱采用分段直接校正算法模型转移后,预测集样品均方根误差（RMSEP）降低为0.1354,预测结果得到明显改善,有效地解决了样品温度对近红外光谱分析结果的影响。     

鱼粉近红外光谱模型传递应用研究

为探讨光栅型与傅里叶变换型近红外分析仪之间模型传递的应用效果,选取国产鱼粉为近红外光谱样本,DS2500F型近红外分析仪为源仪器,MPA型近红外分析仪为目标仪器,采用分段直接校正(PDS)方法实现近红外光谱传递。分别建立水分、粗蛋白质、粗脂肪、蛋氨酸和赖氨酸等组分的预测模型,通过交互验证决定系数(R2cv)、交互验证标准误差(RMSECV)、马氏距离(MD)、系统偏差(Bias)、预测均方根误差(RMSEP)和相对分析误差(RPD)等参数,多维度评估光谱传递后所建预测模型的效果。结果表明,DS2500F仪器的近红外光谱传递到MPA型仪器时,所建国产鱼粉的水分、粗蛋白质、粗脂肪、蛋氨酸、赖氨酸的预测模型与MPA型仪器原始预测模型各参数对比无显著差异,预测效果基本一致,说明国产鱼粉在DS2500F仪器上的近红外光谱通过传递可以替代MPA型仪器的原始光谱,间接实现了模型传递,且具有良好的适用性和共享性,可提高近红外预测模型的应用效率。     

小波变换-分段直接校正法用于近红外光谱模型传递研究

提出了一种新的传递算法(WT-PDS)———小波变换-分段直接校正法,并详细讨论了模型传递参数和传递结果。首先利用小波变换对光谱进行压缩处理,采用PDS算法消除不同仪器之间压缩数据的差异,最后利用经校正的压缩数据进行分析,实现模型传递。本方法能够扣除不同仪器之间的大部分差异,大幅度改善分析精度。传递后模型分析精度与源机模型稳健性紧密相关。如果源机模型稳健性强,则能够实现不同仪器之间的共享。本方法能够实现源机的0#轻柴十六烷值、凝点、馏出温度;-10#轻柴十六烷值、凝点以及-10#军柴凝点和馏出温度共10个模型在5台仪器之间共享,简化了建模的成本。与传统的PDS相比,WT-PDS方法具有传递和建模变量少、速度快、光谱校正性能高等优点,而其模型分析精度与传统PDS基本一致。     

对直接标准化算法的改进及其应用

由于各种仪器之间存在差异,主机上建立的定量模型用于从机会导致预测结果出现较大偏差。目前主要通过有标样方法和无标样方法来减小预测偏差。该文对现有标样方法中的直接标准化算法进行改进,在转移矩阵的建立过程中,对从仪器数据矩阵进行主成分分解,以预测均方差为判定标准,确定最终的转移矩阵。并以玉米和烟草数据为对象,测试了该法的有效性。玉米样品含有2种成分:水分和蛋白质;烟草样品含有4种成分:还原糖、总糖、总氮和总碱。结果表明,对于玉米样品中的2种成分,采用改进的方法可显著提高预测的准确度;对于烟草中的4种成分而言,采用改进的方法可获得稳健的预测结果。