净信号的局部建模算法及其在近红外光谱分析中的应用

提出了一种基于净信号分析的局部建模算法,以克服光谱定量分析中样本间差异性过大和样本待测性质与光谱之间存在非线性等问题。首先利用净信号分析方法得到校正样本和待测样本的净信号,然后用待测样本净信号和校正样本净信号之间的欧式距离作为样本相似性判据,选取一定数量的与待测样本最相似的校正样本组成局部校正子集,建立局部PLS回归模型。针对一组猪肉近红外光谱数据集的实验结果表明,该方法的预测精度显著优于全局建模方法和基于光谱欧式距离的局部建模方法。     

一种结合直接正交信号校正与蒙特卡罗的波长选择方法

在近红外光谱数据分析中,全光谱数据具有波长点多、冗余量大、共线性关系严重的特点,导致了部分波长点对建立校正模型没有积极作用,甚至还会降低模型的预测能力。波长选择被证明是有效避免上述问题的重要方法。针对近红外光谱的特性,提出了一种基于直接正交信号校正(DOSC)与蒙特卡罗方法(Monte Carlo,MC)结合的波长选择算法。与大多数根据波长的“重要性”进行选择的方法不同,MC-DOSC依据波长的“不重要”性进行选择。波长“不重要”性通过DOSC的权重w来度量。首先将w归一化作为波长被滤除的概率,以此建立波长选择的概率模型,并使用蒙特卡罗随机抽样得到N个波长子集的集合。在每一次抽样过程中,用选择的波长点建立PLS模型,计算相应的交叉验证均方根误差(RMSECV)。经过N次随机抽样后,以RMSECV最小时的PLS模型对应的波长子集作为备选子集。将备选子集包含的光谱数据作为新的光谱阵,重复上述过程直到RMSECV不再下降为止。迭代停止后,将RMSECV最小的备选子集作为最佳波长子集。采用玉米数据集和汽油数据集对该算法进行测试,同时与蒙特卡罗无信息变量消除法(MCUVE)、遗传算法(GA)、竞争性自适应权重取样法(CARS)三种算法进行比较。实验结果表明：该算法能大幅度减少波长点个数,并且相应的PLS模型的预测能力也提高了。玉米数据集的实验运行结果,波长点个数从全光谱的700个减少到15个,预测集相关系数从0.828 2提高到0.931 4,RMSEP从0.109 8减少到0.071 3。汽油数据集的实验运行结果,波长点个数从全光谱的301个减少到31个,预测集相关系数从0.987 5提高到0.993 9,RMSEP从0.255 5减少到0.178 8。该算法在2个数据集中的表现均优于对比的三种算法。     

一种改进小波算法及其在拉曼光谱预处理的应用

针对现有用于光谱预处理的小波变换算法对光谱噪声和背景荧光等处理效果不佳的局限性,本文提出了一种改进的小波变换算法——小波变换频率分量相关选择法,首先对拉曼光谱进行小波棱镜分解,然后计算各个频率分量与待测质量指标的相关系数,设定相关系数的相对阈值,提取高于阈值的小波频率分量波长点光谱数据作为校正模型的有效输入数据。将其应用于汽油低分辨率拉曼光谱的预处理,并采用预处理后光谱建立的偏最小二乘模型预测值的最大正负误差和交叉检验的均方误差作为指标。实验结果证明,与其他常见预处理方法比较,该方法并能够很好地减弱荧光背景干扰和高频噪声,显著提高了基于偏最小二乘方法建立的汽油辛烷值的模型预测精度,其均方误差减少为0.23;此外,采用该预处理方法的偏最小二乘模型的均方误差随主元数变化不大,稳健性也比采用其他预处理方法的效果好。     

混合气体红外光谱支持向量机分析的新方法

介绍了一种基于支持向量机的混合气体红外光谱组分浓度和种类分析的新方法。利用核函数将组分气体特征吸收谱线重叠严重的混合气体光谱在高维空间变换后,建立SVM回归校正模型,进行混合气体浓度分析。在利用支持向量机回归校正模型进行混合气体组分浓度分析的同时,证明支持向量机回归校正模型也可用于混合气体组分种类分析。对不同组分和不同组分浓度的混合气体红外光谱数据进行了实验,研究了谱仪扫描间隔、分析特征波长范围、核函数和惩罚因子等因素对分析结果的影响。混合气体组分浓度实验结果的最大平均绝对误差Mean AE为0.132%;混合气体组分种类识别的准确率大于94%。解决了传统的光谱分析方法中光谱特征谱线重叠、光谱数据的维数大、定性和定量分析无法使用同一方法等问题,可用于其他混合气体的红外光谱分析,具有实际应用价值。     

小波多尺度正交校正在近红外牛奶成分测量中的应用

光谱分析中,干扰信号的存在直接影响所建分析模型的质量。基于信号和干扰的不同特性,提出了一种扣除背景和噪声干扰的新方法——小波多尺度正交校正(WMOSC)法。首先将原始光谱进行小波变换(DWT),消除噪声及背景信息,然后采用正交信号校正(OSC)滤除与待测组分浓度无关的全部信息。与单纯的小波变换及正交信号校正相比,WMOSC能有效地扣除背景和噪声干扰,使模型具有更强的抗干扰能力,提高了模型的预测精度。利用该方法对牛奶样品的近红外光谱进行处理,采用偏最小二乘法建立校正模型,其牛奶中脂肪、蛋白质和乳糖的预测均方根误差(RMSEP)分别为0.101 6%,0.087 1%和0.110 7%。实验结果表明该方法能有效地去除干扰,保留有用信息。     

MAXR回归法在近红外光谱定量分析及最优波长选择中的应用研究

介绍了运用MAXR回归法建立傅里叶变换近红外光谱定量分析模型的原理和方法。以此方法,由Matlab语言设计程序,进行近红外光谱定量分析建模的波长信息选择。并以小麦样品为实验材料,建立了蛋白质含量的近红外光谱定量分析模型,其中优选出2个和3个波长点处光谱信息建立的多元回归模型的预测结果与凯氏定氮法分析结果相关系数分别为0.977 1和0.976 5,标准差分别为0.335和0.340。MAXR回归法在进行波长信息,选择时可建立分别包含1,2,…,k个波长点信息的最优回归模型,且计算量适中,因此是一种实用的选择“最优”波长信息的回归方法。该方法不仅可少而精选择波长信息,建立抗共线性信息干扰的光谱定量分析模型,而且对于特定样品、特定待分析组分,选择最优波长信息建模分析的工作,可指导专用近红外分析仪器的设计。     

圆形渐变滤光片光谱辐射计辐射定标

基于分区线性法对圆形渐变滤光片型光谱辐射计开展辐射定标研究,以解决温度范围大、工作波段宽的测量目标对该类型光谱辐射计造成的非线性问题。所提光谱辐射计的主要技术原理是将待测目标的温度区间分为多个子区间,采集目标温度区间内多个不同温度黑体对应的测量光谱,并计算各个温度下的响应度函数。在进行红外光谱测量时,将目标光谱与区间内记录的不同温度点光谱进行比对,从而确定待测目标所属温度子区间的上下限。根据子区间计算的响应度函数,通过线性插值求得待测目标的响应度函数并进行辐射定标。基于该方法的实验结果表明,待测目标理论辐亮度与使用分区线性法进行辐射定标得到的辐亮度在波长范围内的平均偏差小于1%。通过定标结果反演测量黑体的等效温度,等效温度误差小于2%。     

混合光谱中已知组分光谱的自加强方法研究

通过数学变换手段将混合物光谱中某待测组分（已知纯光谱组分）所包含的信息集中于原点,使得待分析组分光谱在变换结果曲线的原点处贡献最大,称之为纯光谱组分的自加强作用;在杂质光谱所包含谱带中心位置与待分析组分纯光谱差别较大的假设基础之上,通过理论分析可认为杂质光谱在变换结果曲线原点处贡献最小,因而可选择变换结果曲线原点处的小波变换系数作为待测组分定量分析的依据,降低了分析位置选择的人为性,增强了分析手段的可靠性与适应性。模拟对比了理想曲线与含加性高斯白噪声信号的变换结果,证明该方法具有好的抗噪特性。模拟分析结果表明,该方法相比以往文献报道的单纯利用小波系数作为定量分析依据的做法在分析误差方面有很大改善。     

多元散射校正技术用于近红外定标波长组合的优选研究

在近红外光谱定量分析技术中,多元散射校正(MSC)算法可以有效地剔除由于样品颗粒度、装填密度、湿度等物理因素所导致的散射影响,有效地提高了光谱的信噪比。相关光谱法反映了样品待测成分光谱信息和浓度信息之间的线性相关性,在定标波长优选过程中发挥了重要作用。然而采用单一波长通道一元线性回归计算得到的相关光谱极易受到散射的影响,掩盖了待测成分的特征线性信息,将多元散射校正技术用于相关光谱的信息提取和噪声压制,克服了上述的困难, 并通过人参样品的定标实验验证,得到了良好的效果和满意的定标结果。     

近红外光谱分辨率对液体样品近红外定量模型影响的研究

以四种组分的液体混合样品为实验对象,研究了不同分辨率下(1,4,16,32和64 cm-1)的近红外光谱模型,采用偏最小二乘法建立校正模型,全交互验证法进行检验。用目标函数值来评价定量模型性能。对于原光谱所建立的模型,苯和苯甲醛在分辨率1 cm-1时的目标函数值最大,甲苯在4 cm-1时的目标函数值最大,而氯苯在16 cm-1时的目标函数值最大;对于一阶导数光谱所建立的模型,四种组分的目标函数值均在1 cm-1时最大。结果表明,首先,仪器分辨率对近红外光谱定量分析结果有影响,对于光谱重叠严重的组分,提高分辨率对定量分析有利;但在分析对象的真实带宽较大的定量分析中,可采用较低分辨率以保证信噪比。其次,仪器分辨率对不同的组分的影响是不同的。此外,原光谱的信噪比及样品中不同组分光谱的带宽共同影响定量结果,在保证光谱信噪比的前提下,高分辨率对定量模型有利。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

输入层自构造神经网络用于红外光谱多元校正

为了解决多组分红光谱定量分析中的特征的取和校正建模问题，本文提出了一种输入层自构造神经网络。在应用这种网络之前的预处理过程首先对训练数据进行分析，获得关于问题的某些先验知识。在训练阶段，神经网络根据先验知识自动选择输入层神经元的个数，同时确定网络参数。这种网络模型将特征提取和参数学习过程融为一体，有利于提高建模效率。利用仿真红外光谱的定量分析实验表明，这种网络模型不仅能够对光谱数据实现高效率的波长选择，并具有抑制随机噪声和非线性干扰的能力。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

一种基于SCARS策略的近红外特征波长选择方法及其应用

针对近红外光谱数据的内在特点,提出了一种基于稳定性竞争自适应重加权采样(stability competitive adaptive reweighted sampling, SCARS)策略的近红外特征波长优选方法。该方法以PLS模型回归系数的稳定性作为变量选择的依据,其过程包含多次循环迭代,每次循环均首先计算相应变量的稳定性,而后通过强制变量筛选以及自适应重加权采样技术(ARS)进行变量筛选;最后对每次循环后所得变量子集建立PLS模型并计算交互验证均方根误差(RMSECV),将RMSECV值最小的集合作为最优变量子集。利用饲料蛋白固态发酵过程近红外光谱数据集对所提方法进行了验证,并与基于PLS的蒙特卡罗无信息变量消除法(MC-UVE)和竞争自适应重加权采样(CARS)方法所得结果进行了比较。试验结果显示： 建立在SCARS方法优选的21个特征波长变量基础上的PLS模型预测效果更好,其预测均方根误差(RMSEP)和相关系数(R_p)分别为0.054 3和0.990 8;该优选策略能有效地增强固态发酵光谱数据特征波长变量选择的准确性和稳定性,提高了模型的预测精度,具有一定的应用价值。     

一种快速有效鉴定CRISPR/Cas9诱导水稻突变体的方法

突变体的筛选与鉴定是育种工作中的重要环节。该研究基于高光谱成像技术实现了水稻CRISPR/Cas9突变体种子的可视化鉴别。采集了水稻HD野生型和CRISPR/Cas9突变体种子共1 200粒样本的高光谱图像数据,通过Kennard-Stone算法,按照2∶1的比例构建了建模集(800)和预测集(400)。对水稻种子的原始光谱经过WT预处理后,通过2nd derivative提取了24个特征波长,分别基于全谱和特征波长建立径向基函数神经网络(RBFNN),极限学习机(ELM)和K最邻近法(KNN)模型。试验结果表明,无论是基于全谱还是特征波长神经网络模型都取得了良好的识别能力。通过2nd derivative提取的特征波长结合RBFNN模型也取得了较好的鉴别结果,其建模集和预测集分别达到了92.25%和89.50%。基于2nd derivative-RBFNN结合图像处理技术,可以实现水稻CRISPR/Cas9突变体种子的可视化鉴别,实现种子的定位和识别。结果表明应用高光谱成像技术,结合化学计量学方法和图像处理技术对水稻CRISPR/Cas9突变体的鉴别具有可行性,可为水稻育种中大量突变体的快速、准确地筛选和鉴定提供技术手段。     

Characterization of a wavelength selection method using near-infrared spectroscopy and partial least squares with false nearest neighbors and its application in the detection of the chemical oxygen demand of waste liquid

Abstract

The spectral wavelength selection method is important in near-infrared spectroscopy. Eliminating redundant information and extracting useful information can improve the prediction accuracy and modeling efficiency of the quantitative analysis model for spectral analysis to obtain a near-infrared calibration model with strong predictability and good robustness. This paper proposes a wavelength selection method for near-infrared spectroscopy by combining the partial least squares and false nearest neighbor methods. In this method, the correlation between the characteristic wavelength variables and the measured index is assessed by means of a similarity-based distance measure of the characteristic wavelength variable, and the characteristic wavelength is selected according to the order of the correlation. The method was used to select characteristic wavelengths from the near-infrared spectrum of waste liquid to establish a prediction model for the chemical oxygen demand. Compared with the full-spectrum partial least squares and interval partial least squares based models, the number of characteristic wavelength variables is reduced from 1557 to 176, and the prediction accuracy of the model is improved. This method both simplifies the model and achieves higher prediction accuracy. Therefore, this study provides a novel solution for wavelength selection for multivariate calibration in near-infrared spectroscopy.     

应用近红外可见光谱快速测量柴油十六烷值

快速测量十六烷值对检测柴油品质及控制炼制工艺具有重大意义。首先对采集到的381份柴油样品进行近红外可见光谱波段全光谱扫描,利用小波分析(WT)对原始数据进行去噪声处理,应用竞争性自适应重加权算法(CARS)进行特征波长选择,将CARS提取的22个特征波长输入至LS-SVM预测模型,决定系数r2为0.723,预测均方根误差RMSEP为1.878%。结果表明,使用WT-CARS变量选择算法获取光谱特征波长,结合LS-SVM建模,可以快速、准确的测量柴油中的十六烷值,为进一步实现柴油十六烷值的在线检测以及其他性能参数的快速测定奠定了基础。     

基于集群方法(ER)的近红外光谱转移集优化法

近红外光谱因为具有小成本、易操作、低耗时等优点,所以广泛用于食品领域。作为一种间接的检测方法,近红外光谱检测需要建立光谱和浓度之间的统计模型。但是,一种条件下建立的模型在另一种检测条件下会失效。针对此问题,重新建模可以加以解决,但是重新建立光谱与浓度之间的模型非常繁琐耗时。此时,模型转移可以在避免重新建模的情况下,通过光谱校正,保证预测精度。在模型转移中,已经建立好模型的光谱称为主光谱(A),不用建立模型,而只用主光谱模型预测的光谱称为从光谱 (B)。模型转移方法的步骤是,先在校正集中选择一些样本作为主光谱的转移集(A_t),然后选择从光谱中浓度和A_t相同的光谱,以此作为从光谱的转移集(B_t)。通过A_t和B_t构建模型转移矩阵。最后将需要校正的从光谱(B_v)乘以上述的转移矩阵中,即可获得校正后的从光谱(B_new)。此时,B_new就可以用主光谱的模型来直接预测。在模型转移中,转移集样本的选择对模型校正至关重要。目前,转移集的样本通常从光谱之间的距离而非模型转移误差获得。但是,转移误差对模型转移结果的验证至关重要,故该研究出了基于集群分析的集群优化法(ER)并将其用于优化KS方法产生的转移集样本。ER先用随机方法建立转移集的多个子集合,并计算每个子集合的转移误差。然后,对某一个样本,计算包含这个样本的子集合转移误差均值。最后,选择转移误差均值较低的样本作为新转移集样本进行模型转移。以玉米数据测试了ER算法。结果显示,对于典型相关分析-有信息成分提取法(CCA-ICE)、直接校正法(DS)、分段直接校正法(PDS)、光谱空间转化法(SST)这些常见的模型转移方法,相比于KS样本选择方法,ER方法可以找出重要的转移集样本,进而显著降低模型转移误差。     

WCARS-ISPA火焰光谱特征选择的转炉炼钢终点预测

对转炉炼钢终点的实时精准控制能够有效提高钢铁产出的质量,炉口火焰光谱在炼钢不同时期的变化明显,对其进行分析处理并与机器学习方法相结合可有效用于炼钢终点的实时控制。针对炉口火焰光谱数据量大、现有方法对光谱特征提取在可信度和实时性上不足的缺陷,提出一种基于窗口竞争性自适应重加权采样（WCARS）结合迭代式连续投影算法（ISPA）的光谱特征波长选择方法,该方法在有效解决模型过拟合问题的同时,能够降低高维数据计算的复杂度。将火焰光谱数据沿波长方向进行窗口划分后,使用CARS进行计算选出特征窗口波段,再将迭代式选择与传统连续投影算法相结合,通过重复迭代精选出特征波长,在此基础上使用支持向量机回归（SVR）建立炼钢终点碳含量预测模型。实验采集363组炼钢后期的炉口火焰光谱数据作为样本,并对其进行Savitzky-Golay平滑预处理。使用WCARS-ISPA算法从全光谱数据中选出10个特征波长作为SVR模型的输入,碳含量为模型输出,Kennard-stone算法对训练集和测试集进行划分,选择碳含量的平均预测误差、预测误差在±2%以内的命中率以及运行30次的平均时间作为模型评价指标。实验结果显示,模型的平均碳含量预测误差为1.413 2%,命中率高达90.63%,运行时间为0.019 679 s。与使用全光谱和WCARS-ISPA,CARS-SPA,WCARS和SPA四种不同特征选择方法选出的特征波长建模得到的结果进行对比,基于WCARS-ISPA方法选出的特征波长建立的终点碳含量预测模型误差最小、命中率最高。提出一种新的炉口火焰光谱特征波长提取方法,使用窗口竞争性自适应重加权采样结合迭代式连续投影算法选取特征波长,并在此基础上建立转炉炼钢终点碳含量预测模型,实验结果表明,该方法能够有效提取火焰光谱特征,所建模型能够对转炉炼钢终点进行准确预测,满足工业生产的实时控制要求,为实际生产提供可靠帮助。     

基于UV-Vis检测养殖水体中化学需氧量含量研究

采用紫外可见光谱(UV-Vis)与极限学习机算法检测水体化学需氧量(chemical oxygen demand,COD)含量研究。采集135份水样进行紫外可见波段全光谱扫描,结合变量标准化(standard normal variate,SNV),多元散射校正(MSC)和一阶微分(1st D)对原始数据进行预处理,然后采用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)、随机青蛙(Random frog)算法和遗传算法进行特征波长选择。基于全光谱建立了偏最小二乘回归(partial least squares,PLS)和基于特征波长建立了极限学习机算法(extreme learning machine,ELM)模型。结果表明：使用CARS提取的9个特征波长建立的ELM模型的预测效果最优,决定系数R2为0.82,预测均方根误差RMSEP为 14.48 mg·L-1,RPD值为2.34。说明使用CARS变量选择算法获取UV-Vis光谱特征波长,应用极限学习机建模,可以准确、快速的检测养殖水体中COD含量,为实现养殖水体COD的动态快速检测以及水体其他微量物质含量参数检测打下基础。