基于灰狼算法的近红外光谱变量选择方法研究

基于群体智能的灰狼优化(GWO)算法具有参数少、结构简单、易于实现的优点,但在光谱领域的应用较少。该研究将GWO算法引入近红外光谱的变量筛选中,以玉米数据为例,考察了GWO算法中狼群性能、迭代次数、狼群数量及运算效率,并建立了偏最小二乘(PLS)模型对玉米样品中蛋白质、脂肪、水分以及淀粉含量的测定。结果显示,GWO算法运算效率很高,经过参数调优后建立PLS模型,其蛋白质、脂肪、水分及淀粉的保留变量数分别为19、19、14、34,预测均方根误差(RMSEP)从全波长PLS建模的0.245 8、0.122 4、0.339 8、1.105 8分别下降到0.147 7、0.080 1、0.176 2、0.739 8,分别下降了40%、35%、48%、33%,相关系数也相应地提高。因此,GWO算法不仅优化速度快,选择变量数少,还可以显著提高PLS模型的预测精度,是一种近红外光谱变量选择的有效方法。     

基于迭代缩减窗口自助软收缩算法的近红外光谱变量选择方法研究

该文针对近红外光谱因冗余变量导致的标定模型预测性能差的问题,提出了一种迭代缩减窗口自助软收缩（ISWBOSS）算法。该方法使用窗口对变量进行划分,随机抽取窗口并利用其中的变量建立子模型,计算窗口内变量回归系数的归一化并作为权重继续进行加权采样,从而逐步实现变量空间的软收缩。同时在迭代过程中不断缩减窗口大小对特征变量进行精确搜索。通过在玉米数据集上进行验证,并与全谱法、遗传算法、竞争自适应重加权采样法和自助软收缩法建立的偏最小二乘模型对比,结果表明,新方法不论在准确性还是稳定性上都具有显著优势。以玉米蛋白质含量预测为例,与自助软收缩算法相比,ISWBOSS的预测均方根误差从0.041 8降至0.010 3,且达到最优模型所需的迭代次数更少,运算效率更高。该方法对提高近红外光谱标定模型的性能具有一定的指导意义。     

基于迭代保留信息变量和连续投影的近红外光谱波长选择方法

连续投影算法(SPA)作为一种波长选择算法,用于近红外光谱的定量分析中以简化模型复杂度,提高模型预测精度.由SPA算法的原理可知,SPA算法只能保证相邻两次投影所选择的两个波长之间具有较低的冗余性,但不保证所选变量一定是有效变量,即SPA筛选出的变量子集中可能包含一些无信息变量甚至是干扰变量.所以通过迭代保留信息变量(...     

基于交互式自模型混合物分析的近红外光谱波长变量优选方法

为了提高近红外光谱定量分析的预测精度和建模效率,提出了一种基于交互式自模型的混合物分析的波长优选方法,根据光谱各波长变量的纯度值和标准差值,选择含有用信息的波长变量,并引入相关权函数解决变量间共线性问题.通过依次迭代选择的变量建立定量校正模型,由交互验证均方根预测误差(RMSECV)确定最佳波长变量个数.应用该波长变量优选方法对具有不同葡萄糖含量的两组(四成分葡萄糖水溶液实验和人体血浆实验)近红外光谱数据进行分析,两组数据中分别只选择了全部变量的0.3%建立定量校正模型,其验证集葡萄糖浓度的均方根预测误差(RMSEP)分别减少为669和15 mg/L.与全谱范围及优选波段建立的定量校正模型比较,本方法能够通过波长变量优选最小化冗余信息、提高预测精度及建模效率.     

一种基于LASSO回归模型的彩色相机颜色校正方法

彩色相机的颜色校正是实现成像色彩一致性的必要保障手段。传统的相机颜色校正中,对测量数据多采用多项式回归分析来确定颜色定标系数,存在着精度不高的缺点,因此,本文对测量数据提出了基于LASSO的高阶多项式回归拟合方法,利用LASSO压缩系数的特点,在保证计算复杂度的前提下,有效提高了回归模型的校正精度。在D65标准光源下对ColorChecker 24色卡进行了实际成像实验,并用CIELAB色差公式表征了校正效果,实验结果表明,新方法的校正效果明显优于传统的线性回归、二次多项式回归方法,平均色差指标可以达到5个CIELAB色差单位。     

变量选择方法对近红外光谱校正模型优化极限的研究

变量选择经常被用于优化近红外光谱线性校正模型,消除冗余信息,提升回归的准确性和可解释性。该文研究并设计了一种基于蒙特卡洛的方法,用于评估不同线性校正方法在变量选择的子空间中能达到的最优程度,寻找变量选择对线性校正模型的优化极限。该方法通过获得验证指标——预测均方根误差（RMSEP）的分布图,揭示变量选择方法在数据集上的优化效果与优化极限。将该方法应用于3组样品的近红外光谱建模研究,结果表明：在烟草-果胶数据集上的可优化率约为24.98%,RMSEP降低了15.2%;在小麦-蛋白质数据集上的可优化率约为13.90%,RMSEP降低了9.5%;在玉米-淀粉数据集上的可优化率约为14.05%,RMSEP降低了57.1%。应用该方法可以快速得到变量选择方法在模型上的优化极限,为变量选择方法的设计、应用和评估提供参考。     

基于变量频次加权自助采样法的近红外光谱变量选择方法研究

近红外光谱分析技术已被广泛应用于食品检测及定量分析等领域.变量选择作为近红外光谱建模分析中的关键步骤,对于提高模型的稳定性和预测性能具有重要作用.本研究提出了一种近红外光谱变量选择方法,即变量频次加权自助采样法(Variable frequency weighted bootstrap sampling,FWBS),通...     

激光诱导击穿光谱结合CARS变量选择方法定量检测倍硫磷含量

利用双脉冲激光诱导击穿光谱(LIBS)技术对溶液中的倍硫磷含量进行定量检测。采用二通道高精度光谱仪采集不同浓度倍硫磷样品在206.28~481.77 nm波段的LIBS光谱,并对光谱进行多元散射校正(MSC)、标准正态变量变换(SNV)及3点平滑预处理,根据偏最小二乘(PLS)建模确定最优的预处理方法。在此基础上,利用竞争性自适应重加权算法(CARS)筛选与倍硫磷相关的重要变量,然后应用PLS回归建立溶液中倍硫磷含量的定量分析模型,并与单变量定量分析模型及未变量选择的PLS定量分析模型进行比较。结果表明,相比单变量定量分析模型及原始光谱PLS定量分析模型,CARS-PLS定量分析模型的性能更优,其模型的校正集和预测集的决定系数及平均相对误差分别为0.969 4、15.537%和0.995 9、5.016%。此外,与原始光谱PLS模型相比,CARS-PLS模型仅使用其中1.9%的波长变量,但预测集平均误差却由9.829%下降为5.016%。由此可见,LIBS技术检测溶液中的倍硫磷含量具有一定的可行性,且CARS方法能简化定量分析模型,提高模型的预测精度。     

PLS变量筛选法用于有机物透聚乙烯膜性能QSAR研究

随着大量分子描述符应用于QSAR/QSPR,如何筛选出具有良好稳定性和预测能力的描述符集,成为亟待解决的一个瓶颈问题.将63个有机化合物的1664个描述符经过初步预选后,利用偏最小乘(PLS)方法进行变量筛选,获得42个重要描述符;随机选择43个有机物,针对透聚乙烯膜性能进行训练研究,得优良估计能力和良好稳定性模型(A=6,r2=0.9647,RMSE=0.213,q2=0.8364,RMSV=0.467);对模型外部20个有机物进行预测,表明模型具有良好预测能力(rp2=0.9306,RMSP=0.326).PLS变量筛选法可以快速有效地筛选与活性密切相关的重要描述符,进而构建具有良好稳定性和预测能力的QSAR模型.     

子空间比较法研究拓扑块的变量关系及变量选择

用子空间比较法研究由不同拓扑指数构成的块变量之间的关系,提出了一种变量选择的新方法.以530种烷烃的5大类拓扑指数为样本进行比较,得到了反映拓扑块变量间线性相关关系的夹角余弦值,以及这些子空间所对应的结构信息.结合子空间比较的结果选择变量,对上述烷烃的沸点值进行回归,R=0.9948,S=4.08,交互检验预测误差LOO=4.38     

基于移动窗口-迭代遗传算法的近红外光谱波长选择方法

光谱样本数据常会受到环境噪声和其它组分的干扰,应作波长选择,以提高分析精度.近红外光谱谱区宽,搜索空间过大,难以直接采用遗传算法进行波长选择.为此本研究提出先用移动窗口偏最小二乘法(MWPLS)从宽谱区中初选出信息区间,再采用改进的迭代遗传算法(IGA)从中选出最优的信息子区间.MWPLS用移动窗口沿全谱区扫描,对信息区间的定位效果好,而IGA将顾及光谱数据的连续相关特性,运行多轮GA,并以上轮选择结果平滑处理后作为先验知识支持下轮的种群初始化.由此选出的连续相邻的波长点作为自变量,进行PLS建模,既可显著地简化模型,又保留一定的数据冗余,模型的稳健性好,分析精度高.将其用于小麦水分的近红外分析,效果良好,预测性能明显优于其它方法.     

基于移动窗口-迭代遗传算法的近红外光谱波长选择方法

光谱样本数据常会受到环境噪声和其它组分的干扰，应作波长选择，以提高分析精度。近红外光谱谱区宽，搜索空间过大，难以直接采用遗传算法进行波长选择。为此本研究提出先用移动窗口偏最小二乘法（MWPLS）从宽谱区中初选出信息区间，再采用改进的迭代遗传算法（IGA）从中选出最优的信息子区间。MWPLS用移动窗口沿全谱区扫描，对信息区间的定位效果好，而IGA将顾及光谱数据的连续相关特性，运行多轮GA，并以上轮选择结果平滑处理后作为先验知识支持下轮的种群初始化。由此选出的连续相邻的波长点作为自变量，进行PLS建模，既可显著地简化模型，又保留一定的数据冗余，模型的稳健性好、分析精度高。将其用于小麦水分的近红外分析，效果良好，预测性能明显优于其它方法。     

基于改进免疫遗传算法的近红外光谱变量选择方法

该文在免疫遗传算法（IGA）的基础上,提出一种改进免疫遗传算法（iIGA）用于近红外光谱波长变量的选择。该算法舍去了原算法中固定抗体相似度阈值的思想,取而代之的是抗体相似度阈值自适应,同时引入精英保留策略和贪心算法思想,使得算法朝着正确的方向进行局部性探优。将该算法在玉米的淀粉和蛋白质含量数据集上进行实验测试,建立偏最小二乘（PLS）分析模型,并与IGA、遗传算法（GA）以及全谱方法进行了对比。结果表明,在玉米淀粉含量的预测上,iIGA相较于原IGA算法,预测集均方根误差（RMSEP）从0.312 0降至0.298 0,预测集预测精度提升4.5%;在玉米蛋白质含量的预测上,RMSEP从0.124 4降至0.110 3,预测集预测精度提升11.3%。分别对预测淀粉和蛋白质模型的RMSEP值进行显著性检验,F值分别为165.22和182.05,P值分别为9.5 × 10－23和4.5 × 10－24,P值均小于0.05,因此,iIGA能显著提升模型预测精度。     

基于改进鲸鱼优化算法的近红外光谱波长变量选择方法及其应用

该文在群体智能的鲸鱼优化算法（WOA）基础上,提出了一种改进的鲸鱼优化算法（iWOA）用于近红外光谱波长的选择。首先引入混沌策略初始化种群,避免算法过早陷入局部最优;其次引入一种非线性时变Sigmoid传递函数和贪心算法思想,提升算法探优能力,使得模型获得更好的预测精度。为验证算法的有效性,以玉米脂肪、蛋白质、淀粉、水4个指标的近红外光谱数据进行偏最小二乘（PLS）建模分析,并与其他算法进行对比。结果表明,iWOA算法能在最短时间内,有效地筛选出波长变量,降低模型的复杂度,提升模型的预测精度。在玉米脂肪、蛋白质、淀粉、水含量的预测上,与全光谱相比,模型的预测集均方根误差（RMSEP）分别从0.077 2、0.122 4、0.334 4、0.059 5降至0.033 2、0.050 7、0.139 2、0.004 4,预测精度分别提升了57.0%、58.6%、58.3%、92.6%;算法选出的波长数目分别为：84、69、87、66。     

Novel Spectral Interval Selection Method Based on Synchronous Two-Dimensional Correlation Spectroscopy

Synchronous 2D correlation spectroscopy was first proposed to select informational spectral intervals in PLS calibration. The proposed method could extract the spectral intervals related to analyte. The results of its application to NIR/PLS determination of quercetin in extract of Ginkgo biloba leaves showed that the proposed method could find out an optimized region with which one could improve the performance of the corresponding PLS model, in terms of low prediction error, root mean square error of prediction (RMSEP), and comparing with the result obtained using whole spectra and interval PLS.     

A Variable Selection Method of Near Infrared Spectroscopy Based on Automatic Weighting Variable Combination Population Analysis

Near-infrared spectroscopy (NIR) is widely used in food quantitative and qualitative analysis. Variable selection technique is a critical step of the spectrum modeling with the development of chemometrics. In this study, a novel variable selection strategy, automatic weighting variable combination population analysis (AWVCPA), is proposed. Firstly, binary matrix sampling (BMS) strategy, which provides each variable the same chance to be selected and generates different variable combinations, is used to produce a population of subsets to construct a population of sub-models. Then, the variable frequency (Fre) and partial least squares regression (Reg), two kinds of information vector (IVs), are weighted to obtain the value of the contribution of each spectral variables, and the influence of two IVs of Rre and Reg is considered to each spectral variable. Finally, it uses the exponentially decreasing function (EDF) to remove the low contribution wavelengths so as to select the characteristic variables. In the case of near infrared spectra of beer and corn, yeast and oil concentration models based on partial least squares (PLS) of prediction are established. Compared with other variable selection methods, the research shows that AWVCPA is the best variable selection strategy in the same situation. It has 72.7% improvement comparing AWVCPA-PLS to PLS and the predicted root mean square error (RMSEP) decreases from 0.5348 to 0.1457 on beer dataset. Also it has 64.7% improvement comparing AWVCPA-PLS to PLS and the RMSEP decreases from 0.0702 to 0.0248 on corn dataset.     

近红外光谱结合特征变量筛选方法用于农药乳油中毒死蜱含量的测定

为提高毒死蜱农药乳油中有效成分近红外光谱定量分析模型的精度和稳定性。采用联合区间偏最小二乘法(siPLS)结合遗传算法(GA)筛选特征变量,由交互验证法确定最佳主成分因子数及筛选的变量数。结果表明,从全光谱区优选出81个变量,主成分因子数为11时,能建立性能最优的模型,模型预测集的决定系数R_p~2为0.972,预测均方根误差(RMSEP)为0.353%。研究表明,利用siPLS结合GA方法优选特征变量,能大幅度地消除农药乳油光谱变量间的冗余信息和无关信息,降低模型的复杂度,提高农药有效成分预测模型的精度及稳定性。     

Comparative Study of Variable Selection Using Genetic Algorithm with Various Types of Chromosomes

In this study,different methods of variable selection using the multilinear step-wise regression(MLR) and support vector regression(SVR) have been compared when the performance of genetic algorithms(GAs) using various types of chromosomes is used.The first method is a GA with binary chromosome(GA-BC) and the other is a GA with a fixed-length character chromosome(GA-FCC).The overall prediction accuracy for the training set by means of 7-fold cross-validation was tested.All the regression models were evaluated by the test set.The poor prediction for the test set illustrates that the forward stepwise regression(FSR) model is easier to overfit for the training set.The results using SVR methods showed that the over-fitting could be overcome.Further,the over-fitting would be easier for the GA-BC-SVR method because too many variables fleetly induced into the model.The final optimal model was obtained with good predictive ability(R2 = 0.885,S = 0.469,Rcv2 = 0.700,Scv = 0.757,Rex2 = 0.692,Sex = 0.675) using GA-FCC-SVR method.Our investigation indicates the variable selection method using GA-FCC is the most appropriate for MLR and SVR methods.