近红外光谱仪器中滤光片波长组合的优选

如何快速、准确地进行滤光片波长组合的优选,是滤光片型近红外光谱仪器研究的一个关键技术.利用组合生成算法与多元线性回归分析相结合,并运用计算机编程语言分析了掺假山茶油的近红外光谱吸光度矩阵,优选出不同组合数下滤光片波长组合.该方法可在全光谱波长范围内快速的实现滤光片的优选,且建立的定量分析模型简单、精度高、稳定.     

基于遗传算法的近红外光谱定性分析特征波长提取方法研究

近红外光谱分析技术虽在多领域获得广泛应用,但应用时仍以实验室仪器为主,目前光谱仪存在体积大、功耗高、价格贵等问题,有能力购买与使用此类仪器的主要是高校、科研院所、大型企业等,常用的基于傅里叶变换或光栅原理的光谱仪价格通常高达几十万元,超出中小企业、普通百姓的经济承受能力,因此近红外光谱仪的进一步推广应用仍有难度.降低仪...     

近红外光谱定性分析中的特征波长筛选研究

提出了一种以样品光谱类间相关系数之和最小为准则进行光谱波长逐步筛选的方法(stepwise selection basing on minimum sum of correlation coefficients, SMCC),以类间距离与类内距离和的比值最大化(符合分析者主观预期目标)作为定性分析中特征波长筛选效果的评价依据,并使用红塔集团提供的2012年17种不同类型工业分级烟叶作为试验样品,以验证筛选方法的有效性。研究表明,采用CO1分级烟叶光谱作为参照类别,筛选出10个特征波长点：采用特征波长计算得到的类内欧氏距离的平均值为采用全部波长计算得到的平均值的1.69倍,采用特征波长计算得到的类间欧氏距离的平均值为采用全部波长计算得到的平均值的3.70倍,采用特征波长计算得到的类间欧氏距离与类内欧氏距离和的比值的平均值为采用全部波长计算得到的平均值的2.21倍。特征波长的类间与类内欧氏距离和的比值增大,说明筛选出来的特征波长能更加有效的表达不同类间的远近关系以及同一类内的离散度,SMCC算法是一种有效的、可应用于近红外光谱定性分析中的特征波长筛选方法。     

基于离散萤火虫算法的近红外波长优选方法研究

近红外光谱数据量大,需要进行压缩,以降低建立光谱校正模型的计算复杂度,提高模型精度和稳健性。为此,提出了一种基于离散萤火虫算法(discrete firefly algorithm)的近红外光谱波长变量筛选方法。首先采用蒙特卡罗方法剔除异常值,并应用Kennard-Stone法进行校正样本的选择。对通用萤火虫算法进行离散化处理,改进了吸引度的自适应公式,在移动公式中增加了牵引权重,以适应离散化处理的影响和优化算法,并在离散萤火虫算法中加入精英保留策略,加快算法的收敛速度。实验中找到DFA算法中的各项参数中的最佳值。通过离散萤火虫算法优选波长变量,建立发酵液中丁二酸含量的近红外光谱偏最小二乘回归(partial least squares regression)校正模型。与标准遗传算法(genetic algorithm)优选波长方法进行了比较。结果显示,基于离散萤火虫算法的波长优选方法所建立的PLS校正模型,其校正集的相关系数(R2_c)为0.986,RMSEC为0.409,预测集的相关系数(R2_p)为0.969,RMSEP为0.458,模型稳健性和精度都要优于全光谱建模以及遗传算法波长优选方法。显示了DFA在近红外光谱数据筛选方面的优越性。     

一种基于SCARS策略的近红外特征波长选择方法及其应用

针对近红外光谱数据的内在特点,提出了一种基于稳定性竞争自适应重加权采样(stability competitive adaptive reweighted sampling, SCARS)策略的近红外特征波长优选方法。该方法以PLS模型回归系数的稳定性作为变量选择的依据,其过程包含多次循环迭代,每次循环均首先计算相应变量的稳定性,而后通过强制变量筛选以及自适应重加权采样技术(ARS)进行变量筛选;最后对每次循环后所得变量子集建立PLS模型并计算交互验证均方根误差(RMSECV),将RMSECV值最小的集合作为最优变量子集。利用饲料蛋白固态发酵过程近红外光谱数据集对所提方法进行了验证,并与基于PLS的蒙特卡罗无信息变量消除法(MC-UVE)和竞争自适应重加权采样(CARS)方法所得结果进行了比较。试验结果显示： 建立在SCARS方法优选的21个特征波长变量基础上的PLS模型预测效果更好,其预测均方根误差(RMSEP)和相关系数(R_p)分别为0.054 3和0.990 8;该优选策略能有效地增强固态发酵光谱数据特征波长变量选择的准确性和稳定性,提高了模型的预测精度,具有一定的应用价值。     

siPLS-LASSO的近红外特征波长选择及其应用

近红外技术广泛应用于食品、药品等生产过程和产品质量检测,具有样品无需预处理、成本低、无破坏性、测定速度快等优点。但是,全光谱数据维数高、冗余信息多,直接应用于建模会导致模型复杂性高、稳定性差等问题。siPLS是最常见的光谱数据降维方法,但是难以处理光谱数据的共线性问题。LASSO是一种相对新的数据降维方法,但在小样本应用中具有不稳定性。针对siPLS和LASSO在近红外光谱数据应用中存在的问题,提出了基于siPLS-LASSO的近红外特征波长选择方法,并将其应用于秸秆饲料蛋白固态发酵过程pH值监测。该方法首先采用siPLS算法,实现对光谱波长最佳联合子区间的优选;然后,对优选联合子区间使用LASSO算法进行特征波长选择,在此基础上建立PLS校正模型。同时,将siPLS-LASSO方法与其他传统特征波长选择方法进行了对比。结果表明：建立在siPLS-LASSO方法优选33个特征波长基础上的PLS模型预测结果更好,其预测方差(RMSEP)和相关系数(R_p)分别为0.071 1和0.980 8;所提siPLS-LASSO方法有效选取了特征波长,提高了模型预测性能。     

河套蜜瓜糖度可见近红外光谱特征波长提取方法研究

河套蜜瓜是我国西北河套地区独具特色的果品,一直深受消费者的喜爱。糖度(sugar content)是衡量蜜瓜品质和成熟度重要指标。采用Maya 2000pro便携式光谱仪和PR-101ɑ便携式数字折光仪获取“金红宝”蜜瓜光谱信息及糖度值,研究了不同特征波长提取方法：逐步多元线性回归(SMLR)、间隔偏最小二乘法(iPLS)、反向区间偏最小二乘法(biPLS)以及联合区间偏最小二乘法(siPLS))对蜜瓜样品模型精度和预测结果的影响。结果表明：采用biPLS特征波长提取方法将全波段光谱均匀分成20个子区间,PLS因子数为14,当剔除其中8个子区间,选择的波长变量数为218时,得到的biPLS模型最佳,对应的校正集和预测集的RMSE分别为0.996 1和1.18。采用biPLS光谱波长筛选方法可以有效地提取蜜瓜糖度的特征波长,提高建模预测能力,实现蜜瓜糖度的快速检测。     

基于优选波长的复合肥总氮含量可见/近红外光谱分析

利用可见/近红外光谱分析仪得到复合肥的原始光谱,经过MSC和一阶导数预处理后,建立了复合肥中总氮含量的PLS模型,实现了复合肥中总氮含量的快速准确无损测量。通过选取不同范围波长建模,取得了预测决定系数（R²）、预测标准差（S_RMSEP）、相对分析误差（K_RPD）最好的基础波段。在基础波段的基础上,采用优选波长算法,获得了加入波长后的模型的预测决定系数和预测标准差图。通过分析,最终确定加入42个优选波长。实验结果表明,加入优选波长后的模型的预测决定系数由不加优选波长模型的0.760 4提高到了0.991 1,S_RMSEP降低为原来的1/5,K_RPD提高到原来的5倍。     

潜变量聚类分析法在近红外光谱波长范围选择中的应用研究

介绍了潜变量聚类分析方法的基本原理,并将该方法应用于近红外光谱定量模型的谱区选择。以烟草样品为例,对107个样品的光谱进行处理,将光谱分为5簇,从化学角度分别解释了这5簇各自反映的信息。在此基础上,选择相应的波长范围用PLS方法建立了总糖、还原糖和尼古丁的定量分析模型。与全谱模型相比,3个模型的交互验证相关系数(Rtraining)分别由0.977 1,0.917 2,0.987 4提高到0.995 5,0.975 1,0.994 4;验证样品相关系数(Rtest)由0.977 8,0.941 2,0.993 2提高到0.992 7,0.967 9,0.994 0;交互验证均方差(RMSECV)由1.09,1.43,0.14降为1.05,1.05,0.13;预测残差均方差(RM-SEP)由0.92,1.17,0.16降为0.39,0.63,0.11;预测样品间平均标准误差(D)由1.274%,1.972%,0.829%降为0.711%,0.843%,0.768%,表明用该方法建立模型的预测准确度和精密度均有所提高,对实际应用有一定的指导作用。     

波长优选对土壤有机质含量可见光/近红外光谱模型的优化

可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱,然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性,再利用SPXY方法挑选建模集样本,分别利用连续投影算法和遗传算法进行波长优选,最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示：连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度,尤其是遗传算法能够更好地提高土壤有机质含量预测精度,其相关系数、预测均方根误差和相对分析误差分别达到0.9316,0.2142和2.3195。通过合适的特征波长选取,不仅计算量可以大大减少,预测精度也会有效提高。     

智能优化算法应用于近红外光谱波长选择的比较研究

近红外光谱(NIRS)是一种间接分析技术,其应用需建立相应的校正模型。为了提高模型的解释能力、预测准确度和建模效率,需要对NIRS进行波长选择,优选最小化冗余信息。智能优化算法是以生物的行为方式或物质的运动形态为背景,经过数学抽象建立算法模型,通过迭代计算来求解组合最优化问题,其核心策略是以某种目标函数为标准,基于多元校正建模并以逐步逼近的方法筛选出有效的波长点。选用蚁群优化(ACO)、遗传优化(GA)、粒子群优化(PSO)、随机青蛙(RF)和模拟退火(SA)5种智能优化算法对烟叶总氮和烟碱近红外光谱数据进行特征波长选择,结合偏最小二乘(PLS)算法,构建了多个烟叶总氮和烟碱的校正模型,结果显示：所选用两个数据集的总氮最优模型分别为PSO-PLS和GA-PLS模型,烟碱最优模型分别为GA-PLS和SA-PLS模型,五种智能优化算法所建模型预测性能并非全部优于全谱PLS模型,但是通过智能优化算法进行波长选择后建立的PLS模型大大简化,模型的预测精度、可解释性和稳定性均有所提高。同时也对优选波长进行了解释和分析,烟叶总氮特征波长优选组合为4 587~4 878和6 700~7 200 cm-1;烟叶烟碱特征波长优选组合为4 500~4 700和5 800~6 000 cm-1,优选出来的特征波长具有实际物理意义。     

近红外特征波长筛选在勾兑梨汁中原汁含量的快速检测中的应用

为实现近红外光谱进行勾兑梨汁中原汁含量的快速检测,采用相同可溶性固形物含量的新鲜梨汁和果汁粉冲剂按照原汁含量为0%～100%进行勾兑,并结合遗传算法(GA)、粒子群算法(PSO)以及萤火虫算法(GSO & FA)进行特征波长筛选,比较分析四种算法分别建立的偏最小二乘(PLS)模型。结果表明,GA-PLS,PSO-PLS,GSO-PLS,FA-PLS四种模型均能够剔除大部分波长变量,其中以FA-PLS模型效果最佳,不仅保证模型的稳健性,而且简化了模型,提高了预测的精度。为了进一步优选特征波长,利用连续投影算法(SPA)在FA基础上做进一步波长筛选,并比较全波段PLS,SPA-PLS,FA-PLS,FA-SPA-PLS模型,四种模型泛化能力为：FA-PLS>PLS>FA-SPA-PLS>SPA-PLS,其预测均方根误差分别为0.029 1,0.033 3,0.033 9和0.137 0,相应的波长变量数量依次367,765,20和18。其中SPA-PLS波长变量最少,但预测误差远远高于其他三种模型,综合考虑预测精度与波长变量数目,FA-SPA-PLS模型不仅波长变量较少而且预测精度较高,能够有效鉴别勾兑梨汁中原汁含量。研究利用近红外光谱技术为快速鉴别勾兑果汁提供一种有益思路,并通过波长变量筛选简化定量分析模型。     

基于波段注意力卷积网络的近红外奶粉皮革水解蛋白掺假检测

近年来,深度学习技术在近红外光谱、拉曼光谱、荧光光谱等的光谱学数据建模上取得一系列突破。由于深度学习方法对于样本数量的需求高,而在分析化学领域获得大量有标签样本较为困难,因此过拟合问题一直是深度神经网络在化学计量学中应用时研究者高度关注的问题。该工作提出基于波段注意力卷积网络(WA-CNN)的近红外数据建模方法,并应用于婴儿配方奶粉皮革水解蛋白(HLP)掺假定量分析。WA-CNN在传统卷积网络的基础上加入波段注意力模块,该模块采用卷积操作自训练波段注意力权值,并以乘法加权形式对有效波段进行激活,从而有效缓解深度神经网络在近红外数据建模中的波段信息冗余问题,达到抑制过拟合,提升预测精度的目的。研究中共测试100个皮革水解蛋白掺假婴儿配方奶粉样本的近红外光谱数据,其中皮革水解蛋白的掺假比例范围是0%～20%。采用60%的样本训练,剩余40%样本测试,随机采样10次,通过测试集均方根误差(RMSEP)、决定系数(R²)以及相对分析误差(RPD)的均值来进行模型评价。并建立偏最小二乘回归(PLS)、支持向量机回归(SVR)和常规的一维卷积神经网络(CNN)三种传统模型用于...     

基于Kalman滤波与DBN的油脂中TFAs含量近红外光谱分析

针对油脂脱臭过程中的反式脂肪酸(TFAs)含量控制问题,提出一种基于近红外光谱分析的油脂中TFAs含量快速检测方法.制备含不同TFAs的大豆油脂样本100个,利用气相色谱(GC)法精确测定其TFAs含量,扫描样本近红外光谱,然后利用不同方法对光谱数据进行降噪处理,发现多元散射校正的去噪效果最佳.为了探讨T FAs在近红...     

基于特征投影图的小麦近红外光谱变量选择方法研究

为了简化模型,提高模型预测精度,利用特征投影图(LPG)进行变量选择。对原始光谱进行连续小波变换(CWT),利用主成分分析(PCA)得到LPG,假定LPG中共线性光谱变量对建模作用相同,选出少数特征光谱变量建立预测模型,所得模型预测均方根误差(RMSEP)为0.345 4,优于其他建模方法,研究结果表明,LPG变量选择可有效简化近红外光谱模型,提高模型预测精度。     

基于近红外在线装置苹果糖度模型参数优化研究

糖度(SSC)是苹果内部品质主要评价指标之一,近红外光谱技术是预测苹果SSC的首选技术,优化近红外光谱采集装置的参数,可以提升模型的性能。采用本课题组自主研发的动态在线设备采集苹果的近红外光谱(350～1 150 nm),研究不同参数条件下(运动速度、积分时间和光照强度)对近红外光谱预测苹果糖度模型的影响,优化动态在线装置的参数。210个红富士苹果被分为两批,第一批90个苹果样品,经过Kennard-Stone算法(K-S)算法分为建模集和预测集,用于研究不同运动速度、不同积分时间对苹果SSC含量在线预测模型的影响。在0.3和0.5 m·s^-1两种运动速度下,使用多元散射校正(MSC)、小波变换(WT)、标准正态变量变换(SNV)对采集到的光谱进行预处理,对不同移动速度的光谱构建糖度的偏最小二乘回归模型(PLS),结果表明：装置的运动速度为0.5 m·s^-1所建立的预测模型性能较优,在四种不同积分时间中,积分时间为120 ms时,经SNV预处理所建立的模型性能最优,其预测集的相关系数和均方根误差分别为0.968和0.331。第二批苹果120个...     

波长漂移对近红外光谱PLSR分析模型的影响

在近红外光谱分析过程中,单台仪器在不同时间的波长变化及多台仪器间的波长一致与否会对化学计量学定标模型的校正及传递效果产生影响,上述问题可以统一为波长漂移对定标模型的影响.以分析小麦粉中粗蛋白含量为例,首先结合不同谱区光谱数据,利用偏最小二乘回归(PLSR)方法建立了两个定标模型.再由计算机生成不同类型、不同幅度的波长漂...     

近红外光谱法分析油页岩含油率中异常样品识别和剔除方法的研究

研究了漫反射近红外(NIR)光谱法分析油页岩含油率过程中异常样品的识别和剔除方法。在近红外光谱定量分析中,环境变化和操作失误等都会产生异常样品,异常样品的存在会导致模型的预测能力下降,因此异常样品的剔除是建模过程中的关键步骤。分别采用主成分分析—马氏距离(PCA-MD)法和半数重采样(RHM)法识别油页岩光谱数据中的异常样品,通过剔除异常样品后所建的偏最小二乘(PLS)分析模型的性能来评价PCA-MD与RHM方法对异常样品的识别能力。实验中考察了不同MD阈值和RHM置信度对异常样品剔除结果的影响,比较了单独和同时应用PCA-MD及RHM法识别并剔除异常样品后所得PLS模型的预测能力。结果表明：与所有样品参与建模时预测偏差均方根(RMSEP)相比,采用PCA-MD法时阈值取平均值与标准偏差之和时RMSEP降低了48.3%;采用RHM法时置信度取85%时RMSEP降低了27.5%;同时采用PCA-MD法和RHM法时RMSEP降低了44.8%,研究内容有效地提高了分析模型的预测能力。     

波长比和近红外光谱的番茄品质检测方法

番茄的可溶性固形物(SSC)、pH值和坚实度(Firmness)是决定番茄的口感及收获后品质的主要因素。提出一种基于波长比和近红外光谱的番茄SSC,pH和坚实度检测方法。首先用Vis/SWNIR便携式光谱仪 (波长：400～1 100 nm)和中波近红外便携式光谱仪 (波长：900～1 683 nm)在相互作用模式下,对6个不同成熟度的600个番茄样本进行光谱采集,对所采集的光谱用波长比法和波长比+自动缩放法进行预处理后,分别建立番茄SSC,pH和坚实度的预测模型,比较单一自动缩放、单一波长比、波长比+自动缩放及不做预处理四种方法的预测结果。结果显示,波长比法结合自动缩放预处理可有效提高可见/短波近红外光谱对SSC,pH和坚实度的预测精度(r_p=0.779,0.796和0.917);波长比法+自动缩放法可提高中波近红外光谱对SSC的预测效果(r_p=0.818)。这说明波长比法在优化和处理番茄光谱信息方面具有一定的潜力。