平均分布差异最小化的NIR标定迁移方法研究

凭借高效、无损和环保的优点,近红外光谱在多个领域广泛用作物质快速分析方法的同时,仍面临着光谱标定模型生命周期短,构建仪器标定迁移方法的标准样品难以获得和保存等问题。在化学计量学文献中,迁移方法通常能够矫正主从仪器之间的光谱差异,但绝大多数方法都需要在两台仪器相同条件下测量一组迁移标准样品。虽然样品数目不必过多,但总体上表明,必须对其进行很好的选择才能保证成功迁移。对于在主从仪器中选择代表性的样本子集,现有Kennard-Stone算法作为样本选择的主要算法。在标准样本的确定问题中,假设主仪器已找到标准样本,选择的样本集需要在从仪器中进行测量,仅当迁移样本足够稳定时才有可能,但现有近红外光谱技术无法保证这一点。如果假设使用从仪器的样本作为标准样本,考虑到新工业应用中光谱光源的变更,主仪器被从仪器代替,因此不再可用。基于目前存在的这些问题,提出了一种平均分布差异最小化的NIR标定迁移方法（MCT）, 此方法可以在不考虑从仪器标准样本（即标准样本自由）的情况下,针对近红外光谱数据的多重共线性,首先假设存在一个主从仪器光谱的共同偏最小二乘子空间,并将主从仪器光谱数据分别投影到该公共子空间;然后,引入平均分布差异最小化算法,即分别给出主从光谱数据在子空间的平均分布中心表示函数,在最小化两个光谱平均分布（中心点）的差异的同时,最大化投影后主仪器光谱的协方差,推导求解出最佳子空间;最后,将主光谱样本和从光谱预测样本分别投影到该偏最小二乘子空间中,利用主光谱数据得到回归模型,该模型可用于预测从光谱浓度。通过对玉米数据集和小麦数据集的测试研究,证明的预测效果与SBC,PDS,CCACT,TCR和MSC相比有所改善,该方法可以实现更低的预测误差。     

联合特征子空间分布对齐的标定迁移方法

近红外光谱分析技术近年来在各种领域的定性、定量分析等方面得到广泛的应用。多元标定技术则是光谱分析领域中最先进的技术,而环境条件、测量仪器或测量物质自身的变化,都可能导致多元标定模型不再适用于新样本的预测。重新标定和重新建模必然会浪费大量时间和资源。一种解决方案是标定迁移,将源域已有的标定模型扩展到目标域中,避免重复建模的代价。在化学计量学的相关文献中,绝大多数迁移方法都需要在两台仪器相同条件下都测量一组迁移标准样品,但在近红外光谱测量技术中,由于标准样品具有挥发等特性,使得构建仪器标定迁移方法的标准样品难以获得和保存。针对这些问题,提出了一种联合特征子空间分布对齐（JSDA）的标定迁移方法,此方法可以在从仪器没有标准样本的情况下建立标定迁移模型。JSDA首先建立源域和目标域数据特征的联合主成分分析（PCA）子空间;然后通过对齐映射在联合特征子空间中的源域特征分布和目标域特征分布来校正标定模型;最后,应用最小二乘模型构建校正后源域上的标定模型,该模型可直接用于目标域的标定。实验结果表明与已有成熟的标定迁移方法相比,JSDA在公开的真实数据集上的预测性能比较有优势,验证了该模型在实际应用中的有效性和优越性。     

基于可见/近红外光谱的水稻品种快速鉴别研究

提出了一种应用可见/近红外光谱技术与化学计量学相结合的快速、无损鉴别稻谷品种的新方法。收集了5个品种水稻共150个样本作为实验样本,通过可见/近红外光谱仪扫描这些样本获得了从350 nm到1 075 nm波长范围的光谱信息。将样本的光谱信息进行小波分解以消除高频噪声。将去噪声后的光谱数据经主成分分析压缩成数目较少的新变量(主成分),压缩得到的前4个主成分能够解释99.891%的原始光谱信息。将前4个主成分作为BP神经网络的输入,不同水稻品种值的二进制代码值作为BP神经网络的输出,建立稻谷品种的模式识别模型。模型的预测误差阈值是0.2,模型是3层网络结构,各层的节点分别是4,9和3。150个样本被随机的分成包含100个样本的建模集和50个样本的预测集。结果表明,预测未知的50个样本的正确率达到96%。说明该方法具有较高的鉴别准确度,为稻谷品种的快速无损鉴别提供了一种新的方法。     

GA-BP神经网络结合PCA的多基色颜色预测模型

颜色分区法是简化多基色颜色复制的主要方法,本研究以3基色为组将7基色色空间分成6个子空间,结合主成分分析(PCA)对分区内颜色样本的光谱反射率降维,通过3层BP神经网络,建立样本网点面积率与多基色复制色光谱反射率的转换模型,并通过遗传算法(GA)对神经网络权值阈值进行优化,提高多基色复制的颜色预测精度.实验结果表明,在各分区训练样本数为64、检测样本数为216时,GA-BP神经网络模型颜色预测的平均色差(△Eab*)为1.669,光谱均方根误差(RMSE)为0.7％,预测精度和稳定性均高于BP神经网络模型和胞元Neugebauer模型.最后,将训练样本数为64的GA-BP模型与训练样本数量为125,216,343的BP神经网络模型(平均△Eab*分别为3.267,2.776,2.175,光谱RMSE为0.97％,0.79％,0.76％)进行了比较,结果表明训练样本数为64的GA-BP模型的预测精度与训练样本数量为343的BP神经网络模型相当.GA-BP模型仅需少量样本即可实现高精度的颜色预测,在应用中具有良好的可移植性.     

基于波段注意力卷积网络的近红外奶粉皮革水解蛋白掺假检测

近年来,深度学习技术在近红外光谱、拉曼光谱、荧光光谱等的光谱学数据建模上取得一系列突破。由于深度学习方法对于样本数量的需求高,而在分析化学领域获得大量有标签样本较为困难,因此过拟合问题一直是深度神经网络在化学计量学中应用时研究者高度关注的问题。该工作提出基于波段注意力卷积网络(WA-CNN)的近红外数据建模方法,并应用于婴儿配方奶粉皮革水解蛋白(HLP)掺假定量分析。WA-CNN在传统卷积网络的基础上加入波段注意力模块,该模块采用卷积操作自训练波段注意力权值,并以乘法加权形式对有效波段进行激活,从而有效缓解深度神经网络在近红外数据建模中的波段信息冗余问题,达到抑制过拟合,提升预测精度的目的。研究中共测试100个皮革水解蛋白掺假婴儿配方奶粉样本的近红外光谱数据,其中皮革水解蛋白的掺假比例范围是0%～20%。采用60%的样本训练,剩余40%样本测试,随机采样10次,通过测试集均方根误差(RMSEP)、决定系数(R²)以及相对分析误差(RPD)的均值来进行模型评价。并建立偏最小二乘回归(PLS)、支持向量机回归(SVR)和常规的一维卷积神经网络(CNN)三种传统模型用于...     

基于可见/近红外光谱技术的番茄叶片灰霉病检测研究

利用可见/近红外光谱技术对感染灰霉病的番茄叶片感染程度进行了检测。提出了主成分分析结合BP神经网络的数据处理方法。采用主成分分析进行数据的降维,减少了计算量,提高了建模精度。通过主成分分析中的载荷值,定性地分析了不同波段对病害程度检测的重要性。将得到的最主要的几个主成分输入BP神经网络进行建模,预测结果显示,当主成分数为8,隐含层结点数为11的时候,病害程度的检测模型对未知样本预测的相关系数达到0.930,SEP为0.068 7,模型具有良好的检测效果。说明基于光谱技术和化学计量学方法的灰霉病检测模型具有很好的检测能力,为光谱技术应用于病害检测提供了新的方法。     

卷积神经网络用于近红外光谱预测土壤含水率

近红外光谱分析技术在土壤含水率预测方面具有独特的优势,是一种便捷且有效的方法。卷积神经网络作为高性能的深度学习模型,能够从复杂光谱数据中自主提取有效特征结构进行学习,与传统的浅层学习模型相比具有更强的模型表达能力。将卷积神经网络用于近红外光谱预测土壤含水率,并提出了有效的卷积神经网络光谱回归建模方法,简化了光谱数据的预处理要求,且具有更高的光谱预测精度。首先对不同含水率下土壤样品的光谱反射率数据进行简单的预处理,通过主成分分析减少光谱数据量,并将处理后的光谱数据变换为二维光谱信息矩阵,以适应卷积神经网络特殊的学习结构。然后基于卷积神经网络算法,设置双层卷积和池化结构逐层提取光谱数据的内部特征信息,并采用局部连接和权值共享减少网络参数、提高泛化性能。通过试验优化网络结构和各项参数,最终获得针对土壤光谱数据的卷积神经网络土壤含水率预测模型,并与传统的BP,PLSR和LSSVM模型进行对比实验。结果表明在训练样本达到一定数量时,卷积神经网络的预测精度和回归拟合度均高于三种传统模型。在少量训练样本参与建模的情况下,模型预测表现高于BP神经网络,但略低于PLSR和LSSVM模型。随着参与训练样本量的增加,卷积神经网络的预测精度和回归拟合度也随之稳定提升,达到并显著优于传统模型水平。因此,卷积神经网络能够利用近红外光谱数据对土壤含水率做出有效预测,且在较多样本参与建模时取得更好效果。     

特征根回归法近红外光谱定量分析研究

本文以大豆样品为实验材料，研究了特征根回归法近红外光谱定量分析。用40个大豆样品的近红外光谱数据建立了测定大豆蛋白质含量的特征根回归模型，预测另外32个大豆样品的蛋白质含量，结果同PLS回归方法进行了比较，表明特征根回归模型可用于生物样品的近红外光谱定量分析。特征根回归法是对PCR建模方法改进的又一种化学计量学定量分析校正方法，该方法在对样品光谱提取主成份时考虑了待分析组分的作用，因此所建立的定量分析模型有好的分析效果。研究结果进一步表明，以样品近红外光谱建立定量分析模型，提取主成份时充分考虑被定量分析成份的作用是完全必要的。     

DS算法在近红外光谱多元校正模型传递中的应用

模型传递问题是近红外光谱分析技术中一个关键的共性基础技术问题。模型传递通过在同一型号的两台仪器之间寻求一种变换关系,使得在一台仪器上建立起的模型能够应用于另外一台仪器样品光谱响应的预测。文章将直接校正(direct standardization,DS)算法应用于化学计量学多元校正中的模型传递,并研究了模型转换集样品的选择方法。在两台AOTF近红外光谱仪上进行了模型传递实验,首先采用Kennard/Stone算法选择转换集样品,然后采用DS方法进行模型传递。实验结果表明采用DS算法取得了较好的模型传递效果。DS算法不仅可以应用于不同仪器之间的光谱分析模型传递,而且该方法对于同一仪器的长时间漂移或者由于部件的更换、测量环境的改变等引入的光谱差异校正也是适用的。     

基于卷积神经网络和高光谱成像技术的多宝鱼新鲜度鉴别

鱼类产品新鲜度鉴别一直是重要的研究课题,相较于目前常规鱼类品质检测方法存在的成本高、检测时间长等问题,高光谱成像技术(HSI)因其无损、快速等优势得到了学者的广泛研究。卷积神经网络是深度学习中应用较为广泛的模型,表达能力强,模型效率高。因此,使用卷积神经网络(CNN)结合高光谱成像技术建立多宝鱼新鲜度鉴别模型。采集160个多宝鱼样本感兴趣区域(ROI)光谱,并根据样本不同冻融次数和冷冻时间分为5类新鲜度。以VGG11网络为基础,针对光谱数据特点对网络结构进行调整,减少全连接层数量,降低模型的复杂度,分别对比不同卷积核个数、激活函数对分类性能造成的影响,确定最佳CNN网络结构。由于高光谱数据量大同时存在的冗余信息较多,分别采用无信息变量消除算法(UVE)和随机青蛙算法(RF)对高光谱数据进行波长筛选,将波长筛选后的高光谱数据分别输入卷积神经网络(CNN)、最小二乘支持向量机(LS-SVM)、 K最近邻算法(KNN)建立模型。采用无信息变量消除(UVE)提取的165个特征波长建立的UVE-CNN模型鉴别效果最佳,分类模型在测试集上的精度达到了100%。结果表明,利用卷积神经网络与高光谱成像...     

基于SVR的傅里叶变换型近红外光谱仪间数学模型传递的研究

近红外分析的一个重要基础是数学模型。不同的近红外光谱仪间由于对同一个样品响应的差异,导致一台仪器上建立的数学模型不能直接用于另一台仪器上样品的分析,需要进行模型传递。文章以两台傅里叶变换近红外光谱仪为实验研究对象,以玉米粉末样品为实验材料,采用移动窗口支持向量回归机(SVR)方法,把一台仪器上建立的近红外定量分析数学模型传递到另一台仪器上：当SVR回归的窗口大小为31个波长点,传递样品个数为15个时,模型传递效果较好,以“主机”所建蛋白含量的数学模型分析“从机”上修正后的光谱,化学测定值和近红外预测值间的相关系数提高到0.943 4,相对标准差为4.23%。表明采用移动窗口SVR法进行傅里叶变换近红外光谱仪间数学模型的传递是可行的。     

近红外光谱模型传递研究

针对不同型号的近红外光谱仪器(主机：SupNIR-2700,从机：Nicolet Antaris Ⅱ)间的模型传递和同一仪器(Nicolet Antaris Ⅱ)不同分辨率的光谱间的模型传递进行研究,提出了一种改进的PDS算法-SP-SG1st-PDS算法,该方法结合三次样条插值、Savitaky-Golay一阶求导和PDS算法。思路是通过三次样条插值拟在不破坏原始光谱固有的信息的前提下实现了主光谱与从光谱之间的匹配,然后对光谱进行S-G一阶求导去除光谱的基线漂移,再通过PDS算法进行模型传递,有效消除主、从光谱之间的差异,提高多元校正模型的预测精度。该方法用于醋酸乙烯酯在乙烯-乙酸乙烯酯共聚物中含量的研究,并且与小波去噪方法和S-G平滑方法作比较。实验表明：对于不同型号的仪器间的模型传递,新方法采用S-G一阶求导较其他方法有明显的优势,其验证集预测精密度RMSEP从20.595 0降低至0.374 8,明显优于S-G平滑(0.522 1)和小波去噪(0.516 7)方法,预测偏差也同样地被改善。对于同一仪器不同分辨率的光谱之间的模型传递,在模型传递前后其模型预测精密度RMSEP从0.272 2减少至0.255 3。通过提出的SP-SG1st-PDS算法,模型传递能应用于不同类型仪器之间,也能用于相同仪器不同分辨率的光谱之间,并且取得了满意的传递结果。     

蛋白饲料原料粗蛋白含量近红外光谱模型转移研究

建立良好的蛋白饲料近红外光谱定量分析模型及实现在不同仪器间的模型共享,能极大提高模型的利用效率,满足饲料行业快速发展的需要。针对蛋白饲料原料粗蛋白含量近红外分析模型适用性问题,首次采用光谱差值转移、直接校正和分段直接校正法进行了三台不同类型的近红外光谱仪之间的模型转移研究。实验样品为四种蛋白饲料原料：玉米蛋白粉、菜粕、酒糟和鱼粉。实验仪器包括MATRIX-Ⅰ傅里叶变换型近红外光谱仪(主仪器),Spectrum 400傅里叶变换型近红外光谱仪(从仪器1)和SupNIR-2750光栅扫描型近红外光谱仪(从仪器2)。研究表明,同一样品体系在主仪器和从仪器2上所得光谱数据的差异性相对较小,且均与从仪器1所得光谱数据的差异性相对较大。除分段直接校正法对玉米蛋白粉从仪器2的预测结果无促进作用之外,其他模型的预测均方根误差和系统偏差均明显低于转移前。玉米蛋白粉、菜粕和酒糟样品采用三种方法转移后的模型预测相对分析误差(RPD)均大于3.0,预测效果良好。鱼粉样品模型转移后的预测RPD均大于2.5,预测效果较好。三种方法对于蛋白饲料原料不同仪器间的光谱差异进行了有效校正。该研究结果对于蛋白饲料品质近红外快速分析模型的广泛应用具有重要意义。     

基于DS算法的玉米近红外定性分析光谱校正方法研究

从校正的角度出发,研究了近红外定性分析中模型稳定性问题。以13个玉米品种为研究对象,针对数据采集时间不同带来的模型失效问题,借鉴近红外光谱定量分析中两台仪器间模型传递的思想,将直接模型传递(Direct Standardization)算法用于校正同一仪器不同时间采集的光谱, 使得一次建立的品种鉴别模型,能用于其余时间测试数据的鉴别。首先采用Kennard/Stone算法在主光谱集中选取校正样品集,按照对应的编号从从光谱集中取出对应的数据,然后对校正样品集采用DS算法求取两组数据间的变换关系,再对剩余的从光谱集进行相应的变换得到适用于模型的光谱。实验中对比了校正样本数和模型校正位置对校正结果的影响,分别从品种定性鉴别准确性和校正前后主光谱数据和从光谱数据分布距离两方面分析了实验结果。结果表明,该方法能有效地解决同一仪器随着采样时间推移产生的光谱偏移现象,对采样时间不同的测试集均得到较高的识别率,提高了模型的鲁棒性和适用范围,由实验结果可见,校正位置处于特征提取之后时,校正效果最佳。     

直接标准化算法在食用油酸值和过氧化值上的近红外光谱模型转移的研究

良好的食用油品质的近红外光谱定量分析模型以及不同仪器间的模型共享,能够提高模型间的利用率,可以满足食用油行业的发展需要。目的是探究直接标准化算法在食用油酸值和过氧化值两个指标上的模型转移。实验样本为大豆油、花生油、芝麻油、玉米油共计50个样本。实验仪器为VERTEX 70傅里叶红外光谱仪和Antaris Ⅱ傅里叶近红外光谱仪(包含光纤探头和透射探头)。一共进行了三组实验,第一组选取主仪器VERTEX 70和从仪器Antaris Ⅱ(光纤探头部件);第二组选取主仪器VERTEX 70和从仪器结合主仪器Antaris Ⅱ(透射部件),第三组选取主仪器Antaris Ⅱ(透射部件)和Antaris Ⅱ(光纤部件)。利用直接标准化算法,结合主仪器上的偏最小二乘法校正模型,针对从仪器上的食用油酸值和过氧化值的近红外光谱模型,进行了模型转移研究。研究表明,在同为光纤探头扫描的实验仪器VERTEX 70和Antaris Ⅱ(光纤探头部件)间,模型转移前酸值和过氧化值预测均方差分别为54.675 6和1 912.219 4,使用直接标准化算法后预测均方差分别下降到0.560 13和4.836。在食用油酸值和过氧化值指标上直接标准化算法对相同原理的仪器有较好的转移效果。与过氧化值相比直接标准化算法在酸值指标上的模型转移效果较好。该研究结果对于食用油品质的快速分析模型的广泛应用具有重要意义。     

近红外光谱的北方寒地土壤含水率预测模型研究

我国北方寒地温差大,土壤温差对近红外光谱测量土壤墒情有较大影响。针对这一问题,以北方寒地土壤为研究对象,探究大范围温度胁迫下（-20～40 ℃）土壤的近红外光谱与土壤不同含水率之间的关系预测模型方法。选取黑龙江八一农垦大学农学院试验基地中的黑土,经烘干、过筛等操作处理后配置含水率范围在15%～50%内八种不同湿度的土壤样品,建立北方寒地土壤大范围温度胁迫下土壤的近红外光谱信息与含水率之间的定量预测模型。在全波段光谱数据的基础上,结合五种不同光谱信号预处理方法,采用BP神经网络算法、优化支持向量机算法（SVM）、高斯过程算法（GP）三种智能算法建立北方寒地土壤近红外光谱与含水率的预测模型并验证模型的效果。利用69组数据进行训练建模, BP神经网络相关参数设置为学习速率0.05,最大训练次数设置为5 000,隐层单元数确定为20;SVM采用径向基函数,并利用leave-one-out cross validation确定了最佳惩罚参数为0.87,使模型预测的准确性提高;高斯过程算法内部采用马顿核。模型的定量评估采用决定系数(R2)和均方根误差（RMSE）。结果表明,在建立的全部BP神经网络模型中,效果最佳的为S_G-BP神经网络模型,模型的R2为0.960 9,RMSE为2.379 7;在SVM模型中SNV-SVM模型的效果最好,模型的R2为0.991 1,RMSE为1.081 5;在GP模型中S_G-GP模型的效果最好,模型的R2为0.928,RMSE为3.258 1,综上基于SNV预处理的SVM模型训练效果最优。利用剩余的35组光谱数据作为预测集验证模型性能,经模型对比分析发现基于SVM算法的预测模型效果优于其他两种算法,其中基于S_G的SVM模型效果最优,其预测模型的R2和差RMSE分别为0.992 1和0.736 9。综合建模集与预测集的参数最终确定基于S_G的SVM模型为最佳模型。此模型可以作为大范围温度胁迫条件下（寒地）的土壤含水率有效预测方法,为设计优化适宜寒地便携式近红外土壤含水率快速测量仪提供科学依据。     

实木板材抗弯强度的SWCSS-GFK-SVM数据迁移建模方法

木材的抗弯强度是木材重要的力学指标.光谱分析操作简单、方便、快速,已成为木材检测的重要手段.但是在应用中,面对检测环境的温湿度变化、仪器部件老化和附件更换等情况,采集到的光谱数据会发生一定程度的偏移.为了解决这一问题,以落叶松抗弯强度的近红外光谱预测模型为研究对象,针对不同类型光谱仪数据差异而导致主机模型泛化能力差的问...     

结合SNV的分段直接标准化方法在拉曼光谱模型传递中的应用

为了实现拉曼光谱在不同仪器上的模型传递,文章提出了一种改进的分段直接标准化算法.该方法先利用标准正态变换法对光谱数据进行处理,以减少源机与目标机之间的光谱背景与强度影响,再采用分段直接标准化算法消除不同仪器间对样本信息反应差异,实现拉曼光谱的全谱传递.此外,还提出了传递误差率指标用于对光谱传递效果的定量评价.针对汽油拉...     

直接校正算法的柑橘溃疡病高光谱模型传递

针对目前所建立的柑橘溃疡病高光谱模型普适性差、预测精度低的问题,提出了基于不同仪器间高光谱模型传递来提高模型稳健性的方法。以脐橙52和卡拉卡拉红肉脐橙为研究对象,利用实验室高光谱成像平台(System 1, S1)和便携式高光谱成像仪(System 2, S2)采集了健康和染病柑橘的高光谱图像,建立了独立的柑橘溃疡病判别模型,并分析了不同预处理方法和判别模型对模型预测性能的影响。将S1和S2分别作为源机和目标机,利用直接校正算法对目标机获取的高光谱图像进行校正,分析模型传递前后的模型判别能力。结果表明,采用二阶导数预处理,极限学习机预测性能最佳,基于S1和S2检测的预测集识别率分别为97.5%和98.3%;以S1数据建立主模型,对经直接校正算法校正后的S2高光谱图像进行识别,预测集的识别率从校正前的38.1%提高到了86.2%。说明该方法可用于不同型号高光谱成像仪之间的定标模型传递,对于建立稳健可靠的柑橘溃疡病判别模型具有重要意义。