平均分布差异最小化的NIR标定迁移方法研究

凭借高效、无损和环保的优点,近红外光谱在多个领域广泛用作物质快速分析方法的同时,仍面临着光谱标定模型生命周期短,构建仪器标定迁移方法的标准样品难以获得和保存等问题。在化学计量学文献中,迁移方法通常能够矫正主从仪器之间的光谱差异,但绝大多数方法都需要在两台仪器相同条件下测量一组迁移标准样品。虽然样品数目不必过多,但总体上表明,必须对其进行很好的选择才能保证成功迁移。对于在主从仪器中选择代表性的样本子集,现有Kennard-Stone算法作为样本选择的主要算法。在标准样本的确定问题中,假设主仪器已找到标准样本,选择的样本集需要在从仪器中进行测量,仅当迁移样本足够稳定时才有可能,但现有近红外光谱技术无法保证这一点。如果假设使用从仪器的样本作为标准样本,考虑到新工业应用中光谱光源的变更,主仪器被从仪器代替,因此不再可用。基于目前存在的这些问题,提出了一种平均分布差异最小化的NIR标定迁移方法（MCT）, 此方法可以在不考虑从仪器标准样本（即标准样本自由）的情况下,针对近红外光谱数据的多重共线性,首先假设存在一个主从仪器光谱的共同偏最小二乘子空间,并将主从仪器光谱数据分别投影到该公共子空间;然后,引入平均分布差异最小化算法,即分别给出主从光谱数据在子空间的平均分布中心表示函数,在最小化两个光谱平均分布（中心点）的差异的同时,最大化投影后主仪器光谱的协方差,推导求解出最佳子空间;最后,将主光谱样本和从光谱预测样本分别投影到该偏最小二乘子空间中,利用主光谱数据得到回归模型,该模型可用于预测从光谱浓度。通过对玉米数据集和小麦数据集的测试研究,证明的预测效果与SBC,PDS,CCACT,TCR和MSC相比有所改善,该方法可以实现更低的预测误差。     

基于PLS子空间对齐的2,6-二甲酚纯度迁移学习建模

采用近红外光谱对物质浓度进行准确的在线检测对于生产优化具有重要意义。建立检测模型需要从近红外光谱中提取相关信息,代表性样本越多,提取的信息越有效,所建模型的精度越高。随着产品纯度的提高,样本的区分度下降,样本的变异系数小,多样性不足,并且存在测量噪声以及化验室人工检测样品浓度值时的测量误差,会导致物质浓度与光谱之间缺乏相关性,传统的建模方法无法建立可靠的近红外检测模型。为了解决这个问题,提出了一种基于PLS子空间对齐的迁移学习建模方法,应用于2,6-二甲酚精馏提纯过程中产品塔高纯度产品的在线检测。在制备化工单体2,6-二甲酚过程中,存在副反应和未反应完全的杂质,生产反应后的物料要顺序经过不同的精馏塔,最后在产品塔获得纯度高于99%的产品,产品塔的质量检测尤为重要。由于产品塔检测点近红外光谱数据缺乏多样性,检测模型的泛化能力较弱。该研究采用偏最小二乘为2,6-二甲酚精馏提纯过程中不同检测点的数据集创建子空间,然后通过最小化其他检测点数据子空间与产品塔检测点数据子空间的布雷格曼（Bregman）散度,将其他检测点数据的子空间对齐到产品塔数据子空间,减小其他检测点数据子空间与产品塔检测点数据子空间的特征分布差异,既避免了投影到公共子空间产品塔检测点数据特征信息的损失,又能充分利用其他检测点数据的特征信息,然后在迁移后的子空间完成偏最小二乘回归建模,通过竞争学习加权策略确定最终的模型系数,从而提升产品塔检测模型的性能。在2,6-二甲酚纯度近红外检测数据集上进行了仿真验证,并探讨了迁移其他检测点不同数量的数据对产品塔检测模型性能的影响,产品塔检测模型的最大性能提升达到了52.19%,RMSEP值由0.059 4下降到0.028 4,与传统建模方法支持向量机回归和BP神经网络相比具有明显的优势。     

近红外光谱定量校正模型适用性研究

近红外光谱作为一种依靠模型进行分析的技术,对测定的样品进行模型适用性判断是得到可靠分析结果的前提。对于通过校正集样本近红外光谱测量和标准方法测定的基础数据依靠因子分析技术建立的多元校正模型,提出将因子分析与Mahalanobis距离相结合判断定量模型适用性的方法,以近红外光谱测定柴油十六烷值为例,对影响模型适用性判断的一些因素进行了讨论。     

面向近红外光谱定量分析的深度学习建模与模型迁移

近红外光谱分析技术依赖于表征光谱向量和预测目标之间关系的化学计量学方法。然而，样品的光谱由信号和各种噪声组成，传统化学计量学方法较难直接提取光谱的有效特征，并为复杂的预测任务建立具有较强泛用性的校正模型。进一步地，受限于仪器间的差异，在一台仪器上建立的模型应用于另一台仪器时，难以取得相同的定量分析结果。为此，提出了一种基于卷积神经网络和迁移学习的定量分析建模及模型传递方案，以提高模型在单仪器和跨仪器上的预测性能。在卷积神经网络的基础上，一种结合多尺度特征融合和残差结构，名为MSRCNN的先进模型被设计，并在主仪器上展现了卓越的预测能力。然后，设计了四种的基于fine-tune模型迁移策略，将在主仪器上建立的MSRCNN模型迁移到从仪器。在药品和小麦的公开数据集上的实验结果表明，MSRCNN在主仪器上的RMSE和R2分别为2.587，0.981和0.309，0.977，优于PLS，SVM和CNN。在利用30个从仪器的样本微调主仪器建立的模型后，迁移MSRCNN中的卷积层和全连接层的方案取得了最好效果，其RMSE和R2可分别达到2.289，0.982和0.379，0.965。增加参与模型微调的从仪器样本，可进一步提高性能。     

局部建模方法用于烟草样品的近红外光谱定量分析

采用近红外光谱在主成分空间的距离作为样本相似性的判据,建立了一种用于近红外光谱定量分析的局部建模方法。该方法首先对校正集的光谱进行主成分分析(PCA),然后基于主成分空间中预测样本与校正集样本的距离选择校正子集并建立局部偏最小二乘(PLS)回归模型。对欧氏距离和马氏距离的比较表明,欧氏距离可以更好地表达样本之间的相似性。将所建立的方法用于烟草样品中氯和尼古丁含量的测定,结果表明局部建模方法比常用的全局建模方法具有更好的预测准确性,特别是在低含量成分的预测中具有明显优势。     

基于参数校正的近红外光谱模型转移新方法

模型转移是解决近红外光谱仪器间存在差异导致校正模型难以在多台仪器间通用问题的重要方法。利用主成分-马氏距离方法判断样品在不同仪器间的光谱差异性,然后通过吉洪诺夫正则化约束和校正模型参数,提出新的模型转移算法,实现模型在不同近红外光谱仪器上的共享和使用。首先使用一组标准样品光谱,建立主机和子机近红外光谱模型预测误差最小化函数。通过约束主机和子机的模型参数的差异,求出子机的模型参数,从而达到模型转移的目的。该方法应用于药物活性成分和烟叶中总植物碱与总糖的含量分析,结果表明使用15个标准样品时,子机光谱样本的预测均方根误差(RMSEP)分别从8.3 mg、 0.49%和1.91%降到3.9 mg、 0.09%和0.83%。转移后模型预测相对分析误差(RPD)均大于3.0,子机光谱样本的预测效果得到明显提高。该方法理论明确、直观,在实际应用中样品预测准确性较好,为具有标准样品的模型转移方法提供一种新思路。     

DS算法在近红外光谱多元校正模型传递中的应用

模型传递问题是近红外光谱分析技术中一个关键的共性基础技术问题。模型传递通过在同一型号的两台仪器之间寻求一种变换关系,使得在一台仪器上建立起的模型能够应用于另外一台仪器样品光谱响应的预测。文章将直接校正(direct standardization,DS)算法应用于化学计量学多元校正中的模型传递,并研究了模型转换集样品的选择方法。在两台AOTF近红外光谱仪上进行了模型传递实验,首先采用Kennard/Stone算法选择转换集样品,然后采用DS方法进行模型传递。实验结果表明采用DS算法取得了较好的模型传递效果。DS算法不仅可以应用于不同仪器之间的光谱分析模型传递,而且该方法对于同一仪器的长时间漂移或者由于部件的更换、测量环境的改变等引入的光谱差异校正也是适用的。     

应用数字傅里叶滤波方法提高近红外光谱多元校正模型稳健性的研究

在近红外光谱多元校正方法实际应用中,经常遇到这样的情况,近红外光谱校正模型仅适用于建模时的测量条件,而在测量条件稍有变化时就无法实现样品的准确预测。文章主要研究采用数字傅里叶滤波预处理方法提高近红外光谱多元校正模型稳健性。文章将数字傅里叶滤波预处理方法应用于葡萄糖水溶液的温度实验,实验1和实验2分别在恒温25 ℃和恒温30 ℃进行光谱测量;实验3在未控温的室内环境下进行光谱测量。采用实验1和实验2的样品作为训练集进行模型训练和优化,模型建立完毕之后,采用实验3的样品作为验证集进行模型预测能力评价。结果表明,如果训练集样品未经过预处理而直接建立偏最小二乘(PLS)多元校正模型,则验证集样品均方根预测误差(RMSEP)为664.47 mg·dL-1。而训练集和验证集样品经过傅里叶滤波预处理之后分别进行PLS建模和预测,验证集样品均方根预测误差(RMSEP)降低为58.43 mg·dL-1,样品预测值与参考值的相关性也得到提高。可见,采用数字傅里叶滤波预处理方法可以提高多元校正模型的稳健性。     

分子光谱的快检技术解决方案

分子光谱技术操作简便快速、仪器小巧、检测成本低,是理想的快检技术。而其灵敏度低、谱带重叠而导致的光谱干扰问题常常影响其应用。对常量组分分析近红外光谱技术是个理想的选择;对微量和痕量,甚至是超痕量物质分析,采用固相萃取(SPE)结合分子光谱是一种合适的途径(固相萃取光谱,SPES)。多元校正,以及光谱处理和波长选择等化学计量学方法,是解决光谱干扰的有效手段,已经广泛应用于近红外光谱分析。我们提出采样误差分布分析(SEPA)方法,来解决近红外光谱建模难,模型稳健性差等问题,SEPA可以应用于异常样本、光谱处理、交互检验、模型评价、模型转移等方面。     

不同近红外光谱仪用于酒石酸美托洛尔片厂家鉴别的对比研究

建立近红外光谱定性分析模型,用于酒石酸美托洛尔片厂家的快速鉴别。采用Antaris Ⅱ傅里叶变换近红外光谱仪和Micro NIR1700型微型近红外光谱仪两种仪器对来自四个生产厂家的66个批次的酒石酸美托洛尔片进行近红外光谱的采集,选用随机(random sampling,RS)法进行样品集的划分,得到校正集样品44个、验证集样品22个,选择一阶导数Savitzky-Golay15(SG15)点平滑、标准正态变量变换(SNV)作为预处理方法,根据不同类样本间光谱的差异结合谱带特征吸收的方法分别选择6 468～7 104和6 468～7 156 cm-1作为建模光谱区间,建立两种采样仪器的偏最小二乘判别分析(PLS-DA)模型。模型的混淆矩阵结果显示两种仪器采集的近红外光谱建立的定性分析模型能够快速、有效的鉴别不同厂家的酒石酸美托洛尔片,模型的准确率和否定率均达到100%。该研究有效证实了近红外光谱分析技术用于酒石酸美托洛尔片厂家定性鉴别的可行性,另外,该研究中采用了目前商业化最小、便于携带的Micro NIR1700型微型光谱仪,为药品的快速现场筛查提供了很好的启示。     

TERFDA: Tensor Embedding RF Domain Adaptation for varying noise interference

Radio frequency machine learning (RFML) can be loosely termed as a field that machine learning (ML) and deep learning (DL) techniques to applications related to wireless communications. However, traditional RFML basically assume that the data of training set and test set are independent and identically distributed and only a large number of labeled data can train a classification model which can effectively classify test set data. In other words, without enough training samples, it is impossible to learn an automatic modulation classifier that performs well in varying noise interference environment. Feature-based transfer learning minimizes the distribution difference between historical modulated signal data and new data by learning similarity-maximizing feature spaces. Therefore, in this paper, Dynamic Distribution Adaptation (DDA) is adopted to address the above challenges. We propose a Tensor Embedding RF Domain Adaptation (TERFDA) approach, which learns the latent subspace of the tensors formed by the time–frequency maps of the signals, so that use the multi-dimensional domain information of the signals to jointly learn the shared feature subspace of the source domain and the target domain, then perform DDA in the shared subspace. The experimental results show that under the modulated signal data, compared with the state-of-the-art DA algorithm, TERFDA has less requirements on the number of samples and categories, and has superior performance for confrontation the varying noise interference between source domain and target domain.     

TESPDA-SEI: Tensor embedding substructure preserving domain adaptation for specific emitter identification

For the specific emitter identification (SEI) with few or no labels, domain adaptation make the model respond quickly with the help of empirical information. However, the more extreme case is that there are so few labeled samples in the source domain that it is difficult to train an excellent recognition model. In fact, it is more valuable to make full use of these limited label information. This work aims at proposing an unsupervised domain adaptation (UDA)-based method to accommodate the typical case of no labels in the target domain and small samples in the source domain when new devices are first introduced. The basic principle is to learn tensor embedding shared feature space and preserving inter-class substructure, which perform feature space mapping under the joint source and target domain led by mapping error minimize in the source domain. Specifically, this tensor embedding substructure preserving domain adaptation (TESPDA) consist of three parts, tensor invariant subspace learning, substructure preserving feature space mapping and pseudo-label prediction, which are used to learn inter-class substructure after tensor space mapping and identify the predict labels for the target domain. Finally, experiments are conducted on the real-word ADS-B dataset to demonstrate the effectiveness of the TESPDA method.     

基于SVR的傅里叶变换型近红外光谱仪间数学模型传递的研究

近红外分析的一个重要基础是数学模型。不同的近红外光谱仪间由于对同一个样品响应的差异,导致一台仪器上建立的数学模型不能直接用于另一台仪器上样品的分析,需要进行模型传递。文章以两台傅里叶变换近红外光谱仪为实验研究对象,以玉米粉末样品为实验材料,采用移动窗口支持向量回归机(SVR)方法,把一台仪器上建立的近红外定量分析数学模型传递到另一台仪器上：当SVR回归的窗口大小为31个波长点,传递样品个数为15个时,模型传递效果较好,以“主机”所建蛋白含量的数学模型分析“从机”上修正后的光谱,化学测定值和近红外预测值间的相关系数提高到0.943 4,相对标准差为4.23%。表明采用移动窗口SVR法进行傅里叶变换近红外光谱仪间数学模型的传递是可行的。     

直接标准化算法在食用油酸值和过氧化值上的近红外光谱模型转移的研究

良好的食用油品质的近红外光谱定量分析模型以及不同仪器间的模型共享,能够提高模型间的利用率,可以满足食用油行业的发展需要。目的是探究直接标准化算法在食用油酸值和过氧化值两个指标上的模型转移。实验样本为大豆油、花生油、芝麻油、玉米油共计50个样本。实验仪器为VERTEX 70傅里叶红外光谱仪和Antaris Ⅱ傅里叶近红外光谱仪(包含光纤探头和透射探头)。一共进行了三组实验,第一组选取主仪器VERTEX 70和从仪器Antaris Ⅱ(光纤探头部件);第二组选取主仪器VERTEX 70和从仪器结合主仪器Antaris Ⅱ(透射部件),第三组选取主仪器Antaris Ⅱ(透射部件)和Antaris Ⅱ(光纤部件)。利用直接标准化算法,结合主仪器上的偏最小二乘法校正模型,针对从仪器上的食用油酸值和过氧化值的近红外光谱模型,进行了模型转移研究。研究表明,在同为光纤探头扫描的实验仪器VERTEX 70和Antaris Ⅱ(光纤探头部件)间,模型转移前酸值和过氧化值预测均方差分别为54.675 6和1 912.219 4,使用直接标准化算法后预测均方差分别下降到0.560 13和4.836。在食用油酸值和过氧化值指标上直接标准化算法对相同原理的仪器有较好的转移效果。与过氧化值相比直接标准化算法在酸值指标上的模型转移效果较好。该研究结果对于食用油品质的快速分析模型的广泛应用具有重要意义。     

可见-近红外光谱的模型转移分类方法

基于光谱技术建立的多元校正模型通常条件下只适用于同一台仪器、相同的测试条件及同批次或同类别的样品。在仪器、测试环境、样品发生变化后,已建光谱模型不再适配,需要进行模型转移。模型转移是限制光谱技术推广应用的关键技术瓶颈,模型转移是否成功直接影响到可见-近红外光谱技术的推广应用,为此,综述了其研究现状,并探讨了其未来发展方向。首先,将模型转移问题分成了两类：第一类是相同样品在不同仪器或不同测试环境（不同温度/不同湿度）等条件下产生的模型不适配问题;第二类是不同批次、不同物理形态、不同种类间产生的模型不适配问题。这两类问题性质不同,解决第一类模型转移,能够保证同源样品的准确性和稳定性;解决第二类,能够实现光谱模型在不同样品间的自动传递和匹配应用。然后,梳理了常用的模型转移算法并进行了分类,包括模型更新、基于光谱校正算法、基于结果校正算法等,并列举了每个类别的模型转移算法的应用。模型更新是一种重新计算模型系数最直接的方法,通过扩展和调整模型来满足新的变化;基于光谱校正算法是通过算法计算转移矩阵,实现对光谱的校正;基于结果校正算法是通过算法计算预测结果和实际结果系数,从而实现预测结果的校正。最后,指出未来应着重研究第二类模型转移问题,并且要寻找能够实现机器自动校正的模型转移,从根本上解决模型转移这一限制光谱速测应用的主要技术瓶颈。     

不同傅里叶近红外仪器间(积分球漫反射测量)的模型传递及误差分析

模型传递是近红外光谱分析技术中一个关键的共性基础技术问题,通过在同一工作原理的两台仪器之间寻求可行的数学方法, 使得在一台仪器上建立的模型能够应用于另外一台仪器样品光谱响应的预测,对近红外技术的实际应用具有重要意义。以150份烤烟作为试验样品,以两台布鲁克公司MPA近红外光谱仪,一台热电公司Antaris近红外光谱仪作为研究对象,通过积分球漫反射检测技术获得光谱数据。采用一阶导数(first-order derivative,1st Der)和标准正态变量变换(standard normal variate, SNV)对光谱数据进行处理分析,计算不同仪器间光谱的残差值、残差一阶矩、残差信号概率密度和最大信噪比等参数,并采用偏最小二乘法(partial least squares, PLS)建立烤烟总糖含量数学模型,检验模型传递效果。结果表明,一阶导数具有降低残差一阶矩,将仪器偏差信号转换为标准高斯分布的优点,但同时会降低信噪比。标准正态变量变换同样可以降低一阶矩,同时可大幅度提高信噪比,但无法将仪器偏差信号转换为标准高斯分布,需要进一步的信号处理。一阶导数与SNV相结合可保留两种方法的优点,同时在一定程度上弥补每种方法单独处理的缺点,是一种可以消除以积分球漫反射作为光谱测量方式的因仪器厂家或型号不同、使用年限不同等原因所产生的噪声的处理方法,可实现傅里叶型近红外光谱仪之间的模型传递效果的明显改善。