一种基于流形学习的近红外光谱分析建模方法

近红外光谱分析的重要内容之一是基于校正样品集建立光谱和化学成分或类别之间的回归模型。流形学习是一类新的机器学习方法,它能够揭示出复杂数据的本质维数,提取最重要的特征信息,并用于建立回归或分类模型。文章以近红外光谱为研究对象,针对近红外光谱数据维数高、谱带归属难以确定等特点,基于流形学习中局部线性嵌入(LLE)算法的思想,提出了一种最小二乘局部加权回归(LS-LWR)建模方法。最后,利用各种浓度葡萄糖溶液的近红外光谱,对该方法进行了验证。同时建立主成份回归(PCR)和偏最小二乘回归(PLSR)模型,通过计算预测标准偏差(SEP)与LS-LWR模型进行比较。实验结果表明,LS-LWR模型有更好的预测效果,而且具有模型简单、稳定性好和计算省时等优点。     

近红外光谱分析中建模校正集的选择

将极大线性无关组的概念及方法引入近红外光谱分析,探讨了在建立定量分析模型时代表性样品,即校正集样品的选择问题。以2 652个烟末样品为实验材料,随机选取1 001个样品构成预测集,其余1 651个样品为代表性样品备选集。用Matlab软件求出代表性样品备选集光谱矩阵的极大线性无关组,以此作为代表性样品,构成建模的校正集。用PLS回归法建立了烟末样品总糖含量定量分析的预测模型,并将模型用于预测集中1 001个烟末样品总糖含量的预测分析。实验结果表明,当选择的校正集包含的样品数量大于32时,所建各模型对预测集样品预测的平均相对误差均小于4%,平均相关系数大于0.96。其中选择32个代表性样品和146个代表性样品所建模型定量分析预测集中各样品的总糖含量,两个结果经统计检验没有显著性差异(α=0.05),说明求极大线性无关组的方法用于校正集样品的选择,可实现“少而精”选择样品的目的。此外,我们用求极大线性无关组选择校正集样品和随机方法选择校正集样品两种方法,选择了同样数目28,32,41,76,146,163个样品建模进行预测效果的对比实验,结果显示,求极大线性无关组法选择校正集建模的预测效果优于随机选择校正集建模的预测效果。     

基于深度信念网络与混合波长选择方法的蓝莓糖度近红外检测模型优化

利用近红外光谱技术结合组合区间偏最小二乘（SiPLS）、竞争性自适应重加权（CARS）、连续投影算法（SPA）、无信息变量消除（UVE）特征提取方法,运用深度信念网络（DBN）建立蓝莓糖度的通用检测模型,实现蓝莓糖度在线无损快速检测。采集了“蓝丰”和“瑞卡”共280个蓝莓样本的近红外光谱,采用手持折光仪测定其糖度;首先利用联合X-Y的异常样本识别方法（ODXY）检测到蓝丰和瑞卡蓝莓分别有2个和4个样本呈现异常,剔除该6个异常样本,对其余274个样本利用光谱-理化值共生距离算法（SPXY）以3∶1的比例划分出训练集和测试集;其次,对比分析卷积平滑（S-G平滑）、中心化、多元散射校正等预处理对蓝莓原始光谱的改善效果,运用SiPLS对光谱降维,筛选特征波段,利用CARS,UVE和SPA方法对特征波段进行二次筛选,以最优的特征波长建立DBN和偏最小二乘回归（PLSR）模型。结果表明,蓝莓糖度近红外检测模型的最优预处理方法为S-G平滑,SiPLS方法挑选的蓝莓糖度最优波段为593~765和1 458~1 630 nm,UVE算法从SiPLS筛选的346个变量中优选出159个最佳波长。建立蓝莓糖度DBN模型时,分析了不同隐含层数对检测模型的影响,并以交互验证均方根误差（RMSECV）作为适应度函数,利用粒子群算法（PSO）对各隐含层神经元个数在[1,100]之间寻优,发现隐含层为3层且隐含层节点数为67-43-25时,DBN模型的RMSECV达到最小,为0.397 7。无论是以全光谱还是特征波长建模,蓝莓糖度近红外DBN模型均优于常规PLSR方法;尤其以UVE方法二次筛选的特征波长建立的模型大大减少了建模变量,且模型精度更高,蓝莓糖度最优的PLSR模型测试集相关系数（R_P）为0.887 5,均方根误差（RMSEP）为0.395 9,最优DBN模型R_P为0.954 2,RMSEP为0.310 5。研究表明,利用SiPLS-UVE进行特征提取,结合深度信念网络方法建立的蓝莓糖度检测模型可以更好地完成蓝莓糖度在线精准分析,该方法有望应用于蓝莓及其他果蔬内部品质检测。     

基于深度稀疏学习的土壤近红外光谱分析预测模型

提出一种基于深度稀疏学习的土壤近红外光谱分析预测模型。首先,使用稀疏特征学习方法对土壤近红外光谱数据进行约简,实现土壤近红外光谱内容的稀疏表示;然后采用径向基函数神经网络以稀疏表示特征系数为输入,以所测土壤成分为输出,分别建立土壤有机质、速效磷、速效钾的非线性预测模型。结果表明用该模型预测土壤有机质的含量是可行的,但对土壤速效磷和速效钾含量的预测还需对模型做进一步的优化。     

小波系数压缩用于柴油十六烷值近红外光谱分析建模

近红外光谱分析建模中存在多变量高维数据处理问题,导致计算量大,不利于过程控制中应用.为此提出利用小波变换压缩近红外光谱数据的算法与准则,并结合柴油十六烷值定量分析研究压缩数据的建模效果.研究表明,经小波方法处理后,变量维数压缩30倍左右,光谱主要信息基本保留,而模型的预测精度和常规预处理方法分析相比有明显提高.光谱数据压缩的同时包含了噪声滤除和基线校正,简化数据处理步骤,有利于NIRS实际应用时提高建模效率.     

红木的近红外光谱分析

红木珍贵、种类多,大多数人对红木种类及真伪难以或无法鉴别。利用近红外光谱技术对国家标准中八类红木的近红外光谱进行分析,研究结果表明:(1)近红外光谱与红木色度学参数(L*,a*和b*)之间存在非常高的相关性,预测值与实测红木L*,a*和b*值的相关性分别达到0.988,0.991和0.993;(2)利用化学计量学中的主成分分析(PCA)方法可以将八类红木清楚地区分成八个相应的类别,利用三个主成份信息绘制的三维PCA得分图比二维图更能直观地展现八类红木的区别。研究结果说明应用近红外光谱技术识别红木类别具有可行性,这为开发红木的鉴定或识别提供新的方法和研究思路。     

近红外光谱分析中的高斯过程回归方法

将高斯过程算法引入化学计量学领域,用于挖掘近红外光谱与被测物组分之间的复杂关系.为增加模型的稳健性,首先采用了蒙特卡罗交叉验证方法以去除异常样本,而后多元散射校正、平滑、导数等方法被用于模型的预处理.近红外光谱在经过无信息变量去除算法处理后,在保留有用信息的基础上大大缩减了波长点数,以这些特征波长点作为输入建立的分析模型更具有解释能力和稳健性.为验证算法的有效性,使用了一组公开的数据集,它包含了80个玉米样品的近红外光谱以及油、淀粉、蛋白质的含量值.GP回归算法被用于分析这三种组分的含量,所得模型的评价指标分别采用校正、校正集交叉验证均方根误差、预测均方根误差以及各自的相关系数.结果显示,模型的校正相关系数r达到0.99以上,预测时的相关系数r也在0.96以上,验证了该算法的有效性.     

山药近红外拉曼光谱分析

采用785 nm半导体激光光源,全息光栅和近红外增强CCD探测器等光电器件,构建了一套近红外拉曼光谱探测系统,测试获得了山药的拉曼光谱及拉曼一阶导数谱。山药拉曼光谱谱中出现了477, 863, 936 cm-1等较强的特征峰,主要归属为蛋白质、氨基酸、淀粉、多糖等物质,与已知山药生化成分基本相符。在山药拉曼一阶导数谱中,467,484,870,943 cm-1处出现明显特征峰。对比山药拉曼光谱,在600～800 cm-1,1 000～1 400 cm-1区域内,山药拉曼一阶导数谱变化较为明显,可以更为清晰地表现山药拉曼光谱,能作为山药拉曼光谱分析的补充方法。     

净信号的局部建模算法及其在近红外光谱分析中的应用

提出了一种基于净信号分析的局部建模算法,以克服光谱定量分析中样本间差异性过大和样本待测性质与光谱之间存在非线性等问题。首先利用净信号分析方法得到校正样本和待测样本的净信号,然后用待测样本净信号和校正样本净信号之间的欧式距离作为样本相似性判据,选取一定数量的与待测样本最相似的校正样本组成局部校正子集,建立局部PLS回归模型。针对一组猪肉近红外光谱数据集的实验结果表明,该方法的预测精度显著优于全局建模方法和基于光谱欧式距离的局部建模方法。     

基于荧光光谱法与深度信念网络的稻种发芽率检测方法研究

针对传统稻种发芽率检测效率低、精度差、专业化要求高等问题,通过荧光光谱法结合深度信念网络(DBN)建立稻种发芽率预测模型。首先,将连粳7号和武运粳均分别老化0~7 d后,以5 min为间隔在纯净水中分别浸泡5~30 min。然后用荧光光谱仪检测浸泡液的荧光光谱,光谱数据经中心化后用集合经验模态分解(EEMD)去噪,并通过主成分分析法提取441.5 nm的特征荧光波长。最后,利用偏最小二乘回归(PLSR),反向传播神经网络(BPNN),径向基函数神经网络(RBFNN)和深度信念网络(DBN)建立水稻种子发芽预测模型。比较后得出,DBN模型在少数据、弱信号情况下的预测精度最高,预测集相关系数Rp和均方根误差RMSEP最大可达0.979 2和0.101。同时,通过分析混合稻种荧光数据R_p的变化趋势,得到最佳浸泡时间为22.1 min,实际上,精确度超过0.95(R_p)需要5 min左右。研究结果表明,结合荧光光谱法和EEMD-DBN模型,非破坏性地预测水稻种子发芽率具有可行性和高准确性,并且适用于不同颜色和污染水平的水稻种子的检测。     

毛竹化学成分光谱分析的快速建模方法研究

研究了毛竹综纤维素和木质素含量近红外光谱定量分析方法的建立。选用不同竹龄、纵向和横向部位的54个竹材粉末样品,用湿化学方法测定其综纤维素和木质素含量。在综纤维素和木质素含量的分布范围内,从低值、中间值和高值中挑选11个代表性样品,11个样品按预定比例混合得到21个混合样品,混合样品的综纤维素和木质素含量计算得到,再挑选22个目标成分含量不同的样品组成54个样品的校正集。用偏最小二乘法分别建立样品综纤维素含量、木质素含量和近红外漫发射光谱之间的相关模型。结果表明,综纤维素含量的预测模型的相关系数(R_p)为0.92,标准偏差(SEP)为1.04％;木质素含量的预测模型的R_p为0.93,SEP为0.91％,与常规方法建立的模型预测精度相似。说明利用样品混合的方式可快速增加校正集样品的数量、改善校正集样品的分布状况,继而建立稳定可靠的近红外定量分析模型。     

紫苏种子品质的近红外光谱分析

为加快紫苏优质育种进程,采用近红外光谱(NIRS)技术,结合线性偏最小二乘法(PLS),以250份全国范围内收集的紫苏资源为研究材料,分别较好的建立其种子中含油量,棕榈酸(C16∶0),硬脂酸(C18∶0),油酸(C18∶1),亚油酸(C18∶2),a-亚麻酸(C18∶3)含量的六个近红外光谱校正模型。结果显示,六个模型的校正决定系数(RSQ1)分别为：0.98,0.91,0.92,0.92,0.85,0.93;交叉验证决定系数(1-VR)分别为：0.97,0.89,0.89,0.91,0.85和0.91;外部验证相关系数(RSQ)分别为：0.98,0.91,0.89,0.90,0.80和0.89,且定标标准误差(SEC)分别为0.99,0.21,0.1,0.94,0.81,0.92;交叉验证标准误差(SECV)分别为1.16,0.23,0.11,1.05,0.92,1.02和预测标准误差(SEP)分别为0.97,0.21,0.11,1.12,0.99,1.14。结果表明,此六个校正模型质量均较高。这些首次建立的快速无损的近红外分析模型,可为紫苏资源开发提供指导,对紫苏油分品质育种具有重要意义。     

现代近红外光谱分析的信息处理技术

介绍了现代近红外光谱分析技术的要点，流程，以及建立数学模型的优化层次与建模层次，最后，阐明了在我国应用与发展近红外技术的策略，即“产业化”与“民主化”相结合。     

茶多酚中咖啡因的近红外光谱分析

采用近红外光谱分析技术对茶多酚中咖啡因进行了光谱及定量分析,原始光谱表明咖啡因在近红外波段有着很强且较为明显的吸收峰。通过对样品的漫反射原始吸光度光谱进行导数、散射校正及相关分析更清晰地给出了咖啡因在近红外光谱波段的光谱特性,为建立快速稳健的定标模型创造了条件。该技术能够解析出咖啡因中各主要基团在近红外波段的吸收特性,结合定标过程定量快速检测咖啡因在茶多酚中的含量,定标分析结果显示在很大的浓度范围内有很好的线性相关性,定标标准差SEC为0．49％,相关系数（r）为0．993,证实了近红外光谱分析技术作为一种新的快速分析茶多酚中咖啡因含量手段的可行性及优越性。     

近红外光谱建模样本选择方法研究

针对小麦品种多分类问题,使用近红外光谱进行定性分析。建模样本增加能够使模型包含信息增多,但同时也会导致信息冗余,增加建模时间和存储空间,所以需要通过样本选择降低数据量。如果盲目选择必然会使信息丢失,模型效果将大打折扣,因此,在传统选择方法基础上,提出k近邻-密度样本选择方法。使用多天采集的小麦种子近红外漫反射光谱,在对其原始光谱进行预处理和特征提取后,分别使用随机抽样、k近邻和k近邻-密度三种方法进行建模样本选择,然后建立仿生模式识别模型和改进的仿生模式识别模型。实验结果显示,在建立的仿生模式识别模型中,使用k近邻-密度样本选择方法的模型识别效果优于另两种方法,且建模样本量大大降低;而在改进的仿生模式识别模型中,使用k近邻-密度样本选择方法识别效果明显优于随机抽样,略好于k近邻方法,但使用k近邻-密度方法所选择的样本数量远少于k近邻方法。结果证明k近邻-密度样本选择方法不仅能够大大降低建模样本量,而且保证了模型质量,对解决小麦品种多分类问题有明显效果。     

面向近红外光谱定量分析的深度学习建模与模型迁移

近红外光谱分析技术依赖于表征光谱向量和预测目标之间关系的化学计量学方法。然而，样品的光谱由信号和各种噪声组成，传统化学计量学方法较难直接提取光谱的有效特征，并为复杂的预测任务建立具有较强泛用性的校正模型。进一步地，受限于仪器间的差异，在一台仪器上建立的模型应用于另一台仪器时，难以取得相同的定量分析结果。为此，提出了一种基于卷积神经网络和迁移学习的定量分析建模及模型传递方案，以提高模型在单仪器和跨仪器上的预测性能。在卷积神经网络的基础上，一种结合多尺度特征融合和残差结构，名为MSRCNN的先进模型被设计，并在主仪器上展现了卓越的预测能力。然后，设计了四种的基于fine-tune模型迁移策略，将在主仪器上建立的MSRCNN模型迁移到从仪器。在药品和小麦的公开数据集上的实验结果表明，MSRCNN在主仪器上的RMSE和R2分别为2.587，0.981和0.309，0.977，优于PLS，SVM和CNN。在利用30个从仪器的样本微调主仪器建立的模型后，迁移MSRCNN中的卷积层和全连接层的方案取得了最好效果，其RMSE和R2可分别达到2.289，0.982和0.379，0.965。增加参与模型微调的从仪器样本，可进一步提高性能。     

基于近红外光谱分析的脊髓损伤后神经细胞活性检测方法

交通意外、高空跌落、机械撞击等事故,可能导致人体脊髓损伤,从而中断了人体神经信号的传输信道,致使部分肢体功能的丧失。由于目前没有脊髓受损部位神经细胞活性检测的方法,而常规的检测仪器如X射线、CT等传统仪器不能提供神经细胞活性的任何信息,医生无法对患者病情有更清晰的了解,这就可能延误最佳的治疗时机,致使患者终生瘫痪。光谱学方法可以检测细胞组织的改变,且近红外光谱技术是一种测量速度快,操作简便的无损测量技术。所以,针对现有医学检测设备的不足,在动物实验的基础上,根据物质在近红外光波段的吸光特性,并结合近红外光谱分析技术的定性判别和定量分析的特性,通过对脊髓损伤后神经细胞活性的检测,采用聚类算法对脊髓损伤部位的神经特异性核蛋白和神经递质进行分类和仿真,并采用偏最小二乘算法计算其含量,实现了脊髓损伤部位神经细胞活性的精确检测。该方法为脊髓损伤后神经细胞活性的检测提供理论依据,给患者带来肢体功能重建和康复的希望,为临床医学提供了一种无创检测神经细胞活性的方法。     

发动机油中水分的近红外光谱分析

发动机油是发动机的核心部件,发动机油中极易混入水分,水分容易加速发动机油的劣化和变质,进而危害发动机的安全运行。对发动机油中水分进行检测是保障发动机油质量的重要指标。因而采用近红外光谱结合偏最小二乘法(PLS)回归方法对不同含水量的发动机油进行了检测。首先根据含水发动机油的近红外光谱的特征,分析了931,1195～1212和1391～1430nm波长的较强吸收峰的机制;采用正交信号校正(OSC)和几种其他的光谱预处理方法构建了PLS回归模型,根据回归系数进行了特征波长的选择。结果表明,OSC预处理后的PLS模型具有较好的预测能力,而多元散射校正(MSC)和标准正态变量变换(SNV)预处理降低了模型的校正性能。选择了166个特征波长,占全谱的32.42%。采用所建的近红外全谱PLS模型和特征波长选择的PLS模型分别对预测集14个油样进行预测,两个模型都能实现较好地预测,预测标准差分别为0.0007和0.0006;而特征波长选择对含水发动机油的预测最稳健,性能指标最好(■为0.9930,■为0.9887,且RMSE_CV和RMSE_P值分别为3.14...     

近红外光谱分析中温度影响的修正

样品温度变化会对模型预测结果产生影响,为解决这个问题,首先,对同一样品不同温度下的光谱与同一样品相同温度的光谱进行了比较。结果显示,不同温度下的光谱差异较大。然后研究了样品温度对玉米粗蛋白模型的预测结果的影响,对随机选取的粗蛋白含量为6.04%的样品不同温度采集光谱,对这些光谱进行预处理消除温度之外的因素对光谱的影响,将预处理后的光谱代入已建立好的模型中进行预测,结果显示,预测结果与实测值之间的差别随着光谱温度与建模温度相之间差别的增大而增大,最大的误差为1.12%。为了解决温度对模型预测结果的影响,进而分析了温度与不同温度下的光谱数据之间的关系,发现在去除了光谱两端噪声较严重的区域后,不同温度下,同一波长点处的光谱数据之间存在一定的线性关系。依据这一发现,文中提出了温度修正理论,以建模时的光谱为基准光谱,然后根据温度与光谱之间的线性关系使用线性回归算法对不同波长点的光谱进行一元线性回归,求出不同温度下的光谱与基准光谱之间的差,最后将不同温度下的光谱校正为基准光谱,通过该理论对光谱进行校正之后,不同温度下的同一样品的光谱之间的差别和修正之前相比已经有了很大改善,将修正后的光谱代入模型,大部分预测结果得到了提高,符合国家标准±0.5%以下的要求。最后使用和建模无关的34个不同含量的样品对该温度修正理论进行验证,光谱修正前后粗蛋白的模型预测值与标准理化值决定系数分别为0.910和0.982,均方根误差分别为0.558和0.172,平均相对误差分别为6.05%和1.75%。该温度修正理论从近红外光谱分析的本质上进行了温度修正,为其他样品的温度修正提供了参考,有利于手持式近红外光谱仪使用的推广。