NIR光谱的LLE-PLS非线性建模方法及应用

传统的偏最小二乘(PLS)建模方法不能有效反映近红外(NIR)光谱与分析样本的物理化学性质之间存在的非线性关系。局部线性嵌入(LLE)是一种新的非线性降维方法,属于流形学习方法,它能有效地发现高维数据中的本真低维结构。结合LLE和PLS,提出一种近红外光谱非线性建模的新方法,并用于建立丹参多酚酸盐柱层析过程中丹酚酸B含量的回归校正模型。该方法首先用LLE对NIR光谱数据降维,再用PLS建立校正模型。结果表明,与多元散射校正、一阶导等预处理方法结合PLS建模比较,参数优化后的LLE-PLS方法能更准确地预测丹酚酸B的含量,其交叉验证均方根误差为0.128 mg·mL-1、决定系数为0.998 8。基于NIR光谱及LLE-PLS建模,可实现丹参多酚酸盐柱层析过程的在线检测。     

基于自编码网络流形学习的毛竹笋不溶性膳食纤维含量红外光谱建模

提出了一种结合自编码网络(AN)流形学习和偏最小二乘(PLS)法的红外光谱建模方法AN-PLS。AN-PLS方法首先用AN算法对红外光谱数据进行非线性降维,再结合PLS建立回归模型。利用该方法建立了毛竹笋中不溶性膳食纤维含量的近红外光谱和中红外光谱回归模型。结果表明,用AN-PLS方法建立的回归模型,比用其他常用光谱数据预处理方法结合PLS及用单独PLS算法建立的模型具有更小的预测均方根误差RMSEP和更高的决定系数R2,因此,AN-PLS具有较优的建模与预测能力,利用近红外光谱和中红外光谱技术结合AN-PLS建模,可实现毛竹笋中不溶性膳食纤维含量的准确测量。     

基于SiPLS特征提取和信息融合的汽油中乙醇含量的多光谱检测

采用紫外可见(ultraviolet/visible, UV-Vis)光谱技术和近红外(near-infrared, NIR)光谱技术及信息融合技术对乙醇汽油中乙醇含量进行了检测。首先采用组合区间偏最小二乘(synergy interval PLS, SiPLS)算法作为特征提取方法,分别建立了基于UV-Vis和NIR光谱的偏最小二乘(PLS)回归模型;再根据油品的实际情况,运用信息融合理论将UV-Vis和NIR光谱信息进行融合,建立了数据级融合(low level data fusion, LLDF)和特征级融合(mid-level data fusion, MLDF)模型,并与单谱源模型效果进行了比较,确定了最优模型为数据级融合后再进行矢量归一化的模型(LLDF-VN1);最后分别用高乙醇含量样品和市售汽油样品的光谱数据对该最优模型进行了通用性检验。结果表明：UV-Vis和NIR光谱数据单独建模均能很好的检测并提供较好的预测结果;而UV-Vis和NIR光谱数据直接融合在基于校正集的回归模型中效果最好,其校正集相关系数r_c=0.999 9,校正集交叉验证均方差RMSECV=0.125 8,校正集整体评价偏差Bias_c=0.000 6;而采用数据级融合后再进行矢量归一化的模型(LLDF-VN1)的预测效果为最佳,其r_p=0.999 1, RMSEP=0.352 7, Bias_p=-0.073 8;自配溶液对最优模型(LLDF-VN1)的通用性验证中,r_p=0.999 7, RMSEP=0.329 1, Bias_p=0.102 2;市售汽油对最优模型(LLDF-VN1)的通用性验证中,r_p=0.990 1, RMSEP=0.892 7, Bias_p=0.675 1。实验结果说明通过将UV-Vis和NIR光谱信息进行数据级融合可以快速、准确的检测出乙醇汽油中乙醇的含量,并能实现乙醇浓度的宽范围检测,为进一步实现混合油品中物质的快速检测奠定了基础。     

废旧涤/棉混纺织物NIRS定性分析模型的建立与外部验证（英文）

利用近红外光谱技术对354个废旧涤/棉混纺织物进行研究,通过偏最小二乘法(partial least squares,PLS)和定性鉴别系数建立了不同光谱特征的涤/棉混纺织物近红外定性分析模型。染色涤/棉混纺织物NIR光谱主要有两大类,一类具有正常涤/棉光谱特征,另一类光谱由于样本中染料、颜料和消光剂等化学助剂的影响,使光谱谱线成斜线,失去其光谱特征。如以全部样本建模,模型识别率较低。故将样本分为两类:斜线光谱样本和正常光谱样本,分别建立NIR定性分析模型。NIR定性分析模型建立后,根据验证结果分别对建模的谱区、预处理方法和主因子数进行优化,以提高模型的稳健性和可靠性。结果表明,样本分别建模后,模型的识别率大大提高,用验证集样本进行内部验证,正常光谱和斜线光谱所建模型的识别率均达99%,其校正集相关系数RC均为0.991,验证集相关系数RP分别为0.983和0.984、校正标准差SEC分别为0.887和0.453、预测标准差SEP分别为1.131和0.573。用150个界外样本分别对正常光谱样本模型和斜线光谱样本模型进行外部预测检验,模型识别率分别达91.33%和88.00%,表明所建NIR定性分析模型能够较好地在回收现场进行涤/棉混纺织物的鉴别。     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

近红外光谱结合人工神经网络分析蔗汁的锤度和旋光度

应用中波近红外(NIR)光谱结合误差反传人工神经网络(BP-ANN)方法,建立蔗汁锤度、旋光度的定量分析模型。光谱范围为1 000～1 800 nm,采用2 mm光程透射方式获得蔗汁吸光度光谱。对蔗汁的吸光度光谱进行Savitzky-Golay求导和均值中心化处理,然后通过相关系数法结合样品特征吸收优化建模波长范围,再采用PLS降维获取主成分并输入BP-ANN建立校正模型,用验证样品对校正模型进行验证。结果显示,BP-ANN法建立的锤度和旋光度的预测相关系数(R2)分别为0.982,0.979,预测标准偏差(SEP)分别为0.159和0.137,均优于偏最小二乘(PLS)建模方法结果,可较好地用于蔗汁锤度、旋光度的快速测定。     

废旧涤／棉混纺织物NIRS定性分析模型的建立与外部验证

利用近红外光谱技术对354个废旧涤/棉混纺织物进行研究,通过偏最小二乘法（partial least squares ,PLS ）和定性鉴别系数建立了不同光谱特征的涤/棉混纺织物近红外定性分析模型。染色涤/棉混纺织物N IR光谱主要有两大类,一类具有正常涤/棉光谱特征,另一类光谱由于样本中染料、颜料和消光剂等化学助剂的影响,使光谱谱线成斜线,失去其光谱特征。如以全部样本建模,模型识别率较低。故将样本分为两类：斜线光谱样本和正常光谱样本,分别建立NIR定性分析模型。NIR定性分析模型建立后,根据验证结果分别对建模的谱区、预处理方法和主因子数进行优化,以提高模型的稳健性和可靠性。结果表明,样本分别建模后,模型的识别率大大提高,用验证集样本进行内部验证,正常光谱和斜线光谱所建模型的识别率均达99％,其校正集相关系数 RC 均为0.991,验证集相关系数 RP 分别为0.983和0.984、校正标准差S EC分别为0．887和0.453、预测标准差SEP分别为1.131和0.573。用150个界外样本分别对正常光谱样本模型和斜线光谱样本模型进行外部预测检验,模型识别率分别达91.33％和88.00％,表明所建NIR定性分析模型能够较好地在回收现场进行涤/棉混纺织物的鉴别。     

近红外光谱法在蛹虫草诱变筛选及其发酵条件优化中应用

应用近红外(NIR)光谱技术结合化学计量学法建立测定蛹虫草菌丝体中腺苷、蛋白、多糖和虫草酸4种主要有效成分含量的定量分析模型,可应用于蛹虫草高产突变株的筛选和发酵条件的优化。468株蛹虫草突变株在不同的摇瓶发酵条件下进行发酵,收集菌丝体粉末样品并采集NIR光谱,同时采用常规方法分别测定样品的4种有效成分含量。偏最小二乘法(PLS)用于建立NIR光谱与有效成分含量间相关模型。采用蒙特卡罗偏最小二乘法(MCPLS)识别异常样本和选择合适的校正集样本数;采用移动窗口偏最小二乘法(MWPLS)筛选波长变量;以逼近度(Da)为考察指标,选择最有效的光谱预处理方法和最适的PLS隐变量数,最终得到测定蛹虫草菌丝体中腺苷、蛋白、多糖和虫草酸含量的最优PLS模型,其校正集样本参考值与预测值间相关系数(Rc)分别为0.92943,0.98479,0.90785和0.85131;预测集误差(RMSEP)为0.66714,0.02065,0.01131和0.01159,表明模型具有很好的拟合度和预测性能,应用该方法进行蛹虫草诱变筛选和发酵条件的优化是可行的。     

可见/近红外光估测完整柑橘水果可溶性固形物含量的研究

研究用可见/近红外光谱(Vis/NIR spectroscopy)漫透射方式对柑橘类水果的可溶性固形物含量(SSC)进行了无损、快速定量分析。通过自行设计的Vis/NIR光谱系统测定了110个柑橘样品的SSC。82个柑橘样品用来建模,其余28个用来验证模型的性能。对实验室测得的柑橘水果的SSC实际值与Vis/NIR光谱数据进行相关性分析,用光谱定量分析软件中集成的偏最小二乘回归法(PLS)和主成分回归法(PCR)建立校正和预测模型。对比了不同光谱预处理方法, 如微分处理, 标准归一化处理(SNV), 多元散射校正(MSC)和Savitzky-Golay 光谱平滑方法)对模型检测结果的影响。根据预测平方根误差(RMSEP)和相关系数(r2)进行不同模型的预测性能评价,建立的最好的柑橘水果SSC预测模型的RMSEP＝0.538%,r2＝0.896。结果表明Vis/NIR可以作为一种准确、快速的无损检测方法来评价柑橘类水果的可溶性固形物含量。     

可见光/近红外光谱技术快速测定橙汁柠檬酸含量

为了快速无损测定橙汁的柠檬酸含量,提出了一种用可见光/近红外光谱技术进行检测的新方法。选用高效液相色谱法作为光谱柠檬酸测定的标定方法。采用平滑点数为5的移动平滑法对原始光谱进行预处理消除噪声。由于采集的光谱数据量非常大,为了减少建模时间,建模之前采用小波变换对经过预处理的大量光谱数据进行降维压缩,并在Matlab7.01中通过自编程序实现此变换。利用光谱专用分析软件Unscrambler 9.5,对压缩后的新变量进行分析,建立偏最小二乘(PLS)校正模型。考虑到不同小波基及分解尺度对数据压缩的影响,采用预测平方和PRESS值最小的评价标准,选择最佳的小波基Db4及分解尺度5。用于本实验的样本总数为40,其中30个样本进行建模,10个用于预测。用校正集相关系数(r)和标准偏差(SEC)作为校正模型的评价指标,预测结果采用预测相关系数(r)和预测标准偏差(SEP)来评定。文章将基于小波变换的PLS模型与直接建立的PLS模型进行了比较,偏最小二乘法结合小波变换的模型预测相关系数为r=0.901, 预测标准偏差SEP=0.937;而由PLS建立的模型其预测相关系数r=0.849,预测标准偏差SEP=1.662。由此可见,由偏最小二乘法结合小波变换所得模型效果优于单独使用偏最小二乘法的结果。     

便携式近红外光谱仪测定苹果酸度和抗坏血酸的研究

应用便携式近红外光谱分析仪对6种苹果进行无损检测,运用Kernel Isomap结合广义回归神经网络的方法分别建立苹果酸度和抗坏血酸定量分析模型.结果表明:采用Kernel Isomap方法能够使模型具有良好的预测能力.苹果酸度模型校正集相关系数Rc=0.9994,预测集相关系数Rp=0.979 9,RMSEP=0.0...     

近红外光谱分析的实木板材节子形态反演

节子影响着实木板材力学性能,如何准确刻画出节子在实木板材内部的形态,进而计算出实木板材力学性能是一个具有应用价值的科学问题。目前,基于机器视觉的缺陷检测方法实现了实木板材表面缺陷检测与识别,超声波检测方法可以判断出实木板材中缺陷的存在,X-ray虽然可以全面的掌握实木信息,但其检测成本较高。近红外光谱分析具有结构丰富,测试方便、无损快速的特点,但是,光谱中存在的冗余与非线性信息影响建模精准度,提出一种基于Isomap和小波神经网络融合的节子倾角辨识方法,利用Isomap完成光谱信息非线性降维,运用小波神经网络建立节子边缘的物质成分与倾角间的非线性关联,通过边缘多点倾角反演出节子在实木板材内部的形态。首先,采用Pablo提出的节子斜圆锥模型,并结合图像处理提取实木板材表面的节子缺陷区域,计算出相应中心位置;提取节子边缘的多点位置,采集光谱信息并完成基线漂移和去噪处理;然后,利用K-S划分校正样本集,运用主成分与马氏距离结合剔除异常光谱;接着,运用Isomap方法设定降维数和邻近数,通过PLS完成不同光谱维度的快速建模,进而迭代出理想光谱特征;最后,应用具有局部信息优化能力的小波神经网络建立节子边缘光谱与该点倾角间的非线性关系,构建出1个12输入、1输出的网络模型,并运用梯度修正网络参数;将节子倾角预测结果输入Solidworks软件完成节子椎体形态的三维呈现。实验采用落叶松实木板材作为对象,选取并采集了40个节子的160组光谱数据,通过测量上、下表面节子的相对空间位置,计算出边缘点倾斜角数值并进行建模分析,实验结果表明：采用S-G平滑与一阶导数进行光谱预处理,得到的光谱轮廓更清晰、吸收峰更明显;采用Isomap特征降维方法,选取非线性降维数d=12、近邻数k=19时,SECV最小,可以消除光谱信息的冗余数据;采用小波神经网络建立的节子倾角非线性模型,其预测相关系数为0.88,预测标准差为7.65,相对分析误差为2.14;可以实现节子在实木板材内部的形态反演,可以为力学性能预测提供定量化分析手段。     

基于Isomap算法的恒星光谱离群点挖掘

如何从已分类的海量光谱中发现被错分的光谱一直是天文数据处理专家重点研究的问题,探讨的Isomap算法在该问题方面有很好的表现。通过Isomap算法与主成分分析方法(PCA)算法的实验结果对比发现：(1)PCA将具有不同特征的光谱投影到邻近的区域,而Isomap算法却可以将具有相似特征的光谱投影到邻近区域,而将具有不同特征的光谱投影到相距较远的区域;(2)Isomap算法给出的大部分离群点较易判断,且是具有很高科学价值的双星;而PCA给出的离群点难以判断,科学价值不高。因此,在光谱离群点发掘上Isomap算法比PCA有明显优势。由于使用的数据为SDSS最新发布的M型的九种光谱次型的光谱,因而Isomap算法能够快速发现被斯隆数字巡天数据处理流程(SDSS pipeline)错分的光谱,可帮助有效提高现有光谱分类算法的准确率。更进一步,由于被SDSS pipeline错分的光谱大部分是双星,因而Isomap算法还可以进一步帮助我们发现有很高科学研究价值的双星,提高双星的发现效率。虽然实验显示Isomap算法对信噪比变化较为敏感,在具有较低信噪比的光谱上表现较差,但由于信噪比低的光谱的光谱型难以判断,因而该缺点并不影响Isomap算法的在光谱发掘上的应用。     

Adaptive variable step-size neural controller for nonlinear feedback active noise control systems

Adaptive filter techniques and the filtered-x least mean square (FxLMS) algorithm have been used in Active Noise Control (ANC) systems. However, their effectiveness may degrade due to the nonlinearities and modeling errors in the system. In this paper, a new feedback ANC system with an adaptive neural controller and variable step-size learning parameters (VSSP) is proposed to improve the performance. A nonlinear adaptive controller with the FxLMS algorithm is first designed to replace the traditional adaptive FIR filter; then, a variable step-size learning method is developed for online updating the controller parameters. The proposed control is implemented without any offline learning phase, while faster convergence and better noise elimination can be achieved. The main contribution is that we show how to analyze the stability of the proposed closed-loop ANC systems, and prove the convergence of the presented adaptations. Moreover, the computational complexities of different methods are compared. Comparative simulation results demonstrate the validity of the proposed methods for attenuating different noise sources transferred via nonlinear paths, and show the improved performance over classical methods.     

基于小波核偏最小二乘回归方法的混沌系统建模研究

基于核学习的强大非线性映射能力,结合用于回归建模的线性偏最小二乘(PLS)算法,提出一种小波核偏最小二乘(WKPLS)回归方法. 该方法基于支持向量机使用的经典核函数技巧,将输入映射到高维非线性的特征空间,在特征空间中,构造线性的PLS回归模型. PLS方法利用输入与输出变量之间的协方差信息提取潜在特征,而可允许的小波核函数具有近似正交以及适用于信号局部分析的特性. 因此,结合它们优点的WKPLS方法显示了更好的非线性建模性能. 将WKPLS方法应用在非线性混沌动力系统建模上,并与基于高斯核的核偏最小二乘 关键词： 小波核 偏最小二乘回归 混沌系统 建模     

稀疏降噪自编码算法用于近红外光谱鉴别真假药的研究

近红外光谱分析技术作为一种快速、无损检测技术十分适用于真假药品现场鉴别。自编码网络作为当前机器学习领域研究的热点受到广泛关注,自编码网络是一种典型的深度学习网络模型,它比传统的潜层学习方法具有更强的模型表示能力。自编码网络使用贪婪逐层预训练算法,通过最小化各层网络的重构误差,依次训练网络的每一层,进而训练整个网络。通过对数据进行白化预处理并使用无监督算法对输入数据进行逐层重构,使网络更有效的学习到数据的内部结构特征。之后使用带标签数据通过监督学习算法对整个网络进行调优。首先对真假琥乙红霉素片的近红外光谱数据进行预处理以及白化预处理,通过白化处理降低数据特征之间的相关性,使数据各特征具有相同的方差。数据处理之后利用稀疏降噪自编码网络针对真假药品光谱数据建立分类模型,并将稀疏降噪自编码网络模型与BP神经网络以及SVM算法在分类准确率及算法稳定性方面进行对比。结果表明对光谱数据进行白化预处理能有效提升稀疏降噪自编码网络的分类准确率。并且自编码网络分类准确率在不同训练样本数量下均高于BP神经网络,SVM算法在少量训练样本的情况下更有优势,但在训练数据集样本数达到一定数量后,自编码网络的分类准确率将优于SVM算法。在算法稳定性方面,自编码网络较之BP神经网络和SVM算法也更稳定。使用稀疏降噪自编码网络对真假药品近红外光谱数据进行建模,能对真假药品进行有效的鉴别。     

基于模糊模型的混沌时间序列预测

对于复杂、病态、非线性动态系统，基于模糊集合的模糊模型，利用模糊推理规则描述动态系统的特性，是一种有效方法.讨论了利用模糊建模方法实现非线性系统的建模和预测.首先，利用在线模糊竞争学习方法划分输入变量的模糊输入空间，然后利用卡尔曼滤波算法估计模糊模型的参数.采用该方法对Mackey Glass混沌时间序列进行预测试验，结果表明利用本方法可以在线或者离线能对Mackey Glass混沌时间序列进行准确预测，证明了本方法的有效性. 关键词： 模糊竞争学习 混沌时间序列 卡尔曼滤波     

双层PLS算法及其在近红外光谱分析中的应用

针对近红外光谱数据局部效应显著,变量个数多,且彼此间常存在严重的复共线性,并与样品组分含量呈非线性关系,构建了一种双层非线性偏最小二乘回归 (DNPLSR)算法。它将非线性回归和偏最小二 乘(PLS)相结合,先在外层由PLS从样本数据中提取成分,并实现每对成分间的非线性映射,再在内层实施PLS算法,将外层因变量成分的拟合误差反馈计算转换权向量的增量,进一步修正转换权向量,以使外层所提取的成分对因变量具有更优的解释能力。最后,将该法应用于80个谷物样品的水组分含量与其近红外光谱的定量关系建模,效果良好,显示出很强的学习能力,所建模型的预报性能也优于其他方法。