对比变分自编码器的近红外光谱测量及其在液态样品检测中的应用

近红外光谱是热门的食品检测方法之一,对于这种高维光谱数据的分析常常需采用数据降维算法提取其中的特征,然而绝大多数算法都只能针对单个数据集进行分析。虽然已有基于对比学习的对比主成分分析成功应用于不同水果表面农残的近红外光谱检测中,但是该方法只能以线性的方式组合原有特征,特征提取效果存在局限性,并且需要调节对比参数来控制背景集影响,需要消耗更大的时间成本。cVAE（contrastive variational autoencoder）是一种基于对比学习和变分自编码器的改进算法,被用于图像去噪和RNA序列分析中,它仍然具备分析多个数据集的特点,同时因为组合了神经网络的概率生成模型而具备了提取非线性隐含特征的能力。将cVAE算法应用于近红外光谱分析,建立了准确的近红外光谱数据降维模型。在实际验证中,使用cVAE算法对购买的不同品牌和批次纯牛奶中掺假三聚氰胺进行检测。结果表明,使用VAE算法只能区分出不同品牌和批次的纯牛奶,而其中是否掺假三聚氰胺这一重要信息无法表现出来;而使用cVAE算法进行数据分析时,由于添加了背景数据集分离了无关变量,能够清晰的将有无掺假三聚氰胺的样本分类。这说明了,cVAE不仅具备了cPCA（contrastive principle component analysis）在近红外光谱数据降维中的优势,而且具备提取非线性特征的能力,同时不需要调节可变参数,能够更方便地建立近红外光谱降维模型。     

基于邻近集计算的光谱相似性测度方法研究

在近红外光谱数据相似性测度时,由于光谱数据高维、非线性、重叠等特点,会出现测度距离失效、数据信息处理困难等难题。针对传统相似性测度方法在高维空间出现的不适应性,提出了基于邻近集计算的光谱相似性测度方法。首先,采用邻域保持投影neighborhood preserving projections(NPP)算法对原始光谱数据进行降维处理,该降维方法可以很好的保留原始光谱数据非线性结构信息和数据点的邻域信息。然后,在光谱数据降维后的低维空间中,采用改进的邻近集计算方法,实现对近红外光谱数据的相似性测度。实验结果表明,基于邻近集计算的光谱相似性测度方法,有效的实现了光谱数据的相似性测度,在烟叶风格判定和品质分析方面有较好的应用前景,同时也为高维光谱数据相似性测度提供了一个良好的解决方法。     

对比主成分分析的近红外光谱测量及其在水果农药残留识别中的应用

近红外光谱(NIR)分析具有测试方便、不破坏样本、响应快速等优势,但是,由于在谱带分布和结构分析中存在着许多复杂因素,使得在提取特征光谱信息时存在许多困难。现阶段,虽然已经有多种光谱数据降维方式被广泛使用,但是这些传统的数据降维方式都有一个局限性,就是数据的降维仅仅针对于一个数据集,当数据集中有多个关键因素形成干扰时,数据降维和分类的结果往往不是很理想,得不到想要分析的信息。这一问题造成了在分析近红外光谱时建立的数据降维模型极差,无法正确的对样品进行预测分类。对比主成分分析(contrastive principle component analysis, cPCA)是一种基于主成分分析(PCA)的改进算法,起源于对比学习,并应用于基因组信息解析。cPCA算法的优势就是能够将一个数据集中的降维推广到两个相关联数据集之间的降维,从而能够得到数据集中的关键信息。将cPCA算法应用于近红外光谱处理中,建立了准确的近红外光谱数据降维模型。在实验验证中,使用cPCA算法对不同类型水果(苹果和梨)表面农药残留进行分析。结果表明,在对不同类型的水果进行农药残留分析时,使用PCA算法进行数据降维只能区分出不同的水果类型,而水果表面是否喷洒农药这一关键的特征信息并不能分析出来;而使用cPCA算法进行数据降维分析时,由于对背景光谱的约束作用,能够清晰的将有无喷洒农药的样本分类。这说明了, cPCA在近红外光谱数据降维中有着明显的优势,解决了近红外光谱数据降维模型中数据集受限和特征信息的提取问题,进而建立准确的近红外光谱数据降维模型。     

基于扩散映射的太赫兹光谱识别

特征提取对于太赫兹光谱识别来说至关重要。传统方法是通过人工选取太赫兹光谱中差异性较大的吸收峰作为特征进行光谱识别,但当部分物质在太赫兹波段没有明显波峰、波谷等光谱图形特征时,这种方式便不再适用。为此,研究人员利用统计学习与机器学习方法对高维太赫兹光谱数据进行降维和特征提取。由于物质的太赫兹光谱数据各维度呈现非线性,尤其是当不同物质的太赫兹光谱曲线整体非常相似时,线性处理方法易产生较大误差。针对这一问题,提出了一种基于扩散映射(DM)的太赫兹光谱识别方法。扩散映射能在保持数据内在几何结构的同时对其进行非线性降维,提取的流形特征区分度较高,对数据还有聚类效果。首先用S-G滤波器对Alloxazine等10种物质的太赫兹光谱样本进行滤波,并用三次样条插值法对截取相同频段后的光谱样本进行统一分辨率处理;然后利用DM将高维太赫兹光谱数据映射到低维特征空间并提取太赫兹光谱的流形特征;最后用多分类支持向量机(M-SVM)对十种物质的太赫兹透射光谱进行分类。实验结果表明,相比于主成分分析(PCA)和等距映射(ISOMAP),使用DM提取的太赫兹光谱流形特征具有更高的区分度,而且DM可以直接得到太赫兹光谱数据本征维数的估计值,这为相似太赫兹光谱的快速精准识别提供了一条新的途径。     

NIR光谱的Isomap-PLS非线性建模方法

针对样品的近红外(NIR)光谱与其物理化学性质之间存在的非线性关系,提出了一种结合等距映射(Isomap)和偏最小二乘(PLS)的非线性建模新方法。Isomap是一种新的非线性降维方法,属于流形学习方法,能有效地发现高维数据中的本真低维结构。Isomap-PLS建模方法首先用Isomap对高维NIR光谱数据作非线性降维,再用PLS降维并建立校正模型。将Isomap-PLS建模方法分别应用于两个公开的NIR光谱标准数据集,并与PLS单独建模进行比较。结果表明,在两个数据集上,用Isomap-PLS方法建立的校正模型比单独用PLS算法建立的校正模型具有更小的交叉验证均方根误差(RMSECV);对某些性质数据,Isomap-PLS模型比PLS模型的RMSECV值要小2～5倍。因此,Isomap能够有效反映NIR光谱中存在的非线性结构,Isomap-PLS比PLS具有更好的建模与预测能力。     

NIR光谱的LLE-PLS非线性建模方法及应用

传统的偏最小二乘(PLS)建模方法不能有效反映近红外(NIR)光谱与分析样本的物理化学性质之间存在的非线性关系。局部线性嵌入(LLE)是一种新的非线性降维方法,属于流形学习方法,它能有效地发现高维数据中的本真低维结构。结合LLE和PLS,提出一种近红外光谱非线性建模的新方法,并用于建立丹参多酚酸盐柱层析过程中丹酚酸B含量的回归校正模型。该方法首先用LLE对NIR光谱数据降维,再用PLS建立校正模型。结果表明,与多元散射校正、一阶导等预处理方法结合PLS建模比较,参数优化后的LLE-PLS方法能更准确地预测丹酚酸B的含量,其交叉验证均方根误差为0.128 mg·mL-1、决定系数为0.998 8。基于NIR光谱及LLE-PLS建模,可实现丹参多酚酸盐柱层析过程的在线检测。     

基于双向长短期记忆网络的太赫兹光谱识别

特征提取是太赫兹光谱识别的关键处理步骤,通常利用降维方法作为特征提取手段。然而,当一些化合物的太赫兹光谱曲线整体差异度较小时,降维方法往往会缺失样本差异的重要特征信息,从而导致分类错误。如果不采用降维方法提取特征,传统机器学习分类算法对维数较高的原始太赫兹光谱数据又不能很好的分类。针对此问题,提出了一种基于双向长短期记忆网络（BLSTM-RNN）自动提取太赫兹光谱特征的识别方法。BLSTM-RNN作为一种特殊的循环神经网络,利用其LSTM单元可以有效解决原始太赫兹光谱数据维数较高使得模型难以训练问题。再结合模型的双向频谱信息利用架构模式,可以增强模型对复杂光谱数据自动提取有效特征信息的能力。采用三类、15种化合物太赫兹透射光谱作为测试对象,首先利用S-G滤波和三次样条插值对Anthraquinone,Benomyl和Carbazole等十五种化合物在0.9～6 THz内的太赫兹透射光谱数据进行归一化处理,然后通过构建一个具有双向长短期记忆的循环神经网络对太赫兹光谱的全频谱信息进行自动特征提取并利用Softmax分类器进行分类。通过试验优化网络结构和各项参数,最终获得了针对复杂太赫兹透射光谱数据的预测模型,并与传统机器学习算法SVM,KNN及神经网络算法MLP,CNN进行对比实验。结果表明,dataset-1和dataset-2分别作为差异度较大和无明显峰值特征的五种化合物太赫兹透射光谱数据集,其平均识别率分别为100%和98.51%,与其他方法相比识别率有所提高;最重要的是,dataset-3作为5种化合物谱线极为相似的太赫兹透射光谱数据集,其平均识别率为96.56%,与其他方法相比识别率提高显著;dataset-4作为dataset-1,dataset-2和dataset-3的透射光谱数据集集合,其平均识别率为98.87%。从而验证了BLSTM-RNN模型能自动提取有效的太赫兹光谱特征,同时又能保证复杂太赫兹光谱的预测精度。在选择模型训练优化算法方面,使用Adam优化算法要好于RMSProp,SGD和AdaGrad,其模型的目标函数损失值收敛速度最快。同时随着模型训练迭代次数增加,相似太赫兹透射光谱数据集的预测准确率也不断提升。可为复杂太赫兹光谱数据库的光谱识别检索提供一种新的识别方法。     

基于相似性分类的高光谱主成分融合方法比较

为了提高复杂场景弱小目标高光谱融合图像的质量,提出了基于相似性分类的主成分融合方法。光谱数据像素向量的相似性测度分类产生类矩阵,通过由类矩阵主成分变换的降维投影矩阵来投影变换原有光谱数据,获得降维数据矩阵。对比了传统PCA与基于欧式距离分类的PCA(ED_PCA)、基于光谱角分类的PCA(SA_PCA)、基于光谱信息散度分类的PCA(SID_PCA)和基于正交投影散度分类的PCA(OPD_PCA)四种改进方法的融合性能。实验结果表明:SA_PCA和SID_PCA方法兼具了ED_PCA和OPD_PCA的优点,对比度提升较好,阈值参数不敏感,运行时间较短。     

非线性流行降维与近红外光谱分析技术的大米贮藏期快速判别

提出一种基于流行降维的近红外光谱技术快速判别大米贮藏期的新方法。采用近红外光谱仪获取陈年米和新米的反射光谱特征曲线,利用直接正交信号矫正法(direct orthogonal signal correction, DOSC)对原始光谱进行预处理,滤除光谱数据中与因变量Y矩阵无关的信号,以消除无关信息对后续特征变量建模精度的影响。采用Durbin-Watson和Run测试法定性分析光谱数据结构的非线性性,并利用增强偏残差图(augmented partial residual plot)定量分析大米光谱曲线的非线性程度。分别采用线性流行降维法包括主成分分析法(PCA)和多维尺度分析法(MDS)以及非线性流行降维法包括等距映射法(ISOMAP)、局部线性嵌入法(LLE)和拉普拉斯特征映射法(LE)提取预处理后光谱数据的本征变量,并结合核偏最小二乘方法(KPLS)建立本征变量与贮藏时间属性之间的耦合模型。实验用陈年米和新米的样本数均为200个,随机将训练集和测试集样本划分为300个和100个。通过比较各个模型的预测结果得出,基于ISOMAP非线性降维法提取的40个本征变量建立的回归模型预测效果最好,预测相关系数(R2_P)、预测均方根误差(RMSEP)和预测相对分析误差值(RPD)分别为0.917,0.187和2.698。实验结果说明提出的方法对于大米贮藏期具有很好的鉴别能力,该研究为今后大米贮藏期的快速无损检测提供了科学的手段。     

t-SNE降维的红松籽新旧品性近红外光谱鉴别

新旧品性是体现红松籽食用价值和育种价值的重要标准。贮存期长短不同的红松籽的深加工价值不同,但是通过外观形态、重量和质地等很难分辨。目前仍采用传统生物化学方法对红松籽化学性质及种子活性进行检测,判断其新旧品性,这种方法耗时较长难以满足在线检测的需求,并且试剂处理不当会对环境造成污染。近红外光谱检测在食品和林业领域中被广泛应用,对带壳坚果类林产品的定性分析有实际和指导意义。采用近红外光谱分析技术,对成熟于当年和往年的红松籽进行无损检测研究。首先,将随机抽选的120个按新旧分类的红松籽作标记,为了减少测量过程中的漏光现象并且使实验数据具有一般性,统一采集松籽样本同一侧面的近红外漫反射光谱;然后,利用标准正态变量变换(SNV)、一阶导数以及卷积平滑(SG)算法对原始光谱进行预处理,以减少实验过程中人为因素及预处理方式带来的影响,突出近红外光谱的特征信息;随后,使用主成分分析(PCA)和t-分布邻域嵌入(t-SNE)对预处理之后的数据进行线性与非线性降维,聚类分析并比较降维效果。通过数据可视化以及聚类参数的输出,比较得出效果较好的降维方案。红松籽近红外数据应用非线性降维处理效果优于传统线性方法,于是运用t-SNE对数据降维以得到优化后的特征变量;最后,以降维之后的数据作为输入,将2/3的试样数据作为校正集用于建立新旧籽分类的支持向量机校正模型,将1/3的试样数据作为验证集用以对模型性能进行验证。结果表明:使用SNV、求导和SG叠加的方法对光谱进行预处理能够有效消除噪声,使吸收峰更明显,光谱轮廓更加清晰平滑,更有助于后期模型的建立;将数据使用t-SNE方法降至二维作为分类模型的输入,并且当核函数选择RBF,K取值为5,γ取82.54,惩罚系数C为383.12时,所建立的SVM分类模型分类效果最好,准确度可达97.5%,平均耗时0.02 s。利用近红外光谱分析方法能够对红松籽新旧品性实现无损检测。     

无监督学习AE和MVO-DBSCAN结合LIF在煤矿突水识别中的应用

快速准确的识别突水类型和突水来源对煤矿安全开采具有重要意义,激光诱导荧光（LIF）技术在检测中具有快速性和灵敏性,将LIF应用于煤矿突水的检测,再结合模式识别算法,可快速识别出突水来源。目前用于识别水样光谱的算法过于依赖预先建立的水样光谱数据库,当突水水源不在该库中时,易引发误识别。无监督学习算法DBSCAN在聚类时不需样本集的标签和类别信息,能降低对未知类别的误识别,因此把DBSCAN算法用于突水的激光诱导荧光光谱识别,并将MVO用于DBSCAN的参数寻优,省去繁琐的人工参数寻优过程。实验中,从谢桥煤矿采水点获取四个水样,利用像素为2 048的USB2000+光谱仪采集水样的荧光光谱,每种水样采集30组光谱数据。首先,利用无监督学习算法自动编码器(AE)对原始光谱数据降维,以减少光谱数据中冗余信息对聚类的影响,设计的AE的结构是介于浅层和深层之间的多层网络模型,可将原始光谱数据降到2维;为使降维模型具有稀疏性,在传统的AE算法中加入一个Dropout层,由实验可知,加入Dropout层后的降维模型具有较快的收敛速度。将多元宇宙优化(MVO)算法用于DBSCAN参数寻优,在参数寻优过程中,DBSCAN对降维后的水样光谱识别率最高为97.5%,此时参数所对应的取值范围为[0.023 66 0.040 65];为验证AE对水样光谱数据降维的有效性,把归一化后的未降维的光谱数据用于DBSCAN聚类识别,DBSCAN对原始水样光谱的识别率最高为95%,比降维后的后水样光谱识别率低了2.5%,结果表明,使用AE降维光谱数据,可提高DBSCAN对不同光谱的识别率。最后,用监督学习算法K最近邻(KNN)识别降维后的水样光谱,将识别结果和无监督学习算法DBSCAN的识别结果对比,其中训练集选用三种水样,测试集使用四种水样;在测试集中,监督学习算法只能准确地识别训练集所包含的水样类别,但把训练集没有的类别全部识别错误,而DBSCAN能准确的识别出训练集中没有的水样光谱。非线性降维算法AE能实现对高维的水样光谱数据降维,把MVO-DBSCAN用于煤矿突水水源的LIF光谱识别,可有效降低因矿井水源光谱数据库建立不完备而引起的误识别。     

半透射高光谱结合流形学习算法同时识别马铃薯内外部缺陷多项指标

针对马铃薯内外部缺陷多项指标难以同时识别的问题,提出了一种半透射高光谱成像技术采用流形学习降维算法与最小二乘支持向量机(LSSVM)相结合的方法,该方法可同时识别马铃薯内外部缺陷的多项指标。试验以315个马铃薯样本为研究对象,分别采集合格、外部缺陷(发芽和绿皮)和内部缺陷(空心)马铃薯样本的半透射高光谱图像,同时为了符合生产实际,将外部缺陷马铃薯的缺陷部位以正对、侧对和背对采集探头的随机放置方式进行高光谱图像采集。提取马铃薯样本高光谱图像的平均光谱(390~1 040 nm)进行光谱预处理,然后分别采用有监督局部线性嵌入(SLLE)、局部线性嵌入(LLE)和等距映射(Isomap)三种流形学习算法对预处理光谱进行降维,并分别建立基于纠错输出编码的最小二乘支持向量机(ECOC-LSSVM)多分类模型。通过分析和比较建模结果,确定SLLE为最优降维算法,SLLE-LSSVM为最优马铃薯内外部缺陷识别模型,该方法对测试集合格、发芽、绿皮和空心马铃薯样本的识别率分别达到96.83%,86.96%,86.96%和95%,混合识别率达到93.02%。试验结果表明：基于半透射高光谱成像技术结合SLLE-LSSVM的定性分析方法能够同时识别马铃薯内外部缺陷的多项指标,为马铃薯内外部缺陷的快速在线无损检测提供了技术参考。     

激光诱导击穿光谱的自组织特征映射结合相关判别对天然地质样品分类方法研究

激光诱导击穿光谱技术具有微损、原位、快速分析的特点,在样品分类识别、成分分析等领域有广阔的应用前景。为探索该技术在天然地质样品识别应用的可行性,提出了一种自组织特征映射神经网络结合相关判别对天然地质样品LIBS光谱分类识别的方法。为减小全谱中背景噪声等不相关数据干扰、降低计算量,在元素谱线归属的基础上进行了特征谱线提取,实现了高维光谱数据的降维。以特征谱数据为输入建立网络训练模型,得到具有输入样本特征的权向量,通过权向量与待测样本进行相关分析可以实现样品分类。对16种天然地质样品的分类算法实验证明,在全谱、主成分降维和特征谱段三种数据处理方法中,特征谱的降维和提取LIBS数据主特征效果最优。改进的SOM网络结合相关判别算法比支持向量机方法和直接应用SOM网络方法的分类准确度更高,初步证实了该方法的有效性。     

基于邻域特征点提取和匹配的点云配准

为解决噪声干扰、数据丢失情况下迭代最近点算法的鲁棒性差、配准精度低等问题,提出一种基于邻域特征点提取和匹配的点云配准方法.首先定义一个由点的k邻域曲率、点与邻近点的法向量内积均值以及邻近点与邻域拟合平面的欧氏距离方差等三部分组成的邻域特征参数,结合在移动最小二乘表面构造的曲率特征参数对点云进行两次特征点提取;其次依据直方图特征定义三个匹配条件,并用双重约束获得正确的匹配点对;最后在配准阶段,采用双向构建k维树的迭代最近点算法实现精确配准.实验结果表明,该算法的配准精度较迭代最近点算法提高了90%以上,并且能够在噪声环境下有效地完成缺失点云的配准,在鲁棒性和精确配准方面有明显优势.     

A new method for stable numerical differentiation

In this paper, we proposed a new algorithm for stable numerical differentiation by optimizing node intervals. With the algorithm, noise-free differentiated values can be extracted within one-percent error. By overcoming noise problem due to numerical differentiation process, our algorithm can easily extract the differentiated values. Also, it can be extended to high order differentiation. To confirm the proposed algorithm, we applied it to the analysis of MOSFET electrical characteristics. It will provide us with a useful analysis tool in the field of parameter extraction from numerical data such as device characterization.     

基于改进ABC的LSSVM氧化还原电位预测研究

针对氧化还原电位对于生物氧化提金预处理过程的控制和优化具有重要作用,提出了一种基于改进的ABC算法优化最小二乘支持向量机的预测方法。该算法是在标准人工蜂群算法的基础上,通过引入欧氏距离,使得在一定邻域内观察蜂采用不同于雇佣蜂的搜索策略。采用改进的ABC算法优化最小二乘支持向量机的参数,取得最优解并赋予最小二乘支持向量机进行预测。以新疆某金矿的生产数据进行仿真研究,结果表明：基于改进的ABC算法优化的最小二乘支持向量机具有较高的预测精度,该方法能使模型取得较好的预测效果。     

牛奶蛋白质含量的SSA-SVM高光谱预测模型

牛奶中包含着很多人体需要的营养元素,如脂肪、蛋白质、钙等;对牛奶营养元素进行分析是牛奶安全检测关键的一部分.高光谱技术可以有效地结合图像和光谱数据识别牛奶种营养元素.为了实现对牛奶中蛋白质含量快速、精确的预测,采用竞争性自适应重加权(CARS)算法选取特征波长,并提出一种基于麻雀搜索算法(SSA)优化支持向量机(SVM...