稀疏降噪自编码算法用于近红外光谱鉴别真假药的研究

近红外光谱分析技术作为一种快速、无损检测技术十分适用于真假药品现场鉴别。自编码网络作为当前机器学习领域研究的热点受到广泛关注,自编码网络是一种典型的深度学习网络模型,它比传统的潜层学习方法具有更强的模型表示能力。自编码网络使用贪婪逐层预训练算法,通过最小化各层网络的重构误差,依次训练网络的每一层,进而训练整个网络。通过对数据进行白化预处理并使用无监督算法对输入数据进行逐层重构,使网络更有效的学习到数据的内部结构特征。之后使用带标签数据通过监督学习算法对整个网络进行调优。首先对真假琥乙红霉素片的近红外光谱数据进行预处理以及白化预处理,通过白化处理降低数据特征之间的相关性,使数据各特征具有相同的方差。数据处理之后利用稀疏降噪自编码网络针对真假药品光谱数据建立分类模型,并将稀疏降噪自编码网络模型与BP神经网络以及SVM算法在分类准确率及算法稳定性方面进行对比。结果表明对光谱数据进行白化预处理能有效提升稀疏降噪自编码网络的分类准确率。并且自编码网络分类准确率在不同训练样本数量下均高于BP神经网络,SVM算法在少量训练样本的情况下更有优势,但在训练数据集样本数达到一定数量后,自编码网络的分类准确率将优于SVM算法。在算法稳定性方面,自编码网络较之BP神经网络和SVM算法也更稳定。使用稀疏降噪自编码网络对真假药品近红外光谱数据进行建模,能对真假药品进行有效的鉴别。     

基于堆栈压缩自编码的近红外光谱药品鉴别方法

由于近红外光谱在药品鉴别应用中具有分析速度快、样品无损、可现场检测等突出优点，目前已在众多领域中广泛应用。但近红外光谱存在信噪比低，吸收强度弱且谱峰重叠等缺点，无法从光谱中直接得到定性/定量的物质信息，因而近红外光谱分析技术常作为一种间接分析技术，并且光谱的化学计量学建模方法成为近红外光谱分析的核心内容。深度学习是机器学习的一个新的分支，并已经成功运用于多个领域。深度学习的网络结构和非线性的激活能力，使其模型特别适合高维、非线性的大规模数据建模。为进一步丰富近红外光谱建模方法，并提高近红外光谱分析技术的回归精度或分类准确率，将深度学习方法应用于近红外光谱分析，发展新的建模方法十分必要。面向近红外光谱定性分析技术，提出一种基于堆栈压缩自编码网络(SCAE)光谱定性分析方法，并应用于多类别药品的光谱分析，以区分或鉴别不同厂家生产的同种药品。压缩自编码网络(CAE)以自编码网络(AE)为基础，进一步加入雅克比矩阵作为约束项。自编码网络最初是用实现数据降维，以学习数据内部特征，而雅克比矩阵包含数据在各个方向上的信息，将其作为AE的约束项则可使提取到的特征对输入数据在一定程度下的扰动具有不变性，从而提高AE提取特征的能力。SCAE是一种由多层CAE构成的神经网络。前一层CAE的隐藏层作为后一层CAE的输入层，网络的全部参数是通过采用逐层贪婪的训练方式来获取的，训练结束后将所有网络视为一个整体，通过反向传播算法进行微调，最后使用Logistic/Softmax分类器进行定性分析。实验数据均为中国食品药品检定研究院采集，以头孢克肟胶囊作为二分类实验数据，硝酸异山梨酯片作为多分类实验数据。通过Bruker Matrix光谱仪测定每个样本在不同波长下的吸光度值得到其光谱曲线，再通过OPUS软件消除漂移等因素对光谱样本之间产生的偏差。接下来通过实验确定约束项雅克比矩阵的系数λ为0.003之后建立模型。建模过程分为五个阶段，分别为： 预处理阶段，预训练阶段，微调阶段，测试阶段和对比阶段。为了验证SCAE在分类准确性、算法稳定性和建模时间等方面的性能，与BP神经网络、SVM算法、稀疏自编码(SAE)和降噪自编码(DAE)开展对比实验研究。分类准确性方面，在不同的训练集与测试集的比例下，SCAE均有最佳的分类准确性与算法稳定性。建模时间方面，由于SVM算法不需要预训练和特征提取，所以运行时间方面比其他算法有大的优势，但是SCAE建模速度优于除SVM之外的其他对比算法。综合而言，使用SCAE进行药品鉴别有效可行。     

近红外光谱的数据预处理研究

进行了小麦样品近红外光谱数据的预处理研究,一般仪器记录的样品近红外光谱数据中包含有一系列噪声和干扰信号,因此适当的预处理是进行后续光谱定标、建模及模型传递的基础,对可靠地获得准确分析结果具有很重要的作用。结合小麦样品蛋白质含量近红外光谱分析工作,对由近红外光栅光谱仪和傅里叶变换近红外光谱分别记录的66种小麦样品光谱数据,采用高斯一阶、二阶导数小波变换方法进行了预处理。对比常用的一阶差分预处理,证明高斯函数导数小波变换方法是十分有效、实用的,预处理后光谱曲线非常光滑、噪声消除效果明显,富含有用光谱分析信息的区域更加清晰显示,因而非常有助于后续的光谱定标、建模和模型传递工作。     

SA-PBT-SVM的实木表面缺陷近红外光谱识别

针对实木板材表面存在的活节、死节、裂纹与虫眼4类缺陷,提出了基于近红外光谱分析的定性识别模型。随机选取50个样本组成训练集,30个样本组成测试集,在室内温度20 ℃、相对平均湿度50%环境下,采用900~1 700 nm的近红外光谱仪采集样本表面光谱,并利用SNV方法进行光谱数据预处理,以消除固体颗粒大小、表面散射及光程变化对漫反射光谱的影响;然后,采用偏二叉树双支持向量机(PBT-SVM)构建缺陷分类模型,运用模拟退火算法(SA)对4类核函数、参数及波长特征进行全局寻优;寻优过程以97个波长吸收度为输入特征,运用顺序前向法依次加入新特征,当分类器准确率达到90%时,得到核参数及波长特征;最后,通过确定的核函数、参数与波长构建了缺陷分类模型,并对测试样本集进行了分类验证。实验结果表明,SNV预处理方法使相同缺陷的近红外光谱具有较好的一致性,其中,活节与死节光谱差异显著,但死节、裂纹与虫眼的光谱趋势相近;当PBT-SVM分类器采用多项式核函数、参数在γ=28.63,coef=18.69,d=1,C=12.03时,缺陷识别效果最好,裂纹和活节的识别率达到了100%,虫眼为93.33%,死节为93.33%,平均准确率达到了96.65%,平均识别时间仅为0.002 s。利用近红外光谱分析的方法能够快速、有效地完成4类实木板材缺陷的识别。     

基于高斯过程的混沌时间序列单步与多步预测

针对混沌时间序列单步和多步预测,提出基于复合协方差函数的高斯过程 (GP)模型方法.GP模型的确立由协方差函数决定,通过对训练数据集的学习,在证据最大化框架内,利用矩阵运算和优化算法自适应地确定协方差函数和均值函数中的超参数.GP模型与神经网络、模糊模型相比,其可调整参数很少.将不同复合协方差函数的GP模型应用在混沌时间序列单步及多步提前预测中,并与单一协方差函数的GP、支持向量机、最小二乘支持向量机、径向基函数神经网络等方法进行了比较.仿真结果表明,基于不同复合协方差函数的GP方法能精确地预测混沌时间序 关键词： 高斯过程 混沌时间序列 预测 模型比较     

叶绿素荧光PCA-SVM分析的黄瓜病虫害诊断研究

为了对植物病虫害进行快速准确检测,采用荧光光谱技术并结合支持向量机分析方法建立了黄瓜病虫害诊断模型。通过Savitzky-Golay平滑法(SG),SG平滑法+快速傅里叶变换(FFT)和SG平滑法+一阶导数变换(FDT)三种方法对原始光谱进行降噪处理,并利用主成分分析法(PCA)对降噪后的光谱进行降维,根据累积贡献率选取7个主成分进行分析。将样本数据随机分为训练集和预测集,利用四种核函数条件下的支持向量机算法建立了预测模型,并进行预测。以训练集交叉验证的分类准确率最大值为指标,对四种核函数模型进行参数优化,并对比其分类性能,结果表明,经SG+FDT+PCA预处理后,具有多项式核函数的支持向量机对黄瓜病虫害的鉴别准确率达到98.3%,具有很好的分类和鉴别效果。     

基于波形叠加极限学习机的近红外光谱药品鉴别

近红外光谱药品鉴别作为识别假冒伪劣药品的一种有效技术手段,已被广泛应用到各大医疗行业和药品监督管理机构,并结合模式识别建模方法在基层药品打假中得到较好的推广。由于传统建模方法很难满足药品鉴别中大规模、多分类、快速建模等问题,因此采用一种基于波形叠加极限学习机(SWELM(CS))分类方法对光谱数据进行鉴别。通过选用极限学习机(ELM)作为光谱药品分类器,使得分类模型具有快速学习能力以及对训练样本不敏感的特点;由于极限学习机的连接权值和隐层神经元阈值是随机生成导致网络稳定性差,因此结合布谷鸟搜索算法优化分类模型参数;采用反双曲线正弦函数与Morlet小波函数叠加的激励函数代替ELM原有的单一激励函数改善了分类模型的收敛速度和稳健性。通过上述改进方法使得SWELM(CS)具有对训练样本不敏感性,布谷鸟参数优化的分类稳定性、波形叠加函数的强收敛性与信号特征提取能力。该方法为核函数提供的信号特征提取及拟合的思想,可推广到其他学习算法中以获取更高的分类准确度及稳定性。该实验选定西安杨森制药厂生产的249个近红外光谱药品样本作为研究的主要对象,重点研究光谱药品的二分类和多分类实验,实验证明SWELM(CS)分类器相比BP神经网络、标准ELM以及粒子群优化ELM等传统分类器算法具有更高的分类准确度、分类稳定性及更小的训练样本敏感性。     

汽车自动变速箱油的近红外光谱识别研究

利用自编码网络(autoencoder network, AN)流形学习和稀疏表示(sparse representation, SR)方法对汽车变速箱油进行近红外光谱品种识别研究。以壳牌、美孚、嘉实多、上海大众和上海通用五种变速箱油为对象,利用AN方法对600～1800 nm近红外光谱数据进行非线性降维,获取10个特征变量。每种变速箱油选取30个样本(共150个样本)作为训练样本,每种30个样本(共150个样本)作为测试样本。所有训练样本的特征变量组成了稀疏表示方法的整体训练样本矩阵,将变速箱油品种分类识别问题转化为一个求解待识别测试样本对于整体训练样本矩阵的稀疏表示问题,通过求解L-1范数意义下的最优化问题来实现。经过主成分分析(principal component analysis,PCA)和AN降维后,分别利用线性判断分析法(linear discriminant analysis,LDA)、偏最小二乘支持向量机法(least squares-support vector machine,LS-SVM)和本文提出的稀疏表示分类算法进行分类比较。结果表明,结合自编码网络和稀疏表示方法对五种汽车变速箱油品种的平均识别准确率达97.33%,为汽车变速箱油品种近红外光谱快速准确识别提供了有效的新途径。     

小波阈值降噪模型在红外光谱信号处理中的应用研究

针对近红外光谱经常受到噪声干扰的特点,提出了利用小波阈值降噪方法进行光谱数据的降噪处理,以山羊绒表面油脂的近红外光谱检测为例,对比分析了三种小波阈值降噪模型(Penalty阈值降噪模型、Brige-Massart阈值降噪模型、缺省阈值降噪模型)的降噪性能。对降噪后的光谱数据采用偏最小二乘和支持向量机回归相结合建立了校正和预测模型,通过对比校验参数R2,RMSEC,RMSEP,分析评价了三种小波阈值降噪模型的降噪效果。结果表明: 三种降噪模型都能在一定程度上降低光谱信号的噪声,提高信噪比,改善光谱预测模型的精度,其中,Brige-Massart阈值降噪模型和缺省阈值降噪模型的降噪效果明显优于Penalty阈值降噪模型,与原始光谱信号建模的预测精度(R2=0.793,RMSEC=0.233,RMSEP=0.225)相比较,经过Brige-Massart阈值降噪模型降噪后的光谱信号建模的预测精度(R2=0.882,RMSEC=0.144,RMSEP=0.136)和经过缺省阈值降噪模型降噪后的光谱信号建模的预测精度(R2=0.876,RMSEC=0.151,RMSEP=0.142)均有较大程度的改善和提高,说明提出的小波阈值降噪方法能有效地降低原始光谱噪声作用,使光谱数据多变量分析模型更具有代表性和稳健性, 从而可以提高模型的预测精度。     

基于局部高斯混合特征提取的高光谱图像分类

为了进一步提高高光谱图像的分类精度,提出一种基于局部高斯混合特征提取的分类(LGMFEC)方法。LGMFEC方法首先基于高光谱图像的空间结构为每个样本构建局部邻域集合,然后从局部邻域集合中提取高斯混合特征来充分表征空间-光谱信息及相关变化信息,最后将局部高斯混合特征融入包含黎曼核函数的支持向量机(SVM)分类器中,从而完成分类任务。三组通用高光谱数据集的实验结果表明,LGMFEC方法的分类性能在较大程度上优于几种先进的分类方法,尤其在训练样本较少的情况下的优势更为明显。     

基于光谱技术的桔子汁品种鉴别方法的研究

为了实现桔子汁不同品种的快速光谱鉴别,首先采用主成分分析法对光谱数据进行聚类分析,从定性分析的角度得到四种不同品种桔子汁的特征差异。同时将小波变换用于对大量光谱数据的压缩, 并结合RBF神经网络建立桔子汁品种鉴别的定量分析模型。该模型将小波压缩后的数据作为神经网络的输入向量,建立径向基函数RBF神经网络。4个品种共240个样本用来建立RBF神经网络的训练模型,剩余的60个样本用于预测。预测结果表明,小波变换结合RBF神经网络的桔子汁品种鉴别的准确率达到100%。说明文章提出的基于光谱技术的鉴别方法具有很好的分类能力,它为桔子汁品种的快速鉴别提供了一种新方法。     

基于枸杞红外光谱人工神经网络的产地鉴别

应用红外光谱技术,快速鉴别枸杞药材产地。利用傅里叶变换红外光谱, 测定了45个来自青海省不同产地的枸杞样品的红外光谱。以常规预处理方法和小波变换对红外光谱原始数据进行了预处理。对比常用的窗口移动平滑预处理、标准正态变换以及多元散射校正, 小波变换是一种有效实用的光谱预处理方法。为了提高神经网络的训练速度, 在利用人工神经网络建立模型之前, 通过小波变换的方法对光谱变量进行了压缩, 同时对建立的模型的相关参数进行了详细的讨论。结果表明,红外光谱数据压缩到原来的1/8,其分析精度与原始光谱数据基本相当。以压缩了的光谱数据作为反向传播(BP)网络的输入变量,产地类别作为神经网络的输出变量,建立3层人工神经网络。其中隐含层神经元个数为5个,输出层神经元个数为1个。隐层的传递函数是tansig,输出层传递函数是purelin,网络训练函数trainlm,权阈值的学习函数是learngdm。net.trainParam.epochs=1 000,net.trainParam.goal=0.001。对10个未知枸杞产地类别进行了预测,预测结果准确率达100%。实验表明, 建立的模型能够正确地对枸杞样品快速地进行产地鉴别。红外光谱法结合人工神经网络可作为中药材产地分类鉴别的一种新的现代化方法。     

基于光谱技术的航天育种番茄品种鉴别方法的研究

为了实现航天育种番茄不同品种的快速光谱鉴别,采用主成分分析法对光谱数据进行聚类分析,并将小波变换用于对大量光谱数据的压缩,同时结合神经网络建立了番茄品种鉴别模型.该模型将压缩后的数据作为神经网络的输入,加速了神经网络的训练速度.通过对太空育种突变株M1和M2及其亲本番茄品种的共105个番茄叶片样本建立训练模型,并用每个品种15个样本,共45个番茄叶片的样本进行预测.结果表明,用该方法对航天育种番茄不同品种的鉴别正确率达到97.8%.说明文章提出的方法具有很好的分类和鉴别作用,为航天育种番茄不同品种的快速鉴别提供了一种新方法.     

Detection of lethal fake liquors using digitally labelled gas-phase Fourier transform infrared spectroscopy

Fake liquors have caused severe body injuries or even deaths worldwide, rapid detection of such lethal drinks is thus quite necessary. Methanol has been identified as a primary cause of the problem, so methanol monitoring is critical to the detection of fake liquors. The present work provides an effective strategy for rapid detection of different lethal fake liquors. Using gas-phase Fourier transform infrared spectroscopy in a digitally labeled approach, the spectral bands of methanol were extracted by the iterative discrete wavelet transform for classification, which is named as digitally labeled gas-phase Fourier transform infrared spectroscopy. In digitally labeled gas-phase Fourier transform infrared spectroscopy, principal component analysis and least square support vector machine were combined to discriminate problematic samples using the iterative discrete wavelet transform filtered signals. As a result, the method could cleverly extract spectral features of methanol from the alcoholic drinks in the presence of uncontrolled matrix effects. The recognition accuracy was higher than 97.0%, and each measurement was done within 3?min. The results illustrate that the digitally labeled gas-phase Fourier transform infrared spectroscopy method serves well to rapidly discriminate fake liquors as an efficient and promising tool, and could be well extended to detection of any other targeted volatile substance in complicated systems.     

多维特征点空间的红外弱小目标检测方法

将人工智能算法引入目标检测，空间红外弱小目标的检测也可归为模糊检测的二分类问题。依据空中红外弱小目标的探测模型，建立了信号电压比光谱模型，仿真分析表明电压比变化趋势与目标的速度、姿态和两机态势有关，可用以检测目标。采用动态特征构建理论，构建了红外弱小目标的双色比特征空间，基于该特征空间，优化最小二乘分类算法，用于从光谱信号层级检测目标。该方法不仅缩小了样本数据量，而且防止了高斯核函数参数选择引起的“过拟合”现象，既保证了分类精度，又使分类速率提高近1倍，为人工智能算法用于红外弱小目标检测提供了参考依据。     

Wavelet SVM in Reproducing Kernel Hilbert Space for hyperspectral remote sensing image classification

Combining Support Vector Machine (SVM) with wavelet analysis, we constructed wavelet SVM (WSVM) classifier based on wavelet kernel functions in Reproducing Kernel Hilbert Space (RKHS). In conventional kernel theory, SVM is faced with the bottleneck of kernel parameter selection which further results in time-consuming and low classification accuracy. The wavelet kernel in RKHS is a kind of multidimensional wavelet function that can approximate arbitrary nonlinear functions. Implications on semiparametric estimation are proposed in this paper. Airborne Operational Modular Imaging Spectrometer II (OMIS II) hyperspectral remote sensing image with 64 bands and Reflective Optics System Imaging Spectrometer (ROSIS) data with 115 bands were used to experiment the performance and accuracy of the proposed WSVM classifier. The experimental results indicate that the WSVM classifier can obtain the highest accuracy when using the Coiflet Kernel function in wavelet transform. In contrast with some traditional classifiers, including Spectral Angle Mapping (SAM) and Minimum Distance Classification (MDC), and SVM classifier using Radial Basis Function kernel, the proposed wavelet SVM classifier using the wavelet kernel function in Reproducing Kernel Hilbert Space is capable of improving classification accuracy obviously.     

运用小波变换对遥感FTIR光谱进行信息提取

主要描述了如何利用小波变换技术,对一些强度较弱和混叠干扰的遥感FTIR光谱图进行信息提取。采用了墨西哥帽函数(Mexican hat function)小波,对三氯甲烷、丙酮的标准谱图及其两者混合物的遥感谱图信号进行了连续小波变换。结果发现,尺度越小,小波系数模的极大值点与突变点位置的对应就越准确。但小尺度下,小波系数由于受噪声影响,往往只凭一个尺度不能定位突变点的位置。相反,在大尺度下,对噪声进行了一定的平滑,极值点相对稳定,但由于平滑又会使定位产生偏差。因此,在用小波变换模极大值法判断信号突变点时,需要把多尺度结合起来综合观察。总之,小波分析技术能够较准确地、稳定地定位信号突变点,提取信息,并且具有平滑和放大有用信号的作用。对于非严重重叠的混合遥感光谱,根据对不同尺度下的小波变换系数的模极大值及其定位的分析,也可较好地识别谱图。     

径向基函数网络-红外光谱法用于中药大黄样品的真伪分类

将径向基函数网络与红外光谱分析技术相结合,对正品和非正品大黄样品进行分类判别。采用小波变换对原始数据进行压缩,将原来的775个数据点压缩到49个变量,既保持了原来的特征谱峰又提高了网络的训练速度。对45种样品进行了测定和鉴别,正确率可以达到97.78%。并对影响分类结果的网络参数,目标误差和分布函数对样品分类的影响做了讨论。红外光谱法与神经网络相结合用于中草药的分类鉴定更加快速和方便。     

基于近红外光谱的粳稻种子快速鉴别方法研究

黑龙江省是我国最大的粳稻产区和商品粮生产基地。水稻种植过程中,选择合适的水稻品种是实现高产的关键环节。在农业生产中,水稻品种的选择受多方面因素影响,一般说来,同一积温带所种植的不同水稻品种在外观上差别不大,甚至没有差别,很难通过肉眼观察进行准确区分。为了快速鉴别肉眼不便区分的不同类别粳稻种子,提出了一种基于近红外光谱技术的粳稻品种快速无损鉴别方法。以黑龙江垦区大量种植的3种不同品种的粳稻种子（垦粳5号、垦粳6号和绥粳4号）作为研究对象,每个品种选取40个样本,其中30个样本做为建模集,10个样本作为预测集,扫描获取全部120个样本的近红外光谱数据。对原始光谱数据（11 520～4 000 cm-1）两端进行裁剪,选取吸光度较强的8 250～5 779cm-1范围内的光谱数据进行研究。首先建立参照模型,即直接对光谱数据建立BP模型1, 同时光谱数据经过一阶导数和Savitzky-Golay平滑预处理后建立BP模型2。模型1的分类正确率为93.3%,预测集均方根误差RMSEP=0.232 8,迭代时间t=3 882.9 s。模型2的分类正确率为100%,RMSEP=0.070 6,迭代时间t=954.5 s。比较两种模型的评价参数RMSEP发现FD+SG预处理可以提高模型的预测能力,但是由于两种模型未进行降维处理,数据量过大,模型的输入节点过多,迭代时间太长,不利于实际应用。因此利用小波变换多分辨率的特点对数据进行降维处理,采用预测集残差平方和Press值作为评价指标,在多个小波类别和参数中选取分解尺度为5的sym2（symlet2）小波对光谱数据进行压缩和降维处理,将光谱数据由601维降到21维。以小波变换结果作为神经网络输入,建立模型3,并与模型1比较,模型3的分类正确率为93.3%, RMSEP=0.225 0, 迭代时间t缩短至198.9 s,比较结果显示小波降维可以减少神经网络的输入,简化神经网络的结构,从而提高迭代速度,但对提高模型的预测能力效果不明显。上述三种模型比较结果表明,FD+SG预处理可以提高模型的预测能力,小波降维可以提高模型的迭代速度,综合上述三种模型的比较结果分析,最终建立“FD+SG+小波降维”的21输入、15个隐层、3个输出的神经网络鉴别模型4,其分类正确率达100%,RMSEP=0.029 3, 迭代时间为98.8 s,表明模型4能够完全实现对三种不同水稻品种的快速、准确、无损鉴别。因此,所提出的基于近红外光谱的小波降维和反向传播人工神经网络鉴别模型的方法完全可以用于粳稻种子的快速无损鉴别,同时也为其他农作物种子的快速鉴别提供了参考。