一种添加历史数据的近红外光谱特征提取方法研究

针对近红外光谱定性分析中,增加新的品种进行建模时,原有模型识别效果不够稳定的问题,提出一种在建模样本的基础上添加同类物质的历史光谱数据的特征提取方法,首先采集建模样本的近红外光谱数据,然后添加同种物质样本的历史近红外光谱数据,再对所有近红外光谱数据进行预处理,其次对所有样本数据进行偏最小二乘(PLS)特征提取得到偏最小二乘空间,并只将建模样本数据向构建的偏最小二乘空间进行投影,最后将投影后的建模数据进行正交线性判别分析(OLDA)特征提取。以玉米种子近红外光谱为研究对象,分别对建模数据添加历史近红外光谱以及不添加历史近红外光谱两种情况进行特征提取,并通过仿生模式识别(BPR)方法构建模型进行验证,实验结果表明,添加历史近红外光谱构建偏最小二乘空间的特征提取方法相对于不添加历史近红外光谱的方法,首先在增加建模集品种数量时,原有的品种识别率基本不变;其次在相同PLS维数时,所建模型对不同时间采集的测试集识别效果基本一致,证明了该方法可以提高模型稳健性。在实际应用中就可以在品种鉴别软件中将特征提取维数设置为固定值,免除了品种鉴别软件的用户在增加建模集品种时为了保证最优识别效果重新选定最优PLS参数的麻烦。     

基于DS算法的玉米近红外定性分析光谱校正方法研究

从校正的角度出发,研究了近红外定性分析中模型稳定性问题。以13个玉米品种为研究对象,针对数据采集时间不同带来的模型失效问题,借鉴近红外光谱定量分析中两台仪器间模型传递的思想,将直接模型传递(Direct Standardization)算法用于校正同一仪器不同时间采集的光谱, 使得一次建立的品种鉴别模型,能用于其余时间测试数据的鉴别。首先采用Kennard/Stone算法在主光谱集中选取校正样品集,按照对应的编号从从光谱集中取出对应的数据,然后对校正样品集采用DS算法求取两组数据间的变换关系,再对剩余的从光谱集进行相应的变换得到适用于模型的光谱。实验中对比了校正样本数和模型校正位置对校正结果的影响,分别从品种定性鉴别准确性和校正前后主光谱数据和从光谱数据分布距离两方面分析了实验结果。结果表明,该方法能有效地解决同一仪器随着采样时间推移产生的光谱偏移现象,对采样时间不同的测试集均得到较高的识别率,提高了模型的鲁棒性和适用范围,由实验结果可见,校正位置处于特征提取之后时,校正效果最佳。     

玉米品种近红外光谱的特征分析与鉴别方法

以玉米种子的4 000~12 000 cm-1波段的漫反射近红外光谱为研究对象,提出了一种鉴别玉米品种的新方法。采用主成分分析法(PCA)来研究数据特征,发现近红外光谱在特征空间中具有显著的长条状分布特征,为此我们研究了改变样本点在PCA空间中的分布对品种鉴别的影响,并提出了归一化主成分分析(NPCA)的特征提取算法,同时还根据近红外光谱的数据分布特点提出了一种主方向仿生模式识别的分类算法,进一步提高了鉴别正确率。鉴别模型对第一测试集的平均正确识别率达到了97.67%,平均正确拒识率达到了98.40%,30个品种中的13个达到了100%的正确识别率;对第二测试集的平均正确拒识率达到了98.90%,有11个品种达到了100%的正确拒识率,具有较高的鉴别准确度。     

基于近红外漫反射与漫透射光谱的玉米单倍体鉴别比较研究

使用JDSU公司的MicroNIR1700型微型近红外光谱仪,研究了适合进行单籽粒玉米单倍体鉴别的光谱测量方法。基于近红外光谱定性分析技术,比较了漫反射和漫透射两种情况下玉米单倍体鉴别的效果。光谱数据经过预处理后,采用PLS＋OLDA特征提取算法,应用SVM建立玉米单倍体鉴别模型,分别统计漫反射和漫透射实验条件下,鉴别模型的正确识别率。在微型光谱仪内置光源漫反射的光谱测量方式下,不分胚面朝向,玉米单倍体籽粒平均识别率低于60%,不能有效鉴别玉米单倍体和多倍体。而采用外置光源对籽粒进行漫透射光谱测量方式,获得了平均正确识别率为93.2%的鉴别效果,并且模型稳定性好。实验结果表明,漫反射光谱仅能获得玉米籽粒表层信息,因此玉米籽粒胚面朝向严重影响漫反射光谱鉴别单倍体种子的效果;而漫透射光谱可以实现分析光程纵深信息全累加,能够得到样品内部的信息,因此对胚面朝向不敏感,能够有效地对随机摆放的玉米单倍体和多倍体进行识别。近红外方法能快速、无损地鉴别单倍体,并且微型光谱仪采集速度快,成本低,为实现实用化的自动鉴别提供了条件。     

基于近红外光谱和仿生模式识别玉米品种快速鉴别方法

文章提出了一种采用近红外光谱快速鉴别玉米品种的新方法,并对不同品种的玉米种子建立了相应的鉴别模型。对7个玉米品种共140个样本,通过近红外光谱仪扫描获得4 000～12 000 cm-1波段范围内的光谱数据。为了消除噪声、提高数据处理效率,对原始数据进行了归一化预处理,采用固定尺寸移动窗口渐进因子法(fix-sized moving window evolving factor analysis)寻找特征波段,使用主成分分析(PCA)方法得到能反映玉米种子99.96%光谱信息的5个主成分,进而利用仿生模式识别(biomimetic pattern recognition)方法建立玉米品种的鉴别模型。对于每个品种中的20个样本,随机挑选10个样本作为训练样本,其余10个样本作为第一测试集,其他品种共120个样本作为第二测试集。在对第二测试集平均正确拒识率达到99.1%的情况下,对第一测试集中的样本取得了94.3%的平均正确识别率。该方法具有较高的鉴别准确度,可以作为一种快速无损的玉米品种鉴别方法。     

应用近红外光谱快速鉴别酸奶品种的研究

提出了一种用近红外光谱技术快速鉴别酸奶品种的新方法。首先应用光谱仪获得5种典型酸奶品种的光谱曲线,用主成分分析法对5种酸奶品种进行聚类分析,再结合人工神经网络技术建立模型进行品种鉴别。主成分分析表明,主成分1和主成分2的累积可信度已达98.96%,前7个主成分的累积可信度达到99.97%。以每一个样品的前7个主成分作为神经网络的输入,品种类型作为神经网络的输出,建立三层BP人工神经网络模型。每个品种各27个样本,5个品种共135个样本用来建立神经网络模型,余下每个品种各5个共25个用于预测。建模品种的拟合率和预测品种的识别率均为100%。说明该方法能快速无损的检测酸奶品种,为酸奶的品种鉴别提供了一种新方法。     

基于核局部保持投影的近红外光谱玉米单倍体识别研究

实现快速、精确地鉴别玉米单倍体籽粒对玉米单倍体育种技术十分重要。近红外光谱分析技术可在线分析、监测,且无损、分析速度快、操作简便、测试成本低,对实现自动化的大规模鉴定并分拣玉米单倍体非常有帮助。通过美国JDSU的近红外光谱仪进行玉米近红外光谱的数据采集,交叉采集玉米单倍体、多倍体数据。数据处理时,将数据分为训练集和测试集两部分。依次对数据做预处理以消除噪声影响,做核变换将其投射到更高维度空间中增强可分性并进行特征提取,最后建立分类模型鉴别分析。分别统计采用不同的特征提取算法并建立模型鉴别测试的正确识别率。实验结果表明,采用核局部保持投影（KLPP）的特征提取算法的正确识别率更高、稳定性更好,在两组测试集上的正确识别率的均值分别达到95.71%和96.43%。通过分析可以得出,玉米种子的近红外光谱数据经过非线性变换（为高斯核变换）投影到更高维度的空间后,表现出更易于分类的分布特点,保持数据的局部特性也更利于后续的分类。这为玉米单倍体鉴定进一步研究提供了新的方向。     

基于近红外光谱的商品玉米品种快速鉴别方法

现有的玉米种子品种鉴别方法检测时间长,费用高,不易大批量快速鉴别。提出了一种基于近红外光谱数据快速鉴别商品玉米品种的新方法。先使用傅里叶变换近红外光谱仪获得从4 000到12 000 cm-1波段范围的37个商品玉米品种籽粒的漫反射光谱数据。对原始光谱进行矢量归一化预处理以消除噪声干扰,为了找到玉米品种籽粒的光谱特征波段,提出一种基于标准差的方法,进而对寻找到的玉米籽粒特征波段光谱做主成分分析(PCA),取能反映玉米品种 99.98％ 光谱信息的前10个主成分。最后使用仿生模式识别 (BPR)方法建立了37个玉米品种鉴别模型,对于每个品种的25个样本,随机挑选15个样本作为训练样本,其余10个样本作为第一测试集,其他品种共900个样本作为第二测试集。该鉴别模型对于37个玉米品种的平均正确识别率为94.3%。该方法的进一步研究有利于建立以近红外光谱为基础的物理指纹品种鉴别技术。     

基于可见-近红外光谱的可乐品牌鉴别方法研究

提出了一种采用可见-近红外光谱分析技术快速鉴别可乐品牌的新方法。采用美国ASD公司的便携式光谱仪对三种不同品牌的可乐进行光谱分析,各获取55个样本数据。将样本随机分成150个建模样本和15个预测样本,采用平均平滑法和标准归一化方法对样本数据进行预处理,再用主成分分析法对光谱数据进行聚类分析并获得各主成分数据。将建模样本的主成分数据作为BP网络的输入变量,可乐品牌作为输出变量,建立三层人工神经网络鉴别模型,并用模型对15个预测样本进行预测。结果表明,预测准确率为100%,实现了可乐品牌快速、准确的鉴别。     

一种基于可见-近红外光谱快速鉴别茶叶品种的新方法

提出了一种用可见-近红外光谱技术快速无损鉴别茶叶品种的新方法。应用可见-近红外光谱仪测定5个品种茶叶的光谱曲线,用主成分分析法对不同品种茶叶进行聚类分析并获得茶叶的可见-近红外光谱数据的主成分,再结合人工神经网络技术建立模型进行品种鉴别。主成分分析表明,以主成分1和2对所有建模样本的得分值做出的得分图,对不同种类茶叶具有较好的聚类作用,可以定性分析茶叶种类。把主成分分析得到的前6个主成分作为神经网络的输入,茶叶品种值作为神经网络的输出,通过5个茶叶品种共125个样本的训练和学习,建立了茶叶品种鉴别的3层BP人工神经网络模型,对未知的25个样本进行鉴别,品种识别准确率达到100%。说明本文提出的方法具有很好的分类和鉴别作用,为茶叶的品种快速鉴别提供了一种新方法。     

近红外光谱建模样本选择方法研究

针对小麦品种多分类问题,使用近红外光谱进行定性分析。建模样本增加能够使模型包含信息增多,但同时也会导致信息冗余,增加建模时间和存储空间,所以需要通过样本选择降低数据量。如果盲目选择必然会使信息丢失,模型效果将大打折扣,因此,在传统选择方法基础上,提出k近邻-密度样本选择方法。使用多天采集的小麦种子近红外漫反射光谱,在对其原始光谱进行预处理和特征提取后,分别使用随机抽样、k近邻和k近邻-密度三种方法进行建模样本选择,然后建立仿生模式识别模型和改进的仿生模式识别模型。实验结果显示,在建立的仿生模式识别模型中,使用k近邻-密度样本选择方法的模型识别效果优于另两种方法,且建模样本量大大降低;而在改进的仿生模式识别模型中,使用k近邻-密度样本选择方法识别效果明显优于随机抽样,略好于k近邻方法,但使用k近邻-密度方法所选择的样本数量远少于k近邻方法。结果证明k近邻-密度样本选择方法不仅能够大大降低建模样本量,而且保证了模型质量,对解决小麦品种多分类问题有明显效果。     

岩心扫描仪光谱数据质量评估方法研究

岩心光谱扫描仪是近年来发展起来、用于岩心光谱和图片在线检测的仪器,它可以对岩心进行数字化,从而实现岩心自动编录,为地质科研、矿床研究和外围找矿提供依据,同时通过岩心数字化,可以建立岩心网上数据库,解决岩心保存带来的成本问题,实现资源共享。岩心光谱测量数据的质量直接影响矿物识别、参数反演结果的可靠度,因此进行岩心光谱测试服务之前针对拟采用仪器进行数据质量评估是一项非常重要的工作。结合自主研发的CSD350A型岩心光谱扫描仪,以光谱学基本理论、光谱分析方法、岩心光谱分析要求等为基础,深入探讨了岩心光谱数据质量评估方法、评价准则、目标参数等关键问题,对自主研发的岩心光谱扫描仪数据质量进行了全面评估,表明仪器光谱测试功能的可靠性和有效性。实验测试表明,本方法所涉及的检测项目和检测参数,能够很好地反映岩心光谱扫描仪所测光谱的反射率光谱、波长精度、重复性及信噪比指标,从而对岩心光谱扫描仪数据质量做出正确评价,为商业服务提供数据质量依据。在目前缺少相关评估标准的情况下,本研究提出的评估方法对于岩心光谱测试工作的开展具有较大的应用价值。     

基于支持向量机的玉米苗期田间杂草光谱识别

田间全面积均匀喷施除草剂不经济,还污染环境,精准喷施除草剂意义重大,其关键是正确识别杂草。用便携式野外光谱仪,在田间测量了玉米、马唐和稗草植株冠层在350～2 500 nm波长范围内的光谱数据,经过数据预处理,数据分析波长选为350～1 300和1 400～1 800 nm。数据处理采用支持向量机(SVM)模式识别方法。SVM具有可实现对小样本建模结构风险最小化、结果最优化、泛化能力强的优点。用线性、多项式、径向基和多层感知核函数对玉米和杂草建立二分类模型,结果表明,三阶多项式核函数SVM分类模型的正确识别率最高,达到80%以上,且支持向量比例较小。以二分类模型为基础,利用投票机制,建立了玉米、马唐和稗草的一对一多分类SVM模型,正确识别率达80%。田间光谱测量受光照、背景和仪器测量精度等条件的影响较大,但结果仍表明SVM结合光谱技术在田间杂草识别中应用潜力很大,此研究为田间杂草识别及传感器的建立提供了一种研究思路和应用基础。     

Model study of electron beam charge compensation for positive secondary ion mass spectrometry using a positive primary ion beam

A new modeling approach has been developed to assist in the SIMS analysis of insulating samples. This approach provides information on the charging phenomena occurring when electron and positive primary ion beams impact a low conductivity material held at a high positive potential. The concept of effective leakage resistance aids in the understanding of the dynamic electrical properties of an insulating sample under dynamic analysis conditions. Modeling of steady state electron beam charge compensation involves investigation of electron injection and charge drift. Using a Monte Carlo program to simulate electron injection and dc conduction calculations to predict charge drift, detailed information regarding charging phenomena can be determined.     

平均分布差异最小化的NIR标定迁移方法研究

凭借高效、无损和环保的优点,近红外光谱在多个领域广泛用作物质快速分析方法的同时,仍面临着光谱标定模型生命周期短,构建仪器标定迁移方法的标准样品难以获得和保存等问题。在化学计量学文献中,迁移方法通常能够矫正主从仪器之间的光谱差异,但绝大多数方法都需要在两台仪器相同条件下测量一组迁移标准样品。虽然样品数目不必过多,但总体上表明,必须对其进行很好的选择才能保证成功迁移。对于在主从仪器中选择代表性的样本子集,现有Kennard-Stone算法作为样本选择的主要算法。在标准样本的确定问题中,假设主仪器已找到标准样本,选择的样本集需要在从仪器中进行测量,仅当迁移样本足够稳定时才有可能,但现有近红外光谱技术无法保证这一点。如果假设使用从仪器的样本作为标准样本,考虑到新工业应用中光谱光源的变更,主仪器被从仪器代替,因此不再可用。基于目前存在的这些问题,提出了一种平均分布差异最小化的NIR标定迁移方法（MCT）, 此方法可以在不考虑从仪器标准样本（即标准样本自由）的情况下,针对近红外光谱数据的多重共线性,首先假设存在一个主从仪器光谱的共同偏最小二乘子空间,并将主从仪器光谱数据分别投影到该公共子空间;然后,引入平均分布差异最小化算法,即分别给出主从光谱数据在子空间的平均分布中心表示函数,在最小化两个光谱平均分布（中心点）的差异的同时,最大化投影后主仪器光谱的协方差,推导求解出最佳子空间;最后,将主光谱样本和从光谱预测样本分别投影到该偏最小二乘子空间中,利用主光谱数据得到回归模型,该模型可用于预测从光谱浓度。通过对玉米数据集和小麦数据集的测试研究,证明的预测效果与SBC,PDS,CCACT,TCR和MSC相比有所改善,该方法可以实现更低的预测误差。     

基于自适应加窗spline曲线拟合的拉曼光谱去基线方法

拉曼光谱是一种无损快速检测技术,可以提供材料的定性和定量信息,因而在医药、化工等诸多领域得到了广泛的应用。但是,由于样品荧光背景噪声的影响,造成拉曼光谱信号出现基线漂移现象,这给拉曼光谱的特征峰识别和拉曼成像带来十分严重的影响。目前,改进实验方法和数值处理是解决该问题的两种重要手段。改进实验方法上,有偏振调制法和高频调制法等,但存在实验设备复杂,检测技术难度大等缺点;数值处理上,有多项式拟合和小波变换等,但容易出现欠拟合和过拟合等现象。本文在不改换高精密设备的前提下,针对传统基线校正的方法进行了改进,提出一种基于自适应加窗spline曲线拟合的拉曼光谱去基线方法。首先,基于谱峰识别算法和初始搜索步长求得谷值的最优搜索间距,并利用谱谷识别算法完成谷值曲线的拟合;其次,利用最优搜索间距和谱峰识别算法,求得谷值曲线峰值位置,并在该位置处对称添加自适应矩形窗函数去除峰值,重新划分整个区间,拟合谷值曲线;再次,逐点比较拟合曲线与原拉曼光谱信号,取较小值,拟合曲线;最后,重复加窗去除峰值操作,直至自适应窗函数宽度低于阈值,完成拉曼光谱信号的基线拟合。在实验中,选用乙酸丁酯、聚甲基丙烯酸甲酯(polymethyl methacrylate, PMMA)作为实验样品,利用该方法对其拉曼光谱信号进行了基线校正,观察并比较该方法和传统方法的校正结果。实验结果表明,该方法能够有效地消除拉曼光谱信号的基线漂移,较好的保留一些较弱的拉曼特征峰,且不易出现欠拟合和过拟合的现象,获得了良好的基线校正效果,为进一步分析光谱数据和实现拉曼成像提供准确可靠的信息。     

部分可解释机器学习方法的高光谱人参产地识别和分析

人参是传统中药材中的贵重品种,具有较高的经济价值。人参生长的地域性很强,不同产地人参有效成分含量存在差异,人参因“道地”与否,会导致其质量、医学效用和经济价值的差异,因此人参产地识别的意义重大。目前常通过磨粉提取等制备,再采用化学或光学等多种手段检验人参产地,但会造成样本破坏。而基于外观性状或芦头特征的鉴别,因主观性差异不能作为标准化的识别方法。如何用高精度、无损、快速检测识别的方法,对人参的产地进行识别分析,是该研究的主要立足点。通过采用高光谱成像技术,对已知产地信息的人参样本,通过获取从400~2 500 nm的反射光谱,经过基于白板的绝对和相对辐射校正处理,构建了高光谱反射率数据集。采用随机森林的机器学习方法,构建了基于高光谱数据的全光谱人参产地识别模型,并对不同尺度的地域划分规则分别开展了产地识别精度验证,发现不同产地的人参光谱有明显区别。其中东三省与否的产地识别精度,可以达到98.2%。同时利用随机森林基于决策树构建的优势,获得了人参产地识别的光谱重要性结果,为专用轻量化仪器研发指明特征光谱。高光谱人参产地识别研究作为严格的无损检测方式,将对人参等道地药材的产地识别、药材图谱指纹认知和挖掘、药材鉴定和质量评价等提供理论支撑和技术手段。     

干涉型光谱仪高精度光谱定标方法

干涉型光谱仪获取光谱的干涉数据信息,数据处理过程中将干涉信息进行一系列光谱复原,最终得到光谱信息数据。光谱定标处理是干涉型光谱仪光谱反演的重要环节,直接决定了光谱信息的可用性和准确度。介绍了干涉型光谱仪光谱定标的基本思路,并在此基础上提出了一种基于总光程差精确解算的光谱定标方法。由于干涉型光谱仪总光程差难以精确测量,而总光程差解算是光谱定标的核心和关键,基于此情况,提出了遍历总光程差,分析光谱漂移,最终确定干涉型光谱仪总光程差的总体思路。定标处理中将所有总光程差可能值带入光谱复原流程,进行光谱复原与分析,最终得到光谱漂移最小的总光程差,即为总光程差解算值。该方法可以精确解算干涉型光谱仪的总光程差,进而对干涉型光谱仪进行高精度光谱定标。同时介绍了详细、完整的光谱定标流程,最终得到干涉型光谱仪各个波段的中心波长值、波数分辨率等。最后设计了典型的干涉型光谱仪主要参数,并生成了该光谱仪的模拟干涉数据,利用该方法对模拟数据进行光谱定标,并对光谱定标结果进行了精度分析和验证,证明该方法波数分辨率定标精度优于0.000 25 cm-1。     

玉米近红外光谱在仿生模式识别中的特征提取方法研究

近红外光谱特征提取是近红外光谱定性分析的关键步骤,其质量直接影响定性分析结果。采用漫透射方法测量8个玉米品种的近红外光谱,经预处理后,分别采用PCA,ICA,PLS-DA和小波分解四种方法对光谱进行特征提取,并使用仿生模式识别方法建立了8个玉米品种识别模型,最后使用测试集数据进行模型测试。结论如下:使用PLS-DA方法进行特征提取后建立的模型正确识别率优于使用PCA,ICA和小波分解特征提取后建立的模型。