Hyperspectral estimation of soil organic matter based on different spectral preprocessing techniques

In this study, the potentiality of visible and near-infrared reflectance spectroscopy to estimate soil organic matter was assessed. Six preprocessing methods were implemented to process the original spectra. The partial least-squares regression approach was also applied to construct predictive models and evaluate the optimal spectral preprocessing method. The significant wavelengths of soil organic matter were determined by using the correlation analysis and the partial least-squares regression analysis. The results were: (i) visible and near-infrared reflectance spectroscopy was proved to be an ideal approach in the soil organic matter estimation; (ii) different preprocessed spectra could improve their correlation with soil organic matter; the combination of first-order derivative and Savitzky–Golay smoothing method outperformed other preprocessing methods; (iii) the soil organic matter predictive models based on spectra processed by derivatives and Savitzky–Golay smoothing together presented a satisfactory accuracy, yielding the determination coefficient and root mean square error values of 0.986 and 0.077, respectively, for first-order derivative; and 0.973 and 0.105, respectively, for second-order derivative. The combination of first-order derivative and Savitzky–Golay smoothing was ultimately recommended the preferable preprocessing method; and (iv) the wavelengths of 417, 1853, 1000, and 2412?nm were determined as the significant wavelengths associated with soil organic matter. The study will provide a reference for the site specific management of agricultural inputs by using the visible and near-infrared reflectance spectroscopy technology.     

近红外光谱和化学计量学方法用于橄榄油品质分析与掺杂量检测

基于橄榄油的近红外光谱数据,用判别分析(Discriminant analysis)方法把20个样品成功地分为特级初榨橄榄油和普通橄榄油两类,正确率为100％。同时测定了纯橄榄油中分别掺入菜籽油、玉米油、花生油、山茶油、葵花籽油、罂粟油的混合油的近红外光谱,掺杂油体积百分数范围为0～100%。选择最佳的光谱波段组合用偏最小二乘(PLS)法分别建立定量分析模型,预测相对误差范围在-5.67%～5.61%之间。研究结果表明,基于化学计量学方法和近红外光谱数据可为橄榄油的品质鉴定和掺杂量检测提供了一种简便、快捷、准确的方法。     

基于近红外光谱技术和人工神经网络的玉米品种鉴别方法研究

提出了一种采用近红外光谱技术结合人工神经网络对玉米品种进行鉴别的方法。在3 800～10 000 cm-1(波长1 000～2 632 nm)范围内采集四种玉米单粒完整籽粒的近红外漫反射光谱,经Savitky-Golay平滑和多重散 射校正预处理后,对数据进行主成分分析,再结合人工神经网络技术进行品种鉴别。主成分分析表明,前8个主成分的累积贡献率达到99.602%。以前8个主成分作为网络输入,品种类型作为输出,建立三层LMBP神经网络模型。每个品种 各取30粒共120个样本用于建模,10粒共40个样本用于预测。模型对建模集120个样本鉴别率为100%,对预测集40个样本的鉴别率为95%。实验结果说明该方法能快速无损地鉴别玉米品种,为玉米的品种鉴别提供了一种新方法。     

一种油田原油含水率的近红外光谱检测与分析方法

石油作为重要战略资源,对其组分进行实时分析检测在石油化工领域有着重要意义。随着石油资源的不断开发,在已长时间开采油井的生产过程中以及新油井开采前,需要对井下原油组分进行分析检测,以判定开采的必要性。原油组分实时检测,在原油开采、生产、储运以及销售过程中都起着关键的作用,针对传统检测方法存在精度低、效率低等问题,近年来在原油组分检测技术的研究方法上引入了在测量领域得到广泛、有效应用的近红外光谱测量技术。以井下原油作为研究对象,利用从大庆油田获得的提纯原油与水按体积比配制了原油占比分别为1%~20%共39个组分的实验样品来模拟井下原油。研究了近红外光谱透射法测量原油组分的基本原理,并利用SW2520型近红外光谱仪与卤素光源以及配套组件集成了原油样品近红外光谱数据测量系统,完成了系统的标准化实验并利用此标准化后的系统采集了39个组分原油样品的近红外吸收光谱数据。利用移动窗口平滑法、Savitzky-Golay卷积平滑法以及Savitzky-Golay卷积求导法对原油近红外光谱数据进行预处理以消除噪声,利用偏最小二乘法和支持向量机回归方法SVR两种分析方法对预处理后的原油样品近红外光谱进行建模,分别建立了原油组分分析预测模型。研究结果表明,利用偏最小二乘法模型预测均方根误差为0.003 755 14,决定系数R2为0.999 999,预测精度优于0.1%,预测效果十分理想。利用近红外光谱技术对配制的不同比例的井下原油模拟测试样品进行测试建模和分析,为井下原油组份检测提供了一种新的思路,该方法可以有效的解决原油含水率的检测问题,为开发油田现场实时原油检测分析装备提供技术支撑。     

基于光谱技术的杨梅汁品种快速鉴别方法的研究

为了实现杨梅汁品种的快速无损鉴别,提出了一种用可见和近红外光谱技术快速鉴别杨梅汁品种的新方法。首先采用偏最小二乘法进行模式特征分析,经过交互验证法判别,确定最佳主成分数为9。完成特征提取后,将这9个主成分作为神经网络的输入变量,建立了三层BP神经网络,实现类别预测的同时也完成了数学建模与优化分析工作。3个品种的杨梅汁样本数均为20,共计60个样本。在神经网络学习中,将其分成训练集样本51个和预测集样本9个。对9个未知样本进行预测,准确率为100％。说明本文提出的基于光谱技术和模式识别的方法具有很好的分类和鉴别能力。     

Using near-infrared reflectance spectroscopy to predict physical parameters of beef

The objective of this study was to develop near-infrared reflectance spectroscopy models for predicting the physical parameters of beef from commercial cuts. Four hundred and forty-two minced beef samples from various commercial cuts of two cattle breeds were used for the modeling process and randomly divided into two subsets: a calibration set and an independent prediction set (75 vs. 25%). Reflectance spectra (1000–1800?nm) were collected from both subsets of samples, and calibration models were built using partial least square regression on the calibration set of samples. Different mathematical pretreatments were tested and mean centering or multiplicative scatter correction combined with first-derivative preprocessing gave the best calibration models on all the beef physical traits. Based on the selected calibration equations, the coefficients of determination in calibration and prediction for Warner-Bratzler shear force, pH, color L*, and a* were higher than 0.60, which means models in the calibration were acceptable. However, the ratio performance deviation for all parameters was less than 2.0, indicating that the prediction abilities on independent validation set were not adequate for routine analysis. Further studies are required to establish more robust models for practical application of using near-infrared reflectance spectroscopy to predict physical traits of beef.     

近紫外-可见-短波近红外多光谱成像数据的糯玉米种子热损伤粒的无损快速鉴别

为对糯玉米种子热损伤粒进行无损快速鉴别并探索热损伤过程对糯玉米种子的影响,以糯玉米种子“京科糯2000”为例,用Videometer近紫外-可见-短波近红外多光谱成像仪分别以胚面向上和胚面向下方式采集糯玉米种子对照组及热损伤组多光谱成像数据,分别提取胚面向上胚部、胚面向上胚乳部、胚面向下胚乳部单点多光谱数据,并对胚面向上胚部和胚面向上胚乳部多光谱数据做初级融合;对多光谱数据进行基线校正预处理后计算各光谱数据样本标准差,进而通过光谱数据样本标准差的变化分析热损伤对糯玉米种子各部位的影响;基于多光谱数据采用偏最小二乘-判别分析算法建立糯玉米种子热损伤粒无损鉴别模型,对所建模型进行全交互验证,并与近红外光谱数据模型比较。结果表明,热损伤对糯玉米种子胚、胚乳有不同的影响,多光谱数据和近红外光谱数据表现出一致的变化趋势。采用多光谱数据建立热损伤粒鉴别模型,各模型前3主成分得分3D散点图中,对照组和热损伤组样品表现出一定的分离趋势,校正数据正确率在96%~100%之间,交互验证数据正确率在92%~100%之间,其中,糯玉米种子胚面向上胚部光谱和胚乳部光谱初级融合数据建模效果最好,校正数据正确率100%,交互验证数据正确率在98%~100%之间。作为对比,采用近红外光谱数据建立糯玉米种子热损伤粒偏最小二乘-判别分析模型,胚面向上、胚面向下以及二者初级融合数据模型的前3主成分得分3D散点图中,对照组和热损伤组样品表现出较好的分离趋势,各模型校正数据、交互验证数据正确率皆为100%。本研究表明,采用近紫外-可见-短波近红外多光谱成像对糯玉米种子的热损伤粒进行无损快速识别具有较好的可行性,多光谱成像数据各变量样本标准差和近红外光谱数据各变量样本标准差呈现一致的规律;采用胚和胚乳融合多光谱数据所建模型在各模型中具有更高的正确率。     

畜禽肉化学成分近红外光谱检测技术研究进展

和传统的肉品化学成分检测方法相比,近红外光谱分析是一种能够快速、简单、安全和可同时测定多种化学成分的肉品检测方法。论述了近年来猪、鸡、牛、羊四种动物肉中粗蛋白质、肌间脂肪、脂肪酸、水分、灰分、肌红蛋白和胶原蛋白七种化学成分的近红外光谱分析检测研究进展,并探讨了目前研究中存在的问题及其原因。从已发表的研究结果可以看出,近红外光谱分析具有替代耗时成本高的现有肉品化学检测方法的巨大潜力,特别是用于商业上同步检测多种化学成分。研究大多采用主成分分析法进行特征光谱筛选,偏最小二乘和修正偏最小二乘法建立校正模型,交互验证进行预测结果评价。目前研究热点集中在肉中脂肪酸含量预测模型和应用近红外高光谱图像和多元回归预测肉中化学成分。近红外光谱预测结果差异性较大,这与样品集选择、光谱预处理和建模方法都有很密切的关系。样品选择对近红外预测精度具有重要的意义,非均质肉样影响了近红外化学成分预测精度。总的来说,肌间脂肪、脂肪酸与水分指标预测效果较好,粗蛋白质和肌红蛋白指标预测效果次之,灰分和胶原蛋白指标预测结果较差。     

Rapid nondestructive evaluation of duck meat pH and color using visible and near-infrared reflectance spectroscopy

In the present study, visible and near-infrared reflectance spectroscopy were applied to predict quality attributes of duck breast meat. The real color (expressed as lightness, redness, and yellowness) and pH of duck samples were recorded using traditional contact methods and then modeled with their corresponding spectral data by partial least square regression. Before the establishment of prediction models, three different spectral preprocessing methods including first derivative, standard normalized variate, and Savitzky–Golay smoothing were used. Compared to the models obtained from original spectral data set, the predictive capabilities of models based on the spectra after preprocessing were improved effectively. As a result, the determination coefficient of calibration set and prediction set of the best models for lightness, redness, yellowness, and pH parameters were 0.96 and 0.85, 0.94 and 0.94, 0.96 and 0.94, 0.81 and 0.76, respectively. Results demonstrated that visible and near-infrared spectroscopy can become a useful tool for rapid prediction of duck color and pH quality attributes.     

部分土壤重金属可见-近红外反射光谱特征及机理研究

测量重金属化合物氯化铬(CrCl₃)、氯化铜(CuCl₂)、氯化锌(ZnCl₂)的可见-近红外反射光谱(VNIRS),将重金属反射光谱与重金属元素的核外电子排布式联系起来,观察重金属化合物的反射光谱特征;结合晶体场理论分析重金属的特征反射峰出现的波段位置和原因。以湖北大冶地区土壤样品为例,向土样中添加不同浓度梯度的CrCl₃,CuCl₂和ZnCl₂并测定其可见-近红外反射光谱,研究不同种类不同浓度的重金属对土壤反射光谱的影响。对样本的反射光谱进行不同光谱预处理,探究重金属浓度与土壤反射光谱之间的线性相关关系及显著相关(p<0.05)波段出现的位置和潜在机理。结果表明,重金属化合物CrCl₃,CuCl₂和ZnCl₂在可见光-短波近红外波段范围内的反射光谱特征与重金属元素3d轨道上的电子填充状态有关。添加入土壤中的重金属化合物影响了土壤的可见-近红外反射光谱,其浓度与土壤反射光谱之间整体呈负相关,最大负相关系数分别为-0.788,-0.880和-0.824。样品反射光谱经不同预处理后,重金属浓度与土壤反射光谱之间的线性相关关系有所变化,显著相关波段信息更加丰富。研究表明,重金属的可见-近红外反射光谱与重金属的电子结构紧密相关,可见-近红外反射光谱技术可以检测到土壤中较高浓度重金属的存在,该技术在快速高效、无损低耗地预测土壤重金属元素含量方面拥有巨大潜力。基于部分重金属化合物的可见-近红外反射光谱特征,结合晶体场理论为土壤重金属的定性和定量反射光谱分析提供了理论依据和实验参考。     

基于便携式近红外光谱仪的重金属离子定量分析研究

近红外光谱分析技术凭借分析速度快、样品预处理简单等特点,被广泛用于农业、医药、环境、石油化工等领域。为实现高效率的现场检测,便携式的近红外光谱仪越来越备受关注。由于近红外光谱分析技术能够对多组分同时进行测定,因此在该研究中使用便携式近红外光谱仪探索同时对稀溶液中多种重金属离子定量分析的可行性。使用胺基改性聚合淀粉富集水中的镍离子和铜离子,然后使用便携式近红外光谱仪直接采集胺基改性聚合淀粉的近红外漫反射光谱,再借助光谱预处理方法和偏最小二乘回归法建立模型,最后通过交叉验证和外部验证证明所建立模型的稳定性。结果表明,在其他干扰离子存在下,氨基改性聚合淀粉仍能分别以99.5%和99.8%高效率地富集稀溶液中的镍离子和铜离子。便携式光谱仪采集的近红外漫反射光谱分别经连续小波变换和多元散射校正结合卷积求导光谱预处理之后,使用偏最小二乘回归能够得到相关系数分别为0.981 9和0.965 4的稳健模型,实现了对稀溶液中镍离子和铜离子的同时测定,并且检测到的镍离子和铜离子的最低浓度均为3.0 mg·L-1。该方法不仅提高了近红外光谱分析技术的检测灵敏度,同时也表明了便携式近红外光谱仪对多种重金属离子同时定量分析的可行性,是一种拓宽近红外光谱分析技术的有益探索。     

利用地表土壤的反射光谱勘探油气的方法研究

反射光谱分析提供了一种高效和低成本的鉴别物质成分和结构的方法,油气微渗漏理论则建立了油气藏与其上部地表特定蚀变之间的因果关系,因此,可以通过检测地表蚀变的反射光谱来勘探油气。野外实地测量和高光谱遥感均能够实现反射光谱的检测。文章首先提出了典型含气区测点的光谱曲线的宏观特征;然后,给出了一种基于野外测量的反射光谱来确定特定蚀变的地表分布(即分类)的方法。将本方法应用于青海××地区野外测量的反射光谱的分析中,得到的蚀变异常区与该地区的已有气田成功吻合。本方法的鲁棒性实验表明,当分类过程中选用不同的参数组合(例如：分类样本,研究波段范围和相似度阈值)时,均能得到较好的分类结果。为该地区进行中的Hyperion高光谱遥感油气勘探项目提供了有效的分类样本和参考算法。     

近红外光谱快速分析技术及其在动物饲料和产品品质检测中的应用

近红外光谱是近年来发展最快、最引人注目的光谱学技术。主要介绍了近红外光谱技术的基本原理和发展, 包括近红外光谱预处理技术如微分处理、信号平滑等技术的发展和近红外光谱分析模型如多元线性回归、主成分分析、偏最小二乘法和人工神经网络等的发展。综述了国内外近几年来此技术在动物饲料和产品品质检测中的应用。文献调查显示, 近红外光谱分析技术以其快速、无损、不污染环境等诸多优点在国内外饲料和动物产品检测方面得到广泛应用。在饲料分析方面,近红外不仅能用于其常量成分干物质、粗蛋白、粗纤维、粗脂肪等的测定,而且能用于微量成分、有毒有害成分的测定。在动物产品分析方面,该技术已用于禽蛋、牛肉、羊肉、猪肉等的各种物理和化学指标的测定。文中详细给出了已经报道的利用近红外光谱技术测定饲料和动物产品测定指标和光谱处理以及模型建立的情况, 并讨论了近红外光谱快速检测技术的在饲料分析和动物产品分析领域的应用新趋势和局限性。     

三维坐标异常数据判定方法的模拟与实验研究

近红外漫反射光谱具有无创伤、连续、无感染、速度快等诸多优势,在人体成分无创伤检测方面有很好的应用前景。但是在测量过程中,随机噪声、干扰组分以及检测条件的改变等容易导致异常光谱。判定并剔除异常光谱对于提高近红外无创血液成分检测的可靠性具有重要意义。首先分析了近红外漫反射光谱无创血糖检测中可能出现的异常数据类型,提出了一种综合利用马氏距离、光谱残差和化学值残差三个指标构造三维空间对样本集进行检验的三维坐标异常数据判定方法。其次,针对三层皮肤组织模型,在参数中设置人为失误、极端成分含量以及异常温度变化的样本,通过蒙特卡罗（MC)模拟程序得到一组正常模拟数据以及一组包含化学值异常和光谱异常的模拟数据,并利用三维坐标法进行异常数据的判定。结果显示,该方法能识别出全部异常样本,剔除这些异常样本后,偏最小二乘（PLS）校正模型的交互验证均方根误差（RMSECV）由21.2 mmol·L-1降低到1.1 mmol·L-1,初步验证了该方法的可行性。进一步,对三位受试者开展了口服葡萄糖耐量试验（OGTT）,通过在测量受试者血糖参考值的同时同步采集其手指部位的漫反射光谱,获得了三组在体实验数据。并利用三维坐标法和蒙特卡罗交互验证法进行异常数据的判定和剔除,最后建立PLS模型比较两种异常数据判别方法的效果：剔除三维坐标法识别出的异常数据后,三组样本建立的校正模型的决定系数显著提升,RMSECV平均值由2.1 mmol·L-1降低至0.8 mmol·L-1,效果优于蒙特卡罗交互验证法的结果。这些结果表明,基于马氏距离、光谱残差和化学值残差的三维坐标异常数据判定方法能有效识别近红外无创血糖测量中的异常数据,在在体成分检测应用中有显著优势。     

不同浓度稀土溶液的反射波谱特征研究

波谱吸收特征一般和物质成分具有密切联系,其中描述波谱吸收特征的参数——波谱吸收深度可以作为一种定量评估样品化学组成的参数。 波谱吸收特征及化学特征之间的相关性研究已经在土壤学、 矿物学及植被科学等领域得到了证实,但是针对稀土元素及其化学特征之间的相关性研究目前还未开展相关工作。 为开展此方面的研究,针对赣南稀土矿区采集的10个不同浓度的稀土溶液样品,运用便携式地物波谱仪和等离子质谱仪分别获取了其波谱特征和稀土总浓度,研究结果表明稀土溶液呈现出水体和稀土氧化物的混合波谱特性,在可见光-近红外波段有6个明显的稀土特征吸收谷。 针对这6个特征吸收谷,运用原始波谱与纯水波谱比值的方法计算得出的波谱吸收深度和稀土总浓度进行线性回归分析,表明两者高度线性相关,由此建立了稀土浓度定量评估模型。 这一研究提供了一种间接评估溶液中稀土浓度的新方法,并且为稀土元素高光谱信息提取研究提供了理论基础。     

近红外光谱主成分分析与模糊聚类的典型地面目标物识别

近红外光谱技术在遥感监测领域中应用广泛,针对典型地面目标物遥感监测识别需要,提出了光谱主成分分析(PCA)与模糊聚类结合的分类识别方法,提高了识别算法效率及准确性。以四类典型地面目标物作为研究对象,分别测量其在1 100～2 500 nm范围内漫反射光谱,首先对漫反射光谱进行主成分分析,得到代表光谱特征的主成分分量,然后将其作为模糊聚类分析模型输入参数,计算样品主成分集合之间贴合度,最后利用择近原则对样品进行匹配分类。结果表明,主成分分析可以有效提取光谱特征并且降低数据维度,结合基于择近原则的模糊分类方法,可有效提高算法准确性与效率,为遥感光谱在地面目标物识别应用提供了有益的参考。     

Quality Control of Pharmaceutical Aspirin Powder by Near-Infrared Reflectance Spectra and Multivariate Analysis

Quality control of pharmaceutical aspirin powder was studied using first order differential near-infrared diffuse reflectance spectra and four standard multivariate methods, hierarchical clustering analysis, stepwise clustering analysis, principal components analysis, and stepwise discrimination. The qualified, inferior, and fake pharmaceutical aspirin powders of independent samples can be distinguished by the multivariate analysis methods based on the reflectance spectra. The proposed methods are reliable, fast and nondestructive.     

顾及粗糙度的土壤有机碳成像高光谱估测模型

可见近红外非成像光谱分析技术已被广泛用于土壤有机碳（SOC）含量估测,然而该技术的使用受土壤粗糙度的影响,对样本的前处理要求较高,导致模型的实用性受限。针对这一问题,以美国爱荷华州农田土壤为研究对象,使用成像及非成像光谱仪获取土壤样本研磨前后的可见近红外反射光谱,采用去包络线（CR）、吸光度变换（AB）、S-G平滑（SG）、标准正态变换（SNV）、多元散射校正（MSC）5种光谱预处理手段,利用偏最小二乘回归（PLSR）和支持向量回归（SVR）算法构建并对比土壤SOC光谱估算模型,探究利用成像光谱数据估测高粗糙度样本SOC含量的可行性。实验结果表明,使用成像光谱数据能够实现高粗糙度样本的SOC含量估算,而使用非成像光谱数据则无法估算高粗糙度样本的SOC含量;基于成像光谱数据建立的高粗糙度SOC最优PLSR估算模型R2能够达到0.739以及最优SVR估算模型R2为0.712,而基于非成像光谱数据建立的高粗糙度SOC最优PLSR和SVR估算模型R2仅仅分别为0.344和0.311。基于AB,SG,SNV和MSC这4种预处理手段之后的成像光谱数据建立的土壤样本研磨前的PLSR模型性能优于样本研磨之后建立的PLSR模型,而SVR模型性能正好相反。而对于非成像光谱数据来说,土壤样本研磨后建立PLSR和SVR模型精度总是强于样本研磨前建立的模型精度。对于这两种光谱数据和两个估算模型而言,不同的光谱预处理方法提高模型估算精度的能力不同。土壤样本研磨前后,基于成像光谱数据建立的PLSR和SVR模型性能均优于非成像光谱数据所构建的模型。成像光谱技术能够增强高粗糙度土壤样本可见近红外光谱与SOC的相关性,从而提高模型估算精度;能够克服土壤粗糙度的影响;为野外大尺度估测SOC含量提供了新的手段。     

基于反射光谱吸收特征勘探天然气的方法研究

反射光谱学提供了一种高效和低成本的鉴别物质成分和结构的方法;油气微渗漏理论则建立了油气藏与其上部地表的特定异常之间的因果关系。因此,可以通过检测地表异常的反射光谱来勘探油气。野外实地测量和高光谱遥感均能够实现反射光谱的检测。文章通过对青海某地区野外测量的反射光谱的分析,首先提出了典型气田区测点的光谱曲线的宏观吸收特征;然后,完成了反射光谱中的吸收特征的提取,包括吸收波段深度、位置、宽度和对称度,以此分析测区采集的样品光谱,建立了该地区的特征光谱库;提出了检测地表烃类物质的方法;最后基于线性解混模型,实现了半定量地提取测区主要蚀变矿物的丰度信息。     

利用近红外光谱法分析玉米籽粒脂肪酸含量的研究

采用傅里叶近红外漫反射光谱技术,结合偏最小二乘法,以294份中选的普通和高油玉米自交系以及高油玉米重组自交系为样品建立了玉米籽粒四种主要脂肪酸(软脂酸、硬脂酸、油酸和亚油酸)含量和含油量的近红外光谱(NIRS)校正模型。其中,油酸、亚油酸和含油量的校正模型质量较高,交叉验证决定系数分别为0.89,0.88和0.91,外部验证决定系数分别为0.86,0.84和0.92,相对分析误差(RSP(C))均大于2.5。软脂酸和硬脂酸的校正模型不够精确,交叉验证决定系数和外部验证决定系数均小于0.80,相对分析误差(RSP(C))均小于2.5。通过实际预测进一步验证了油酸、亚油酸和含油量NIRS模型的准确性和可靠性。这些模型可应用于玉米籽粒脂肪酸含量及油分含量大批量快速测定,对玉米油分的品质育种具有重要意义。