三维坐标异常数据判定方法的模拟与实验研究

近红外漫反射光谱具有无创伤、连续、无感染、速度快等诸多优势,在人体成分无创伤检测方面有很好的应用前景。但是在测量过程中,随机噪声、干扰组分以及检测条件的改变等容易导致异常光谱。判定并剔除异常光谱对于提高近红外无创血液成分检测的可靠性具有重要意义。首先分析了近红外漫反射光谱无创血糖检测中可能出现的异常数据类型,提出了一种综合利用马氏距离、光谱残差和化学值残差三个指标构造三维空间对样本集进行检验的三维坐标异常数据判定方法。其次,针对三层皮肤组织模型,在参数中设置人为失误、极端成分含量以及异常温度变化的样本,通过蒙特卡罗（MC)模拟程序得到一组正常模拟数据以及一组包含化学值异常和光谱异常的模拟数据,并利用三维坐标法进行异常数据的判定。结果显示,该方法能识别出全部异常样本,剔除这些异常样本后,偏最小二乘（PLS）校正模型的交互验证均方根误差（RMSECV）由21.2 mmol·L-1降低到1.1 mmol·L-1,初步验证了该方法的可行性。进一步,对三位受试者开展了口服葡萄糖耐量试验（OGTT）,通过在测量受试者血糖参考值的同时同步采集其手指部位的漫反射光谱,获得了三组在体实验数据。并利用三维坐标法和蒙特卡罗交互验证法进行异常数据的判定和剔除,最后建立PLS模型比较两种异常数据判别方法的效果：剔除三维坐标法识别出的异常数据后,三组样本建立的校正模型的决定系数显著提升,RMSECV平均值由2.1 mmol·L-1降低至0.8 mmol·L-1,效果优于蒙特卡罗交互验证法的结果。这些结果表明,基于马氏距离、光谱残差和化学值残差的三维坐标异常数据判定方法能有效识别近红外无创血糖测量中的异常数据,在在体成分检测应用中有显著优势。     

一种基于简化正交距离的近红外异常光谱判断方法

及时发现并剔除异常光谱对于提高近红外光谱分析的可靠性具有重要意义。首先介绍了基于正交距离的稳健主成分分析法判断异常光谱的原理,分析了该方法的局限性,在此基础上提出了一种基于简化正交距离的异常光谱判断方法,即以高浓度样品的光谱直接估计第一稳健主成分,再通过重复测量估计正交距离的统计参数来判断异常光谱。最后,采用上述两种方法对葡萄糖水溶液和2% Intralipid仿体溶液透射实验中受温度影响的异常光谱进行了判别。结果表明,基于正交距离的稳健主成分分析法,当崩溃值设定为40%时,葡萄糖水溶液和仿体溶液实验中受温度影响的异常光谱均能被正确识别;当崩溃值设定为25%时,对葡萄糖水溶液和仿体溶液实验中受温度影响的异常光谱漏判率分别为54.5%和72.7%。而简化正交距离法可以准确识别出葡萄糖水溶液和仿体溶液实验中受温度干扰的异常光谱,且具有无需预先设定崩溃值和测量持续时间较短等优点。因此,简化正交距离法在实际应用中相比基于正交距离的稳健主成分分析法有着显著的优势。     

一种基于属性权值和w_k-距离的天体光谱异常特征线挖掘方法

采用信息熵思想,给出一种基于属性权值和wk-距离的异常天体光谱特征线挖掘方法,并开发了天体光谱异常特征线挖掘系统。首先采用信息熵思想计算天体光谱特征线属性权值,从而有效地刻画每条特征线的重要程度;其次采用邻域半径的剪枝技术,对海量天体光谱特征线数据集约简,删除不可能成为异常的数据对象,形成一个候选异常数据集;然后根据离候选异常数据中对象之间的偏差,计算wk-距离和,并选取wk-距离和较大的前TOP-NN个数据对象作为天文光谱异常特征线数据;最后采用SDSS恒星光谱特征线数据集,实验和系统运行结果验证了该方法的有效性和可行性。     

近红外光谱分析青贮玉米NDF中判别异常光谱的研究

对近红外光谱分析青贮玉米中性洗涤纤维(NDF)中异常光谱的判别进行了研究。该试验通过将马氏距离阈值分别设定为3(固定值)、2倍马氏距离平均值和马氏距离平均值+2倍马氏距离标准差三种不同值,分别判别和剔出建模过程中的异常光谱,比较不同的阈值设定对模型效果的影响。结果表明,当马氏距离阈值设为3(固定值)时,异常光谱剔出不收敛,可靠性不高。当马氏距离阈值设为2倍马氏距离平均值时,剔出后模型的相关系数、标准差、决定系数及综合得分均低于剔出前,可靠性不高。只有当马氏距离阈值设定为马氏距离平均值+2倍马氏距离标准差时,预测模型的最高相关系数ｒ达到0.97,标准差为2.456,模型预测效果最佳。因此,将马氏距离阈值设定为马氏距离平均值+2倍马氏距离标准差对近红外光谱分析青贮玉米NDF中异常光谱判别的可行性较高,在这种情况下剔出异常光谱后模型效果最佳。     

时间序列三维荧光光谱的异常值检测

异常值的存在往往干扰着时间序列三维荧光光谱的定性和定量分析。充分利用时间维和光谱维的内在特性, 提出了一种有效的异常值检测方法。在时间维结合方差提取异常值可能性最大的波长点;通过对异常值存在方式的分析,在任意两个三维荧光光谱的相似度基础上给出了光谱维上的累积相似度;最后利用时间维的校正矩阵对所有三维荧光光谱的每个波长点荧光强度进行修正并计算对应的累积相似度,从而根据累积相似度对异常值进行判断。时间维校正矩阵的采用不仅提高了算法的有效性而且其特征区域的选择大大减少了光谱维相似度的计算量。相关的数值试验表明光谱维选取50%的波长点仍然能有效对异常值进行检测。     

基于衰减全反射-傅里叶变换红外光谱技术的气溶胶中水溶性无机离子定量分析方法研究

利用衰减全反射-傅里叶变换红外(ATR-FTIR)光谱技术探讨了气溶胶颗粒物中SO2-₄,NO-₃,NH+₄三种水溶性无机离子的快速无损测量方法。利用IC法测量三种无机离子含量的对照值,结合偏最小二乘(PLS)法建立了三种无机离子的定量分析模型,并对模型进行了评价;利用马氏距离判别法对异常值进行了判别与剔除,并探讨了不同光谱预处理方法和不同光谱范围对建模结果的影响,确定了最佳建模参数。结果表明剔除异常值之后经二阶微分处理的模型预测性能较好,SO2-₄在1 220～900 cm-1光谱范围内预测性能较好,NO-₃在1 521～900 cm-1光谱范围内预测性能较好,NH+₄在1 521～1 220 cm-1光谱范围内预测性能较好,预测均方根误差分别为1.736 7,1.023 9和1.482 3。所建立的模型为实现对大批量气溶胶样品中三种无机离子的实时快速定量分析建立了基础。     

基于光谱相似性度量的光谱成像干扰效果定量评估

利用一种宽波段伪装网和超光谱成像仪进行了光谱成像伪装干扰试验,基于实施干扰前后光谱图像数据光谱特性的变化,利用光谱相似性度量指标,提出了一种用于评估光谱成像干扰效果的光谱距离准则,结合光谱成像伪装干扰试验结果,对该准则的适用性进行了验证分析.结果表明,在试验条件下,有效伪装区光谱图像像元在伪装前后光谱向量之间的光谱距离可达0.14~0.5,具体幅值大小因伪装前的目标特性、伪装网层数、超光谱成像仪增益等因素而异,而非伪装区和无效伪装区光谱图像像元的光谱距离都在0.05以下,可见在对目标实施有效的伪装干扰前后,伪装区像元的光谱距离通常会显著大于非伪装区,而且伪装效果越显著,光谱距离就越大.因此,光谱距离可以定量反映干扰对像元光谱特性的影响,并能鉴别不同干扰效果之间的细微差别,所以可用于定量、客观评估光谱成像干扰效果.     

基于高光谱成像技术的滩羊肉新鲜度快速检测研究

滩羊肉的新鲜度是其品质安全的一个重要衡量指标,也是肉品品质安全控制的关键环节。挥发性盐基氮（TVB-N）是表征肉品腐败过程主要的化学信息,能有效地评价出滩羊肉的新鲜度。然而,TVB-N的传统检测过程繁琐且人为影响因素大,检测结果缺乏客观性和一致性,不能满足当今肉品检测过程无损、快速、高效的需求。高光谱成像技术符合现代检测技术向多源信息融合方向发展的需求,已在食品安全领域得到广泛应用。利用可见/近红外高光谱成像技术（400~1 000 nm）结合动力学和化学计量学方法以及计算机编程技术,将同时实现滩羊肉贮存期内（15 ℃环境）TVB-N 浓度的快速检测和贮藏期的预测。研究中提取每个样品感兴趣区域的平均光谱数据,选用蒙特卡洛算法剔除异常样本。采用X-Y共生距离（SPXY）法划分为校正集和预测集,分别选用多元散射校正（multiplicative scatter correction, MSC）、卷积平滑（savitzky-golay, SG）、标准变量变换（standard normalized variate, SNV）、归一化（normalization）、基线校准（baseline）五种方法对原始光谱数据进行预处理,优选出最佳预处理方法。采用竞争性自适应重加权法（campetitive adaptive reweighted sampling, CARS）和连续投影算法（successive projections algorithm, SPA）分别提取了21个和6个特征波长。为优化模型并提高其模型精度,采用SPA算法对 CARS 所选特征波长进行二次提取,优选出14个特征波长。基于所提取的特征波长建立TVB-N浓度的PLSR模型,优选出 SNV-CARS-SPA-PLSR 模型具有较高的预测能力（R2_c=0.88,RMSEC=2.51, R2_p=0.65, RMSEP=2.11）。同时,建立了滩羊肉TVB-N变化与贮藏时间的动力学模型,并将优化后的光谱模型和动力学反应模型相结合建立了滩羊肉光谱吸光度值与贮藏时间的高光谱动力学模型,实现对贮藏时间的预测,并通过 PLS-DA判别模型对滩羊肉贮藏时间进行判别分析（校正集判别准确率为100%,预测集为97%）。研究表明,利用可见/近红外高光谱成像技术结合动力学和化学计量学方法以及计算机编程技术,可以有效地实现滩羊肉品质智能监控与质量安全快速无损分析,为开发实时在线检测装备提供理论参考。     

近红外光谱测定十八烷基聚氧乙基醚

利用近红外光谱与化学计量学的技术,建立了十八烷基胺聚氧乙基醚校正模型,预测未知样品的叔胺值,获得了成功。交互检验的预测残差平方和(PRESS)确定最佳主因子数为3,PLS回归系数R2=0.9995,经过Mahalanobis距离验证。在车间既定工艺控制下生产的产品测试误差,均在Mahalanobis距离设定的阈值之内。结果可靠且测试稳定,已用于产品的质量监控。     

多种群精英共享遗传算法在异常光谱识别中的应用

提出了一种基于多种群精英共享遗传算法的异常光谱识别方法.该方法应用于红外光谱数据的分析,并在删除异常光谱样本后使用偏最小二乘方法进行建模.与使用蒙特卡洛交叉验证、留一交叉检验、马氏距离以及传统遗传算法进行异常光谱识别的方法相比,所提方法将水分预测模型的预测误差平方和(PRESS)分别降低了72.4%,39.5%,39.5%和14.5%;将脂肪含量的预测模型的PRESS值分别降低了86.2,75.9%,84.9%和19.9%;将蛋白质含量的预测模型的PRESS值分别降低了56.5%,35.7%,35.7%和18.2%.实验表明,所提方法不仅能适应不同成分光谱数据的异常识别,而且删除异常光谱数据后所建立的模型具有较高的预测能力和较好的稳健性.     

透反射近红外光谱法快速测定大豆油中的脂肪酸

应用透反射技术在1 100~2 500 nm波谱段采集大豆油近红外光谱,采用改进的偏最小二乘法算法,建立了近红外光谱快速测定大豆油中五种主要脂肪酸含量的方法。以气相色谱法测定的158个大豆油样品中棕榈酸(C16∶0)、硬脂酸(C18∶0)、油酸(C18∶1)、亚油酸(C18∶2)和亚麻酸(C18∶3)含量作为其化学值,建模集样品数为138,检验集样品数为10,盲样验证集样品数为10;通过对定标模型的优化,五种脂肪酸的交互定标决定系数(1-VR)分别为0.883 9,0.583 0,0.900 1,0.977 6,0.959 6,交互定标标准误差(SECV)分别为0.42,0.29,0.83,0.46,0.21;盲样验证集样品五种脂肪酸的近红外预测值与化学值的相对标准误差均小于5.50%。结果表明,近红外预测值与化学值之间存在较好的线性关系,所建立的方法快速、方便、可靠,可用于大豆油的掺伪鉴别。     

Near-infrared spectroscopy for rapid evaluation of different processing products of Sophora japonica L.

To analyze the content of rutin in differently processed products of Sophora japonica L., a combination of near-infrared spectroscopy and chemometrics was used. Factors that affect near infrared spectroscopy modeling were investigated, and the optimal spectral conditions were determined. As a reference method, the rutin content was determined by high-performance liquid chromatography-diode array detection in 99 groups of products. Near-infrared spectra were collected by optimal near infrared acquisition conditions and the spectral features were enhanced by several preprocessing methods. Moreover, a near-infrared quantitative calibration model of rutin was established using partial least squares analysis. The root-mean-square standard error of cross validation and correlation coefficient (cross validation) were calculated as 0.800 and 0.9399, whereas the root-mean-square standard error of calibration and correlation coefficient (calibration) were 0.558 and 0.9709. This indicates that there is a good correlation between the predicted value and the actual measured value. Moreover, the root-mean-square standard error of prediction and correlation coefficient (validation) were calculated as 0.495 and 0.9785. And the ratio of the root-mean-square standard error of calibration and root-mean-square standard error of prediction was as small as 0.89 (≤1.2). The relative deviation between the predicted value and the reference value of the model was ?11.02 to 8.02%, and the ratio of performance to deviation was 4.70 (>3). Thus, these data indicate that the accuracy of the model used to predict the results was sufficient. In conclusion, the calibration model presented in this study provides satisfactory performance in a rapid, quantitative analysis of the rutin proportion by a simple, fast, and high accuracy of the prediction results.     

近红外光谱法测定紫花苜蓿青贮鲜样的营养价值

应用近红外光谱技术(NIRS)直接分析新鲜饲草的营养价值,如饲草中干物质(DM),粗蛋白(CP),中性洗涤纤维(NDF),酸性洗涤纤维(ADF)含量,对畜牧业生产具有重要意义。鲜草中由于含有较多的水分,不易制备均一的样品和进行光谱中有用信息的提取,因此难于进行近红外光谱分析。本试验应用偏最小二乘回归法(PLS)、傅里叶变换近红外光谱技术和液氮冷冻制样技术,建立了适合于不同品种,不同生育期,不同茬次和不同青贮方法即时测定青贮苜蓿鲜样中DM,CP,NDF,ADF的模型,以期对NIRS在测定紫花苜蓿青贮鲜样品这些成分测定的可行性进行分析。所建DM,CP,NDF和ADF模型的交叉检验决定系数(R2_cv)为0.884 6～0.989 8,交叉检验标准误(RMSECV)为3.9～9.7 g·kg-1鲜重。用50个样品对模型进行外部检验,预测相关系数(r)为0.939 7～0.994 9,预测标准误为1.9～8.3 g·kg-1鲜重。结果表明： 采用适当的样品处理方法和光谱分析技术可以实现近红外光谱技术对苜蓿青贮鲜样的营养价值评定。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

基于漫透射光谱技术的番茄可溶性固形物及总糖含量的无损检测

为了满足果蔬品质快速安全无损检测,基于可见-近红外漫透射原理,设计了番茄专用环形光源,自行搭建了番茄可见-近红外漫透射多品质检测系统,并以可溶性固形物含量(SSC)和总糖(TS)作为内部品质指标,对58个番茄样品进行了快速无损检测研究。基于自主搭建的系统对每个番茄进行四点的光谱采集,对平均后的光谱分别用15点SG卷积平滑(SG-Smooth)、标准正态变量变换(SNV)、多元散射校正(MSC)、一阶导数(FD)等方法进行了预处理,分别建立了SSC及TS的偏最小二乘预测模型,并对该模型进行了验证。结果表明：采用15点SG平滑预处理后的SSC预测模型校正集和预测集相关系数分别为0.995 6和0.976 0,均方根误差分别为0.052 4°Brix和0.082 3°Brix。采用SG平滑后一阶导数预处理的TS预测模型校正集和预测集相关系数分别为0.969 1和0.972 9,均方根误差分别为0.423 8%和0.454 9%。模型验证结果显示,番茄SSC和TS模型预测结果与标准理化值相关系数分别为0.985 5和0.944 9,均方根误差分别为0.066 3°Brix和0.571 5%。利用自行搭建的可见-近红外漫透射光谱检测系统完全可以实现番茄可溶性固形物及总糖含量的快速无损预测,为番茄内部品质的评价提供了实时、无损、快速的检测方法,为其在线分级提供理论基础。     

近红外漫反射光谱法预测紫花苜蓿草颗粒营养价值

研究旨在探讨利用紫花苜蓿草颗粒样品的近红外漫反射光谱信息,建立能够预测其营养价值的校正模型。采集22份全株草颗粒、19份茎颗粒、19份叶颗粒共60份紫花苜蓿草颗粒样品,其中建模样品45份,检验样品15份。利用傅里叶变换近红外漫反射光谱技术(FT-NIRS)采集各实验样品的近红外漫反射光谱,运用偏最小二乘法(PLS)建立了紫花苜蓿草颗粒粗蛋白(CP)、中性洗涤纤维(NDF)和酸性洗涤纤维(ADF)含量的预测模型。3个预测模型的校正模型建模效果均较好,其交叉检验相关系数(R_CV)为0.964 10～0.968 87,交互验证的残差均方根(RMSECV)为0.80%～2.59%。用15个检验样品对模型进行外部检验,预测相关系数(r)为0.966 9～0.974 3,外部验证的残差均方根(RMSEP)为0.85%～2.07%。所建模型的交叉检验和外部检验RPD均大于3,表明近红外光谱分析技术可以准确地预测紫花苜蓿草颗粒的营养价值。     

应用近红外光谱技术快速检测果醋糖度

为了对果醋糖度值进行快速准确检测,应用近红外光谱技术并结合最小二乘支持向量机分析方法建立了果醋糖度检测模型.应用近红外透射光谱获取五种类型共计300份果醋样本的光谱透射曲线,利用主成分分析方法对原始光谱数据进行降维处理,根据主成分的累计贡献率选取6个主成分.选取的主成分即作为光谱优化特征子集以替代原来复杂的光谱数据.随后将300份果醋样本数据随机分为定标集和预测集,利用最小二乘支持向量机在225个定标集样本数据基础上建立起果醋糖度预测模型,应用此模型对75个预测集样本进行糖度预测.根据预测均方根误差(RMSEP)和预测结果的相关系数(r)对预测模型进行评价,利用此模型得到的样本糖度预测值r=0.993 9,RMSEP=0.363,均达到了较好的预测效果.     

基于近红外光谱和变量优选的棉麻混纺织物棉含量快速检测

纺织品纤维成分的快速检测对其生产过程质量监控、贸易和市场监督均具有重要的意义。利用近红外光谱技术联合变量优选对棉麻混纺织物中的棉含量进行快速检测研究。采用NIRFlex N-500型傅里叶近红外光谱仪在4 000～10 000 cm-1光谱范围内采集样本的反射光谱,对样本光谱进行范围初选和预处理分析。在此基础上,利用UVE(uninformative variables elimination),SPA(successive projections algorithm)及CARS (competitive adaptive reweighted sampling)方法对光谱变量进行优选,再应用PLS(partial least squares)建立棉麻混纺织物中的棉含量预测模型。最后,采用最优预测模型对未参与建模的样本进行预测。研究结果表明,4 052～8 000 cm-1光谱范围为棉含量较优的建模光谱范围。CARS变量选择方法能较为有效地提高预测模型的精度,CARS-PLS模型的校正集、预测集相关系数和均方根误差分别为0.903,0.749和8.01%,12.93%。因此,近红外光谱联合CARS变量优选可以用于棉麻混纺织物棉含量的快速检测,CARS方法可以有效简化预测模型,提高预测模型性能。     

扫描次数对番茄叶漫反射光谱和模型精度的影响研究

近红外光谱分析技术因其诸多优点成为近年来发展最快的定量和定性分析技术之一,它是依据有机分子中的含氢基团(C—H, O—H, N—H)振动的合频与各级倍频的吸收获得信息。但是,近红外光谱易受到光谱仪的工作状态和扫描时各种参数的设置,如波长的准确性、仪器的分辨率、噪声、扫描次数、样品粒度的均匀性等的影响。为了给建立实际模型时选择最佳的测量条件提供依据,文章以番茄叶为研究对象,分析了扫描次数对番茄叶漫反射光谱和叶绿素定量模型精度的影响。结果发现扫描次数对番茄叶漫反射光谱和模型精度有较大的影响。随着扫描次数的增加,近红外光谱的均方根噪声的方差值逐渐变小。扫描次数越多,光谱的质量较高,但是仪器产生的系统误差也会增大;扫描次数越少, 光谱的质量较差,但是光谱较为光滑,系统的误差较小。在128次扫描次数下,叶绿素定量模型的决定系数较高,但是模型不稳定。当扫描次数为32时,模型的决定系数较低,但该模型比较稳定,检测时间也较短。同时,不同扫描次数下所建模型都用于预测叶绿素含量,发现没有显著差异(α＝0.05)。在采集光谱建立模型时,应考虑综合因素选择合适的扫描次数。