基于稀疏非负矩阵分解和支持向量机的海洋溢油近红外光谱鉴别分析

提出一种海洋溢油近红外光谱特征提取与种类鉴别新方法.海面溢油种类鉴别对现场应急处置方案的制定和可疑溢油源的追踪具有重要意义.采用傅里叶变换近红外光谱仪测定汽油、柴油、煤油三类模拟海洋溢油样本的近红外光谱,基于稀疏非负矩阵分解算法对光谱进行特征提取,采用五重交义检验,对210个样本进行训练,建立基于支持向量机的溢油光谱定...     

水体COD的光谱学在线测量方法-紫外和近红外光谱比较分析

水体COD的光谱学传感技术是现代环境监测的一个重要发展方向, 与传统的分析方法相比,光谱分析技术更具有可连续监测、可在线监测和检测快速的明显优势,适合对环境水样COD的定点实时监测。分别获取水样的紫外吸收光谱和近红外光谱,通过不同的光谱预处理方法结合偏最小二乘法、多元线性回归法建立水样的COD定量预测模型,对水体COD的紫外和近红外光谱的定量预测及相关模型参数进行分析,发现用S-G平滑处理后的紫外光谱和近红外光谱建立的PLS模型均得到最佳预测效果,预测集R2分别为0.992 1和0.987 7,RMSEP分别为10.438 6和5.972 0。紫外和近红外光谱法的MLR模型预测效果较差,预测集R2分别为0.928 0和0.957 3。通过实验结果综合对比分析,紫外吸收光谱在280～310 nm谱区建模预测性能较好,近红外光谱在7 250～6 870 cm-1谱区建模预测性能较好,紫外光谱对应定量预测模型的决定系数较高,而近红外光谱的稳定性和重复性更好。研究表明光谱传感技术可用于环境实际水体COD的定量预测分析,为开发便携式水体检测设备奠定了理论基础。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

基于有约束非负矩阵分解的原稿基色色料光谱预测方法

针对直接在光谱反射率空间,对原稿颜色样本光谱的主成分分析会导致特征向量的数目超过真实物理维度(原稿所用基色色料)的数量,以及特征向量和对应系数存在负值,不能直接表示原稿基色色料的光谱特性和对应浓度等情况。创新性的提出需根据原稿色料的光学特性建立一个完全线性的光谱空间,并在该空间中使用带约束条件的非负矩阵分解实现对原稿基色数量和光谱形状进行预测的方法。对此,首先设计了一个实现对原稿基色色料光谱预测方法的总体研究方案和实现步骤,再以透明色料原稿为例,研究如何选择和构建一个符合其光学特性的光谱线性空间,然后再在基本非负矩阵分解(BNMF)基础上提出针对基色色料光谱预测的有约束非负矩阵分解算法(SCNMF)。针对BNMF算法会出现多重最优解,为了提高预测精度,使矩阵分解结果有明确的物理意义,所提出的SCNMF算法需要满足4个约束条件：非负性约束;全加性约束;平滑性约束;稀疏性约束。建立了满足约束条件的目标函数和迭代算法。预测结果表明本文提出的新方法能有效的实现对原稿基色物理维度和基色色料光谱的准确预测。     

应用近红外光谱技术快速检测果醋糖度

为了对果醋糖度值进行快速准确检测,应用近红外光谱技术并结合最小二乘支持向量机分析方法建立了果醋糖度检测模型.应用近红外透射光谱获取五种类型共计300份果醋样本的光谱透射曲线,利用主成分分析方法对原始光谱数据进行降维处理,根据主成分的累计贡献率选取6个主成分.选取的主成分即作为光谱优化特征子集以替代原来复杂的光谱数据.随后将300份果醋样本数据随机分为定标集和预测集,利用最小二乘支持向量机在225个定标集样本数据基础上建立起果醋糖度预测模型,应用此模型对75个预测集样本进行糖度预测.根据预测均方根误差(RMSEP)和预测结果的相关系数(r)对预测模型进行评价,利用此模型得到的样本糖度预测值r=0.993 9,RMSEP=0.363,均达到了较好的预测效果.     

基于NMF-PLS对含水量影响下土壤重金属含量反演模型研究

土壤中过高的重金属含量危害巨大,不仅造成了严重的环境污染,而且通过食物链进入人体对人体健康造成严重威胁,所以对重金属检测十分重要。X射线荧光光谱法具有检测时间短、无损检测、检测成本低等特点被广泛使用,然而检测的光谱数据因受到土壤含水量因素的严重干扰,导致直接对土壤重金属含量估算精度较低。以河北省保定市满城区土样为研究对象,对采集的土样进行除杂、过筛、烘干后加入一定量重金属溶液制备不同含水量不同重金属的样本进行检测。对实验中异常数据计算了马氏距离和进行NJW聚类予以剔除,分析了土壤含水量对土壤重金属光谱的影响,结果表明不同含水量间光谱重复性差,随着土壤含水量的增加光谱强度呈非线性降低。采用Savitzky-Golay卷积平滑去噪法和线性本底法对光谱进行预处理,以解决因环境、仪器本身带来的噪声和基线漂移等问题。然后针对于土壤含水量这一主要干扰,采用非负矩阵分解算法进行处理,并使用峰值信噪比这一评价模型确定端元数目,结果表明当端元数目增至10时峰值信噪比趋于稳定波动很小,非负矩阵分解处理后相同重金属含量不同含水量间光谱重复性好、相似性好,并计算了光谱间的相关系数进一步证明了光谱间的相似性。去除含水量对于光谱干扰后建立了偏最小二乘法预测模型,为了验证预测模型的精度,建立了未去除含水量的偏最小二乘法预测模型和使用外部参数正交化法去除含水量建立的偏最小二乘法预测模型,并使用评价参数决定系数(R2)、交叉验证均方根误差(RMSECV)、平均绝对误差(MAE)和相对分析误差(RPD)进行评价。验证结果表明,相比较未去除含水量建立的模型,使用非负矩阵分解去除含水量建立的偏最小二乘法模型R2和RPD分别提高了0.019 7和1.029 2,RMSECV和MAE分别降低了2.386 3和1.439 6;相对于外部参数正交化法建立的偏最小二乘法模型,R2和RPD分别提高了0.009 9和0.108 1,RMSECV和MAE分别降低了0.244 7和0.356 6,说明了经过非负矩阵分解去噪后建立的模型有效提高了预测的精度和鲁棒性。非负矩阵分解可以有效消除土壤含水量对光谱的影响,在此基础上建立的偏最小二乘法模型实现了土壤重金属含量的反演,为重金属定量检测提供了一定的技术支持。     

应用近红外高光谱成像技术预测甘蔗可溶性固形物含量

为了探究应用近红外高光谱成像技术对甘蔗内部可溶性固形物（SSC）预测的可行性,试验样本选择三种不同品种中的240个甘蔗节作为研究对象。通过高光谱成像系统获取甘蔗节的近红外光谱信息和图像信息,并分别探讨了光谱信息和图像纹理信息对甘蔗可溶性固形物预测的可行性。采用最小二乘回归（PLSR）,最小二乘支持向量机（LS-SVM）及主成分回归（PCR）建模方法构建甘蔗可溶性固形物的预测模型。比较了连续投影算法（SPA）、无信息变量消除算法（UVE）及区间偏最小二乘（iPLS）特征提取方法对预测结果的影响。实验结果表明：基于甘蔗的光谱信息能实现可溶性固形物的预测,其中偏最小二乘回归模型的建模集和预测集的相关系数分别为0.879和0.843,均方根误差分别为0.644和0.742。通过UVE算法提取105个有效波长所建立的PLSR模型的建模集及预测集相关系数分别为0.860和0.813,均方根误差分别为0.693和0.810。     

基于LS-SVM紫外可见光谱检测水产养殖水体COD研究

采用紫外可见(ultraviolet/visible,UV/Vis)光谱技术对水体中有机物浓度的指标化学需氧量(chemical oxygen demand,COD)进行快速检测,将收集到的135份水样进行UV/VIS波段全光谱扫描,应用Savitzky-Golay (SG)平滑算法,经验模态分解算法(empirical modedecomposition,EMD)和小波分析(wavelet transform,WT)对提取出的光谱数据进行去除噪声处理,为了简化模型,PLSR建模得到的6个潜在变量(LVs)作为偏最小二乘支持向量机(LS-SVM)的输入建立COD预测模型,LS-SVM模型的预测集决定系数r2为0.82,预测均方根误差RMSEP为14.82 mg·L-1。说明使用LVs作为LS-SVM建模输入,可以准确快速检测水产养殖水体中的COD含量,为将来实现水产养殖水质COD含量的在线检测以及其他水质参数的快速测定奠定了基础。     

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究

应用遗传算法结合连续投影算法近红外光谱检测土壤有机质研究。采集浙江省文城地区农田土壤样品近红外光谱数据,土壤样品数为394个。为简化模型,采用遗传算法结合连续投影算法挑选出18个特征波长建模,应用偏最小二乘回归建立有机质预测模型,建模集的决定系数为0.81,均方根预测误差为0.22, 剩余预测偏差为2.31,预测集的决定系数为0.83,均方根预测误差为0.20,剩余预测偏差为2.45。研究发现,遗传算法结合连续投影算法在简化模型同时,模型的预测评价指标同采用全谱波长建模并没有明显降低。因此,遗传算法结合连续投影算法挑选的特征波长可以应用于近红外光谱检测土壤有机质含量。     

基于非负矩阵分解的印刷品原稿原色油墨光谱预测方法

实现半色调印刷品原稿的光谱复制技术其前提要确定原稿所用油墨数目及油墨成份，但目前应用于印刷品原稿原色油墨光谱预测的算法还有待研究，且已有的基色色料光谱预测方法存在诸多弊端。针对这一问题在非负矩阵分解算法基础上结合印刷品原稿光学特性，创新的提出了一种基于约束条件非负矩阵分解的油墨光谱预测算法ISPNMF，和对黑色油墨光谱预测结果优化的算法。ISPNMF算法克服了基本非负矩阵分解有多重最优解和局部极小值的缺陷，实现了预测算法唯一的全局最优解。黑色油墨预测光谱优化的算法克服了彩色油墨对光线混合吸收给黑色油墨预测带来的干扰，能优化得到逼近于实际黑色油墨光谱的预测值。使用Konica Minolta C1085和HP indigo5600两台四色数码印刷机及其自身配备的墨粉和墨膏来摸拟不同品牌的油墨，在230 g白卡纸上打印 IT8.7/3色标，并使用X-rite i1 Pro2获取两样张的光谱反射率作为实验数据样本，来探究并验证算法的准确性和实用性。实验结果表明，在印刷品原稿线性经验空间中能准确预测原稿所用原色油墨数目和油墨光谱，且彩色油墨预测光谱与实际使用的油墨光谱相比其拟合度均高达99.9%，光谱角距离均小于0.045，黑色油墨的预测光谱经优化后与实际油墨光谱拟合度也高达99.9%。这说明该算法不仅能实现对印刷品原稿原色油墨的准确预测，而且可以精确匹配实际使用的原色油墨，对实现印刷品原稿的光谱复制技术有重要意义。     

基于偏最小二乘法判别分析与随机森林算法的牛肝菌种类鉴别

牛肝菌作为一种著名的野生食用菌,具有较高的食用价值和经济价值.牛肝菌种类繁多,不易区分,建立一种有效、快速、可信的种类鉴别技术,可为牛肝菌提高品质提供一种方法.本研究采集云南不同地区7种野生牛肝菌共计683株,获取样品中红外光谱和紫外光谱,分析不同种类牛肝菌平均光谱图特征.基于多种预处理组合(SNV+SG,2D+MSC...     

Research on exponential regularization approach for nonnegative Tucker3 decomposition

Methods of nonnegative tensor factorization (NTF), such as NTF1, NTF2, etc., are extension of nonnegative matrix factorization (NMF) for multi-way data analysis. As an existing NTF method, nonnegative Tucker3 decomposition (NTD) is researched for three-way decomposition in this paper. Firstly, an approach utilizing matrix exponentials built on Tikhonov-type regularization to enforce sparseness is proposed to extract image features instead of exclusively using Tucker tensor decomposition. Meanwhile, updating algorithms, derived from updating rules of NMF, are allowed to efficiently implement updating of mode matrices and core tensors alternatively for accuracy. Then, experimental cases of alternating least squares (ALS) and conjugate nonnegative constraints, called nonnegative alternating least squares (NALS), are studied to remedy data overfitting in computing procedures. Lastly, the proposed method exhibits more advantageous results than other algorithms of Tucker3 for feature extraction, thanks to computer simulations performed in the context of data analysis.     

近红外光谱的河蟹新鲜度快速检测研究

河蟹的新鲜度是大多数消费者在购买时所考虑的最重要的因素,挥发性盐基氮(TVB-N)是当前国际通用的评价肉类新鲜度的指标,但其检测工序繁琐、耗费时间长,无法满足当前市场对河蟹新鲜度评价的迫切需求。因此,建立一种快速检测河蟹新鲜度的方法是当前急需解决的一大难题。将购于水产市场的河蟹,采用聚乙烯充氧袋快速运至实验室,样本数共126只。在洁净的工作台上处理后,将螃蟹分为42个实验样品,每个样品3只鲜活螃蟹;42个实验样品放在低温4℃的恒温生化培养箱中贮藏,每天从培养箱中按时取出6个螃蟹样品进行光谱数据采集及新鲜度指标TVB-N的测定,历时7 d。采用近红外光谱(NIRS)对贮藏在不同时间下的河蟹新鲜度进行评价,使用挥发性盐基氮(TVB-N)作为评价河蟹新鲜度的指标,首先通过比较经五折交叉验证(5-fold CrossValidation)算法、 kennard-stone(KS)算法、光谱-理化值共生距离(SPXY)算法三种样本划分方法处理后所建模型的预测效果确定最优样本划分方法,最终采用五折交叉验证(5-fold CrossValidation)算法对样本进行划分。其中的32个样品被划分为训练集进行模型构建,其余的10个样品被划分为测试集用于模型检验。然后在经过五折交叉验证法对样本进行划分的基础上,分别采用小波变换(WT)、 Savitzky-Golay平滑、一阶导数法(Db1)、二阶导数法(Db2)这4种单一算法以及小波变换(WT)与Savitzky-Golay平滑相结合的算法进行预处理,通过比较预处理后所建模型的预测效果,确定了小波变换(WT)预处理为最优光谱预处理方法,从而消除了光谱中的无用信息并提高了信噪比。再次,在WT预处理的基础上,分别采用主成分分析(PCA)法和连续投影(SPA)算法提取光谱特征波段,通过建模比较确定主成分分析(PCA)法为最优波长选择方法,以所选的16个特征波长作为模型的输入,不仅提高了模型的运行速度还可以提高模型的稳定性。最后,在经过PCA特征提取后,分别采用偏最小二乘回归(PLSR)算法和多元线性回归(MLR)算法构建TVB-N定量预测模型,通过比较两种模型的预测效果,确定了偏最小二乘回归(PLSR)模型为最优建模方法,最终确定的最优模型为基于WT-PCA-PLSR建立的模型,模型预测决定系数R^2为0.89,预测均方根误差RMSEP为3.00。综上所述,所建立的预测模型具有较高的精度,可以实现对河蟹新鲜度的快速检测,具有较好的市场应用前景。     

相关向量机在污水硝氮检测中的应用

针对地表水质的复杂性以及紫外光谱数据维数高、谱带重叠严重的特点,提出将相关向量机算法应用于硝氮的连续紫外光谱分析,实现了对实际污水硝氮的快速准确无污染检测。首先介绍了相关向量机算法原理,然后在分析制药污水紫外吸收光谱的基础上选取230～245 nm紫外吸光度数据用于建模,应用多元线性回归、偏最小二乘方法、经典支持向量机方法(SVM)和相关向量机方法分别建立硝氮回归模型并比较分析模型性能。实验结果表明：相关向量机模型预测更准确,模型更稀疏,预测速度快,检测结果的相对满量程误差控制在4.5%以内,适用于对复杂组成成分的实际污水硝氮的有效快速检测。     

LSSVM模型下的近红外光谱联合区间波长筛选方法

针对传统近红外光谱波长选择方法忽略模型中非线性因素的缺陷,采用具有非线性处理能力的最小二乘支持向量机,结合间隔策略的波长选择方法和联合区间的思想,提出了一种非线性模型下的波长筛选算法—联合区间最小二乘支持向量机(synergy interval least squares support vector machines, siLSSVM)。以苹果糖度近红外光谱数据为例,与传统siPLS波长筛选方法相比,新算法的预测集均方根误差(RMSEP)在PLS模型和LSSVM模型预测时分别提高了37.43%和47.88%,预测集相关系数(RP)在PLS模型和LSSVM模型预测时分别增加了6.04%和7.31%。实例表明,对于存在非线性因素较强的光谱数据,siLSSVM算法能够有效的挑选最优波长区间与提高模型的预测精度和鲁棒性,为近红外光谱在非线性因素下筛选波长提供了新前景。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

Selection of near infrared spectral information based on section combination moving window partial least squares北大核心CSCD

Selection of near infrared spectral information is research focus on the application of NIR, which enable to simplify the model and improve accuracy of prediction. Aiming at selecting optimal modeling spectral width of near infrared spectroscopy, section combination moving window partial least squares (SCMWPLS) is proposed in this paper. This method selects continuous modeling screened interval.by continuously varying size of moving window and cross validation. Taking Glucose solution near-infrared spectroscopy as test specimen, near infrared prediction models are established respectively by proposed method, and traditional interval partial least squares (IPLS) and moving window partial least squares (MWPLS). Comparing proposed method with two traditional methods, squares prediction RMSE is decreased by 44% and 25% respectively. © 2017, Editorial Board, Journal of Applied Optics. All right reserved.