基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组。基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合。通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制非目标区域信息。以端到端识别网络作为基础,利用交叉损失计算策略,对含有注意力掩码的多尺度双频段融合特征图进行目标识别。结果表明,所设计的识别网络能够有效地融合目标红外热源物理特征和可见光图像纹理特征,提高了信息融合深度,保留目标热辐射与纹理特征的同时降低了背景信息干扰,对全天候复杂环境下的多尺度热源目标具有良好的识别精度与鲁棒性。     

基于Shearlet变换的自适应图像融合算法

针对多聚焦图像与多光谱和全色图像的成像特点,结合Shearlet变换具有较好的稀疏表示图像特征的性质,提出了一种新的图像融合规则.并基于此融合规则,提出了基于Shearlet变换的自适应图像融合算法.在多聚焦图像的融合算法中,分别对聚焦不同的图像进行Shearlet变换,并基于本文提出的融合规则,对分解后的高低频系数进行融合处理. 通过与多种算法的比较实验证明了本文提出的算法融合的图像具有更高的清晰度和更加丰富的细节信息.在多光谱和全色图像的融合处理中,提出了一种基于Shearlet变换与HSV变换相结合的图像融合方法.该算法首先对多光谱图像作HSV变换,将得到的V分量与全色图像进行Shearlet分解与融合,在融合过程中对分解系数选用特定的融合准则进行融合,最后将融合生成新的分量与H、S分量进行HSV逆变换产生新的RGB融合图像. 该算法在空间分辨率和光谱特性两方面达到了良好的平衡,融合后的图像在减少光谱失真的同时,有效增强了空间分辨率. 仿真实验证明,本文算法融合的图像与传统的多光谱和全色图像融合算法相比,具有更佳的融合性能和视觉效果.     

基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于非负矩阵分解和广义判别分析的掌纹识别

非负矩阵分解(NMF)具有非负性和局部性的特点,是一种新型的特征提取方法.由于NMF是非监督学习算法,运用NMF提取掌纹特征时没有考虑训练样本的类别信息,因而分类效果不够理想.为了在提取掌纹特征的同时融人类别信息,提出运用非负矩阵分解和广义判别分析(GDA)相结合的方法进行掌纹识别.为了降低计算的复杂性,在特征提取之前,应用小波变换对掌纹图像进行三级分解,提取低频子图像.在低频子图像上应用NMF+GDA提取掌纹特征,计算特征向量间的余弦距离进行掌纹匹配.运用PolyU掌纹图像库进行测试.结果表明,与主元分析(PCA)、独立元分析(ICA)和NMF相比,算法的等误率(EER)最低为0.16%,特征提取和匹配总时间为0.812 s,满足实时系统的要求.     

一种基于区域的NSCT域多光谱与高分辨率图像融合算法

提出了一种基于多阈值分割和无下采样Contourlet变换(Nonsubsampled Contourlet Transform,NSCT)的多光谱与高分辨率图像融合算法.对多光谱图像进行多阈值分割,并利用提出的区域均值比指标将多光谱图像划分为需要进行空间细节增强及需要保持光谱特征的区域;然后利用NSCT对高分辨率图像和多光谱图像的强度分量进行多尺度、多方向分解.分解后的低频部分采用基于窗口邻域的融合规则和算子进行融合,高频部分按区域均值比指标进行区域融合;最后进行重构得到融合后的多光谱图像的强度分量,经IHS逆变换后得到高分辨率的多光谱图像.实验结果表明,该算法可获得较理想的融合图像,融合效果优于IHS变换法、基于像素的à trous小波变换法以及基于像素的NSCT法.     

2D经验模态分解与非下采样方向滤波器组的红外与可见光图像融合算法

针对当前红外(IR)与可见光(VI)图像融合中细节保留能力不足及目标配准精度不高的问题,设计了一种多尺度2D经验模态分解耦合非下采样方向滤波器组(NSDFB)的红外与可见光图像融合算法。分别计算红外与可见光图像的熵值,并比较二者阈值的大小,计算阈值较大图像的残差。通过2D经验模态分解(2D-EMD)和NSDFB机制,构建了多尺度方向分解模型,将熵值较大图像的残差和熵值较小的图像变换为高频方向系数与低频系数,以获得源图像的细节和特征信息。对于低频系数,引入加权平均作为低频系数的融合准则;根据区域能量对比度与清晰度来定义融合规则,完成高频系数的融合。利用2D-EMD多尺度分解逆变换将获取的低频与高频系数生成新图像。实验表明:与当前常用红外与可见光图像融合对比,所提算法具有更高的融合质量,所输出的图像具有更好的对比度与丰富的细节信息。     

偏振光谱多维信息的重构融合算法

针对传统光学手段难以实现复杂背景下光谱伪装目标的准确识别,同时,常规的数据融合方法易导致图像信息丢失的缺点,提出了一种基于非下采样轮廓波变换的偏振光谱多维信息融合方法。该方法结合自研的新型偏振光谱多维信息探测仪器,根据其获取的目标空间、光谱、偏振等多维信息,设计了多维信息重构算法流程,提取了偏振态基础数据斯托克斯参量以及偏振度和偏振角,利用NSCT对基础偏振参量进行图像融合,提升图像的信息含量以提高伪装物的识别准确率。先对具有相同边缘信息的图像Q和U采用NSCT分解,低通子带取均值,高通子带取最大值进行初步融合,获得偏振特征S,最后对偏振特征S、强度图像I以及偏振度DoLP进行NSCT分解,对分解所得低通子带进行区域能量加权融合;对高通子带,根据偏振特征图像具有灰度值小,受光照影响大等特点,采用LBP特征进行加权融合。同时,本方法与四类融合方法进行对比,据信息熵、标准差、平均梯度、对比度以及峰值信噪比五项指标对融合结果进行客观评价,并结合普通图像,偏振融合图像,偏振高光谱图像对目标识别精度进行对比。融合后的图像信息熵为6.998 6,标准差为45.599 8,平均梯度为19.808 6...     

基于波段调制的HOSVD多光谱人脸识别

通过分析影响多光谱人脸识别的两个重要因子:皮肤的物理特性和传感器的系统响应特性,提出了基于波段调制的高阶奇异值分解多光谱人脸识别算法.该算法考虑到各波段上数据信息的差异性,用加权融合方法对多光谱图像光谱维进行单独处理,保留了光谱维更多的信息量.仿真结果表明,基于波段调制的高阶奇异值分解方法可应用于多光谱人脸识别,与未考虑波段特性的单波段积融合高阶奇异值分解、单波段和融合高阶奇异值分解相比有较高的识别结果.     

结合多元经验模态分解和加权最小二乘滤波器的遥感图像融合

为了提高多光谱图像的空间分辨能力的同时更大程度地保持光谱信息,提出了结合多元经验模态分解和加权最小二乘滤波器的遥感图像融合方法.多元经验模态分解解决了传统的基于单变量经验模态分解的遥感图像融合方法中多光谱图像的亮度分量和全色图像分解出的子图像频率不匹配导致融合图像空间细节信息缺失问题,加权最小二乘滤波器可以精确地估计出源图像的低频信息继而得到高频信息,减小了传统的经验模态分解方法估计的高频信息中混有低频成分而导致的光谱失真问题.将两者的优点结合,采用不同的融合规则得到的融合图像在空间细节和光谱信息的保持度较好.选取多组不同卫星数据进行仿真实验,并与结合多元经验模态分解和àtrous小波变换的方法以及基于加权最小二乘滤波器的遥感图像融合方法等方法进行比较,实验结果表明本文方法在光谱质量和空间分辨率方面都取得了很好的性能.     

大豆冠层多光谱图像提取方法

为解决大豆冠层在近地端的多光谱图像边缘灰度不均,目标与背景之间灰度差别小,难以准确高效地获取大豆冠层目标区域的难题,将多光谱成像处理技术与经典图像分割方法有机融合,提出基于多光谱图像处理技术的大豆冠层提取方法。以东北大豆为对象,通过Sequoia多光谱相机采集绿光、近红外、红光、红边和可见光五类大豆多光谱图像,采用高斯平滑滤波法对原始大豆多光谱图像进行预处理,分析多光谱图像中大豆冠层和背景的灰度直方图分布特性,在此基础上利用迭代法、Otsu法和局部阈值法提取原大豆多光谱图像中冠层区域,并以图像形态学开运算处理细化和扩张背景,避免图像区域内干扰噪声对大豆冠层识别效果的影响,同时以有效分割率、过分割率、欠分割率、信息熵以及运行时间等为监督指标,对大豆冠层多光谱图像识别模型进行效果评价。大豆冠层识别模型中迭代法可以有效分割近红外和可见光大豆冠层图像,有效分割率分别为97.81%和87.99%,对绿光、红光和红边大豆冠层图像分割效果较差,有效分割率低于70%;Otsu法和局部阈值法可以有效分割除红光波段的其余四种多光谱大豆冠层图像,且有效分割率均在82%以上;三种算法对红光大豆冠层图像的有效分割率均低于20%,未达到较好效果。在原始多光谱图像中应用迭代法、Otsu法和局部阈值法提取大豆冠层图像与标准图像的信息熵平均值波动幅度分别为：0.120 1,0.054 7和0.059 8,其中Otsu法和局部阈值法较小,表明了对于大豆冠层多光谱图像识别中两种算法的有效性。该算法中Otsu法和局部阈值法均可以有效提取绿光、近红外、红边和可见光等多光谱的大豆冠层图像,二者较为完整地保留了大豆冠层信息,其中Otsu法实时性能较局部阈值法更好。该成果为提取农作物冠层多光谱图像提供理论依据和技术借鉴。     

基于I-BGLAM纹理和光谱融合的高光谱显微成像木材树种分类

为了提高木材树种分类的正确率,提出了一种基于I-BGLAM纹理特征和光谱特征融合的高光谱图像的木材树种分类方法。实验数据是利用SOC710VP高光谱成像仪获取的可见光/近红外（372.53~1 038.57 nm）范围内的高光谱图像。首先,利用基于OIF的特征波段选择方法降低高光谱图像的维数,选择出含有信息量大的波段。其次,对选择出的波段图像使用NSCT及NSCT逆变换得到融合图像,对得到的融合图像使用I-BGLAM提取其纹理特征。与此同时,对高光谱图像的全波段求取平均光谱并进行S-G（Savitzky-Golay）平滑得到光谱特征。最后,将得到的纹理特征和光谱特征融合后送进极限学习机（ELM）中进行分类。此外,还和基于灰度共生矩阵（GLCM）的木材识别的传统方法以及近几年木材树种识别领域内被提出的主流方法进行了比较。该研究主要创新点有两个：一是将强纹理提取器I-BGLAM用于高光谱图像中提取其纹理特征;二是提出一种新的特征融合的模型用于高光谱图像的分类。针对8个树种的实验结果表明,单独使用I-BGLAM提取的纹理特征来进行分类的正确率最高可到达88.54%,而使用GLCM提取纹理特征的传统方法正确率最高只有76.04%,该结果可以得出本文使用I-BGLAM在纹理特征提取方面要优于GLCM,这为后面建立的融合模型打下很好的基础,单独使用平均光谱特征来分类的正确率最高可以达到92.71%,使用所提出的特征融合方法所得到的分类正确率最高可达到100%,这说明使用所提出的融合模型来分类要比以前单独使用某一种特征的分类模型要好。此外,使用所提出的方法得到的分类正确率要高于本领域内其他两种主流的识别方法。因此,所提出的基于I-BGLAM纹理特征和光谱特征融合的方法能够提高木材树种分类的正确率,该方法在木材树种分类方面有着一定的利用价值。     

Feature fusion of palmprint and face via tensor analysis and curvelet transform

In order to improve the recognition accuracy of the unimodal biometric system and to address the problem of the small samples recognition, a multimodal biometric recognition approach based on feature fusion level and curve tensor is proposed in this paper. The curve tensor approach is an extension of the tensor analysis method based on curvelet coefficients space. We use two kinds of biometrics: palmprint recognition and face recognition. All image features are extracted by using the curve tensor algorithm and then the normalized features are combined at the feature fusion level by using several fusion strategies. The k-nearest neighbour (KNN) classifier is used to determine the final biometric classification. The experimental results demonstrate that the proposed approach outperforms the unimodal solution and the proposed nearly Gaussian fusion (NGF) strategy has a better performance than other fusion rules.     

Multi-focus image fusion based on window empirical mode decomposition

In order to improve multi-focus image fusion quality, a novel fusion algorithm based on window empirical mode decomposition (WEMD) is proposed. This WEMD is an improved form of bidimensional empirical mode decomposition (BEMD), due to its decomposition process using the adding window principle, effectively resolving the signal concealment problem. We used WEMD for multi-focus image fusion, and formulated different fusion rules for bidimensional intrinsic mode function (BIMF) components and the residue component. For fusion of the BIMF components, the concept of the Sum-modified-Laplacian was used and a scheme based on the visual feature contrast adopted; when choosing the residue coefficients, a pixel value based on the local visibility was selected. We carried out four groups of multi-focus image fusion experiments and compared objective evaluation criteria with other three fusion methods. The experimental results show that the proposed fusion approach is effective and performs better at fusing multi-focus images than some traditional methods.     

Image fusion using non-separable wavelet frame

In this paper, an image fusion method is proposed based on the non-separable wavelet frame (NWF) for merging a high-resolution panchromatic image and a low-resolution multispectral image. The low-frequency part of the panchromatic image is directly substituted by multispectral image. As a result, the multispectral information of the multispectral image can be preserved effectively in the fused image. Due to multiscale method for enhancing the high-frequency parts of the panchromatic image, spatial information of the fused image can be improved. Experimental results indicate that the proposed method outperforms the intensity-hue-saturation (IHS) transform, discrete wavelet transform and separable wavelet frame in preserving spectral and spatial information.     

Palmprint recognition based on the representation in the feature space

In this paper, we propose a palmprint recognition method based on the representation in the feature space. The proposed method seeks to represent the test sample as a linear combination of all the training samples in the feature space and then exploits the obtained linear combination to perform palmprint recognition. We can implement the mapping from the original space to the feature space by using the kernel functions such as radial basis function (RBF). In this method, the selection of the parameter of the kernel function is important. We propose an automatic algorithm for selecting the parameter. The basic idea of the algorithm is to optimize the feature space such that the samples from the same class are well clustered while the samples from different classes are pushed far away. The proposed criterion measures the goodness of a feature space, and the optimal kernel parameter is obtained by minimizing this criterion. Experimental results on multispectral palmprint database show that the proposed method is more effective than 2DPCA, 2DLDA, AANNC, CRC_RLS, nearest neighbor method (NN) and competitive coding method in terms of the correct recognition rate.     

采用特征融合的紫檀属内相似树种识别方法研究

紫檀属中的木材有很多属于名贵木材,不同树种之间十分相似。传统的木材识别方法多以木材解剖学为主,通过观察木材的切片结构特征对木材的树种进行判断,这类方法虽有较高的识别精度,但是其识别工艺较为复杂而且技术难度也相对较高。与木材解剖学相对应的是利用图像信息或光谱信息的木材树种识别方法,该类方法虽具有较为简单的识别工艺,但是在对同属相似木材树种进行识别时,往往不能够取得较好的识别效果。提出了一种基于木材切面光谱特征和纹理特征相融合的木材树种识别方法,该方法不仅识别工艺简单、自动化程度高,而且具有较高的识别精度。首先通过数码相机和光谱仪采集木材切面的图像信息和光谱信息,然后分别使用纹理特征提取方法和光谱特征提取方法提取两类特征的特征向量,接下来使用基于典型相关分析的特征级融合方法将这两个特征向量进行融合,最后使用支持向量机对融合后的特征向量进行分类识别。为了验证方法的有效性,以市场中常见的5种紫檀属树种的三个切面为研究对象,对这些木材树种进行了识别。实验结果显示,单独使用纹理特征的识别正确率最高为80.00%,单独使用光谱特征的识别正确率最高为94.40%,使用融合的特征最高的识别正确率可达99.20%。还将这5种木材树种与其他30种木材树种进行了混合,混合后的木材样本数量可达1750。实验进一步显示,该方法可以对包含紫檀属在内的35种木材的树种进行识别,其正确率可达98.29%。综上所述,木材的纹理特征和木材的光谱特征可以有效的相互补充,从而进一步提高识别正确率。最后还用所提出的方法与目前主流的方法进行了比较,结果发现所述的木材树种识别方法高于目前主流方法。     

利用近红外及中红外融合技术对小麦产地和烘干程度的同时鉴别

小麦是制作馒头的主要原料之一,小麦中水、蛋白质、淀粉会因产地以及烘干程度的差异而不同,进而影响到加工成馒头的品质。所以实现对小麦产地和烘干程度的快速鉴别就显得尤为重要。感官评定是鉴别小麦产地和烘干程度常用的方法,对比感官评定,光谱分析可以识别样品中的分子结构等信息。基于此,尝试利用近红外和中红外光谱融合技术实现对不同产地和不同烘干程度的小麦同时鉴别。首先选取了两个不同产地的小麦,再利用微波干燥法对两个不同产地的小麦做烘干预处理,使烘干的小麦水含量为12%±0.5%,原麦水含量为18%±0.5%。分别标记为原麦A,烘干A,原麦B,烘干B,再将小麦研磨成粉末,过100目筛网筛选后,置于自封袋中备用。随后分别采集四种小麦样品的近红外和中红外光谱信息,在Matlab 7.10的环境下使用标准正态变量变换(standard normal variable transformation, SNVT)对采集到的原始光谱数据进行预处理,利用主成分分析对预处理后的数据进行降维处理,再结合线性判别分析（linear discriminant analysis,LDA）和支持向量机（support vector machine, SVM）分别建立小麦近红外、中红外光谱数据识别模型。另外利用联合区间偏最小二乘法（synergy interval partial least square, SiPLS）筛选出利用标准正态变量变换(SNVT)预处理后的小麦近红外和中红外光谱数据特征光谱区间,将筛选出的近红外和中红外光谱数据特征光谱区间融合后再结合线性判别分析（LDA）和支持向量机（SVM）建立小麦融合光谱信息的识别模型。然后比较同种光谱数据下利用线性判别分析（LDA）和支持向量机（SVM）建立的小麦识别模型识别率、比较同种建模方法下近红外和中红外光谱数据建立小麦识别模型识别率、比较同种建模方法下光谱数据融合和单一光谱数据建立小麦识别模型识别率。结果表明,同种光谱分析方法,利用SVM建立的四种小麦识别模型识别率高于利用LDA建立的小麦识别模型识别率。同种建模方法,近红外光谱数据建立的小麦识别模型识别率优于中红外光谱数据建立的小麦识别模型识别率。而在同种建模方法下,利用SiPLS筛选出近红外和中红外光谱数据的特征光谱区间数据融合后建立小麦识别模型识别率最高,光谱数据融合后结合LDA建立的小麦识别模型校正集识别率为98.75%,预测集识别率为97.50%;而将此选择的变量结合SVM建立的小麦识别模型的校正集和预测集识别率都达到100.0%。对比利用单一光谱数据建立的小麦识别模型识别率,光谱数据融合之后建立的小麦识别模型识别率得到显著提高,该研究从纵向和横向上全面地比较了光谱数据建立的小麦模型识别率,结果可为更准确地运用光谱融合技术建立小麦产地以及烘干程度识别模型提供参考。