基于空洞循环卷积的近红外图像彩色化方法

针对近红外图像彩色化过程中存在近红外与可见光图像间模态差异较大、图像域样式不佳而导致其彩色化结果出现色彩纹理不吻合的问题,提出一种基于空洞循环卷积的近红外图像彩色化方法。改进CycleGAN网络,利用级联结构和空洞卷积块的优势设计了一种名为空洞级联模块,该模块采用编解码级联结构,代替原模型残差网络中的单向连接结构,进行特征通道的级联。在编解码级联层中引入空洞卷积模块,利用空洞卷积不损失图像纹理细节的优势,进一步提取不同尺度的近红外图像特征信息,最后通过解码将近红外灰度图像上色成彩色近红外图像。算法在生成网络中采用空洞级联方式改善误着色问题;在判别网络中引用感知损失函数改善网络收敛速度慢的问题。并且在NIR＿VIS数据集上开展验证和分析。实验结果表明,所提方法提升效果明显,更好地保持了原目标的结构及色彩纹理特征,有效地提升了近红外图像的可视化效果。     

基于密集梯度生成对抗网络的偏振图像融合算法北大核心CSCD

针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节;构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局...     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于空间分离表征GAN的遥感图像模式互转

针对合成孔径雷达图像与光学遥感图像模式差异大、相互转换困难的问题,基于现有空间分离图像转换框架,提出了一种基于空间分离表征的循环一致性生成对抗网络(GAN)。以更深的网络层和跳跃连接完成图像风格和内容分离,通过学习内容映射关系,完成内容特征转换,而后组合目标风格特性实现图像转换。利用PatchGAN判别器,强化模型的图像细节信息生成能力,并新增目标误差损失和生成重建损失将转换任务限制为一对一映射,减少信息添加,约束生成网络。在SEN1-2、SARptical、WHU-SEN-City数据集上进行实验验证,相较于其他图像转换算法,所提方法能够有效实现两类遥感图像互转,生成图像清晰度高、细节特征完整、真实感强。     

基于二次引导滤波的红外图像增强算法及其FPGA实现

针对红外图像细节模糊、对比度低等问题，提出了一种基于二次引导滤波的红外图像增强算法。首先，将原始红外图像作为引导图像，使用引导滤波提取出红外图像的细节信息；其次，将得到的细节信息再进行一次引导滤波处理提取出噪声更低的细节信息；最后，将原始红外图像和两部分的细节信息进行加权求和，实现红外图像增强。该算法能够提高红外图像对比度，增强红外图像细节信息。实验结果表明：相比于其他增强算法，本文算法增强之后的红外图像平均对比度提高了123%～246%，平均梯度提升了56%～101%，视觉效果获得明显改善，更能突显细节特征。基于可编程逻辑门阵列(field programmable gate array, FPGA)实现该算法时，占用资源低，处理640×512像素分辨率的单帧红外图像所需时间可达10.12 ms，能满足红外探测系统的实时性要求，具有一定的实用价值。     

基于生成对抗式神经网络的红外目标仿真方法

提出了一种应用于红外目标仿真的模型。利用训练后的条件深度卷积生成对抗网络,只需输入随机噪声和类别标签,便能够自动产生预期类别的红外目标仿真图像。在手写数字数据集(MNIST)和红外数据集上分别训练模型参数,再进行自动生成实验,均可以产生高真实度的样本图像;将判别网络提取的特征用于分类实验,并将所提方法合成的图像用于数据增强,以提升分类器性能。研究结果表明,所提方法能够有效模仿红外辐射特征。     

基于颜色预测和语义感知双分支结构的近红外图像彩色化算法北大核心CSCD

针对近红外图像彩色化过程中因近红外与可见光图像间模态差异较大,导致着色后图像在纹理细节处存在颜色晕染、区域误着色的问题,提出了颜色预测和语义感知相结合的生成对抗网络。设计颜色预测和语义感知双分支生成器,颜色预测分支采用带有跳转连接的残差网络,语义感知分支采用带有语义融合的空洞卷积金字塔结构;不同的扩张率,能够获得多个感受野提取多尺度语义特征,将感知到的语义嵌入到颜色预测分支,提高模型的语义理解能力,改善颜色晕染、区域误着色问题;设计循环一致语义损失函数,约束生成器中语义信息的一致性;算法在RGB-NIR场景数据集上进行性能实验比对以及消融实验。实验表明,所提算法相比于现有彩色化算法,PSNR、SSIM和LPIPS评价指标优于现有算法,着色效果更符合视觉感受。     

基于条件生成对抗网络的图像去雾算法

为了提高雾天图像的去雾效果,提出了一种基于条件生成对抗网络的图像去雾算法.通过端到端可训练的神经网络对合成的室内和室外数据集进行训练,为了捕捉图像中更多的有用信息,在生成网络中设计了生成器和判别器架构,利用预训练的视觉几何组特征模型和L_1-正则化梯度对损失函数进行修正,并在判别器的最后一层引入Sigmoid函数用于特征映射,以便进行概率分析可归一化.利用合成数据集对损失函数进行训练,得到新的损失函数的参数,然后利用室外自然有雾图像数据集对训练得到的新的损失函数进行测试.实验结果表明:所提算法有效解决了去雾图像的颜色失真、过饱和、视觉伪像等问题,生成效果更好的去雾图像.     

基于GAN的半监督遥感图像场景分类

针对遥感图像背景复杂及有监督场景分类算法无法利用无标签数据的问题,提出一种基于生成对抗网络的半监督遥感图像场景分类方法.首先,引入谱归一化残差块代替传统生成对抗网络中的二维卷积,利用残差块的跳跃连接解决梯度消失问题;其次,引入特征融合思想,将浅层特征与深层特征进行融合,从而减少特征损失;最后,在生成对抗网络的判别器中加...     

基于多尺度空洞卷积的对抗去雾网络

雾天拍摄的图像存在颜色失真、图像细节模糊的问题,对成像设备采集到的图像质量造成了负面印象。针对雾天搜集图像存在的降质问题,提出了一种基于多尺度空洞卷积的对抗去雾网络。去雾网络的生成器由不同空洞率的卷积模块组成,结合多尺度的策略增加感受野并增强去雾效果;判别器采用多个卷积模块构成,用于区分生成的去雾图像与真实无雾图像;通过计算去雾图像和真实无雾图像之间的感知距离,优化图像的纹理结构并减少噪声信号。实验结果显示,提出算法在公开数据集上获得的峰值信噪比值为22.410 dB,结构相似性值为0.844,色差值为10.545。定量和定性评估表明,采用空洞卷积和感知损失技术设计的去雾网络能够有效地恢复图像的颜色信息和纹理结构。     

基于改进CLAHE的SF_6红外图像增强

针对六氟化硫(SF_6)红外图像对比度低、纹理细节模糊而难以增强泄漏区域的问题,提出了基于改进限制对比度的自适应直方图均衡化(CLAHE)的SF_6红外图像增强算法。采用双边滤波将原始图像分为基础图像和细节图像;采用CLAHE算法来处理基础图像,提高泄漏区域的对比度;对细节图像进行分段线性变换和拉普拉斯变换图像,以突出图像的边缘;将两幅图像进行线性叠加以获取最终的红外图像,实现图像增强。实验结果表明,算法对SF_6红外图像泄漏区域的增强效果优于常见的几种红外图像增强算法,不仅有效地抑制了噪声和提高泄漏区域的对比度,而且突出泄漏区域的边缘,丰富了细节信息。     

基于无人机载的光电与SAR图像融合技术研究

为了提高无人机侦察识别能力,提出基于小波变换方法的无人机载光电与SAR的图像融合技术。经时间配准算法生成图像配准源,采用SIFT算法提取图像特征点,BBF算法计算生成匹配点集,依据匹配点集计算图像间透视变换模型完成图像配准,利用小波变换算法实现配准图像融合。经实验验证以及利用Matlab分析图像灰度直方图和计算信息量,结果表明:融合图像保留了光电图像95.7%的细节(熵),相比于光电图像平均梯度提高了1.52倍,增强了光电图像目标区对比度,降低了随机性噪点;融合图像相比于SAR图像信息量提高了1.44倍。     

基于无监督学习的偏振图像去噪方法

提出一种基于无监督学习的偏振图像去噪方法，该方法打破了监督学习下深度学习需要严格配对图像的限制，使用非配对偏振图像训练一个偏振特化的循环生成对抗网络。该网络通过所提出的基于偏振信息的损失函数统计学习噪声图像和清晰图像的映射。实验结果表明，该网络可以有效地抑制室内外不同环境下偏振图像的噪声，同时能较好地恢复线性偏振度和偏振角。所提方法对复杂噪声环境下的偏振成像应用具有重要意义。     

一种改进的红外图像归一化互相关匹配算法

分析了传统归一化互相关算法在红外空中目标匹配定位时失效的原因,提出一种改进的红外图像归一化互相关匹配算法.该方法将模板和匹配区域之间的纹理相关计算看作一个最优化问题,寻求使图像纹理相关匹配鲁棒性最好的相关基准值,用图像的相关基准函数替代传统方法中的区域均值部分,构造了一种适用于的红外目标匹配的归一化相关算法.实验结果表明,该相关匹配算法对模板中背景部分的变化和非均匀性亮度变化有良好的抗干扰能力,较好地解决了恶劣环境下红外对空目标跟踪中匹配定位出错的问题.     

纹理细节恢复的图像超分辨率重建算法

针对现有单图像超分辨率方法在重建过程中容易忽略原图像中不同结构-纹理的差异与联系，导致生成的高分辨率图像缺乏纹理细节并存在伪影的问题，提出了纹理细节恢复的图像超分辨率重建算法。该方法由梯度分支、纹理分支和图像超分辨率分支组成。其中，在梯度分支和纹理分支之间使用了类注意力模块处理二者的特征混淆问题，并通过双向特征融合模块实现了对结构特征与纹理特征的相互促进，作为先验信息以达到纹理细节信息增强的目的。此外，在图像超分辨率分支还通过构建特征恢复模块，利用浅层和深层信息帮助网络保留了图像中更丰富的上下文信息和纹理细节。该方法通过在DIV2K数据集上进行了网络训练，并在5个基准测试集Set5、Set14、BSD100、Urban100和MANGA109上进行了实验，峰值信噪比(PSNR, Peak Signal to Noise Ratio)分别：37.88dB、33.28dB、32.0781dB、31.89dB、38.39dB,相比现有方法均有显著提升。实验结果表明，本文方法获得了有效的重建图像并且保留更多的图像细节，生成具有边缘清晰和逼真细节的超分辨率图像。     

双密度复小波与系数相关性的红外图像去噪北大核心CSCD

为了去除红外图像中高斯噪声的同时,更好地保持和恢复图像的纹理边缘和细节特征,提出了基于双密度复小波与系数相关性的红外图像去噪方法。该方法充分利用双密度双树复小波在图像处理上的优势:图像信息的平移不变性、图像纹理细节的多方向选择性等,基于对图像小波系数分布的假设,根据当前小波系数与其父、子小波系数的相关性,对无噪的小波系数作贝叶斯估计,以恢复无噪的红外图像,最后对去噪图像进行引导滤波,去除图像的波纹效果。实验数据显示,该方法在EPI和FSIM以及图像的视觉效果上优于部分现有算法,证明该方法在噪声去除、纹理边缘的保持和恢复上具有更好的性能。     

基于半监督生成对抗网络X光图像分类算法

利用半监督学习体系结构中的生成对抗性网络,围绕标注数据稀缺性的问题进行研究,在传统无监督生成对抗网络的基础上用softmax替代最后的输出层,使其扩展为半监督生成对抗网络。对生成样本定义额外的类别标签,用于引导训练,采用半监督训练方式对网络参数进行优化,并将训练得到的判别网络运用于X光图像分类中。对于胸部X光图像,结合自动化分类诊断选取了6种肺部疾病的X光前视图进行实验,结果表明:所提算法提高了利用标注数据的监督学习性能,与其他半监督分类方法相比具有优越的性能。