基于颜色预测和语义感知双分支结构的近红外图像彩色化算法北大核心CSCD

针对近红外图像彩色化过程中因近红外与可见光图像间模态差异较大,导致着色后图像在纹理细节处存在颜色晕染、区域误着色的问题,提出了颜色预测和语义感知相结合的生成对抗网络。设计颜色预测和语义感知双分支生成器,颜色预测分支采用带有跳转连接的残差网络,语义感知分支采用带有语义融合的空洞卷积金字塔结构;不同的扩张率,能够获得多个感受野提取多尺度语义特征,将感知到的语义嵌入到颜色预测分支,提高模型的语义理解能力,改善颜色晕染、区域误着色问题;设计循环一致语义损失函数,约束生成器中语义信息的一致性;算法在RGB-NIR场景数据集上进行性能实验比对以及消融实验。实验表明,所提算法相比于现有彩色化算法,PSNR、SSIM和LPIPS评价指标优于现有算法,着色效果更符合视觉感受。     

基于多尺度空洞卷积的对抗去雾网络

雾天拍摄的图像存在颜色失真、图像细节模糊的问题,对成像设备采集到的图像质量造成了负面印象。针对雾天搜集图像存在的降质问题,提出了一种基于多尺度空洞卷积的对抗去雾网络。去雾网络的生成器由不同空洞率的卷积模块组成,结合多尺度的策略增加感受野并增强去雾效果;判别器采用多个卷积模块构成,用于区分生成的去雾图像与真实无雾图像;通过计算去雾图像和真实无雾图像之间的感知距离,优化图像的纹理结构并减少噪声信号。实验结果显示,提出算法在公开数据集上获得的峰值信噪比值为22.410 dB,结构相似性值为0.844,色差值为10.545。定量和定性评估表明,采用空洞卷积和感知损失技术设计的去雾网络能够有效地恢复图像的颜色信息和纹理结构。     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于改进的条件生成对抗网络的可见光红外图像转换算法

针对当前基于条件生成对抗网络的红外图像生成算法中红外生成图像纹理细节信息差和结构信息差的问题,提出了一种基于改进的条件生成对抗网络的红外图像生成算法。首先,基于ConvNext改进了生成网络,在生成网络解码部分通过添加残差连接增强了解码部分对编码部分提取的图像深层特征的利用;其次,生成网络采用UNet网络架构,增强了对图像底层特征的利用;最后,对抗网络通过对生成图像特征的一阶统计量（均值）和二阶统计量（标准差）的损失计算,进一步改善了红外生成图像的灰度信息和纹理细节信息。与现有典型红外图像生成算法的对比实验结果表明,该方法能够生成质量更高的红外图像,在主观视觉描述和客观指标评价上都取得了更好表现。匹配应用实验表明,该算法在可见光图像与红外图像异源匹配任务中体现了较好的应用价值。     

基于色彩传递的单波段热图像彩色化处理算法

研究基于色彩传递的单波段热成像自然感彩色化处理算法,提出一种应用伪彩色编码突出显示热目标的方法.方法首先选定适当的参考图像并对亮度通道做线性变换,然后基于通道间相关性很小的lαβ颜色空间,利用图像像素邻域亮度通道的均值和标准差进行像素间的相互匹配,将参考图像的色彩传递给单波段红外图像,最后寻找色彩传递结果图像中亮度接近最大值的像素,将它们的颜色映射到彩虹编码的高温端,以红色凋突出显示.算法用于几种场景类型的单波段红外图像,得到了色彩自然感较好的彩色化热图像,能够避免长时间观察热图像造成视觉疲劳的问题;突出场景热目标,在保留背景深度感的基础上,可有效提升观察者的目标识别能力.     

基于LLE的红外成像彩色化处理算法研究

针对红外图像对比度低、细节较差,且一般是黑白图像,不适宜于人眼观察,提出一种利用局部线性映射方法（LLE）的红外成像彩色化方法。该方法寻求灰度空间到色彩空间的映射,实现红外图像到彩色红外图像的转变,先将目标红外图像和彩色模板图像转换至YUV颜色空间,分离亮度和色彩信息;然后将目标红外图像的每个像素及邻域像素的灰度值串接成矢量,并均匀从彩色模板图像选取部分像素按相同方法串接成矢量,采用欧氏距离搜索最近邻并计算最佳的匹配系数,经色彩值（即U和V分量）计算将模板图像的彩色传递给目标红外图像后搜索亮度最大值的像素邻域并经自动阈值伪彩色编码处理,突出显示重要目标,得到处理后的彩色红外图像。将算法应用于实验室自主开发的热像仪,算法作用后的红外图像不但有了适于人眼视觉的彩色信息,而且用红、黄等敏感色突出了重点热目标,提高了人眼发现和识别目标的速度,实验结果表明,算法有利于侦察人员长时间的目标观察和识别目标。     

基于密集梯度生成对抗网络的偏振图像融合算法北大核心CSCD

针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节;构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。     

基于卷积神经网络的焊缝缺陷图像分类研究

为有效地对焊缝缺陷进行分类,从而判断焊接质量的等级,对传统卷积神经网络进行改进,提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率,并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响,采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理,并在该数据集上验证模型的有效性。与传统卷积神经网络相比,该模型具有良好的性能,在测试集上准确率达到96.77%,同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。     

基于空间分离表征GAN的遥感图像模式互转

针对合成孔径雷达图像与光学遥感图像模式差异大、相互转换困难的问题,基于现有空间分离图像转换框架,提出了一种基于空间分离表征的循环一致性生成对抗网络(GAN).以更深的网络层和跳跃连接完成图像风格和内容分离,通过学习内容映射关系,完成内容特征转换,而后组合目标风格特性实现图像转换.利用PatchGAN判别器,强化模型的图...     

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局...     

滤光轮分光的近红外彩色成像系统

研制了滤光轮分光的近红外彩色成像系统。针对一款光谱响应延伸至近红外波段的CMOS大面阵黑白摄像机,设计加工了大小适合的滤光轮和与光谱匹配的滤光片。根据滤光轮载荷选择了微型电机,并采用由时间同步装置产生的脉冲信号触发滤光轮的转停;采用基于灰度世界理论的RGB融合算法形成彩色图像。室内外的成像实验表明:该系统实现了近红外波段的彩色成像,尤其是夜天光中的近红外辐射,使夜间拍摄的图像亮度得到了明显的提升。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

基于条件生成对抗网络的图像去雾算法

为了提高雾天图像的去雾效果,提出了一种基于条件生成对抗网络的图像去雾算法.通过端到端可训练的神经网络对合成的室内和室外数据集进行训练,为了捕捉图像中更多的有用信息,在生成网络中设计了生成器和判别器架构,利用预训练的视觉几何组特征模型和L_1-正则化梯度对损失函数进行修正,并在判别器的最后一层引入Sigmoid函数用于特征映射,以便进行概率分析可归一化.利用合成数据集对损失函数进行训练,得到新的损失函数的参数,然后利用室外自然有雾图像数据集对训练得到的新的损失函数进行测试.实验结果表明:所提算法有效解决了去雾图像的颜色失真、过饱和、视觉伪像等问题,生成效果更好的去雾图像.     

彩色遥感图像薄云去除方法

针对彩色遥感图像中薄云带来的降质问题,提出了一种基于低秩矩阵分解的去云方法。将彩色遥感图像分成三个单通道图像,对每一个通道进行低秩矩阵分解,得到单通道薄云信息;根据薄云在三个通道中均匀分布的特点,选取合适的阈值对薄云信息进行自动判定,提取代表三个通道的薄云图像;用三个通道的图像分别减去对应通道的薄云图像,并融合三个通道的结果得到去云后的彩色遥感图像。实验结果表明,该方法不仅能够保留无云区域信息的完整性,而且对有云区域的处理在主观视觉效果和客观评价指标上都具有较好的效果。     

基于GAN的半监督遥感图像场景分类

针对遥感图像背景复杂及有监督场景分类算法无法利用无标签数据的问题,提出一种基于生成对抗网络的半监督遥感图像场景分类方法.首先,引入谱归一化残差块代替传统生成对抗网络中的二维卷积,利用残差块的跳跃连接解决梯度消失问题;其次,引入特征融合思想,将浅层特征与深层特征进行融合,从而减少特征损失;最后,在生成对抗网络的判别器中加...     

基于梯度的医学图像伪彩色编码

根据医学图像的特点和人的视觉特性,提出了一种基于梯度的非线性伪彩色编码新方法。利用梯度算子得到图像的梯度场,并确定阈值。根据梯度值与阈值的比较,大于阈值的是基于梯度值的编码方法,用红色编码;否则是基于灰度值的编码方法。通过定义的两个阈值界定范围,设计非线性的正弦函数来进行伪彩色编码。由于映射函数中的三个参数k_1,k_2和k_3,所以增加了算法的灵活性。通过实验比较,处理后的医学图像轮廓更清晰,层次感更强,能有效地突出病灶区,有利于医生的诊断。     

基于四波段图像融合的彩色夜视方法研究

为了在低照度条件下获取目标的彩色图像,提高夜间对目标的识别能力,提出了基于四波段图像融合的彩色夜视方法.采用F-P滤光片设计出了透射中心在三基色光中心波长及近红外波段的四波段滤光片,在各个透射区域的平均透射率均达90%以上;将四波段滤光片设计成圆形滤色轮结构,用分光计测得了各波段滤光片的光谱透射性;对加入滤光片后的系统信噪比进行了分析和计算,分析结果表明加入滤光片不会引入噪声,计算结果表明加入蓝色、绿色、红色和近红外波段滤光片的成像系统的信噪比分别是原来单色微光夜视系统信噪比的19.59%、38.45%、47.28%和46.70%.借助国产超二代像增强器在微光实验室进行了四波段图像采集及彩色图像融合实验,实验时光照度分别为1×10~(-3)lx和1×10~(-1)lx,对获取的图像质量进行了评价.结果表明:在照度为1×10~(-3)lx时,融合的彩色图像在均值、方差和熵这三项指标上均优于过滤后的蓝色和绿色的单色图像,且由于彩色图像中利用了近红外图像进行增强,使得彩色图像亮度更高,颜色分辨性更好;在照度为1×10~(-1)lx时,融合后的彩色图像的信息熵比红、绿、蓝三种基色图像的大,彩色图像携带的信息量更大.本文的研究对彩色夜视成像系统的设计和研发具有借鉴和指导意义.     

基于深度学习的虚拟相衬成像方法

对于传统的显微镜来说,其相衬成像模式需要通过配备专用光阑、聚光镜或者在物镜上添加嵌件来实现,这就增加了相衬显微成像的难度和成本.鉴于此,本文提出了一种基于深度学习算法的虚拟相衬成像方法,只需要采用一台普通的光学明场显微镜获取细胞明场图像,然后使用深度学习方法,就可以将明场图像转换成相衬图像.将虚拟相衬图像与显微镜获取的...     

基于三维空洞卷积残差神经网络的高光谱影像分类方法

高光谱影像是典型的高维数据,在光谱维和空间维都包含了大量信息。针对高光谱影像分类时光谱维数据量巨大的特点,提出一种基于三维空洞卷积残差神经网络的高光谱影像分类方法。该方法以高光谱像元立方体作为数据输入,使用三维卷积核同时提取高光谱数据的空间维和光谱维特征,并通过在卷积核中引入空洞结构,在不增加网络参数量和不消减数据特征的情况下提高卷积核的感受野,从而提高神经网络的分类的精度。该方法利用残差结构避免了由网络层数加深导致的梯度消失问题,最终使用Softmax分类器完成高光谱像元的分类工作。实验结果表明:所提方法在Indian Pines和Salinas数据集上分别取得了97.303%和97.236%的总体分类精度,与各对照组相比具有更好的分类效果,由此证明所提方法可以提升高光谱影像的分类性能。