利用注意力机制融合多尺度特征的图像去雨方法

针对图像中累积的雨水严重干扰高层视觉算法运行的问题,提出了一种高效的图像去雨方法。该方法利用注意力机制设计了一个多尺度特征融合去雨网络。首先用一个预处理模块提取出雨水的浅层特征,再将浅层特征送入多尺度特征融合模块获得深层次的特征,在多尺度特征融合模块中引入注意力机制将这些特征进行融合,提高模块中使用平滑扩张卷积减少伪影问题。实验结果表明,该方法在公开雨水数据集Rain100 H、Rain100 L和Rain12上获得的峰值信噪比(PSNR)和结构相似比(SSIM)指标相比其它方法分别平均提高了0.93 dB和1.43%,获得了更清晰的去雨结果。     

基于多细节卷积神经网络的单幅图像去雨方法

本文提出一种基于多细节卷积神经网络的单幅图像去雨方法。考虑到雨条信息大都存在于有雨图像的高频部分，所提方法将有雨图像通过引导滤波进行多次分解得到平滑图像和不同频率分布的多细节图像，提出多细节卷积神经网络学习有雨图像和无雨图像之间的映射关系，从而获得无雨图像。考虑到实际收集相同场景下的有雨图像和无雨图像难度较大，本文采用无雨图像和人工合成的有雨图像作为训练数据，而测试部分则采用合成的雨图和真实的雨图。实验结果表明，本文所提方法能够有效去除图像中的雨条信息。      

基于多流扩张残差稠密网络的图像去雨算法

针对传统图像去雨算法未考虑多尺度雨条纹及图像去雨后细节信息丢失的问题,提出一种基于多流扩张残差稠密网络的图像去雨算法,利用导向滤波器将图像分解为基础层和细节层.通过直接学习含雨图像细节层和无雨图像细节层的残差来训练网络,缩小映射范围.采用3条带有不同扩张因子的扩张卷积对细节层进行多尺度特征提取,获得更多上下文信息,提取...     

基于多先验约束和一致性正则的半监督图像去雾算法

针对合成雾霾图像训练的去雾模型在真实场景中去雾效果不佳、对高层视觉任务性能提升不明显等问题,该文提出一种基于多先验约束和一致性正则的半监督图像去雾算法。该方法采用编码器-解码器网络结构,同时在合成雾霾图像与真实雾霾图像上学习去雾映射,并利用多种统计先验去雾结果作为真实雾霾图像参考真值进行半监督学习,同时通过多张真实雾霾图像的随机混合进行一致性正则约束,以消除多种先验去雾结果差异以及噪声干扰,提高图像去雾结果的视觉质量。实验对比结果表明,所提算法可比现有方法获得更好的真实场景去雾结果,并且能够显著提升高层视觉任务性能。     

基于图网络的改进卷积单幅图像去雨算法

图像去雨指通过去除图像中的雨痕来重构出高清背景图像的过程。目前最广泛应用于图像去雨任务的是深度卷积神经网络。卷积操作的核心是参数共享,这大大减少了计算量并提升了算法的泛化能力,然而这也导致卷积操作无法有效考虑到局部之间的联系和较远的像素点对所操作区域的影响,出现图像去雨中的过平滑现象。结合图网络的思想和机制,提出一个改进卷积方式。首先将所有像素点视为一个图节点,计算相邻像素点之间的相似度,根据设定的阈值判断有无边联系,完成图结构构建后,所得到的邻接矩阵与相似度矩阵会在卷积操作时对卷积核参数进行调整,充分考虑像素点之间的联系与提取拓扑信息。在图像去雨领域若干公开数据集上对多个最新算法进行对比,实验结果显示所提改进卷积的有效性,可以在不增加许多计算资源的前提下有效提升算法的性能。     

渐进式多尺度特征融合的图像去镜头雨滴方法

针对附着在镜头上的雨滴会造成图像退化和背景信息丢失问题,提出一种渐进式多尺度特征融合的单幅图像去镜头雨滴的方法,以采样至不同尺度的镜头雨滴附着图像为输入,通过重复堆叠的残差模块和循环神经网络进行渐进式雨滴特征提取,捕获从局部到全局的雨滴特征信息,在不同空间维度上探索互补的信息来更好地表征尺寸形状多变、位置随机分布的雨滴,对多尺度的雨滴特征进行融合,最后按照线性叠加物理模型恢复出清晰背景图像。使用公开数据集进行训练得到去镜头雨滴模型,在其测试集以及真实采集的镜头雨滴附着图像上进行了测试,在量化指标和可视化结果方面都取得了较好的效果,并表现出良好的泛化性能。     

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。     

基于注意力机制的单图像去雾算法

图像去雾工作目前还存在真实数据集过少、局部对比度失衡和去雾图像失真等问题。针对去雾图像失真这一问题,提出一种新型去雾网络模型（Densely Resnet with SKattention-Dehaze Net,DRS-Dehaze Net）。首先带雾图像经预处理模块转换为多角度特征输入图,然后设计密集残差架构并引入注意力机制完成特征信息的提取与再分配,最后将特征融合,输出无雾图像。实验结果表明,所提算法相比于其他对比算法有着较好的去雾效果,有效改善了去雾图像失真问题,且在一定程度上对图像的清晰度进行了提升。     

频率引导的双稀疏自注意力单图像去雨算法

现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法（Frequency-guided Dual Sparse self-Attention TransFormer,FDSATFormer）.首先,该算法利用空间稀疏因子和通道降维因子在提取准确全局信息的同时减少计算量,进而提出双稀疏自注意力特征学习网络（Dual Sparse self-attention Feature Leraning, DSFL）以解决Transformer在高分辨率雨图上难以表征自注意力的问题.其次,该算法通过探究图像去雨前后的频谱变化,提出频率引导的特征增强模块（Frequency-guided Feature Enhancer,FFE）,其利用频域的全局信息指导特征编码阶段对空域特征的学习.此外,现有去雨网络的编解码结构采用相近的设计,这导致网络的整体计算负担倍增.对此,本文提出层级特征解码重建网络（Hierarchical Feature Decoding and ...     

基于注意力机制的多分支特征级联图像去雨网络

针对已有去雨网络在不同环境中去雨不彻底和图像细节信息损失严重的问题,本文提出一种基于注意力机制的多分支特征级联图像去雨网络。该模型结合多种注意力机制,形成不同类型的多分支网络,将图像空间细节和上下文特征信息在整体网络中自下而上地进行传递并级联融合,同时在网络分支间构建的阶段注意融合机制,可以减少特征提取过程中图像信息的损失,更大限度地保留特征信息,使图像去雨任务更加高效。实验结果表明,本文算法的客观评价指标优于其他对比算法,主观视觉效果得以有效提升,去雨能力更强,准确性更加突出,能够去除不同密度的雨纹,并且能够更好地保留图像背景中的细节信息。     

基于伪监督注意力短期记忆与多尺度去伪影网络的图像分块压缩感知

基于深度展开网络的分块压缩感知(BCS)方法,在迭代去块伪影时通常会同时去除部分信号和保留部分块伪影,不利于信号恢复。为了改善重建性能,在学习去噪的迭代阈值(LDIT) 算法基础上,该文提出基于伪监督注意力短期记忆与多尺度去伪影网络(MSD-Net)的图像BCS迭代方法(PSASM-MD)。首先,在每步迭代中,利用残差网络并行地对每个图像子块单独去噪后再拼接。然后,对拼接后的图像采用含有伪监督注意力模块(PSAM)的MSD-Net进行特征提取,以更好地去除块伪影以提高重建性能。其中,PSAM被用于从含有块伪影的残差中抽取部分有用信号,并传递到下一步迭代实现短期记忆,以尽量避免去除有用信号。实验结果表明,该文方法相比现有先进的同类BCS方法在主观视觉感知和客观评价指标上均取得了更优的结果。     

基于联结残差网络的单幅图像去雨

本文通过改进的残差网络,学习有雨图像和无雨图像之间的映射关系来实现图像去雨,提出了一种基于联结残差网络的单幅图像去雨算法.首先,利用改进的残差块简化网络模块,减少网络参数,提升网络训练速度;其次,设计的联结结构不仅实现了多特征提取,有效减少了参数,而且增加了特征图的输出,有利于保留更多的图像细节信息;最后,利用单尺度卷...     

结合强监督学习和生成对抗网络的图像去雾

针对现有去雾算法的复原图像易出现颜色失真与细节丢失问题,提出了一种基于改进循环生成对抗网络(cycle-consistent generative adversarial networks,CycleGAN)的端到端图像去雾方法,并无需依赖于大气散射模型的约束。网络生成器整体采用Encoder-Decoder架构,同时为有效学习有雾图像与清晰图像间的映射关系,在训练优化目标中结合图像自身属性构建了增强的高频损失与特征损失函数,实现对不同数据域的特征鉴别并进一步保证图像纹理结构。此外为约束复原图像与真实清晰图像颜色的一致性,提出了二阶段学习策略。首先通过非配对数据集对改进CycleGAN进行弱监督训练学习,然后于第二阶段利用部分成对数据集以强监督方式训练正向生成网络,在提高去雾网络稳定性的同时,使复原效果更接近于真实清晰图像风格。实验结果表明,所提去雾方法的峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)指标值相比同类CycleGAN算法分别提升了12.43%与5.53%,并且同其他方法在视觉效果与量化指标的对比结果中也验证了其性能的有效性。     

基于多层感知融合网络的图像去雾模型研究

针对雾天环境下智能视觉系统采集图像严重降质,基于卷积神经网络提出了一种多层感知融合网络（multi layer perceptual fusion network, MLPFN）用来重建清晰图像。MLPFN通过下采样成三条不同分辨率特征流,其中多尺度感知模块用于增大网络感知域,残差密集连接模块强化特征提取能力,特征融合模块将来自不同层次的特征映射以自适应权重方式融合,有效结合高低层特征。除此之外,模型在监督策略上采用平滑损失和感知损失作为联合损失函数,保证恢复的图像在视觉感官上与原始清晰图像接近。实验结果表明,与其他图像去雾方法相比,所提的MLPFN不管在主观还是客观图像质量评价指标上都表现优异,去雾效果显著。     

基于深度学习的无监督红外图像与可见光图像融合算法

卷积神经网络(CNN)由于出色的性能,被逐渐应用于图像融合领域.对于红外图像和可见光图像的融合任务而言,由于没有标签数据,对其进行无监督的学习建模具有重要意义.针对这个问题,提出了一种无监督的端到端的深度融合算法,该算法可以由输入的红外源图像和可见光源图像,直接预测出包含源图像显著信息的融合图像.所提算法构建了一个自编...     

融合半监督降维与稀疏表示的人脸识别方法

由于人脸图像数据的维数都较高,将稀疏表示分类用于人脸识别时计算量很大,为了提高人脸识别系统的效率,提出了一种融合半监督降维和稀疏表示的人脸识别方法。首先利用半监督降维算法对图像进行降维处理,在较低的维数空间快速取得较高的识别率,然后利用稀疏表示分类进行人脸识别,取得比传统的最近邻分类器更高的识别率,最后在ORL人脸库上进行实验验证。结果表明,利用该融合算法可快速有效地提高人脸图像的识别效果。     

一种基于多尺度卷积神经网络和分类统计的图像去雾霾方法

传统的去雾霾方法会导致天空、白云和明亮区域内的颜色失真.为了解决以上问题,提出了一种基于多尺度卷积神经网络和分类统计的去除图像雾霾的方法.首先用多尺度卷积神经网络估计图像的透射率,其次对所估计的透射率进行分类统计以确定在暗通道内天空、白云和明亮区域的像素值,最后通过低通高斯滤波器平滑图像场景的辐射度,得到恢复的无雾霾图像.实验结果表明,采用提出的方法对图像去雾霾后明亮区域内的颜色不会失真,且保留了图像的自然外观,对合成图像和真实图像均有较好的去雾霾效果.