一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

基于DCGAN的数据增强方法

针对深度学习中训练样本数量少,难以满足深度学习需求的问题,提出一种基于深度卷积生成对抗网络（Deep Convolutional Generative Adversarial Networks,DCGAN）的数据增强方法,将深度学习运用于数据增强,利用卷积神经网络（Convolutional Neural Network,CNN）构建生成器与鉴别器网络,引入高斯误差线性单元（Gaussian Error Linear Unit,GELU）作为激活函数。将名人头像数据集（Large-scale CelebFaces Attributes,Celeb A）作为训练样本进行训练。试验结果表明,该网络的鉴别器损失值快速收敛于0附近,生成器损失值快速收敛于3附近,收敛速度较快。网络能够根据学习到的样本数据分布,生成逼真的样本数据,该方法能够有效解决样本数量稀少的问题,实现数据增强。     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

基于纹理轮廓变换的红外与可见光图像融合

为更好地提取红外图像的轮廓结构特征和可见光图像的细节纹理特征,提出了一种基于交换特征的融合方法,利用残差网络提取图像特征.网络基于有标签数据集,在深度卷积生成对抗网络中引入纹理和梯度损失函数,以端到端的方式训练,避免繁琐的手工设计融合规则,最终的融合结果可以较好地保留红外图像的目标特征和可见光图像的纹理特征,在TNO数...     

基于生成对抗网络的超声图像超分辨率重建

针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道和删除1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大4倍的边缘清晰没有伪影的医学超声图像。将改进SRGAN与原始SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有1.792 dB和3.907%的提升;与传统双立方插值的结果相比,PSNR和SSIM分别有2.172 dB和8.732%的提升。     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

基于生成对抗网络的SAR图像降噪模型

合成孔径雷达(SAR)是相干成像系统,生成的图像经常会被相干斑噪声污染,继而造成了SAR图像在后续分割、识别中准确率低的问题。针对图像被污染问题,设计了一种结合生成对抗网络(GAN)与残差网络(ResNet)的SAR图像降噪网络模型Re-GAN,其中,GAN中的生成器加入了ResNet中的残差块以增强对SAR图像降噪的能力,模型中的组合损失函数在降噪时可以更好地保留图像细节。在MATAR数据集上,Re-GAN分别与BM3D算法、小波降噪算法进行比较,实验结果证明,Re-GAN在视觉效果和定量分析方面都具有良好的性能。     

图像修复方法综述

图像修复技术是目前计算机视觉领域的研究热点之一,该技术主要利用缺失区域周边或者外部辅助数据来对图片受损区域进行信息推理和修复。随着大数据时代的到来,基于深度学习的图像修复技术以其出色的性能成为了图像处理领域内的关注点。对现有的图像修复算法进行总结,对各个算法的模型结构、性能表现及在常用数据集上的指标进行讨论说明,并对该领域目前所存在的问题和难点进行分析和展望。     

一种融合残差机制和注意力机制的深度语音去噪方法

针对深度网络模型进行端到端语音去噪时存在对语音底层信息表示能力不足以及网络只采用卷积级联的方式造成参数冗余的问题,提出了一种融合残差机制和注意力机制的生成对抗网络去噪模型(Attention Res-UNetGAN).模型在波形域对语音进行去噪,其生成网络为U-Net结构,包含下采样层、中间层和上采样层.中间层为改进的...     

基于DCGAN的图像增强方法

本文研究了一种基于DCGAN的图像增强方法,来解决拍摄环境条件差或设备补光能力不强等情况造成的图像效果差。设计组成生成对抗网络时,本文在生成模型中增加了解码功能的卷积神经网络,并在判别模型中增加了分类的卷积神经网络。实验结果表明本文方法效果明显,满足图像增强的要求。     

基于改进pix2pix的红外图像转换技术

针对不同波段图像获取代价不同的问题,提出一种基于pix2pix的图像转换方法并进行改进。主要针对生成器和鉴别器两方面进行改进。生成器方面,使用残差结构的生成器替换原来的U-Net生成器以缓解梯度消失问题;引入可变形卷积,提高目标边缘和小目标的生成效果;引入BAM注意力机制,提高了算法对图像中主要目标的特征提取能力以提升生成图像的效果。鉴别器方面:改变PatchGAN中卷积层的层数(原PatchGAN为3层卷积),设置对照实验找到转换效果最好的卷积层数。以可见光图像和红外图像之间的转换为例进行实验。实验结果表明,改进后的算法在生成图像上的均方根误差(MSE)下降了314%、结构相似性(SSIM)提高了112%,可以更好的实现红外图像和可见光图像之间的转换。     

基于改进的生成对抗网络的动漫头像生成算法

针对大部分生成对抗网络在动漫图像的生成上会呈现出训练不稳定,生成样本多样性比较差,人物局部细节上效果不好,生成样本质量不高的问题,文章利用条件熵构造的一种距离惩罚生成器的目标函数,结合注意力机制提出一种改进模型MGAN-ED。模型主要包括融入多尺度注意力特征提取单元的生成器和多尺度判别器。采用GAM和FID进行评估,所做实验结果表明模型有效地解决了模式崩塌的问题,生成图像的局部细节更加清晰,生成样本质量更高。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

基于改进CycleGAN的浑浊水体图像增强算法研究

针对循环生成对抗网络(Cycle Generative Adversarial Networks, CycleGAN)在浑浊水体图像增强中存在质量差和速度慢的问题,该文提出一种可扩展、可选择和轻量化的特征提取单元BSDK (Bottleneck Selective Dilated Kernel),并利用BSDK设计了一个新的生成器网络BSDKNet。与此同时,提出一种多尺度损失函数MLF(Multi-scale Loss Function)。在自建的浑浊水体图像增强数据集TC(Turbid and Clear)上,该文BM-CycleGAN比原始CycleGAN的精度提升3.27%,生成器网络参数降低4.15MB,运算时间减少0.107s。实验结果表明BM-CycleGAN适合浑浊水体图像增强任务。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

基于残差编解码器的通道自适应超声图像去噪方法

超声图像去噪对提高超声图像的视觉质量和完成其他相关的计算机视觉任务都至关重要。超声图像中的特征信息与斑点噪声信号较为相似,用已有的去噪方法对超声图像去噪,容易造成超声图像纹理特征丢失,这会对临床诊断的准确性产生严重的干扰。因此,在去除斑点噪声的过程中,需尽量保留图像的边缘纹理信息才能更好地完成超声图像去噪任务。该文提出一种基于残差编解码器的通道自适应去噪模型(RED-SENet),能有效去除超声图像中的斑点噪声。在去噪模型的解码器部分引入注意力反卷积残差块,使本模型可以学习并利用全局信息,从而选择性地强调关键通道的内容特征,抑制无用特征,能提高模型去噪的性能。在2个私有数据集和2个公开数据集上对该模型进行定性评估和定量分析,与一些先进的方法相比,该模型的去噪性能有显著提升,并在噪声抑制以及结构保持方面具有良好的效果。