基于生成对抗网络结合Transformer的半监督图像增强方法

针对成对数据集获取成本较高、光照分布不均衡图像增强效果欠佳以及增强结果易产生十字形伪影的问题,提出了一种基于生成对抗网络结合Transformer的半监督图像增强方法。首先,采用Transformer网络架构作为生成对抗网络中生成器的主干网络,提取不同像素块间的依赖关系以获取全局特征,并通过非成对数据集进行半监督学习;其次,使用灰度图作为生成器网络的光照注意力图,以平衡增强结果在不同区域的曝光水平;最后,在生成器和鉴别器网络中交叉使用均等裁剪策略和滑动窗口裁剪策略,增强网络提取特征的能力并解决十字形伪影问题,并引入重建损失来提高生成器对图像细节的感知能力。结果表明：提出方法取得了更好的光照和色彩平衡效果,自然图像质量评估指标平均提升了2.37%;在图像修饰任务中,图像峰值信噪比、相似结构度和感知损失同时达到了最优;在低光照增强任务中,图像峰值信噪比提升了13.46%;充分验证了提出方法在图像增强2个子任务上的有效性。     

基于改进循环生成对抗网络的低照度图像增强

为了解决在低照度图像增强过程中配对数据集获取困难,且经过增强后的图像质量不佳的问题,通过改进循环生成对抗网络的方法研究了非配对低照度图像增强的实现。主要方法为改进生成器和判别器的结构提高增强后图像的质量。生成器部分采用融合了Vision Transformer结构的U-NET模型替代原始的生成器模型,来提高图像变换的周期一致性和内容保持性,并有效的处理图像研究中普遍存在的长距离空间相关性的问题。判别器部分针对图像研究的特点选择PatchGAN代替传统的判别器,提高对图像细节的判别能力,提高图像质量。结果表明,相比较于传统方法,本文改进的模型有着更好的主观视觉效果,同时在客观评价指标也有着相应的提高。可见本文改进模型的有效性。     

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

改进条件生成对抗网络的文本生成图像方法

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息...     

基于生成对抗网络的手写汉字生成方法研究

在计算机机械学习领域,相对于数字和英文字母,手写汉字的自动生成研究是个重点难点问题,且具有重要研究意义。随着深度学习的不断发展,生成对抗网络在图像生成领域取得了很大进展。本文提出了一种基于循环生成对抗网络(Cycle Generative Adversarial Networks, CycleGAN)的无监督手写汉字生成方法。利用标准仿宋字体图像和手写字体图像进行训练,生成的手写汉字图像具有比较高的识别度。     

基于水下场景先验的水下图像增强方法研究

针对水体光线吸收与散射作用引起的图像模糊、低对比度和颜色失真等问题,提出一种基于水下场景先验的水下图像增强方法。首先利用水下场景的先验知识,结合水下成像物理模型和水下场景的光学特性,利用10种预定义衰减系数合成涵盖不同类型和退化水平的水下图像数据集;然后利用初始残差和密集级联,设计一类轻量级卷积神经网络（convolutional neural networks, CNN）模型增强水下图像,结合基于轻量级的网络结构和有效的训练数据,可减少增强模型的计算量并有效改善水下退化图像的视觉质量;最后采用归一化的后处理过程进一步提升图像增强的效果。仿真实验结果表明,所提方法可行有效,可应用到不同的真实水下场景,具有较强的鲁棒性与有效性。     

基于生成对抗网络的恶意网络流生成及验证

针对基于深度学习的分类器面对对抗样本时缺乏稳定性的问题,基于生成对抗网络(GAN)提出了一种新的模型,用于生成对抗样本。该模型首次实现了直接以恶意网络流为原始样本的对抗样本生成,并首次提出了弱相关位的概念,用于保证恶意网络流对抗样本的可执行性和攻击性。利用该模型生成的对抗样本能够有效地欺骗基于深度学习的网络安全检测器,且通过实验验证了该对抗样本具有实际攻击效果。     

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络（Cycle-GAN）在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制（SE-Net）,利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习（CL）,使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。     

基于生成对抗网络的图像真实噪声去除算法

深度卷积神经网络已被成功应用于图像高斯白噪声的去除。针对去除真实图像噪声的需要,本文提出了一种基于生成对抗网络的去噪算法。生成网络采用U-net结构,并通过嵌入残差密集块以更好地提取图像特征与减少细节丢失。同时,判别网络采用全卷积网络架构来实现图像的像素级分类,以提升判别器性能。此外,设计了一种增强网络结构,以进一步提高去噪图像质量。仿真实验结果表明,该算法视觉效果以及去噪性能指标PSNR、SSIM均优于其他同类算法,能够更有效地恢复图像细节。     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于生成对抗网络的类别文本生成

类别文本生成旨在让机器生成人类可理解的文本,并且赋予生成文本特定的类别属性。现有工作主要采用基于生成对抗网络的文本生成框架,往往直接采用卷积神经网络进行文本特征提取,缺乏对文本全局语义的关注;此外,简单地在生成网络中引入注意力无法有效消除解码过程中的噪声。针对上述问题,本文提出一种将文本全局特征与局部特征联合建模的方法,通过将长短时记忆网络提取的全局语义信息与卷积神经网络提取的局部语义信息进行融合,增强生成过程中对文本全局语义信息的关注,并且引入双重注意力,进一步过滤掉序列生成中的无关信息。与基准模型相比,本文提出的方法分别在2个公开的真实数据集(Movie Review和Amazon Review)上取得了至少0.01和0.004的BLEU值的提升,表明了本文方法的有效性。     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于改进生成对抗网络的汉字字体生成算法

为解决现有字体模型不完善的笔画连接、不正确的拓扑结构、字形模糊等伪影问题,提出了一种基于改进条件生成对抗网络的汉字字体生成算法.本算法将字体生成任务视为图像转换问题,提出FontToFont和MSAFont两种自动字体生成方法.针对现有汉字字体生成模型存在的问题,提出了基于改进条件生成对抗网络的汉字字体生成算法FontToFont,通过引入U-Net网络结构,可以使生成器保存更详细的信息,并有利于模型性能.建立一种基于多种风格汉字字体的数据集,定性定量验证模型的性能.提出的这种基于改进条件生成对抗网络的汉字字体生成算法,能够从多风格汉字字体中的一部分字体生成高质量的一整套汉字字体.通过设计师的评价及模型消融实验,生成字体的视觉质量和完整度效果良好.     

一种气温降尺度的半循环对抗生成网络

提出了一种半循环对抗生成降尺度模型，应用于ERA5再分析全球气候地表温度数据在中国及其周边地区的降尺度，该模型引入了重建生成器网络和退化生成器网络，采用对抗损失和半循环损失来优化降尺度结果。通过消融实验验证了该模型的有效性。结果表明，与传统的插值方法以及其他深度学习模型相比，该模型在客观评价指标上有所提高，所生成的地表温度数据细节更加丰富。     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

HLMGAN:分层学习的多奖励文本生成对抗网络

文本生成是自然语言处理的一项重要任务. 针对生成的文本大多缺乏多样性，且当生成文本过长时，文本生成的质量会有明显下降的问题，提出了一种采用Sentences and Words（SW）奖励机制的传递向量文本生成对抗网络. 首先，为生成器提出了层次结构设计，包括传递特征向量训练模块和生成向量训练模块，同时传递判别模型中真实文本特征向量给生成器的传递特征向量训练模块，由此来提高长文本生成的准确率，生成向量训练模块接收其生成词序列；然后，在训练过程中，使用关系存储核心代替传统的长短期记忆循环神经网络模型作为生成器，提高了模型的表达能力和捕获信息的能力；最后，采用SW奖励机制提高文本生成的多样性. 实验结果表明，分层学习的多奖励文本生成对抗网络（Generation Adversarial Network Based on Hierarchical Learning with Multi-reward Text，HLMGAN）模型在合成数据负对数似然度和双语互译质量评估辅助工具指标中均有所提升.     

HLMGAN：分层学习的多奖励文本生成对抗网络

文本生成是自然语言处理的一项重要任务.针对生成的文本大多缺乏多样性,且当生成文本过长时,文本生成的质量会有明显下降的问题,提出了一种采用Sentences and Words(SW)奖励机制的传递向量文本生成对抗网络.首先,为生成器提出了层次结构设计,包括传递特征向量训练模块和生成向量训练模块,同时传递判别模型中真实文本特征向量给生成器的传递特征向量训练模块,由此来提高长文本生成的准确率,生成向量训练模块接收其生成词序列;然后,在训练过程中,使用关系存储核心代替传统的长短期记忆循环神经网络模型作为生成器,提高了模型的表达能力和捕获信息的能力;最后,采用SW奖励机制提高文本生成的多样性.实验结果表明,分层学习的多奖励文本生成对抗网络(Generation Adversarial Network Based on Hierarchical Learning with Multi-reward Text,HLMGAN)模型在合成数据负对数似然度和双语互译质量评估辅助工具指标中均有所提升.     

无监督的句法可控复述模型用于对抗样本生成

针对使用句法可控的复述生成模型生成对抗样本时模型性能受限于复述平行语料的领域和规模的问题,提出仅需要单语语料训练的无监督的句法可控复述生成模型,用以生成对抗样本.采用变分自编码方式学习模型,首先将句子和句法树分别映射为语义变量和句法变量,然后基于语义变量和句法变量重构原始句子.在重构过程中,模型可以在不使用任何平行语料...