基于半监督学习和生成对抗网络的医学图像融合算法

为了有效利用少量的医学图像标签数据和大量的无标签数据,提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练,主要包括监督训练、无监督训练、参数微调等3个阶段。此外,生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成,而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明,与现有的6种基于深度学习的算法相比,所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能,提高融合图像的质量。     

基于半监督学习生成对抗网络的人脸还原算法研究

基于大量训练样本生成高置信度图像的生成对抗网络研究已经取得一些成果,但是现有的研究只针对已知训练样本进行图像生成,而未将训练的参数用于训练样本之外的图像生成。该文设计了一种改进的生成对抗网络模型,在已有网络的基础上增加一个还原层,使得测试图像可以通过改进的对抗网络生成对应的高置信度图像。实验结果表明,改进的生成对抗网络参数可以应用到训练集之外的普通样本。同时本文改进了生成模型的损失算法,极大地缩短了网络的收敛时间。     

基于改进DCGAN的汽车冷凝器图像生成方法

深度学习方法在工业产品图像缺陷检测领域取得进展,但是大量的缺陷数据难以收集.针对在生成汽车冷凝器缺陷图像过程中存在生成质量低、无法按缺陷类别生成,模型收敛缓慢等问题,将生成对抗网络应用于缺陷图像的生成,提出了一种基于半监督和自注意力机制的深度卷积生成对抗网络(DCGAN)模型用于生成汽车冷凝器外观缺陷图像.在DCGAN...     

基于无监督学习的单样本红外图像生成方法

针对当前可见光-红外图像数据集匮乏导致的模型特征学习能力不够以及生成图像质量低下等问题,提出了单样本的无监督学习方法来训练红外图像生成模型。首先,在数据集难以获取、匮乏的情况下,仅采用一对可见光-红外图像作为模型训练的数据,降低了数据获取的难度,解决了数据匮乏的问题。其次,为了在训练模型时充分提取图像特征,改进了网络结构。实验数据表明,本文方法能够在单样本图像生成中取得较好的效果。在艾睿光电数据集中,本文方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity, SSIM)指标分别达到了26.5588 dB和0.8846;在俄亥俄州立大学(Ohio State University, OSU)数据集上的PSNR和SSIM分别达到了30.3528 dB和0.9182。与基于风格的生成对抗网络(Style-based Generative Adversarial Network, StyleGAN)方法相比,本文方法在艾睿光电数据集上的PSNR和SSIM指标分别提高了16.07%和23.78%;在OSU数据...     

基于自监督注意和图像特征融合的文本生成图像方法

现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取,上采样过程本质是卷积运算,卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制,但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题,提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段,利用注意机制进行图像特征之间的自主映射学习,通过特征的上下文关系引导动态注意矩阵,实现上下文挖掘和自注意学习的高度结合,提高低分辨率图像特征的生成效果,后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块,通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合,生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息,更加保证了不同分辨率特征图的语义一致性,从而实现高分辨率的逼真的图像生成。实验结果表明,相较于基准模型（AttnGAN）,SAF-GAN模型在IS和FID指标上均有改善,在CUB数据集上的IS分数提升了0.31,FID指标降低了3.45;在COCO...     

人体姿态图像生成方法研究

姿态图像的生成是建立在生成式对抗网络基础上的一种图像生成方法,本文通过对GAN网络模型进行改进,建立一种新的姿态图像生成模型TCI-GAN.并通过对生成结果的对比,突出本文的网络模型结构在图像生成质量和可控性上表现出更加良好的性能.     

基于无监督学习的双分支融合低光图像增强方法

针对经过算法增强后的图像产生伪影且图像噪声放大的问题,提出了一种基于无监督学习的双路融合低光照图像增强网络(Unsupervised Learning-based Dual Fusion Low-light Image Enhancement Network, ULDFNet),可从非配对的低光和正常光数据集中学习到低光图像到正常光图像的映射方式。ULDFNet由双支路构成,上支路是注重对噪声进行抑制的细化分支,下支路是基于注意力机制的U-Net全局重建分支,用于高质量图像的生成。判别网络采用特征金字塔的多尺度结构来增强图像全局一致性,同时改进了损失函数,引入全新的保真度循环一致性损失来进一步提高图像纹理信息的恢复质量。定性与定量的实验结果证明了所提方法能够有效抑制增强后图像伪影的产生和噪声的放大。     

基于半监督生成对抗网络的乳腺癌图像分类

本文针对仅有少量带标签样本时如何提高大量未标 注样本分类的的鲁棒性和准确性问题,提出一种 基于改进的半监督生成对抗网络(semi-supvised generative adversarial networks,SGAN) 的乳腺癌图像分类方法。该方法在输出层使用Softmax 函数 替代 Sigmoid 函数实现多分类。首先将随机向量输入到生成网络中,生成伪样本并标记为伪样本 类进行训 练。接着将真实标签样本、真实无标签样本和伪样本输入到判别网络中,输出为不同类概率 值;然后采 用半监督训练方法反向传播更新参数;最后实现对乳腺癌病理图像的分类,标注样本数量分 别为25、 50和200,最终准 确率达到95.5%。实验结果表明,当标注 样本有限时,本文算法的准确 率具有良好 的鲁棒性。本文算法相比于使用卷积神经网络和迁移学习(tranfer learning,TL)等分类方法准确率有了显著提高。     

基于CycleGAN的仿真PET/CT图像生成方法

目前,癌症仍然是人类身体健康的一个巨大威胁.癌症的诊断尤其是早期诊断,对于癌症的治愈来说至关重要.以正电子发射型计算机断层显像/计算机断层扫描显像(Positron Emission Computed Tomography/Computed Tomography,PET/CT)为代表的医疗影像学技术是癌症早期诊断的重要...     

基于生成对抗学习的标准rPPG信号生成

为了提高生成远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)信号的波形规律性,降低心率计算难度,提出了一种标准化rPPG的信号生成方法。将人脸视频输入到生成对抗网络的生成器中,生成器通过有标签数据进行监督训练,预测得到人脸视频中蕴含的rPPG信号。为了进一步优化生成器的预测结果,使用数学建模方法生成标准的rPPG信号,并将其与生成器预测的信号同时输入至判别器中进行对抗学习,不断优化生成器参数,使得生成器能够学习标准信号的波形分布。这样,生成器预测的信号波形在形态上更接近于真实rPPG信号的波形分布,从而有利于后续心率计算。在不同数据集上进行的实验结果表明,该方法可以显著提高预测的准确性,且拥有更高的信噪比。     

基于特征解耦的无监督水下图像增强

水介质的吸收和散射特性致使水下图像存在不同类型的失真,严重影响后续处理的准确性和有效性。目前有监督学习的水下图像增强方法依靠合成的水下配对图像集进行训练,然而由于合成的数据可能无法准确地模拟水下成像的基本物理机制,所以监督学习的方法很难应用于实际的应用场景。该文提出一种基于特征解耦的无监督水下图像增强方法,一方面,考虑获取同一场景下的清晰-非清晰配对数据集难度大且成本高,提出采用循环生成对抗网络将水下图像增强问题转换成风格迁移问题,实现无监督学习;另一方面,结合特征解耦方法分别提取图像的风格特征和结构特征,保证增强前后图像的结构一致性。实验结果表明,该方法可以在非配对数据训练的情况下,能够有效恢复水下图像的颜色和纹理细节。     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

基于生成对抗网络的无监督域适应分类模型

生成适应模型利用生成对抗网络实现模型结构,并在领域适应学习上取得了突破.但其部分网络结构缺少信息交互,且仅使用对抗学习不足以完全减小域间距离,从而使分类精度受到影响.为此,提出一种基于生成对抗网络的无监督域适应分类模型（Unsupervised Domain Adaptation classification model based on GAN,UDAG）.该模型通过联合使用生成对抗网络和多核最大均值差异度量准则优化域间差异,并充分利用无监督对抗训练及监督分类训练之间的信息传递以学习源域分布和目标域分布之间的共享特征.通过在四种域适应情况下的实验结果表明,UDAG模型学习到更优的共享特征嵌入并实现了域适应图像分类,且分类精度有明显提高.     

基于GAN和CNN-ELM的监控图像智能修复及检测方法

针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题,提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法.首先,使用深度学习网络作为 目标检测框架,利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原,得到清晰完整的作业图像;其次,利用CNN自适应学习图像特征的能力,对修复后的图像进行自主特征提取;最后,将提取的图像特征输入ELM分类器中进行目标识别与分类,判断作业过程是否存在违规行为.试验结果表明:所提方法图像修复速度快,视觉效果自然,且目标识别准确率高,具有很好的泛化能力.     

基于改进CycleGAN的浑浊水体图像增强算法研究

针对循环生成对抗网络(Cycle Generative Adversarial Networks, CycleGAN)在浑浊水体图像增强中存在质量差和速度慢的问题,该文提出一种可扩展、可选择和轻量化的特征提取单元BSDK (Bottleneck Selective Dilated Kernel),并利用BSDK设计了一个新的生成器网络BSDKNet。与此同时,提出一种多尺度损失函数MLF(Multi-scale Loss Function)。在自建的浑浊水体图像增强数据集TC(Turbid and Clear)上,该文BM-CycleGAN比原始CycleGAN的精度提升3.27%,生成器网络参数降低4.15MB,运算时间减少0.107s。实验结果表明BM-CycleGAN适合浑浊水体图像增强任务。     

基于深度学习的雷达目标检测技术

根据纽曼-皮尔逊准则,恒虚警方法（CFAR）在虚警率10-6、检测概率90%的条件下,可检测目标的信噪比需大于12.8dB。由于可用于参考的环境单元有限且实际环境中杂波分布差异性大,特别是隐身、低慢小等目标的能量强度值很难达到检测门限的要求。本文基于深度学习方法,利用含杂波/噪声/干扰的目标距离多普勒(RD)域图像与相应理想情况下的目标RD图作为网络训练数据集,网络中的生成模型向判决模型提供抑制处理后的RD图,根据判决模型反馈来调整杂波抑制处理参数。这一动态对抗博弈的过程最终优化所得的生成模型将有效学习环境中杂波/噪声/干扰的特性并将其过滤。通过杂波、噪声和干扰环境下的实验证明,本文方法可以在RD域有效抑制杂波,增强目标信息,具备在实际杂波抑制场景下的可行性。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。