基于级联注意力与密集特征融合的图像修复算法

针对图像修复算法存在的语义不连贯、纹理不清晰等问题,提出一种基于生成对抗网络的新型级联密集生成网络CDGAN(Cascade Densely Generative Adversarial Network),采用encoder-decoder作为生成器主干,利用下采样提取图像特征;为使网络关注修复图像的高频纹理和颜色保真度等有效信息,引入级联的注意力模块,并加入密集特征融合模块扩大网络的整体感受野,充分学习图像特征,提高编码器提取特征的利用率,最后将处理后的图像特征进行上采样重建。在Celeb A和Places2数据集的测试结果表明,CDGAN在语义连贯性、纹理清晰度等方面都有所提升。     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

基于改进的注意力机制与纹理结构分层的生成对抗网络图像修复方法

构建一个以U-Net为基础的模型,通过引入注意力机制与纹理结构分层相融合的图像修复方法,在生成对抗网络模型基础上,引入通道注意力并结合多尺度卷积模块,将图像下采样提取特征分为纹理特征与结构特征,采用改进的Res2Net残差块并重构损失函数.实验结果表明,修复后图像的纹理和结构更统一,修复图像与原始图像在高级语义上更加接近.     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。人脸图像修复方法分为两阶段,第一阶段,通过结构重建器网络提取样式向量,按照StyleGAN所述的原理分为粗尺度特征、中尺度特征和精细特征三组,插入到预先训练好的StyleGAN生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。在CelebA-HQ数据集上的训练并进行测试,本文的方法在定量和定性分析两个方面均优于现有方法。因此,基于潜在特征重构和注意力机制的人脸图像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

结合语义分割图的注意力机制文本生成图像

针对生成对抗网络生成图像存在结构不完整、内容不真实、质量差的问题,提出一种结合语义分割图的注意力机制文本到图像生成模型(SSA-GAN)。首先采用一种简单有效的深度融合模块,以全局句子向量作为输入条件,在生成图像的同时,充分融合文本信息。其次结合语义分割图像,提取其边缘轮廓特征,为模型提供额外的生成和约束条件。然后采用注意力机制为模型提供细粒度词级信息,丰富所生成图像的细节。最后使用多模态相似度计算模型计算细粒度的图像-文本匹配损失,更好地训练生成器。通过CUB-200和Oxford-102 Flowers数据集测试并验证模型,结果表明：所提模型(SSA-GAN)与StackGAN、AttnGAN、DF-GAN以及RAT-GAN等模型最终生成的图像质量相比,IS指标值最高分别提升了13.7%和43.2%,FID指标值最高分别降低了34.7%和74.9%,且具有更好的可视化效果,证明了所提方法的有效性。     

自注意力SRGAN在岩石CT图像超分辨中的应用研究

针对图像采集设备和地质环境等因素导致的岩石显微图像普遍存在分辨率低,图像细节不清晰等问题,本文基于SRGAN和自注意力机制,对生成网络和判别网络进行调整,并在损失函数中结合岩石显微图像的孔隙度特征,提出一种岩石显微图像超分辨率重建算法。在4倍放大因子下,通过实验对岩石显微图像数据集DRSRD1＿2D进行了测试。结果表明,本文所提算法在重建图像的峰值信噪比(PSNR)指标方面有显著改善。与SRGAN算法相比,在运行相同轮数的情况下,重建结果的边缘细节更清晰且亮度信息更准确,能更好地表达图像的高频特征。     

基于对抗生成网络的人脸照片去网纹技术

【目的】研究修复带网纹遮挡的人脸照片,以有助于提高后续的人脸验证的准确性。【方法】基于深度学习的模型(针对修复网纹遮挡的人脸照片)在训练时都要求输入对应的网纹数据,但是在实际应用中要获得对应的网纹数据却是非常困难的。为了避免使用对应的网纹数据对人脸图像进行有效的修复,提出了分离对抗生成网络。该网络利用网纹遮挡的人脸照片与干净的人脸照片做像素差生成残差网纹,利用1个分离网络和3个判别网络进行图像修复。【结果】实验结果表明所提出的方法对于消除人脸图像中网纹遮挡有效。【结论】针对带网纹结构遮挡的人脸图像,在对应网纹数据缺失的情况下,通过分离对抗生成网络,依然可以取得很好的图像修复效果。     

结合注意力机制的生成对抗网络图像超分辨重建

为改善图像超分辨率重建的主观视觉效果,提出一种结合注意力机制的图像超分辨生成对抗网络(generative adversarial network, GAN)模型.该模型在生成器网络中引入通道和空间双重注意力机制,选取更合适的重要特征信息进行传递;判别器网络采用WGAN进行构建,通过Wasserstein距离定义对抗损失,解决了GAN模型的训练不稳定问题.该重建模型在Set5、Set14、BSD100和Urban100共4个标准数据集上进行了实验,结果表明,和主流的超分辨重建算法相比,该模型的主客观评价指标均有所提高,图像细节信息恢复更加清晰,重建质量更好.     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题,为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制,使得算法可以为不同雾度区域特征自动分配不同权重;算法特征提取部分采用DenseNet融合自注意力网络架构,DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来,获取更多的上下文信息,更有效利用提取的特征;融合自注意力可以从编码器部分提取的特征中学习复杂的非线性,提高网络准确估计不同雾度的能力.算法采用Patch判别器,增强去雾图像的局部和全局一致性.实验结果证明,算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较,相比于其他先进算法得到更好的视觉效果;定量比较中,相较于所选择先进算法的最好成绩,峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

基于生成对抗网络的人脸图像彩色化方法

提出了一种新的基于生成对抗网络的人脸图像彩色化方法.所提出的网络结构包含两组生成对抗子网络,每个子网络由一个生成器和判别器组成.其中,一个对抗子网络A（包含生成器A和判别器A）实现从灰度图像到彩色图像的翻译过程,另一个子网络B（包含生成器B和判别器B）反转该过程,即生成器B对称地使用生成器A的最终输出图像作为输入,用来重建原始的人脸灰度图像.其中,网络中的循环损失进行图像重建,而生成损失和对抗损失用来保证生成的图像更加接近真实图像.实验结果表明,这种结构设计不仅能实现自然逼真的人脸图像彩色化,还能同时保证人脸的身份属性不变.      

基于双重注意力机制的深度人脸表示算法

针对现有模型很少对人脸特征进行设计且人脸特征区分性较弱的问题,提出一种基于双重注意力机制的深度人脸表示算法.该算法采用双重注意力机制的网络结构,通过细节注意力机制设计低层特征,自动和自适应地学习层次特征,关注局部特征;通过语义注意力机制设计高层特征,自适应地进行语义分组,关注语义特征.在LFW,YTF,MegaFace...     

基于自注意机制的中文医药命名实体识别算法研究

由于中文语境的复杂性,存在语言边界不清晰、语境依赖、大量的近义词和一词多义等实体嵌套现象,直接套用英文语境中的先进模型效果不理想.针对中文医药词汇和语境的特点,在双向编码器表示预训练语言模型基础上引入自注意机制,结合BiLSTM+CRF模型进行中文命名实体识别,以增强词向量之间以及词向量内的字间关系.试验结果表明,本文模型在嵌套实体数据集上和非嵌套实体数据集上的F1值都较高,对中文医药语境具有较好的适应性.     

基于插值的图像修复算法

目前,针对小区域缺损的图像修复算法中,大多采用基于迭代的修复算法,然而这些效果较好的图像修复算法,其时间复杂度一般都比较大.本文通过插值的方法,利用破损区域与周边邻域的有效信息之间的相关性,提出改进的基于FMM(快速行进)的图像修复算法;调用仅适用于被检测到的高局部活跃的像素,提出基于LMMSE(线性最小均方误差估计)插值的图像修复算法.实验结果表明,提出的两种算法分别与FMM算法和TV(整体变分法)算法相比,在整体上其修复效果和效率都具有明显的优势.     

Dual Variational Generation Based ResNeSt for Near Infrared-Visible Face Recognition

Near infrared-visible ( NIR-VIS) face recognition is to match an NIR face image to a VIS image. The main challenges of NIR-VIS face recognition are the gap caus...     

基于多模板方向的图像修复方法

在基于样本图像修复的基础上,针对采用单一方向模板的Criminisi算法,在查找最佳匹配块过程中产生的错误匹配甚至查找失败问题,提出了一种基于自适应模板方向的图像修复方法。该算法根据自然图像中存在大量对称或有规则物体的特点,在进行模板的搜索时,通过对待修复块或样本块进行不同角度的旋转和/或映射变换,增大样本空间,来提高最佳匹配块的搜索成功率,防止错误匹配的发生。仿真实验结果证明,该方法能有效地改善图像的修复效果。     

一种基于分水岭分割的快速图像修复算法

为快速准确地对破损图像进行修复,提高传统算法的修复质量和速度,本文提出了一种改进的基于分水岭分割的快速图像修复算法.首先针对传统算法在修复速度上的不足,采用改进的匹配区域搜索方法以缩小搜索区域,然后通过分水岭分割结果筛选匹配块以进一步加速图像修复,最后利用分水岭分割结果提出了新的分类修复方法来改进图像修复质量.实验结果表明,相较于现有算法,本文提出的算法在修复质量上有明显的改进,并且修复速度平均提升了40%左右.     

基于图像拼接的可信图像修补方法

为了尽可能地恢复被损坏图像的原始场景,获得最真实的复原效果,针对大区域破损图像的修复,提出了一个基于移位参考图像的可信图像修补与基于图像本身的自修复算法相结合的图像修复方法。首先,受启于图像拼接技术,若存在可以利用的参考图像,便利用SIFT(scale invariant feature transform)算法和RANSAC(random sample consensus)算法将参考图像与目标图像进行配准并投影拼接至目标图像,完成目标图像的可信修补。然后对仍未修复的破损区域进行图像自修复,其中自修复部分采用Criminisi算法。所得到的图像修复结果真实性与可信度较高,与实际景象偏差较小,说明该方法合理可行。     

基于函数映射机制的鲁棒性二重数字水印算法

针对二重数字水印嵌入信息量相对较大及其水印之间相互干扰的特点,提出了一种基于函数映射机制的二重数字水印算法.将第一、二重水印建立某种函数映射关系,在嵌入水印时,只需嵌入一份水印样本,并结合小波变换、离散余弦变换和奇异值分解技术,将水印嵌入在寄主图像中.仿真实验结果表明:该算法不仅具有很好的透明性,而且对各种常规数字信号...     

改进的基于样本的图像修复算法

针对图像修复过程中相似块匹配时造成的误差,深入研究Criminisi算法关键步骤的基础上,充分考虑图像中的结构性信息,提出了一种新的相似块匹配判定规则。首先,对待修复块和目标块进行颜色空间的相似性度量。然后,获取目标块和待合成块已知区域的结构性信息,并对结构性信息进行相似度度量;最后,将符合判定条件的目标块拷贝至待合成区域,更新修复区域的置信度。实验证明,该方法有效的减少了原Criminisi算法在相似块匹配中所造成的误差,在人为修复痕迹方面效果较好,与周围环境的融合也更加柔和,结果令人满意。