基于改进EDSR的轻量化机载图像超分辨率算法

近年来,高分辨率数字化显示器广泛应用于机载座舱中,受限于特定波段图像传感器的性能以及视频传输链路等因素,到达显示器端的机载传感器图像的分辨率往往低于显示器分辨率。这些图像直接显示时有效显示区域较小,不方便观察;简单的插值算法放大又会导致画面模糊;而超分辨率(SR)重建技术在放大图像的同时,预测了图像细节,从而提升图像的分辨率。目前,基于卷积神经网络(CNN)的超分辨率算法凭借其卓越的重建效果(PSNR及SSIM)成为最先进的SR算法;现有的SR算法存在网络结构复杂、参数量大、计算消耗资源大等问题,难以在机载嵌入式环境下实时实现。针对以上问题,提出一种轻量化超分辨率算法C-EDSR,在重建效果基本不降低的情况下,大幅减少计算量,为进一步在机载嵌入式环境下实时实现SR算法奠定了基础。实验表明：所提算法与EDSR相比,PSNR值平均降低0.026 dB,SSIM值平均降低0.000 176,计算量减少61.1%。     

融合内外特征的图像超分辨率算法

针对单一先验知识不足以约束病态严重的图像超分辨率问题,本文提出了融合内外特征的图像超分辨率算法.针对图像的自相似性,通过采用基于内部特征的深度卷积网络学习来增强输入图像的细节纹理,去除超分辨率图像伪影;同时,使用基于外部图像的稀疏约束方法来学习图像结构信息,并结合高频残差字典来解决超分辨率重建中的高频信息缺失问题;最后通过卷积稀疏方法分别从基础层和细节层来融合内外特征的重建图像,以获得细节清晰、去伪影的超分辨率图像,进一步提高图像质量.与传统算法相比,本文算法在重建图像的纹理特征和质量上都得到了增强,且视觉效果与峰值信噪比较传统算法有所改善.     

基于多特征门控反馈残差网络的超分辨率图像重建算法

针对超分辨率重建领域中低分辨率图像特征利用不充分的问题,文中基于反馈机制与注意力机制,提出了一种多特征门控反馈残差网络。该网络模型结构简单,以循环的方式实现了网络参数复用,可以有效地节省计算资源。此外,对网络迭代中的输出特征进行保留也可实现多特征融合。采用进一步的特征精炼模块将重建后的高分辨率图像特征进行特征提取,得到了更好的重建效果。在5种测试数据集上的实验结果表明,当缩放因子为4时,该网络的峰值信噪比分别为32.50 dB、28.83 dB、27.75 dB、26.65 dB和31.12 dB。与对比网络相比,文中所提算法的测试结果显著提升。     

适用于图像超分辨率的多路径融合增强网络

卷积神经网络（Convolutional Neural Network, CNN）在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络（Multi-path Fusion Enhancement Network, MFEN）。具体来说,提出了一个新颖的融合注意力增强模块（Fusion Attention Enhancement Block, FAEB）作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成：主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块（Self-Adaptive Attention Module, SAAM）来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,...     

基于多尺度特征蒸馏的轻量化图像超分辨率网络研究

大多数轻量化图像超分辨率网络采用信息蒸馏的方式进行低分辨率图像特征提取。尽管它们取得了不错的超分辨率图像重建结果,但是信息蒸馏的方式忽略了对图像内容尺度变化的建模,导致网络在处理有明显尺度变化内容时性能下降。为了解决上述问题,本文提出了一种基于级联尺度蒸馏的轻量化图像超分辨率网络（MSDNet）,并在常用的图像超分辨率数据集上进行了大量实验。定量与定性的实验结果表明了MSDNet的有效性。     

基于卷积神经网络的单幅图像超分辨率重建算法综述

近年来,单幅图像超分辨率重建技术成为机器视觉领域的研究热点。随着深度学习的发展,卷积神经网络在单幅图像超分辨率重建方面取得了前所未有的成功。文章对典型的图像超分辨率重建的卷积神经网络模型进行综合论述,比较分析了不同模型之间的异同点和优缺点,并对基于卷积神经网络的单幅图像超分辨率重建方法的未来研究方向进行展望。     

基于改进SRCNN模型的图像超分辨率重构

图像超分辨率重构是指将低分辨率图像生成对应的高分辨率图像,在许多领域有着重要作用。文章在SRCNN方法的基础上,提出了改进模型。首先,在SRCNN基础上使用小卷积代替大卷积。其次,加入残差结构。最后,在前两层网络后加入ReLU激活函数。结果表明,scale为3、4、6、8的PSNR分别提升了0.140 3 dB、0.084 5 dB、0.147 2 dB、0.113 5 dB,模型性能较改进前有所提升。     

多尺度残差特征融合的轻量级真实图像超分辨率重建

基于深度学习的真实图像超分辨率(super-resolution, SR)重建算法目前存在参数量过大的问题,为解决该问题,提出了一种多尺度残差特征融合的轻量级真实图像SR重建算法。首先利用深度可分离卷积和复用卷积针对多尺度特征提取块进行改进,在提取特多尺度特征的同时实现了模块的轻量化,参数量仅为改进前的7.5%。其次使用残差特征融合操作将4个多尺度深度可分离特征提取块(multi-scale depthwise separable block, MSDSB)聚合成一个残差特征融合块,以减少残差路径长度。然后使用增强型注意力模块从通道和空间维度进行自适应调整以提升算法性能。最后使用自适应上采样模块获得SR重建图像。在消融实验中,本文算法重建性能超过原始算法,且参数量仅为3.53×10⁶,是原始算法的34.5%。在对比实验中,其重建性能超过了当前主流算法,与组件分而治之(component divide-and-conquer, CDC)算法相比,PSNR和SSIM指标分别提升了0.01 dB与0.001 0,且参数量仅为组件CDC算法的8.84%,在保证重建性能的同...     

基于迁移学习的红外图像超分辨率方法研究

针对红外图像空间分辨率低、成像质量不高的问题,提出了基于迁移学习的红外图像超分辨率方法。该方法以基于卷积神经网络的自然图像超分辨率方法为基础进行改进:增加网络的层数进行更深层次的学习训练,串联多层小的卷积核使其能够利用更多的图像信息,以“相差图”为目标进行训练,减小网络训练时间,提升网络收敛速度;利用迁移学习知识,再以少量高质量红外图像为目标样本,对自然图像超分辨率的网络进行二次训练,将网络权重经过微调后迁移应用到红外图像的超分辨率上。实验结果表明:基于卷积神经网络的超分辨率方法能够有效迁移应用到红外图像的超分辨率上,且改进后的网络具有更好的自然及红外图像的超分辨率性能,验证了本文所提方法的有效性及优越性。     

面向图像超分辨率的紧凑型多径卷积神经网络算法研究

为改善单帧图像分辨率退化问题,减少网络参数,本文提出一种基于紧凑型多径结构卷积神经网络的图像超分辨率重构算法。本文算法采用多径结构模型充分使用低分辨率图像信息,并利用残差学习策略学习低分辨率和高分辨率图像间残差信息以重建高分辨率图像。当卷积核数量有限时,含有ReLU的网络重构性能表现不佳,因此引入最大特征图激活函数,增强网络泛化能力,使网络结构更加紧凑,以捕捉具有竞争性特征,完成图像超分辨率重构。实验结果表明,本文方法具有良好的重构能力,图像清晰度和边缘锐度明显提高,在客观评价和主观视觉效果方面优于当前主流的超分辨率重构方法。为便携式高性能超分辨率重构奠定理论基础。      

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明,本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB,SSIM +0.102）,从主观评价上看可以有效地减少视频边缘模糊的现象。      

快速图像超分辨率方法研究

针对现有的基于样本学习的图像超分辨率方法参数较多、运算速度较慢等问题,结合基于卷积神经网络的超分辨率方法,提出一种快速图像超分辨率方法.设计一学习网络,以低分辨率图像作为网络的输入,从根本上减少网络的运算负担,加速网络运算;减小卷积核尺寸使得网络训练参数减少,提高运算速度;最后以亚像素卷积层同时实现网络的映射和图像融合过程.将所提方法在通用测试集上进行测试,并与其他方法的测试结果进行了对比,所提方法生成的图像具有更高的峰值信噪比,且具有更好的主观视觉效果.实验结果表明所提方法不仅运算速度能够得到大幅提升,而且能够生成更高质量的超分辨率图像,具有更佳的超分辨率性能.     

基于深度学习的图像超分辨率重建方法浅析

图像超分辨率是图像处理中一个经典问题,从低分辨率图像中恢复高分辨率图像的不确定性给问题的求解带来了极大的挑战。作为一个热门的应用领域,从问题提出至今,研究者们提出了许多的解决方法。随着科技进步和深度学习的发展,基于卷积神经网络等的深度学习方法应用于图像超分辨率重建,使得重建图像的质量得到了极大的提高。文章对基于深度学习的图像超分辨率重建的一些较为经典的方法进行了总结与探讨,分析了其中的优势与不足,并指出了目前方法中存在的问题和今后研究可以努力的方向。     

基于改进IBP算法的图像超分辨率重建

针对传统IBP算法存在对图像细节获取能力差,重建图像清晰度不高的问题,提出一种改进方法.该方法利用小波包图像融合技术,获取所有低分辨率图像高频绝对值最大的值,与均值低频进行小波包重建,得到重建低分辨率图像.以该图像为参考图像,进行迭代反投影,获得高分辨率图像.改进后的算法增加了迭代反投影方法对高频信息的获取能力,提高了...