基于多尺度递归网络的图像超分辨率重建

提出了一种基于多尺度递归网络的图像超分辨率网络模型,该模型主要由多个多尺度特征映射单元级联而成,每个单元分别包含一组不同尺度的特征提取层、一个融合层以及一个特征映射层。特征提取直接在原始低分辨率图像上进行,最后采用亚像素卷积重构高分辨率图像。训练阶段使用自适应矩估计优化方法加速网络模型的收敛。实验结果表明,所提算法取得了较好的超分辨率结果,图像纹理清晰、边缘锐利,视觉效果明显得到增强。在Set5、Set14、BSD100以及Urban100等常用测试集上的客观评价指标(PSNR和SSIM)均高于现有的几种主流算法。     

纹理细节恢复的图像超分辨率重建算法

针对现有单图像超分辨率方法在重建过程中容易忽略原图像中不同结构-纹理的差异与联系，导致生成的高分辨率图像缺乏纹理细节并存在伪影的问题，提出了纹理细节恢复的图像超分辨率重建算法。该方法由梯度分支、纹理分支和图像超分辨率分支组成。其中，在梯度分支和纹理分支之间使用了类注意力模块处理二者的特征混淆问题，并通过双向特征融合模块实现了对结构特征与纹理特征的相互促进，作为先验信息以达到纹理细节信息增强的目的。此外，在图像超分辨率分支还通过构建特征恢复模块，利用浅层和深层信息帮助网络保留了图像中更丰富的上下文信息和纹理细节。该方法通过在DIV2K数据集上进行了网络训练，并在5个基准测试集Set5、Set14、BSD100、Urban100和MANGA109上进行了实验，峰值信噪比(PSNR, Peak Signal to Noise Ratio)分别：37.88dB、33.28dB、32.0781dB、31.89dB、38.39dB,相比现有方法均有显著提升。实验结果表明，本文方法获得了有效的重建图像并且保留更多的图像细节，生成具有边缘清晰和逼真细节的超分辨率图像。     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

改进的基于卷积神经网络的图像超分辨率算法

针对现有的基于卷积神经网络的图像超分辨率算法参数较多、计算量较大、训练时间较长、图像纹理模糊等问题,结合现有的图像分类网络模型和视觉识别算法对其提出了改进。在原有的三层卷积神经网络中,调整卷积核大小,减少参数;加入池化层,降低维度,减少计算复杂度;提高学习率和输入子块的尺寸,减少训练消耗的时间;扩大图像训练库,使训练库提供的特征更加广泛和全面。实验结果表明,改进算法生成的网络模型取得了更佳的超分辨率结果,主观视觉效果和客观评价指标明显改善,图像清晰度和边缘锐度明显提高。     

基于深度跳跃级联的图像超分辨率重建

针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上提取浅层特征,并使用亚像素卷积对图像进行放大;通过使用跳跃级联块可以充分利用每个卷积层提取到图像特征,实现特征重用,减少网络的冗余性。网络的跳跃级联块可以直接从输出到每一层建立短连接,加快网络的收敛速度,缓解梯度消失问题。实验结果表明,在几种公开数据集上,所提算法的峰值信噪比、结构相似度值均高于现有的几种算法,充分证明了所提算法的出色性能。     

基于卷积神经网络的深度图超分辨率重建

针对传统深度图超分辨率重建算法需要人工提取特征、计算复杂度较高且不容易得到合适表示特征的问题,提出一种基于卷积神经网络(CNN)的深度图超分辨率重建算法。该算法不需要提前对特定的任务从图像中提取具体的手工特征,而是模拟人类的视觉系统对原始深度图进行层次化的抽象处理以自主地提取特征。该算法直接进行从低分辨率深度图到高分辨率深度图的映射学习。映射由7个卷积层和1个反卷积层联合实现。卷积操作学习丰富的图像特征,而反卷积实现上采样重建高分辨率的深度图。Middlebury RGBD数据集的实验结果表明,该模型得到的峰值信噪比(PSNR)较传统双三次插值算法平均提高了2.7235dB,均方根误差(RMSE)平均降低了0.098;与经典CNN算法相比,PSNR平均提高了1.5244dB,RMSE平均降低了0.043。     

结合注意力和残差聚合的图像超分辨率算法

为解决残差块间的层级特征利用不充分导致生成的图像结构扭曲、视觉模糊等问题,提出结合注意力和残差聚合的图像超分辨率重建算法。网络通过浅层特征聚合模块获取多尺度的特征并输入到残差聚合网络,采用渐进式融合策略从局部和全局两方面对各个残差块的特征进行聚合,以达到充分利用残差块层级特征的目的。为进一步增强特征表示,利用双重注意力机制分别从空间和通道来关注特征之间的相互依赖性。实验结果表明,与SRCNN、FSRCNN等方法相比,算法重建的图像结构清晰且细节信息丰富。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

渐进式多尺度特征级联融合颜色恒常性算法

颜色恒常性是实现目标检测、三维物体重建、自动驾驶等计算机视觉任务的重要前提。为充分利用图像中不同尺度的特征信息估计光源,提出渐进式多尺度特征级联融合颜色恒常性算法,通过三个卷积网络分支从不同尺度提取图像中的特征信息,通过特征融合得到更加丰富的特征信息,通过级联方式将图像中的浅层边缘信息和深层细粒度特征信息进行融合,提高了颜色恒常性算法的精确性。渐进式网络结构基于加权累计角度误差损失函数提高了算法在面对极端场景光照下光源估计的鲁棒性。在重处理的ColorChecker和NUS-8数据集上的实验结果表明,本文算法在各项评价指标上均优于目前的颜色恒常性算法,可应用于需要进行颜色恒常性预处理的其他计算机视觉任务。     

基于MDLatLRR和KPCA的光场图像全聚焦融合

为了提升光场成像的空间分辨率,结合光场图像数字重聚焦与多聚焦图像融合,提出了一种基于多尺度潜在低秩分解和核主成分分析的光场图像全聚焦融合算法。首先,对光场图像进行数字重聚焦得到重聚焦图像,然后对各重聚焦图像进行多尺度分解提取出基础层和显著层,对基础层、显著层分别采用局部梯度差值加权算法和多尺度梯度域显著性提取算法计算相应的特征系数;其次,联立基础层和各显著层的特征系数矩阵,然后用核主成分分析进行降维融合得到融合特征系数矩阵,使得经融合特征系数生成的聚焦决策图能充分考虑基础层和显著层的特征信息;最后,用聚焦决策图引导重聚焦图像进行全聚焦融合。实验结果表明,该算法与传统方法相比在视觉效果和边缘信息丰富度上具有更优表现,所生成的光场全聚焦图像具有更高的分辨率和更好的视觉效果。     

基于多相组重建的航空图像超分辨率算法

为提高航空图像的空间分辨率, 提出一种基于多相组重建的超分辨率算法. 融合图像间的互补信息, 将多帧低分辨率图像作为图像基, 参考帧分解为多相组, 利用差异采样特性构建图像基与参考帧之间的的多相组线性关系重建得到高分辨率图像的多项组, 经图像多相分解逆变换获得融合的高分辨率图像. 根据该融合图像的局部内容和结构信息自适应调整控制核核函数, 应用改进的控制核回归算法去除图像模糊和噪声得到清晰的超分辨率图像. 与传统算法相比, 该算法无需图像配准和迭代过程, 计算效率极大地提高. 实验结果表明, 本文算法能够有效提高航空图像的空间分辨率, 在定量评价指标和主观视觉效果方面都有显著提高.     

基于改进的非下采样Contourlet变换的超分辨率复原算法

Contourlet变换应用于图像复原时容易引人伪吉布斯现象.非下采样Contourlet变换(NSCT)具有平移不变性,能够克服伪古布斯现象,但足由于基于学习的超分辨率复原需要建立不同分辨率的关系,而NSCT变换的结果是每一层图像大小都一样,不能像拉普拉斯金字塔那样建立高低分辨率图像的对应关系及运算量较大.针对这些问题,提出了基于改进的非下采样Contourlet变换(INSCT)的超分辨率复原算法.为了表示人脸特征,算法首先建立了INSCT金字塔.然后针对人脸的特殊性,在匹配过程中,采用对应点进行匹配的方法.实验表明该算法具有较好的性能,复原出的超分辨率人脸图像无论在主观视觉效果上还是在客观评价指标上都取得较好的结果,复原的图像具有更好的视觉效果,更逼真,更接近于原始高分辨率图像.     

自适应尺度信息的U型视网膜血管分割算法

针对视网膜血管形态结构和尺度信息复杂多变的特点,提出一种自适应血管形态结构和尺度信息的U型视网膜血管分割算法。首先采用二维K-L(Karhunen-Loeve)变换(即霍特林变换)综合分析彩色图像三通道的频带信息,从而得到视网膜灰度图像以及多尺度形态学滤波增强血管与背景的对比度信息。然后将预处理图像经U型分割模型对图像进行端对端训练,并利用局部信息熵采样进行数据增强。该网络编码部分的密集可变形卷积结构根据上下特征层信息有效地捕捉图像中多种尺度信息和形状结构,底部金字塔型的多尺度空洞卷积扩大局部感受野,同时解码阶段带有Attention机制的反卷积网络将底层与高层特征映射有效结合,解决权重分散和图像纹理损失的问题。最后通过SoftMax激活函数得到最终的分割结果。在DRIVE(Digital Retinal Images for Vessel Extraction)与STARE(Structured Analysis of the Retina)数据集上对该算法进行了仿真,准确率分别达到97.48%与96.83%,特异性分别达到98.83%与97.75%,总体性能优于现有算法。     

基于USENet实现数字全息细胞再现相位像超分辨重构

在UNet框架中集成SENet权重标定学习机制,设计了USENet实现图像超分辨重构.网络以对称拓扑叠加残差运算,通过多尺度卷积窗口增强模型精度与泛化能力,为图像特征通道引入权重标定算法以提升兴趣区域的估算置信度.结果表明,该模型能够明显改善输入样本的细节特征,已将验证集与真实图像的结构相似性从平均0.770 2提升至0.942 7.根据实验组和不带标定层的对照组重建图像对比显示,标定层可进一步在全局图像中将兴趣区域从平均0.965 5提升至0.970 3.     

基于密集梯度生成对抗网络的偏振图像融合算法北大核心CSCD

针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节;构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。     

基于去卷积的快速图像超分辨率方法

针对目前基于样例学习的图像超分辨率方法难以同时满足快速运算和生成高质量图像的问题,提出一种基于去卷积的快速图像超分辨率方法。设计新型网络模型,以低分辨率图像作为输入图像,利用卷积层进行特征提取与表示;利用去卷积层对图像特征放大膨胀,再以池化层浓缩特征图,提炼出对结果更敏感的特征;以亚像素卷积层实现特征映射与图像融合,获得高分辨率图像。在图像集上进行测试,相比其他方法,本文方法的测试结果具有较高的峰值信噪比,且平均每秒能处理24幅以上大小为320pixel×240pixel的图像,表明该方法不仅可以生成更高质量的图像,且具有较高的处理速度,能满足视频实时处理要求。     

基于卷积神经网络的立体图像舒适度客观评价

基于卷积神经网络模型,提出一种立体图像舒适度评价方法。该方法无须提前根据特定的任务从图像中人工提取具体的特征,而是模拟人脑处理机制对图像进行层次化的抽象处理,自主提取特征。该方法采用三通道卷积神经网络结构,分别对原始图像进行主成分分析,以及32×32、256×256两种尺度的分块处理得到三条通道的输入数据集,根据输入数据设计每条通道的网络结构。采用两种尺寸分块处理得到不同尺寸的图像块特征信息,采用主成分分析降维处理得到原始图像的整体信息。此外,通过随机丢弃、局部响应归一化等方法提升算法的评价性能。实验结果表明,以修正线性单元为激活函数、输出层用Softmax分类器,对天津大学TJU立体图像数据库中400幅不同舒适度等级的立体图像样本进行测试,等级分类率正确达94.52%,优于极限学习机、支持向量机算法。     

基于密集连接结构的超分辨精简网络

近年来, 随着深度神经网络的发展并被应用在超分辨领域, 图像超分辨率重建的效果得到了明显的提升。但是之前的工作大都把精力放在如何设计深度模型来提高重建的效果上, 而忽视了设计模型需要大量参数与计算量这一问题, 严重制约了深度学习方法在图像超分辨率重建方面的实际应用范围。针对该问题, 基于密集连接结构设计了一种新的网络。在以下3个方面进行了算法改进:1)提出了一种基于密集连接结构的新模型; 2)加入1×1卷积层作为特征选择层, 同时进一步减少计算量; 3)探讨了通道数量与重建精度、计算量之间的关系。实验结果表明本文提出的模型取得了与其他卷积神经网络模型相近的复原精度, 同时计算速度只有之前最快深度模型FSRCNN的一半以下。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于双通道卷积神经网络的深度图超分辨研究

目前直接获取的深度图受其成像原理及硬件设备等因素的限制,存在分辨率低、边缘信息丢失等缺点,极大地影响了深度图的应用。针对这一问题,提出基于双通道卷积神经网络的深度图超分辨率重建模型。该模型由深、浅两个通道组成,21层的深层通道通过联合卷积与反卷积,结合跳跃连接与多尺度理论,实现深度图细节特征的快速学习;3层的浅层通道用于学习深度图的轮廓特征;最后融合深、浅两个通道,将细节与轮廓相结合,实现由低分辨率深度图到高分辨率深度图的端到端的学习。该模型充分利用卷积神经网络的学习能力自主提取深度图的有效特征,避免了手工提取特征的不准确性。在Middlebury RGBD数据集上的实验结果表明,本文模型在大采样因子8时仍能取得较好的效果,具有很高的实际应用价值。