融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

基于稀疏表示的光场图像超分辨率重建

光场相机通过一次拍照可以同时记录场景的光线信息和方向信息,在三维场景的重建方面和先拍照后聚焦方面有非常广阔的应用前景,但是相比于普通相机,光场相机拍摄的照片清晰度不够。提出一种基于稀疏表示的光场图像超分辨率重建算法,该算法利用光场多视角图像之间的冗余信息对光场图像进行超分辨率重建。首先,选取光场多视角图像的中心图像作为待重建的低分辨率图像;然后,将其他视角的图像及其降采样图像作为字典训练样本,采用稀疏K-SVD方法进行训练,获得高、低分辨率字典对;最后,在图像重建过程中,采用改进的高斯Laplace算子提取低分辨率图像的特征。实验结果表明,所提改进方法可以恢复更多的图像细节并且大大加快了字典训练的速度。     

图像超分辨率研究综述

介绍了图像超分辨率技术的概念及来源,综述了超分辨率技术在国内外发展的概况,澄清了图像超分辨率重建和超分辨率复原两个概念,对图像超分辨率的方法进行了分类对比,并对图像超分辨率的发展进行了展望.     

基于小波融合的图像残差金字塔超分辨率研究

提出了基于小波融合的残差金字塔超分辨率方法.算法包括2部分:1) 通过残差金字塔分别估计多幅低分辨率图像的高频信息;2) 对获得的多幅高分辨率图像进行小波融合.图像的低频部分采用能量加权法融合,高频部分采用最大值规则融合,融合后经过小波反变换得到最终的高分辨率图像.研究结果表明,该算法避免了大量的迭代运算,降低了计算复杂度,使大尺寸图像的超分辨率成为可能.     

超分辨率图像重建分析和应用

高分辨率图像是人们一直追求的目标。超分辨率图像重建技术就是人们获取高分辨率图像的一种很重要的方法。本文分析了超分辨率图像重建的原理,总结了各种重建方法的特点,指出超分辨率图像重建的发展历史、应用场合和前景。     

联合运动估计与基于模式的超分辨率图像重构

超分辨率图像重构是利用关于同一场景的多帧低分辨率图像重构出一幅具有更高分辨率图像的过程.已有的超分辨率图像重构算法对于人工模拟所得到的低分辨率图像序列具有很好的效果,但对于拍摄到的真实低分辨率图像序列而言,重构后的图像往往比较模糊,有时甚至仍然无法分辨.为此,本文提出了一个联合运动估计与基于模式的超分辨率图像重构算法.实验结果表明,该算法能够得到优于常规算法的高分辨率图像.     

基于邻域嵌入的X光图像超分辨率区域融合

为了提升X光图像超分辨率区域融合的质量,提出基于邻域嵌入的X光图像超分辨率区域融合方法研究.采用邻域嵌入技术对X光图像进行超分辨率重建,以此为基础,连接X光图像超分辨率区域特征,提取X光图像超分辨率区域,利用小波分解将超分辨率区域划分为低频子带与高频子带,制定低频子带与高频子带融合规则,融合超分辨率区域,并通过邻域验证...     

融合内外特征的图像超分辨率算法

针对单一先验知识不足以约束病态严重的图像超分辨率问题,本文提出了融合内外特征的图像超分辨率算法.针对图像的自相似性,通过采用基于内部特征的深度卷积网络学习来增强输入图像的细节纹理,去除超分辨率图像伪影;同时,使用基于外部图像的稀疏约束方法来学习图像结构信息,并结合高频残差字典来解决超分辨率重建中的高频信息缺失问题;最后通过卷积稀疏方法分别从基础层和细节层来融合内外特征的重建图像,以获得细节清晰、去伪影的超分辨率图像,进一步提高图像质量.与传统算法相比,本文算法在重建图像的纹理特征和质量上都得到了增强,且视觉效果与峰值信噪比较传统算法有所改善.     

基于深层特征差异性网络的图像超分辨率算法

传统深层神经网络通常以跳跃连接等方式堆叠深层特征,这种方式容易造成信息冗余。为了提高深层特征信息的利用率,该文提出一种深层特征差异性网络(DFDN),并将其应用于单幅图像超分辨率重建。首先,提出相互投影融合模块(MPFB)提取多尺度深层特征差异性信息并融合,以减少网络传输中上下文信息的损失。第二,提出了差异性特征注意力机制,在扩大网络感受野的同时进一步学习深层特征的差异。第三,以递归的形式连接各模块,增加网络的深度,实现特征复用。将DIV2K数据集作为训练数据集,用4个超分辨率基准数据集对预训练的模型进行测试,并通过与流行算法比较重建的图像获得结果。广泛的实验表明,与现有算法相比,所提算法可以学习到更丰富的纹理信息,并且在主观视觉效果和量化评价指标上都取得最好的排名,再次证明了其鲁棒性和优越性。     

Hyperspectral Image Super-Resolution Based on Spatial-Spectral Feature Extraction Network

Constrained by the physics of hyperspectral sensors, the spatial resolution of hyperspectral images(HSI) is low. Hyperspectral image super-resolution(HSI SR) is a task to obtain high-resolution hyperspectral images from low-resolution hyperspectral images. Existing algorithms have the problem of losing important spectral information while improving spatial resolution.To handle this problem, a spatial-spectral feature extraction network(SSFEN) for HSI SR is proposed in this paper. It enhances the...     

基于上下文感知跨层特征融合的光场图像显著性检测

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。     

基于边缘增强引导滤波的光场全聚焦图像融合

受光场相机微透镜几何标定精度的影响,4D光场在角度方向上的解码误差会造成积分后的重聚焦图像边缘信息损失,从而降低全聚焦图像融合的精度。该文提出一种基于边缘增强引导滤波的光场全聚焦图像融合算法,通过对光场数字重聚焦得到的多幅重聚焦图像进行多尺度分解、特征层决策图引导滤波优化来获得最终全聚焦图像。与传统融合算法相比,该方法对4D光场标定误差带来的边缘信息损失进行了补偿,在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像高频信息增强,并建立多尺度图像评价模型实现边缘层引导滤波参数优化,可获得更高质量的光场全聚焦图像。实验结果表明,在不明显降低融合图像与原始图像相似性的前提下,该方法可有效提高全聚焦图像的边缘强度和感知清晰度。     

基于稀疏正则化结合NLS的超分辨率图像重建

为了保持高光谱(HS)超分辨率重建过程中的频谱一致性和边缘锐度,提出一种基于空间谱结合非局部相似性的超分辨率重建算法。首先,使用HS图像生成模型,采用稀疏正则化解决全色(PAN)图像和HS图像重建的病态问题求逆;然后分析了从高空间分辨率到低空间分辨率数据生成的丰度系数映射;最后利用非局部相似性,设计空间谱联合正则化项。实验结果表明,本文算法重建图像在PSNR,SSIM和FSIM方面明显高于其他优秀算法,在SAM和ERGAS方面明显低于其他优秀算法,在光谱失真方面丢失最少,仅有2%-3%,低于其他算法30%左右,且重建效果更加清晰自然。     

基于增强超分辨率网络的单对图像时空融合

由于高质量的对地观测需要时空连续的高分辨率遥感图像,故对时空融合的研究广泛开展,并且集中在Landsat和MODIS卫星之间.目前已经提出了使用卷积神经网络进行时空融合的方法,但是网络较浅,故融合性能有限.针对应用最广泛的单对图像时空融合问题,建立了一种基于深度神经网络的新时空融合方法.首先,基本网络框架由两个级联的4倍上采样器构成以近似Landsat和MODIS卫星之间的空间差异和传感器差异.然后,利用卷积神经网络学习重建图像与真实图像之间的残差,使重建图像与真实图像更接近.接着,使用高通调制策略进行时间上的预测.最后,将所提方法在不同的Landsat和MODIS卫星图像上进行了测试,并与多种时空融合算法进行了比较.实验结果表明,与现有融合算法相比,所提方法的重建效果更好,且处理速度更快.     

基于耦合特征空间下改进字典学习的图像超分辨率重建

针对目前基于字典学习的图像超分辨率重建效果欠佳或字典训练时间过长的问题,本文提出了一种耦合特征空间下改进字典学习的图像超分辨率重建算法.该算法首先利用高斯混合模型聚类算法对训练图像块进行聚类,然后使用更改字典更新方式的改进KSVD字典学习算法来快速获得高、低分辨率特征空间下字典对和映射矩阵.重建时根据测试样本与各个类别的似然概率自适应地选择最匹配的字典对和映射矩阵进行高分辨率重建.最后利用图像非局部相似性,将其与迭代反向投影算法相结合对重建后的图像进行后处理获得最佳重建效果.实验结果表明了本文方法的有效性.     

基于特征融合的图像目标显著性检测方法

为了凸显图像中的感兴趣目标,提出了基于特征融合的图像目标显著性检测方法。首先通过提取可见光图像不同尺度空间的不同特征,利用区域协方差理论融合尺度空间之间串接的不同特征,然后结合全局核密度估计体现图像的全局显著性,实现局部和全局特征融合的图像目标显著性检测。仿真结果表明,无论主观评价,还是客观指标,新方法均优于当前流行的图像显著性检测方法。     

基于空间特征融合的双路径图像去噪网络

深度卷积神经网络(Convolutional Neural Network, CNN)在图像去噪领域受到广泛关注。然而,随着网络深度的增加,大多数深度CNN会出现性能饱和、学习能力下降等问题。提出了一种结合局部和全局特征的双路径去噪网络,将两个不同结构的网络组合后构成一个双路径模型,增加网络的宽度,从而获得更多不同的特征。通过长路径连接融合全局和局部特征,增强层间相关性。注意力机制利用当前阶段引导前一阶段的输入,获得更多的特征。实验结果表明,我们提出的网络模型在Set12和BSD68两个数据集中的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)分别达到了32.95 dB和31.74dB。同时,主观视觉效果(如图像的边缘等细节)恢复得更好、更清晰。     

基于区域协方差的图像特征融合方法

考虑到不同特征代表图像的不同信息,融合后的特征更能体现图像的本质,概括总结了国内外各类图像特征融合方法,重点阐述分析了基于区域协方差的特征融合方法,该方法可以自然地融合多个相关特征,协方差计算本身具有滤波能力且效率高,最后通过设计合适的目标特征,基于区域协方差融合特征实现舰船目标识别。实验表明,协方差描述子可以较好地融合舰船可见光图像或红外图像的目标特征,提高目标识别能力。