基于改进的非下采样Contourlet变换的超分辨率复原算法

Contourlet变换应用于图像复原时容易引人伪吉布斯现象.非下采样Contourlet变换(NSCT)具有平移不变性,能够克服伪古布斯现象,但足由于基于学习的超分辨率复原需要建立不同分辨率的关系,而NSCT变换的结果是每一层图像大小都一样,不能像拉普拉斯金字塔那样建立高低分辨率图像的对应关系及运算量较大.针对这些问题,提出了基于改进的非下采样Contourlet变换(INSCT)的超分辨率复原算法.为了表示人脸特征,算法首先建立了INSCT金字塔.然后针对人脸的特殊性,在匹配过程中,采用对应点进行匹配的方法.实验表明该算法具有较好的性能,复原出的超分辨率人脸图像无论在主观视觉效果上还是在客观评价指标上都取得较好的结果,复原的图像具有更好的视觉效果,更逼真,更接近于原始高分辨率图像.     

基于GAN的人脸超分辨率重建算法研究

为解决当前人脸超分辨率算法细节处理不足和过度平滑等问题,基于对抗网络技术提出一种针对单一面部图像的超分辨率重建算法。在生成网络中并联边缘检测网络,提取丰富的人脸轮廓细节以辅助特征提取,通过Ranger优化器优化网络训练过程,最终结合客观评价和主观评价指标,建立数学模型综合评价重建效果。实验结果表明,算法较三次样条法、SRGAN、FSRCNN等方法具有更优的主观和客观评价结果。提升了面部的细节复原能力,具有更好的重建效果。     

基于偏最小二乘算法的人脸图像超分辨率技术

提出了基于偏最小二乘法回归的超分辨率复原算法.介绍了偏最小二乘法回归算法的原理,研究和分析了基于偏最小二乘法回归的超分辨率复原算法.将高低分辨率图像块的高频信息和中频信息作为其特征,并采用分块重叠的方法解决了复原时存在的方块效应.通过对亚洲人脸和欧美人脸的实验结果表明,提出的方法无论是对亚洲人脸还是欧美人脸都能取得较好的复原效果,并且在放大倍数较大的情况下,复原的效果仍然显著.     

基于双字典和稀疏表示的医学图像超分辨率重建

在医学影像图像处理过程中,由于成像技术和成像时间的限制,还无法获取满足诊断需求的清晰图像,这使得在现有技术和极短时间内所获取的医学病理图像需要进行超分辨率的重建处理;基于学习的图像超分辨率思想是从已建立的先验模型中重建出高频细节;在文章中,将要估计的高频信息认为是由主要高频和冗余高频两部分组成,提出了一种基于双字典学习和稀疏表示的医学图像超分辨率重建算法,由主要字典学习和冗余字典学习组成,分别渐近地恢复出主要高频细节和冗余高频细节;实验结果的数据分析和视觉效果显示,所提出双层递进方法能够恢复更多的图像细节且在性能指标上比现有的其他几种方法均有所提高。     

基于ZedBoard的超分辨率视频复原系统

为了实现超分辨率视频图像的实时复原,设计了以ZedBoard可编程片上系统为基础的超分辨率视频复原系统。系统包括基于V4L2(Video for Linux 2)的USB摄像头视频采集、基于小波变换的超分辨率复原算法处理和基于Qt的图形用户界面制作以及视频输出。采用双线性、双立方和小波变换算法分别对Lena图像进行复原处理,峰值信噪比PSNR值分别为29.516、29.843、31.368。实验结果表明,提出的基于小波的超分辨率复原算法优于传统的插值算法,基于ZedBoard的超分辨视频复原系统复原效果良好。     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

多尺度融合超分辨率算法在无人机探测中的应用

基于光电传感器的低慢小无人机探测系统能够快速准确地发现并识别无人机目标,但远距离非合作无人机目标在图像中像素比重过小,特征退化较明显,使识别率大大降低。图像超分辨技术能够从低分辨率目标图像区域中获得高分辨率图像并恢复更多的细节特征,现有超分辨技术很难在保证推理速度的前提下兼容图像的高低频特征,因此为了满足探测系统的需求,基于FSRCNN（fast super-resolution convolutional neural network）的特征提取与非线性映射网络结构并结合多尺度融合,提出一种包含4分支的轻量级多尺度融合超分辨率网络,能够在超分辨率图形中兼容高低频图像信息,且参数量较低,实时性高。经实验结果表明,该算法能够更加快速高效地重建出高分辨率的无人机轮廓与细节;在YOLOV3检测效果的实验中,该算法能够使无人机检测置信度平均提升6.72%,具备较高的实际应用价值。     

基于POCS-MPMAP合成算法的超分辨率图像复原

阐述了凸集投影理论(POCS)和基于Markov约束的Poisson-MAP超分辨率图像复原算法(MPMAP).为了能获得更大的带宽扩展和更好的复原图像,把POCS理论与MPMAP算法结合在一起,提出基于POCS-MPMAP的合成超分辨率图像复原算法.由此获得了改善的图像复原结果.     

超分辨率图像复原及其进展

超分辨率图像复原的目的在于复原截止频率之外的信息 ,以使图像获得更多的细节和信息。阐述了超分辨率图像复原的理论基础 :解析延拓理论 ,信息叠加理论和非线性操作。说明了超分辨率复原能力的概念和影响因素 ,介绍了目前主要研究和采用的超分辨率复原方法 :能量连续降减法 ,Bayes分析法 ,凸集投影法 ,包括单幅图像复原法和多幅图像复原法。指出了超分辨率复原的研究和发展方向。     

基于数字图像处理技术的人脸检测算法研究

为了提高人脸检测的准确性及检测速度,需要对基于数字图像处理技术的人脸检测算法进行研究。使用当前方法进行人脸检测时,需要提取脸部特征数目较多、检测速度过慢,降低人脸检测效率。为此,提出一种基于数字图像处理技术的人脸检测算法。该方法首先获取人脸数字图像,通过拉开数字图像的灰度间距,使数字图像灰度均匀分布,进而提高数字图像对比度,使图像更加清晰,再通过Wiener维纳滤算法对处理后的数字图像进行图像平滑去噪,在此基础上使用Robert边缘检测算子方法对数字图像人脸边缘每个像素点检测,得到数字图像中人脸边缘的基本图像,将其输入到计算机数字图像处理系统中进行识别检测。实验仿真证明,所提算法在检测速度及准确性等方面具有明显的优势。     

基于流形学习的声目标特征提取方法研究

为解决目前声目标识别面临的鲁棒性不足问题,提出将流形学习应用到声目标的特征提取中,在经典流形学习算法的基础上,研究讨论了目标声信号频域中存在的低维流形,通过两种实际的地面和低空飞行声目标数据集进行对比识别实验,分析了基于流形学习的声目标特征提取方法的性能,结果表明基于流形学习的特征提取方法可以发现声信号的本质特征,提高了声目标识别系统的准确性和鲁棒性. 关键词： 声目标识别 特征提取 流形学习     

稀疏阈值的超分辨率图像重建

为了解决基于字典学习的超分辨重构算法耗时过长的问题,提出了基于稀疏阈值模型的图像超分辨率重建方法。首先,将联合字典理论与图像块稀疏阈值方法相结合,训练得到高、低分辨率过完备图像字典对。接着,通过稀疏阈值OMP算法对图像特征块进行稀疏表示。然后,通过高分辨率字典重构出初始的超分辨图像。最后,通过改进迭代反投影算法对初始的超分辨图像进行全局优化,从而进一步提高图像重构质量。实验结果表明,超分辨图像重构平均峰值信噪比(PSNR)为30.1 d B,平均结构自相似度(SSIM)为0.937 9,平均计算时间为10.2 s。有效提高了超分辨重构的速度,改善了重构高分辨图像的质量。     

采用在线流形学习的彩色图像质量评价

针对许多评价方法都需要大量有效的训练样本离线学习得到特征提取器的问题,同时考虑到人脑能自然感知数据的内在低维特征,这种感知恰以流形方式存在,提出了一种采用在线流形学习的彩色图像质量评价方法。实验结果表明,所提出方法在LIVE、CSIQ和TID2008三个数据库的平均Spearman秩相关系数(SROCC)达到0.91。相比于其它方法,在线流形学习的彩色图像质量评价方法与主观视觉感受吻合度更高。     

卷积稀疏表示图像融合与超分辨率联合实现

为避免图像融合与超分辨率分步实现的不足,提出了基于卷积稀疏表示的融合与超分辨率重建联合实现方法。假设低分辨率与高分辨率图像之间具有相同的稀疏特征图,设计了一种高、低分辨率滤波器联合学习框架,实现对图像高低频成分的分离,并根据不同成分的形态特性设计了不同的融合规则:对于高频成分,根据稀疏特征图亮度信息和像素活跃性水平,设计了一种像素显著性度量方案来指导高频特征图的融合;对于低频成分,根据脉冲耦合神经网络能捕获邻域相似像素点火的特性,设计了低频成分融合方法。所提方法不需要将图像分割成重叠的块,避免块向量化的缺陷。实验结果表明,能有效提高图像融合的质量。     

基于密集连接结构的超分辨精简网络

近年来, 随着深度神经网络的发展并被应用在超分辨领域, 图像超分辨率重建的效果得到了明显的提升。但是之前的工作大都把精力放在如何设计深度模型来提高重建的效果上, 而忽视了设计模型需要大量参数与计算量这一问题, 严重制约了深度学习方法在图像超分辨率重建方面的实际应用范围。针对该问题, 基于密集连接结构设计了一种新的网络。在以下3个方面进行了算法改进:1)提出了一种基于密集连接结构的新模型; 2)加入1×1卷积层作为特征选择层, 同时进一步减少计算量; 3)探讨了通道数量与重建精度、计算量之间的关系。实验结果表明本文提出的模型取得了与其他卷积神经网络模型相近的复原精度, 同时计算速度只有之前最快深度模型FSRCNN的一半以下。     

基于深度反向投影的感知增强超分辨率重建模型

以SRCNN（super-resolution convolutional neural network）模型为代表的超分辨率重建模型通常都有很高的PSNR（peak signal to noise ratio）和SSIM（structural similarity）值，但其在视觉感知上并不令人满意，而以SRGAN为代表的拥有高感知质量的GAN（generative adversarial networks）模型却很容易产生大量的伪细节，这表现在其PSNR和SSIM值通常都较低。针对上述问题，提出了一种基于深度反向投影的感知增强超分辨率重建模型。该模型采用双尺度自适应加权融合特征提取模块进行特征提取，然后通过深度反向投影进行上采样，最终由增强模块增强后得到最终输出。模型采用残差连接与稠密连接，有助于特征的共享以及模型的有效训练。在指标评价上，引入了基于学习的LPIPS（learned perceptual image patch similarity）度量作为新的图像感知质量评价指标，与PSNR、SSIM一起作为模型评价指标。实验结果表明，模型在测试数据集上PSNR、SSIM、LPIPS的平均值分别为27.84、0.7320、0.1258，各项指标均优于对比算法。     

Saliency detection based on diffusion maps

Visual saliency has recently attracted lots of research interest in the computer vision community. In this paper, we propose a novel computational model for bottom-up saliency detection based on manifold learning. A typical graph-based manifold learning algorithm, namely the diffusion maps, is adopted for establishing our saliency model. In the proposed method, firstly, a graph is constructed using low-level image features. Then, the diffusion maps algorithm is performed to learn the diffusion distances at different time, which are utilized to derive the saliency measure. Compared to existing saliency models, our method has the advantage of being able to capture the intrinsic nonlinear structures in the original feature space. Experimental results on publicly available data demonstrate that our method outperforms the state-of-the-art saliency models, both qualitatively and quantitatively.     

Residual Learning and Multi-Path Feature Fusion-Based Channel Estimation for Millimeter-Wave Massive MIMO System

Channel estimation is a challenging task in a millimeter-wave (mm Wave) massive multiple-input multiple-output (MIMO) system. The existing deep learning scheme, which learns the mapping from the input to the target channel, has great difficulty in estimating the exact channel state information (CSI). In this paper, we consider the quantized received measurements as a low-resolution image, and we adopt the deep learning-based image super-resolution technique to reconstruct the mm Wave channel. Specifically, we exploit a state-of-the-art channel estimation framework based on residual learning and multi-path feature fusion (RL-MFF-Net). Firstly, residual learning makes the channel estimator focus on learning high-frequency residual information between the quantized received measurements and the mm Wave channel, while abundant low-frequency information is bypassed through skip connections. Moreover, to address the estimator’s gradient dispersion problem, a dense connection is added to the residual blocks to ensure the maximum information flow between the layers. Furthermore, the underlying mm Wave channel local features extracted from different residual blocks are preserved by multi-path feature fusion. The simulation results demonstrate that the proposed scheme outperforms traditional methods as well as existing deep learning methods, especially in the low signal-to-noise-ration (SNR) region.