基于超分辨率重建的图像增强算法研究

 为了提高图像分辨率,从软件的角度出发,对低分辨率图像序列重建高分辨率图像的原理和算法实现开展了研究,提出从多个低分辨率图像序列中获取更高分辨率图像的方法。通过采用基于光流场的金字塔分层结构实现由粗到精的图像配准,获取了亚像素的运动估计。在采用多帧低分辨率图像进行亚像素级配准后,提出采用动态自适应确定正则化参数的方法,构造了简单的正则化代价函数,建立了低分辨率图像与高分辨率图像之间关系的重建模型,仿真实验结果表明该超分辨率重建算法水平和垂直方向上分辨率各增加一倍,与其他算法相比清晰度更高,计算时间不到传统POCS算法的一半。     

协作稀疏字典学习实现单幅图像超分辨率重建

字典的选择影响基于稀疏编码的图像超分辨率重建模型的重建质量。提出了一种基于协作稀疏表达的字典学习算法。在训练阶段,通过K-Means聚类算法将样本图像块划分为不同的聚类;构建基于同时稀疏约束条件的协作稀疏字典学习模型对每个聚类训练高、低分辨率字典;应用基于L_2范数的稀疏编码模型将图像超分辨率重建过程中输入图像块由低分辨率到高分辨率的映射转变为简单的线性映射,并针对不同聚类求得相应的线性映射矩阵。在重建阶段,输入图像块通过搜索与自身结构最相似的聚类来选择相应映射矩阵获得重建后的高分辨率图像。结果表明,本文算法通过改进字典学习过程实现了更好的图像超分辨率重建质量。     

采用CCD错位成像技术提高图像质量

为了克服现有电荷耦合器件(CCD)错位成像实现方法结构复杂、对移位精度要求苛刻等缺点,提出并实现了利用高精度二维平移台对单个CCD相机整体二维移位,对一定物距远处靶标成像。采用三次B样条插值、交错重组,对得到的具有既定相互位移关系的多幅相互错位半个像元的低分辨率图像进行重建,得到高分辨率图像。采用刃边法估算点扩展函数,对重建高分辨率图像进行图像复原,得到最终高分辨率图像。结果表明,采用错位成像,图像目视视觉分辨力提高了1.4倍,图像混叠效应降低,图像复原将调制传递函数面积(MTFA)由0.1577提高到0.2937。实验表明,错位成像技术能提高图像分辨力,降低图像混叠,增强图像质量,图像复原可以有效补偿重建的高分辨率图像的调制传递函数(MTF),解决了错们成像中重建图像分辨力提高但MTF下降的问题。     

基于多帧参考的整帧丢失错误掩盖算法

为了解决视频传输中整帧图像丢失的误差扩散问题,提出了一种基于多参考帧运动矢量外推的整帧丢失错误掩盖算法.通过对多个参考帧的运动矢量外推得到丢失块的候选运动矢量集;采用多参考帧边界匹配准则进行丢失帧和其后续帧的误差估计,并选择丢失块的最优运动矢量;最后采用自适应的重叠块运动补偿方法重建丢失帧.实验结果表明,该算法在恢复整帧图像的同时,有效地降低了视频序列中整帧图像丢失的误差扩散影响,与已有算法比较,该算法恢复的视频序列平均峰值信噪比提高了0.5～1dB,具有更好的错误掩盖效果.     

图像超分辨率重建技术与方法综述

图像超分辨率重建可以利用多幅具有互补信息的低分辨率图像重构一幅高分辨率的图像,该技术已经成为图像处理领域的研究热点。介绍了图像超分辨率重建的基本原理,阐述了超分辨率重建技术与其它相关图像处理技术的关系;系统地总结了图像超分辨率重建中常用的运动估计方法、运算方式和质量评价方法。     

基于多帧参考的整帧丢失错误掩盖算法

为了解决视频传输中整帧图像丢失的误差扩散问题,提出了一种基于多参考帧运动矢量外推的整帧丢失错误掩盖算法.通过对多个参考帧的运动矢量外推得到丢失块的候选运动矢量集|采用多参考帧边界匹配准则进行丢失帧和其后续帧的误差估计,并选择丢失块的最优运动矢量|最后采用自适应的重叠块运动补偿方法重建丢失帧.实验结果表明,该算法在恢复整帧图像的同时,有效地降低了视频序列中整帧图像丢失的误差扩散影响,与已有算法比较,该算法恢复的视频序列平均峰值信噪比提高了0.5~1 dB,具有更好的错误掩盖效果.     

基于双阈值Huber范数估计的图像正则化超分辨率算法

多帧图像超分辨率算法利用图像间的互补信息, 可以从一系列具有亚像素位移的低分辨率影像数据中重建出高分辨率图像. 在众多超分辨率算法中, 正则化方法以其求解病态问题的有效性而被广泛应用, 但在此类方法中, 最优估计算子的估计准确度对最后的重建结果有着较大的影响. 本文在现有正则化超分辨率重建算法的基础上, 提出了一种基于双阈值Huber范数的极大似然估计算子, 可以提高Huber范数对于阈值取值的容忍性和算子估计精度; 并给出了基于该算子的正则化超分辨率算法的迭代公式. 通过对仿真图像进行重建, 结果表明算法可有效地抑制各种噪声并保证重建效果; 同时将此算法应用于实际图像的超分辨率重建, 有效地提高了目标影像的空间分辨率. 关键词： 图像处理 图像重建 超分辨率 正则化     

一种补偿平移与旋转运动的快速电子稳像算法

针对视频图像序列的非稳特性,研究了电子稳像算法中灰度投影算法和块匹配算法各自的不足之处,提出了一种快速补偿视频图像序列间平移及旋转运动的稳定成像算法.该算法先采用灰度投影算法估计并补偿视频图像序列间的平移运动,再利用拉普拉斯变换在靠近图像的边缘区域选取几个具有明显特征的小块,运用块匹配算法进行匹配,计算并补偿其旋转运动量,以得到稳定的视频图像序列.通过理论分析和实验验证,表明这种稳像算法具有速度快、准确度高的特点.     

NVST高分辨率图像中太阳小尺度结构的精细放大

将基于深度学习的放大方法应用于天文图像的研究中,根据新真空太阳望远镜(NVST)图像中的结构特征,提出一种有效的天文图像放大方法。首先使用Binning技术对数据进行降采样处理,获得对应的低分辨率图像;其次通过改进的残差稠密网络充分提取和利用低分辨率图像多级特征,重建出高分辨率的太阳图像;最后通过残差分析、相关性分析及功率谱分析对太阳图像的重建误差进行定量评估。实验结果表明,相对传统插值法,所提方法能够对太阳图像中的小尺度结构进行精细放大,且在放大图像的同时有效提高图像的信噪比。     

基于半像素错位的多幅图像重建高分辨率图像技术研究

介绍了一种基于半像素错位的多幅图像重建高分辨率图像技术。分析了半像素错位的多幅图像与高分辨率图像各像素灰度值的对应关系 ,并从CCD数字化采样的角度进行了论证。同时 ,结合实际摄像机CCD结构 ,求出了高分辨率图像重建的计算公式 ,并通过实验进行了验证和完善。重建的本质是以原高分辨率图像的 4邻域平均图像为基础 ,增加一定比例的边缘细节信息 ,去接近原高分辨率图像。CCD的动态范围越大 ,图像的灰度级越多 ,那么计算误差就越小 ,图像的边缘细节信息就可以利用更多 ,重建的图像就越接近原高分辨率图像。通过实验和分析表明 ,利用半像素错位的多幅低分辨率图像重建高分辨率图像的原理是正确的 ,方案是可行的     

基于亚像素扫描的超分辨技术在高分辨X射线显微镜中的应用

在不改变现有硬件条件的情况下,开展超分辨扫描重建方法,可以在不增加系统成本的基础上提高高分辨X射线显微镜的成像性能.设计了基于亚像素扫描的超分辨扫描模式,按照设计的调制方式进行亚像素位移的移动,采集多幅具有互补信息的低分辨率图像;然后基于系统的点扩散函数,对高分辨率图像进行复原;最后结合POCS超分辨重建算法重建出高分辨图像.实验结果表明,10倍光耦探测器下的衬度噪声比提高了20%左右,空间分辨力提高了0.2μm(约15%),细节分辨能力超过探测器像素尺寸1.35μm的限制,可以看到在低分辨率图像中看不到的细节.实验说明用超分辨技术提高高分辨X射线显微镜的分辨率是有意义的.     

单帧图像的超分辨率技术进展

单帧图像超分辨率重建是就是由一幅降质的含噪的低分辨率图像来估计一幅高分辨率图像。列举了当前研究的几种主要算法,从峰值信噪比、框架相似性和边缘稳健性的标准来加以比较。最后的结果显示RS算法性能最优,这也符合主观评价标准。     

MAP序列多帧图像超分辨率复原

序列多帧图像的超分辨率复原是由一序列低分辨率图像来估计一幅高分辨率图像的技术。介绍了序列图像的成像观测模型,给出了一种随机微扫描亚像素运动估计的方法,采用最大后验概率法进行了图像的超分辨率复原,对仿真结果进行了分析和比较。     

凝视成像降质模型的超分辨率重建

针对吉林一号视频03星凝视成像的特点,为提高其图像空间分辨率,解决光学系统分辨率不足的问题,提出一种视频卫星超分辨率重建的新算法——凸集中间映射。以主动观点分析视频卫星凝视成像特点,建立了基于凝视成像的图像降质模型。为求解该降质模型的逆过程,以凸集理论为基础,建立了基于中间降质过程的约束集和相应的点投影算子,通过点投影算子逐帧修正高分辨率图像灰度值,最终将重建的高分辨率图像约束于凸集的交集上。实验结果表明,该算法使图像分辨率提高近30%,克服了同类算法具有投影误差和重叠伪影的缺点,图像质量评价指标均优于所列其他算法,8帧重建得到收敛解,对不同清晰度的图像重建均具有可行性和稳健性。说明该算法适用于视频卫星图像超分辨率重建。     

图像超分辨率研究的最新进展

图像超分辨率是指从一序列低分辨率观测图像中重建高分辨率图像。图像超分辨率充分利用了各帧图像间相似而又不同的信息。该技术可以广泛应用于遥感、医学成像和高清晰度电视等多个领域。回顾了经典超分辨率算法,介绍了目前超分辨率算法及其扩展研究方向的一些最新进展,指出了图像超分辨率有待进一步研究的几个可能的方向。     

基于多相组重建的航空图像超分辨率算法

为提高航空图像的空间分辨率, 提出一种基于多相组重建的超分辨率算法. 融合图像间的互补信息, 将多帧低分辨率图像作为图像基, 参考帧分解为多相组, 利用差异采样特性构建图像基与参考帧之间的的多相组线性关系重建得到高分辨率图像的多项组, 经图像多相分解逆变换获得融合的高分辨率图像. 根据该融合图像的局部内容和结构信息自适应调整控制核核函数, 应用改进的控制核回归算法去除图像模糊和噪声得到清晰的超分辨率图像. 与传统算法相比, 该算法无需图像配准和迭代过程, 计算效率极大地提高. 实验结果表明, 本文算法能够有效提高航空图像的空间分辨率, 在定量评价指标和主观视觉效果方面都有显著提高.     

基于稀疏表示和近邻嵌入的图像超分辨率重构

提出基于稀疏表示和近邻嵌入的单帧图像超分辨率重构算法。为低分辨率和高分辨率图像块训练两个基于稀疏表示的过完备字典,在训练的低分辨率图像块和高分辨率图像块中分别选取与这两个字典原子最近的图像块近邻,通过图像块近邻来计算构图像块的权重。一旦得到权重矩阵,高分辨率重构图像块可以由低分辨率图像块与相应权重相乘来表示。与之前的算法相比,所提出的算法在计算字典原子与图像块距离的时候不是逐个图像块进行计算,而是先将图像块聚类,计算字典原子与类中心的距离,在距离最近的一类中选取图像块。计算权重矩阵的时间可以大大减少,提高计算效率。所得到的PSNR与其它算法相比,也有一定提高。     

基于相位相关的亚像素配准技术及其在电子稳像中的应用

介绍一种基于相位相关的图像配准方法,并将该方法应用于序列图像的运动检测,通过运动补偿,实现了序列图像的稳定输出。采用相位相关配准方法对序列图像进行亚像素精度配准,运用基于最小二乘的曲面拟合法,估计当前图像相对参考图像的亚像素级的平移量。在补偿图像运动时,为保证亚像素级的补偿精度,采用平滑算法,避免在图像补偿时出现马赛克现象。最后,对样本图像进行了亚像素级位移配准和图像补偿对比实验。实验结果表明,提出的方法可以检测到0．01pixel的运动量,最大配准误差为0．008pixel;采用亚像素级运动量补偿图像,最大误差〈0．5。     

稀疏阈值的超分辨率图像重建

为了解决基于字典学习的超分辨重构算法耗时过长的问题,提出了基于稀疏阈值模型的图像超分辨率重建方法。首先,将联合字典理论与图像块稀疏阈值方法相结合,训练得到高、低分辨率过完备图像字典对。接着,通过稀疏阈值OMP算法对图像特征块进行稀疏表示。然后,通过高分辨率字典重构出初始的超分辨图像。最后,通过改进迭代反投影算法对初始的超分辨图像进行全局优化,从而进一步提高图像重构质量。实验结果表明,超分辨图像重构平均峰值信噪比(PSNR)为30.1 d B,平均结构自相似度(SSIM)为0.937 9,平均计算时间为10.2 s。有效提高了超分辨重构的速度,改善了重构高分辨图像的质量。     

基于卷积神经网络的深度图超分辨率重建

针对传统深度图超分辨率重建算法需要人工提取特征、计算复杂度较高且不容易得到合适表示特征的问题,提出一种基于卷积神经网络(CNN)的深度图超分辨率重建算法。该算法不需要提前对特定的任务从图像中提取具体的手工特征,而是模拟人类的视觉系统对原始深度图进行层次化的抽象处理以自主地提取特征。该算法直接进行从低分辨率深度图到高分辨率深度图的映射学习。映射由7个卷积层和1个反卷积层联合实现。卷积操作学习丰富的图像特征,而反卷积实现上采样重建高分辨率的深度图。Middlebury RGBD数据集的实验结果表明,该模型得到的峰值信噪比(PSNR)较传统双三次插值算法平均提高了2.7235dB,均方根误差(RMSE)平均降低了0.098;与经典CNN算法相比,PSNR平均提高了1.5244dB,RMSE平均降低了0.043。