结合同场景彩色图像的深度图超分辨率重建EI北大核心CSCD

针对飞行时间相机获取深度图像分辨率低,并受成像噪声干扰的问题,提出一种插值深度图和高分辨率彩色图像联合约束的二阶广义全变分(TGV)深度图超分辨率重建方法。首先利用传统插值和多尺度形态学方法进行预处理,获取插值深度图的梯度信息,然后将插值深度图和同场景高分辨率彩色图像两者的梯度信息联合,对二阶TGV模型中的正则化项加以优化:计算各项异性扩散张量时结合插值深度图的梯度信息;引入由插值深度图梯度信息决定的加权因子,控制重建过程中扩散强度。最后通过原始对偶算法完成深度图的超分辨率重建。实验结果表明,本文方法在抑制噪声的基础上,有效保护了深度边缘,可以获得较好的高分辨率深度图像。     

基于卷积神经网络的深度图超分辨率重建

针对传统深度图超分辨率重建算法需要人工提取特征、计算复杂度较高且不容易得到合适表示特征的问题,提出一种基于卷积神经网络(CNN)的深度图超分辨率重建算法。该算法不需要提前对特定的任务从图像中提取具体的手工特征,而是模拟人类的视觉系统对原始深度图进行层次化的抽象处理以自主地提取特征。该算法直接进行从低分辨率深度图到高分辨率深度图的映射学习。映射由7个卷积层和1个反卷积层联合实现。卷积操作学习丰富的图像特征,而反卷积实现上采样重建高分辨率的深度图。Middlebury RGBD数据集的实验结果表明,该模型得到的峰值信噪比(PSNR)较传统双三次插值算法平均提高了2.7235dB,均方根误差(RMSE)平均降低了0.098;与经典CNN算法相比,PSNR平均提高了1.5244dB,RMSE平均降低了0.043。     

图像超分辨率重建技术与方法综述

图像超分辨率重建可以利用多幅具有互补信息的低分辨率图像重构一幅高分辨率的图像,该技术已经成为图像处理领域的研究热点。介绍了图像超分辨率重建的基本原理,阐述了超分辨率重建技术与其它相关图像处理技术的关系;系统地总结了图像超分辨率重建中常用的运动估计方法、运算方式和质量评价方法。     

基于双阈值Huber范数估计的图像正则化超分辨率算法

多帧图像超分辨率算法利用图像间的互补信息, 可以从一系列具有亚像素位移的低分辨率影像数据中重建出高分辨率图像. 在众多超分辨率算法中, 正则化方法以其求解病态问题的有效性而被广泛应用, 但在此类方法中, 最优估计算子的估计准确度对最后的重建结果有着较大的影响. 本文在现有正则化超分辨率重建算法的基础上, 提出了一种基于双阈值Huber范数的极大似然估计算子, 可以提高Huber范数对于阈值取值的容忍性和算子估计精度; 并给出了基于该算子的正则化超分辨率算法的迭代公式. 通过对仿真图像进行重建, 结果表明算法可有效地抑制各种噪声并保证重建效果; 同时将此算法应用于实际图像的超分辨率重建, 有效地提高了目标影像的空间分辨率. 关键词： 图像处理 图像重建 超分辨率 正则化     

暗通道与交叉通道多先验联合多光谱超分辨率算法

针对多光谱遥感图像超分辨率重建易受噪声和色差影响的问题,提出了暗通道与交叉通道多先验联合的多光谱超分辨率算法。首先,在传统全变分先验的基础上,引入了暗通道先验与交叉通道先验。然后,基于最大后验概率估计理论,建立了多先验联合的多光谱超分辨率重建算法。所提算法可实现图像边缘信息恢复、图像纹理信息恢复、噪声抑制、阶梯效应抑制和色差抑制,进而综合提升了重建图像的质量。最后,开展了实验验证,结果表明,在不同信噪比(10～40 dB)和色差干扰下,相比已有算法,所提算法的重建效果显著提升。     

基于多相组重建的航空图像超分辨率算法

为提高航空图像的空间分辨率, 提出一种基于多相组重建的超分辨率算法. 融合图像间的互补信息, 将多帧低分辨率图像作为图像基, 参考帧分解为多相组, 利用差异采样特性构建图像基与参考帧之间的的多相组线性关系重建得到高分辨率图像的多项组, 经图像多相分解逆变换获得融合的高分辨率图像. 根据该融合图像的局部内容和结构信息自适应调整控制核核函数, 应用改进的控制核回归算法去除图像模糊和噪声得到清晰的超分辨率图像. 与传统算法相比, 该算法无需图像配准和迭代过程, 计算效率极大地提高. 实验结果表明, 本文算法能够有效提高航空图像的空间分辨率, 在定量评价指标和主观视觉效果方面都有显著提高.     

纹理细节恢复的图像超分辨率重建算法

针对现有单图像超分辨率方法在重建过程中容易忽略原图像中不同结构-纹理的差异与联系，导致生成的高分辨率图像缺乏纹理细节并存在伪影的问题，提出了纹理细节恢复的图像超分辨率重建算法。该方法由梯度分支、纹理分支和图像超分辨率分支组成。其中，在梯度分支和纹理分支之间使用了类注意力模块处理二者的特征混淆问题，并通过双向特征融合模块实现了对结构特征与纹理特征的相互促进，作为先验信息以达到纹理细节信息增强的目的。此外，在图像超分辨率分支还通过构建特征恢复模块，利用浅层和深层信息帮助网络保留了图像中更丰富的上下文信息和纹理细节。该方法通过在DIV2K数据集上进行了网络训练，并在5个基准测试集Set5、Set14、BSD100、Urban100和MANGA109上进行了实验，峰值信噪比(PSNR, Peak Signal to Noise Ratio)分别：37.88dB、33.28dB、32.0781dB、31.89dB、38.39dB,相比现有方法均有显著提升。实验结果表明，本文方法获得了有效的重建图像并且保留更多的图像细节，生成具有边缘清晰和逼真细节的超分辨率图像。     

基于双通道卷积神经网络的深度图超分辨研究

目前直接获取的深度图受其成像原理及硬件设备等因素的限制,存在分辨率低、边缘信息丢失等缺点,极大地影响了深度图的应用。针对这一问题,提出基于双通道卷积神经网络的深度图超分辨率重建模型。该模型由深、浅两个通道组成,21层的深层通道通过联合卷积与反卷积,结合跳跃连接与多尺度理论,实现深度图细节特征的快速学习;3层的浅层通道用于学习深度图的轮廓特征;最后融合深、浅两个通道,将细节与轮廓相结合,实现由低分辨率深度图到高分辨率深度图的端到端的学习。该模型充分利用卷积神经网络的学习能力自主提取深度图的有效特征,避免了手工提取特征的不准确性。在Middlebury RGBD数据集上的实验结果表明,本文模型在大采样因子8时仍能取得较好的效果,具有很高的实际应用价值。     

基于超分辨率重建的图像增强算法研究

 为了提高图像分辨率,从软件的角度出发,对低分辨率图像序列重建高分辨率图像的原理和算法实现开展了研究,提出从多个低分辨率图像序列中获取更高分辨率图像的方法。通过采用基于光流场的金字塔分层结构实现由粗到精的图像配准,获取了亚像素的运动估计。在采用多帧低分辨率图像进行亚像素级配准后,提出采用动态自适应确定正则化参数的方法,构造了简单的正则化代价函数,建立了低分辨率图像与高分辨率图像之间关系的重建模型,仿真实验结果表明该超分辨率重建算法水平和垂直方向上分辨率各增加一倍,与其他算法相比清晰度更高,计算时间不到传统POCS算法的一半。     

一种改进的凝视红外图像高分辨率重建算法

光学微扫描和亚像元成像处理技术,是提高凝视型红外焦平面探测器空间分辨率的重要技术途径。通过分析2×2光学微扫描原理和图像插值重建模型,提出一种基于拉格朗日(Lagrange)多项式的高分辨率重建算法。算法根据局部梯度特征将图像划分成多个同性区域,在同性区域内自适应调整Lagrange的阶数,进而完成插值重建。实验表明,算法有效抑制了光学扫描误差引起的图像模糊,提高了红外成像系统的空间分辨率,具有较强的实用价值。     

基于亚像素扫描的超分辨技术在高分辨X射线显微镜中的应用

在不改变现有硬件条件的情况下,开展超分辨扫描重建方法,可以在不增加系统成本的基础上提高高分辨X射线显微镜的成像性能.设计了基于亚像素扫描的超分辨扫描模式,按照设计的调制方式进行亚像素位移的移动,采集多幅具有互补信息的低分辨率图像;然后基于系统的点扩散函数,对高分辨率图像进行复原;最后结合POCS超分辨重建算法重建出高分辨图像.实验结果表明,10倍光耦探测器下的衬度噪声比提高了20%左右,空间分辨力提高了0.2μm(约15%),细节分辨能力超过探测器像素尺寸1.35μm的限制,可以看到在低分辨率图像中看不到的细节.实验说明用超分辨技术提高高分辨X射线显微镜的分辨率是有意义的.     

图像超分辨率研究的最新进展

图像超分辨率是指从一序列低分辨率观测图像中重建高分辨率图像。图像超分辨率充分利用了各帧图像间相似而又不同的信息。该技术可以广泛应用于遥感、医学成像和高清晰度电视等多个领域。回顾了经典超分辨率算法,介绍了目前超分辨率算法及其扩展研究方向的一些最新进展,指出了图像超分辨率有待进一步研究的几个可能的方向。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于视觉词典的深度图生成算法

针对从二维彩色图像中恢复深度信息的问题,提出一种基于视觉词典的深度图生成算法。采用基于数据驱动的方法,从包含深度图的深度图像库中找出图像中各种空间结构对应的深度信息,得到由空间结构相似的图像块组成的初始视觉单词;采用难例挖掘方法找到视觉单词的难例负样本,更新视觉单词分类器,获得最优的分类效果;利用视觉单词分类器和视觉单词组成的视觉词典对目标图像进行多尺度检测,得到对应的深度图并进行边缘保持平滑滤波。实验结果表明,该算法生成的深度图符合目标图像的深度变化,在主观视觉效果和各种客观评价指标上都有显著提高。     

基于局部约束群稀疏的红外图像超分辨率重建

针对红外图像分辨率低、视觉质量差等问题,提出基于局部约束群稀疏模型的红外图像超分辨率重建方法.考虑到红外图像的纹理自相似性和原子系数的群结构稀疏性,首先建立了基于局部约束的群稀疏表示模型.然后,在假定低分辨率图像空间和高分辨率图像空间具有相似流形的前提下,联合局部约束群稀疏表示模型和K-SVD(K奇异值分解)方法,训练得到高低分辨率图像对应的群结构字典对.最后,通过高分辨字典和对应的红外图像群稀疏表示系数重建得到高分辨率的红外图像.实验结果表明,本文方法具有更好的超分辨率效果,无论是在客观评价指标还是主观视觉效果方面都有明显的提高.     

基于液晶可调变滤色器的光谱图像获取及颜色重建方法

基于液晶可调变滤色器(LCTF)的光谱成像系统具有光谱分辨率高、结构紧凑、控制灵活等特点。搭建了一套可见光波段的高分辨率LCTF光谱成像系统,对系统的光谱图像获取及彩色图像重建方法进行了研究;建立了系统的光谱及颜色重建模型;基于标准色卡及标准测色系统,对该系统的颜色复现效果进行了实验验证;实验结果表明,该LCTF光谱成像系统的彩色图像颜色复现精度达可到较小色差水平。     

模拟退火算法色差校正的傅里叶叠层显微彩色成像技术

提出一种基于模拟退火算法的自动聚焦方法,可以分别重建三种照明色光的高分辨率图像,从而实现高分辨率彩色图像的构建.模拟仿真和分辨率靶及生物切片样品实验结果均表明,即使色差较严重的显微系统,利用该方法也能准确地获得高分辨率彩色图像,极大降低了对显微镜的性能要求,扩展了傅里叶叠层彩色成像的适用范围.     

基于凸优化的傅里叶叠层成像技术研究

在傅里叶叠层成像(FPM)过程中采集的低分辨率图像会对重建图像质量产生直接影响,已有的研究提出用图像超分辨率重建技术和对低分辨率图像进行传统去噪处理的方法来解决该问题,但超分辨率重建的方法需要采集大量的原始图像,会加大采集端的时间损耗,而传统去噪算法会造成原始信息丢失,严重影响重构图像质量.因此论文引入凸优化算法,噪声...     

多帧距离选通图像点扩散函数估计的超分辨率重建

为了解决水下激光距离选通图像成像过程中退化模型复杂的难题,提出了利用连续帧图像估计点扩散函数的距离选通超分辨成像方法。首先,从连续帧图像中选取一帧为参考帧作为初始清晰图像,下一帧图像为模糊图像,用梯度约束的方法求出点扩散函数,用于优化清晰图像;然后,依次将后续帧图像当作模糊图像与清晰图像交替迭代求取点扩散函数并优化更新清晰图像;最后获得的清晰图像与参考帧图像用乘法更新的方法估计点扩散函数,结合凸集投影法算法进行超分辨率成像重建。仿真实验结果表明,改进的算法重建图像分辨率和质量明显优于原始的算法。     

基于光场深度序列的大视野图像拼接算法

针对现有光场深度重建算法只能获取单一视角深度信息,三维建模应用受限的问题,提出一种大视野图像拼接算法。该算法基于三维光场重建的深度图像序列,采用双边滤波及插值算法对图像进行去除噪声,利用基于边缘曲率极值的角点检测算法,并通过最小曲率偏差的列间度量匹配实现了图像之间的精确配准,采用改进的加权平均方法对重叠区域进行融合操作,既保留图像细节又拓展图像视野。实验结果表明,该算法能够有效实现光场深度图像序列的平滑拼接,有利于形成大视野深度数据,为大场景的三维重建奠定了基础。