基于遮挡场景的光场图像深度估计方法

针对在深度估计过程中的遮挡问题,提出一种新的基于多线索融合的光场图像深度估计方法。利用约束性自适应散焦算法和约束性角熵度量算法获取场景的散焦线索、一致性线索,并计算出场景的初始深度、置信度。为增强图像的边缘轮廓信息,通过Canny算子提取中心视角图像的边缘信息,然后利用马尔可夫随机场融合场景的初始深度、置信度及边缘信息,实现图像的高精度深度估计。与其他先进方法相比,所提方法能够较好地解决场景中存在的遮挡问题,获取的深度图精度较高、平滑效果较好,图像边缘保持效果较好。     

基于光场深度序列的大视野图像拼接算法

针对现有光场深度重建算法只能获取单一视角深度信息,三维建模应用受限的问题,提出一种大视野图像拼接算法。该算法基于三维光场重建的深度图像序列,采用双边滤波及插值算法对图像进行去除噪声,利用基于边缘曲率极值的角点检测算法,并通过最小曲率偏差的列间度量匹配实现了图像之间的精确配准,采用改进的加权平均方法对重叠区域进行融合操作,既保留图像细节又拓展图像视野。实验结果表明,该算法能够有效实现光场深度图像序列的平滑拼接,有利于形成大视野深度数据,为大场景的三维重建奠定了基础。     

基于前景移除的合成孔径成像算法

在传统合成孔径物面重聚焦成像过程中,前景射线会严重影响目标的重建质量,针对这一问题提出一种基于前景标记的重聚焦成像算法。首先根据EPI的边缘特征估计场景深度范围,根据指定待重建物面的参数提取前景边缘特征并进行扩散,从而确定前景遮挡对应的射线;对其进行标记筛除后,利用光场重建算法对特定物面进行重建,从而实现被遮挡目标的高质量重建。利用Stanford大学和Disney实验室提供的数据集进行仿真,实验结果表明该算法可有效去除场景中的遮挡物信息,提高重聚焦图像的质量。     

实时运动结构重建在自主导航系统中的应用

实时运动结构重建是自主车辆、机器人导航、空间探测器自主降落、智能监控等领域中的重要研究课题。目前实时运动结构重建主要存在着特征匹配困难、鲁棒性差、系统无法自动获取初始参数和需要大量人工干预等诸多问题。利用高速CMOS摄像机与惯性传感数据融合提高了运动结构重建算法的精度及其鲁棒性。该算法在扩展卡尔曼滤波框架下是通过融合惯性与视觉传感器的数据来进行运动估计的。对场景中的每一个待估计结构的特征点建立对应的卡尔曼滤波器,以估计其空间三维结构信息。运动估计模块与结构估计模块交替运行,减小了系统运算的复杂度,提高了实时性能。通过对真实场景图像序列的实验验证结果表明,惯性传感器的额外信息能够有效地提高运动结构估计的精度,能够增强算法的鲁棒性。     

基于引导滤波的自适应红外图像增强改进算法

在红外图像处理中,细节增强和噪声抑制尤为重要,重点在于将高动态范围的红外图像压缩至低动态范围的同时保留细节信息、抑制图像噪声。以引导滤波的自适应红外图像增强算法为基础,提出一种基于引导滤波的自适应红外图像增强改进算法。通过引导滤波平滑初始输入图像,将初始输入图像与平滑后的图像做差获得包含大动态温度信息的基础层图像和小动态温度信息的细节层图像,分别对基础层图像、细节层图像进行压缩处理和噪声抑制;以不同的融合比例将处理后的基础层图像、细节层图像进行融合获得输出图像。为了减少算法运算时间、突出图像细节信息的同时减小细节层噪声对输出图像的影响且达到自适应场景的效果,利用可用于筛选有效灰度值的自适应门限参数和直方图分布信息设计出一维压缩数组对图像进行压缩,并将图像融合中的定值比例系数更改为自适应融合比例系数。通过直方图分布信息中的最大值、最小值确定自适应门限参数,同时利用直方图分布信息设计出一维压缩数组对图像进行压缩;获取直方图中有效灰度值个数,通过有效灰度值个数与总灰度值个数之间的比值对图像的场景信息进行判断,根据不同的场景信息确定基础层图像与细节层图像的自适应融合比例系数,实现图像融合。实验结果分别与直方图均衡算法、基于引导滤波的高动态红外图像增强算法、基于引导滤波的自适应红外图像增强算法进行比较,选用四种不同的场景从主观、客观两种层面进行分析。对比结果从主观分析得出该算法处理后的图像可突出细节轮廓信息、减少细节层噪声对融合后输出图像的影响。从客观评价得出该算法在四种场景下的平均计算时间为0.753 5 s,低于对比算法计算时间;并且使基础层图像和细节层图像的融合比例系数达到自适应场景的效果。     

基于变分模型的单目视觉三维重建方法

提出一种基于单目视觉的致密场景重建方法,以实现对环境快速,准确地三维立体化建模。该方法针对自由式手持单目相机,在并行跟踪与地图创建(PTAM)算法框架下准确地实现相机的自定位。在此基础上,选取关键帧处图像序列,构造变分模式下深度估计模型;运用离散空间采样法获取初始深度图,借助于原始对偶算法实现该深度模型的优化,并结合相机投影模型估计待求解场景的三维模型。在统一计算设备架构(CUDA)下,利用图形处理器(GPU)进一步实现了深度估计算法的并行优化,显著提高了算法处理的实时性。真实场景下实验结果验证了所提算法的有效性与可行性。     

结合光场深度估计和大气散射模型的图像去雾方法

目前大部分基于物理模型的图像去雾算法存在复原图像色彩失真和天空边界区域出现光晕效应的问题.为了解决这些问题,本文提出了一种将光场深度计算与大气散射模型相结合的图像去雾方法.该方法通过光场极平面图像计算得到场景深度,将场景深度信息计算所得的透射率与暗通道透射率融合得到最终透射率.同时利用场景深度对天空边界进行判定,单独对天空区域进行处理.在合成雾天图像和真实雾天图像上的实验结果表明,与现有的单幅图像去雾算法相比,本文提出的方法在峰值信噪比以及结构相似性上均有提升.同时对去雾之后的图像的色彩保真度以及光晕效应的抑制方面都取得了较好的结果 .     

计算光场成像

光场为三维世界中光线集合的完备表示。通过记录更高维度的光线数据,光场能够准确感知周围复杂多变的动态环境,支撑智能系统对环境的理解与决策。计算光场成像技术围绕光场及全光函数表示,旨在结合计算、数字传感器、光学系统和智能光照等技术,以及硬件设计、软件计算能力,突破经典成像模型和数字相机的局限性,建立光在空域、视角、光谱和时域等多个维度的关系,实现耦合感知、解耦重建与智能处理,具备面向大范围动态场景的多维多尺度成像能力。光场成像技术正逐渐被应用于生命科学、工业探测、国家安全、无人系统和虚拟现实/增强现实等领域,具有重要的学术研究价值和广阔的产业应用前景。然而,伴随着高维数据的离散化采样,光场成像面临空间分辨率与视角分辨率的维度权衡挑战,如何对稀疏化的采样数据进行光场重建成为计算光场成像及其应用的基础难题。与此同时,受制于光场信号的高维数据感知量,光场处理面临有效数据感知与计算高效性的矛盾。如何用光场这一高维信息采集手段,取代传统二维成像视觉感知方法,并结合智能信息处理技术实现智能化高效感知,是实现光场成像技术产业化应用的巨大挑战。对过去20年来计算光场成像装置与算法的研究进行概述和讨论,内容涵盖光场表示和理论、光场信号采集、空间与视角维度重建等。     

基于单次曝光光场成像的全焦图像重建技术

为了实现大景深信息全焦面高质量成像,提出了基于单次曝光光场成像的导向滤波全焦图像重建技术:结合光场成像采集视场信息,并采用光场重建的方式获取多聚焦图像源集,利用导向滤波的方法确定各级图像融合权重,进行图像融合得到大景深的全焦图像。实验证明,提出的基于单次曝光光场成像的导向滤波全焦图像重建技术不仅有效保证了多聚焦图像背景的一致性,同时还具有更好的边缘保持效果,从而获得了清晰度更高、综合成像质量更好的全焦图像,因此该技术有望用于现场监控、地理勘探、军事侦察以及无人驾驶等众多领域中。     

选择性双向顺序压缩感知重建动态磁共振成像

压缩感知是一种新兴技术,该技术能够用远低于奈奎斯特采样频率采集的信号恢复出原始信号. 压缩感知成像方法大大提高了心脏磁共振成像的采集速度,已有的方法主要利用动态图像时间相关及心脏的周期性运动特征,如采用在时间维做傅立叶变换或求解每帧数据跟参考帧数据的差异获取稀疏数据,满足压缩感知重建的要求. 该文提出了选择性双向顺序压缩感知重建算法,利用相邻帧的差异更小的特点,获取更加稀疏的差异数据,同时利用动态图像的周期性,以目标函数积分为判据,在时间顺序和时间逆序两个方向选择效果更好的方向进行数据重建,降低图像伪影和噪声. 该选择算法,可以在不增加重建时间的情况下,选择双向顺序重建中最佳的结果. 该文对心脏磁共振图像数据进行了数据处理实验,并且跟传统压缩感知算法、参考帧差异方法及匙孔成像方法进行了比较. 结果表明：该方法无论从视觉效果还是从统计结果上,都有很大的改善.     

X射线光场成像技术研究

X射线三维成像技术是目前国内外X射线成像研究领域的一个研究热点.但针对一些特殊成像目标,传统X射线计算层析(CT)成像模式易出现投影信息缺失等问题,影响CT重建的图像质量,使得CT成像的应用受到一定的限制.本文主要研究了基于光场成像理论的X射线三维立体成像技术.首先从同步辐射光源模型出发,对X射线光场成像进行建模;然后,基于光场成像数字重聚焦理论,对成像目标场在深度方向上进行切片重建.结果表明:该方法可以实现对成像目标任一视角下任一深度的内部切片重建,但是由于光学聚焦过程中的离焦现象,会引入较为严重的背景噪声.当对其原始数据进行滤波后,再进行X射线光场重聚焦,可以有效消除重建伪影,提高图像的重建质量.本研究既有算法理论意义,又可应用于工业、医疗等较复杂目标的快速检测,具有较大的应用价值.     

基于FP微阵列的压缩感知光谱重建研究

针对现有星载扫描光谱成像中无法同时实现高通量、高光谱分辨率的问题,提出采用法布里珀罗（FP）微阵列与压缩感知光谱成像方法。该方法通过在成像探测器前加FP微阵列,FP微阵列调制器每一单元对应不同高度,进而对输入光信号进行调制得到不同的光谱响应。结合扫描和压缩感知复原算法,最终获得高光谱图像数据立方体。该系统光谱范围为400 nm～700 nm,光谱通道数高达700个。通过仿真激光入射光谱与压缩感知重构光谱进行对比,仿真均方误差（MSE）为0.002。此外,通过实验对两个不同颜色的单色光光谱进行重构,实验结果与标准光谱仪测得的光谱基本一致,验证了该方法光谱重构的可行性。该方法可广泛应用于高通量、高光谱星载或扫描光谱成像测量中。     

动态测量的高光谱图像压缩感知

针对高光谱图像相邻波段之间具有强光谱相关性的特点,为了提高高光谱图像压缩感知的重构效果,本文提出一种利用边缘信息设计动态测量率的压缩感知算法。首先,通过随机投影的分块压缩感知方法对每个图像块以固定测量率采样,重构出单波段图像作为其他波段的先验信息,并对其提取出图像边缘区域;然后,根据每个图像块边缘信息的丰富程度来自适应分配测量值。在固定总测量数的前提下,对不同图像块分配不同的测量次数。最后,利用分配好的测量次数对其余波段进行采集和重构。仿真结果表明,在相同总测量数情况下,本文提出的动态测量算法重构出的高光谱图像质量（PSNR）与传统固定测量压缩感知策略相比提高了1~4 dB,相比较下的重构时间也减少,在成功重构高光谱图像的基础上更增强了细节处的图像质量。     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题。针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题。首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范围的其他像素点的深度信息,采用注意力机制可以针对这一点有效提取图像的像素级全局深度信息关联。其次,基于深度信息关联得到的特征可以考虑为非欧数据,进一步使用图卷积神经网络（graph convolutional neural network, GCN）来进行推理。最后,在训练阶段将连续的深度估计回归问题转化成分类问题,使训练过程更稳定,降低了网络的学习难度。实验结果表明,该方法在红外数据集NUST-SR上获得了良好的效果,在阈值指标小于1.253时,准确率提升了1.2%,相较其他方法更具优势。     

Undersampled MRI reconstruction with patch-based directional wavelets

Compressed sensing has shown great potential in reducing data acquisition time in magnetic resonance imaging (MRI). In traditional compressed sensing MRI methods, an image is reconstructed by enforcing its sparse representation with respect to a preconstructed basis or dictionary. In this paper, patch-based directional wavelets are proposed to reconstruct images from undersampled k-space data. A parameter of patch-based directional wavelets, indicating the geometric direction of each patch, is trained from the reconstructed image using conventional compressed sensing MRI methods and incorporated into the sparsifying transform to provide the sparse representation for the image to be reconstructed. A reconstruction formulation is proposed and solved via an efficient alternating direction algorithm. Simulation results on phantom and in vivo data indicate that the proposed method outperforms conventional compressed sensing MRI methods in preserving the edges and suppressing the noise. Besides, the proposed method is not sensitive to the initial image when training directions.     

基于压缩感知的反射光谱重构算法研究

光谱反射率描述物体的表面颜色特征,为了能够获取物体自身更加精确的颜色信息,在图像处理领域光谱反射率重构成为了关注的话题。反射光谱重构算法是对实验物体表面在可见光范围内每一波长处的光谱反射率进行重构,以达到提高物体自身颜色准确复制的精度,最后建立相应的反射光谱。尝试将压缩感知(CS)理论应用到光谱实验中,对光谱反射率进行重构。首先是介绍了压缩感知理论知识,然后把压缩感知理论与光谱反射率原理相结合,根据基于压缩感知的光谱反射率重构的理论框架,选取合适的采样值,压缩感知的采样值即压缩值,小波基作为正交矩阵,高斯随机矩阵作为测量矩阵,正交矩阵与测量矩阵需要保证具有不相关性,将原始光谱反射率从高维到低维进行线性投影,得到低维的观测信号,运行简单的正交匹配追踪算法(OMP)对低维的观测信号进行由低维到高维的高精度重构,重构得到的光谱反射率与原始光谱反射率具有相同的维度,最后将压缩感知重构算法与传统的光谱反射率重构算法伪逆法与多项式回归法进行比较。经过压缩感知重构算法得到的色差值与均方根误差值都小于伪逆法和多项式回归法重构的结果,经压缩感知的重构精度明显提高;经压缩感知重构的光谱曲线可以达到或者更接近原始光谱曲线的峰值,整体效果更接近原始光谱曲线;经多项式回归法和伪逆法重构的光谱曲线达不到原始峰值,整体上存在偏差。可以认为压缩感知用低采样的数据达到了全采样的效果,提高了光谱反射率重构的精度。基于压缩感知的光谱反射率重构算法效果明显优于传统的多项式回归法和伪逆法,可以将压缩感知理论应用到实际的多光谱成像系统中。     

基于光场成像的表面三维重构

传统的成像方式单次曝光只能获取物空间二维横向分辨率信息,无法获取纵向深度信息,导致单次拍摄过程中物空间的深度信息丢失, 无法对物空间的目标物进行三维重构。光场相机内部采用光场传感器,不同于传统成像系统单次采集只能获取二维信息而造成的信息缺失,光场传感器可获取物空间的多维光场信息,同时其还具有便携等优点。采用光场相机进行拍摄,利用数字重聚焦以及散焦测距和相关计算的方法,实现密集深度图像的获取,基于matlab软件平台,对所获取的图像深度数据矩阵进行处理,最终实现物空间的三维重构。得到物空间的相对深度的归一化结果。本实验中,在深度范围为100 mm~1 500 mm范围内,实现平均误差为5.47%深度信息的表面三维重构,最大重构误差为8.30%。     

Joint Reconstruction of Multi-contrast Images and Multi-channel Coil Sensitivities

Magnetic resonance imaging (MRI) has an important feature that it provides multiple images with different contrasts for complementary diagnostic information. However, a large amount of data is needed for multi-contrast images depiction, and thus, the scan is time-consuming. Many methods based on parallel magnetic resonance imaging (pMRI) and compressed sensing (CS) are applied to accelerate multi-contrast MR imaging. Nevertheless, the image reconstructed by sophisticated pMRI methods contains residual aliasing artifact that degrades the quality of the image when the acceleration factor is high. Other methods based on CS always suffer the regularization parameter-selecting problem. To address these issues, a new method is presented for joint multi-contrast image reconstruction and coil sensitivity estimation. The coil sensitivities can be shared during the reconstruction due to the identity of coil sensitivity profiles of different contrast images for imaging stationary tissues. The proposed method uses the coil sensitivities as sharable information during the reconstruction to improve the reconstruction quality. As a result, the residual aliasing artifact can be effectively removed in the reconstructed multi-contrast images even if the acceleration factor is high. Besides, as there is no regularization term in the proposed method, the troublesome regularization parameter selection in the CS can also be avoided. Results from multi-contrast in vivo experiments demonstrated that multi-contrast images can be jointly reconstructed by the proposed method with effective removal of the residual aliasing artifact at a high acceleration factor.     

双树小波变换与小波树稀疏联合的低场CS-MRI算法

压缩感知理论常用在磁共振快速成像上,仅采样少量的K空间数据即可重建出高质量的磁共振图像.压缩感知磁共振成像技术的原理是将磁共振图像重建问题建模成一个包含数据保真项、稀疏先验项和全变分项的线性组合最小化问题,显著减少磁共振扫描时间.稀疏表示是压缩感知理论的一个关键假设,重建结果很大程度上依赖于稀疏变换.本文将双树复小波变换和小波树稀疏联合作为压缩感知磁共振成像中的稀疏变换,提出了基于双树小波变换和小波树稀疏的压缩感知低场磁共振图像重建算法.实验表明,本文所提算法可以在某些磁共振图像客观评价指标中表现出一定的优势.