压缩光场重建与深度估计

针对光场深度估计过程中数据量大、边缘处深度估计结果不准确问题,利用压缩感知原理重建光场,提出一种新的多信息融合的光场图像深度估计算法。利用压缩感知重建算法重建5×5视角光场数据,获取光场数据后首先移动子孔径实现重聚焦,然后利用角度像素块散焦线索和匹配线索计算出场景初始深度和置信度。计算图像边缘信息,通过融合初始深度、置信度、边缘信息获取最终深度。实现压缩光场仿真重建,并对仿真光场数据和公开光场数据进行深度估计,实验结果表明:可以仿真重建出5×5视角光场数据,且仿真重建的光场可用于深度估计。该深度估计算法在场景边缘处的深度估计结果边界清晰,层次分明,验证了重建光场深度估计的可行性与准确性。     

基于前景移除的合成孔径成像算法

在传统合成孔径物面重聚焦成像过程中,前景射线会严重影响目标的重建质量,针对这一问题提出一种基于前景标记的重聚焦成像算法。首先根据EPI的边缘特征估计场景深度范围,根据指定待重建物面的参数提取前景边缘特征并进行扩散,从而确定前景遮挡对应的射线;对其进行标记筛除后,利用光场重建算法对特定物面进行重建,从而实现被遮挡目标的高质量重建。利用Stanford大学和Disney实验室提供的数据集进行仿真,实验结果表明该算法可有效去除场景中的遮挡物信息,提高重聚焦图像的质量。     

聚焦堆栈中空间几何结构的深度估计

利用聚焦堆栈估计场景深度是计算成像领域中的重要技术手段。提出三维自适应加权全变分计算框架,用于解决场景中弱纹理区域和遮挡区域深度线索丢失导致深度估计不准确的问题。相比传统二维引导滤波方法,所提三维优化框架不仅考虑聚焦堆栈和聚焦测度中共同蕴藏的场景几何结构,避免在深度图中错误地引入场景物理信息,还充分考虑聚焦堆栈和聚焦测度沿图像序列方向的结构特点,实现更高程度的数据保真。模拟数据和实际数据实验结果表明,所提方法能够有效提升聚焦堆栈估计深度的精度。     

基于光场深度序列的大视野图像拼接算法

针对现有光场深度重建算法只能获取单一视角深度信息,三维建模应用受限的问题,提出一种大视野图像拼接算法。该算法基于三维光场重建的深度图像序列,采用双边滤波及插值算法对图像进行去除噪声,利用基于边缘曲率极值的角点检测算法,并通过最小曲率偏差的列间度量匹配实现了图像之间的精确配准,采用改进的加权平均方法对重叠区域进行融合操作,既保留图像细节又拓展图像视野。实验结果表明,该算法能够有效实现光场深度图像序列的平滑拼接,有利于形成大视野深度数据,为大场景的三维重建奠定了基础。     

基于优化估计的深度图像修复与误差补偿方法研究

针对Kinect传感器在获取深度图像时存在深度值随机跳变的不准确性问题,基于最优估计的思想,提出卡尔曼滤波与多帧平均法相结合的图像修复方法。首先利用卡尔曼滤波对多幅深度图像进行修复处理,实现Kinect传感器在采集信息过程中随着时间递推,深度值的跳变逐渐趋于平稳的效果;然后基于多幅图像平均法确定最终的深度图像,解决了Kinect获取深度值存在误差导致的不精确问题。实验结果表明,该算法的均方根误差为38.102 5,平均梯度为0.471 3,信息熵为6.191 8,与单幅图像修复效果相比,得到的深度图像边缘更加清晰。     

基于线性模型的自适应优化去雾算法

针对线性传输算法中透射率和大气光估计不足问题,提出一种基于线性模型的自适应优化去雾算法。利用边缘信息模型来增强初始透射率图的细节信息,使得复原后图像边缘区域细节更丰富;根据暗通道先验,得到自适应优化透射率,更好地处理包含景深区域图像;采用局部大气光估计方法代替四叉树方法,避免大气光估计不准确问题,并结合物理模型恢复图像。仿真实验在matlab2014中进行,实验结果表明,该算法具有较好的有效性和时效性。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

近红外与可见光双通道传感器信息融合的去雾技术

为了对雾霾天气下的图像进行去雾处理,多幅图像去雾算法是常用的方法之一。多幅图像去雾算法也有多种形式,部分算法面临硬件实现困难、获取途径受限或者可实施性弱等问题,而且多幅图像比对处理时常常涉及图像配准,造成算法的实时性差、计算复杂度高等问题。针对以上问题,提出的算法为多幅图像去雾提供了新的思路,基于双目传感器硬件架构能够同时捕获近红外和可见光图像,将近红外传感器图像作为新的数据源,近红外传感器能够在一定程度上穿透雾霾,在雾天捕获可见光传感器无法捕获的图像细节,而且硬件实现简单。可见光图像的颜色信息较丰富,近红外传感器图像对近处场景细节的描述能力较好,捕获的图像稍加校正就能实现完全配准,将近红外图像与可见光图像进行融合,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,得到边缘、轮廓等细节信息更加丰富的去雾图像。基于上述思路,借助近红外传感器对边缘细节的描述能力和可见光传感器对颜色信息的反映能力,提出了一种基于近红外与可见光双通道传感器图像融合的去雾算法。首先,将彩色可见光图像转换到HIS彩色空间,分别得到亮度通道图像、色调通道图像和饱和度通道图像。先将其亮度通道图与近红外图像进行融合去雾处理。采用非下采样Shearlet变换（NSST）进行分解,对得到的高频系数进行双指数边缘平滑滤波器保边滤波处理,对低频系数进行反锐化掩蔽处理,通过融合规则和反向变换得到新的亮度通道图像。然后,在对可见光图像的色彩处理中,建立饱和度图的退化模型,采用暗原色原理对参数进行估计,得到估计的饱和度图。最后,将新的亮度通道图像,估计的饱和度图像和原色调图像反映射到RGB空间得到去雾图像。为了验证新算法的有效性,特选取四组雾天拍摄的真实近红外图像与可见光图像进行融合去雾处理,将融合结果与其他两种去雾方法对于彩色可见光图像的去雾效果进行比较。实验结果表明,该算法在提高图像的边缘对比度和视觉清晰度上有较好的效果。并提出将近红外传感器图像作为新的数据源,采用双通道图像融合方法进行去雾处理,为图像去雾提供的新的技术思路是可行的。该算法的优势在于：首先提出将图像融合方法与去雾算法相结合,得到了新的去雾算法的思路。将彩色可见光图像转换到HSI色彩空间,将其亮度通道图与近红外图像采用非下采样Shearlet变换方法进行融合处理,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,使得去雾图像中的边缘、轮廓等细节信息更加丰富。其次,提出了在图像去雾算法中采用新的数据源--近红外传感器图像,从图像处理的角度,近红外传感器能够在一定程度上穿透雾霾,对于近处场景细节的描述能力较好,而且硬件实现简单,捕获的图像稍加校正就能实现完全配准,为后续的融合去雾算法带来了便利,为图像去雾提供了新的技术途径和路线。再次,采用的是多幅图像去雾算法,该算法基于双目传感器获取图像,可见光图像的颜色信息较丰富,近红外图像对于近处场景细节的描述能力较好,相对于单幅图像去雾算法,有更好的效果。最后,将可见光传感器图像映射到其他色彩空间,对于每个通道的图像根据其特征有针对性地进行处理。可见光图像的亮度通道图和近红外图像的处理采用了图像融合和增强处理,对于可见光图像饱和度通道的处理采用了图像复原算法,可以从整体上提升去雾效果,对细节特征有了进一步增强。该算法为图像去雾提供了新的技术途径和路线。     

基于引导滤波的自适应红外图像增强改进算法

在红外图像处理中,细节增强和噪声抑制尤为重要,重点在于将高动态范围的红外图像压缩至低动态范围的同时保留细节信息、抑制图像噪声。以引导滤波的自适应红外图像增强算法为基础,提出一种基于引导滤波的自适应红外图像增强改进算法。通过引导滤波平滑初始输入图像,将初始输入图像与平滑后的图像做差获得包含大动态温度信息的基础层图像和小动态温度信息的细节层图像,分别对基础层图像、细节层图像进行压缩处理和噪声抑制;以不同的融合比例将处理后的基础层图像、细节层图像进行融合获得输出图像。为了减少算法运算时间、突出图像细节信息的同时减小细节层噪声对输出图像的影响且达到自适应场景的效果,利用可用于筛选有效灰度值的自适应门限参数和直方图分布信息设计出一维压缩数组对图像进行压缩,并将图像融合中的定值比例系数更改为自适应融合比例系数。通过直方图分布信息中的最大值、最小值确定自适应门限参数,同时利用直方图分布信息设计出一维压缩数组对图像进行压缩;获取直方图中有效灰度值个数,通过有效灰度值个数与总灰度值个数之间的比值对图像的场景信息进行判断,根据不同的场景信息确定基础层图像与细节层图像的自适应融合比例系数,实现图像融合。实验结果分别与直方图均衡算法、基于引导滤波的高动态红外图像增强算法、基于引导滤波的自适应红外图像增强算法进行比较,选用四种不同的场景从主观、客观两种层面进行分析。对比结果从主观分析得出该算法处理后的图像可突出细节轮廓信息、减少细节层噪声对融合后输出图像的影响。从客观评价得出该算法在四种场景下的平均计算时间为0.753 5 s,低于对比算法计算时间;并且使基础层图像和细节层图像的融合比例系数达到自适应场景的效果。     

实时运动结构重建在自主导航系统中的应用

实时运动结构重建是自主车辆、机器人导航、空间探测器自主降落、智能监控等领域中的重要研究课题。目前实时运动结构重建主要存在着特征匹配困难、鲁棒性差、系统无法自动获取初始参数和需要大量人工干预等诸多问题。利用高速CMOS摄像机与惯性传感数据融合提高了运动结构重建算法的精度及其鲁棒性。该算法在扩展卡尔曼滤波框架下是通过融合惯性与视觉传感器的数据来进行运动估计的。对场景中的每一个待估计结构的特征点建立对应的卡尔曼滤波器,以估计其空间三维结构信息。运动估计模块与结构估计模块交替运行,减小了系统运算的复杂度,提高了实时性能。通过对真实场景图像序列的实验验证结果表明,惯性传感器的额外信息能够有效地提高运动结构估计的精度,能够增强算法的鲁棒性。     

基于单目视觉边缘频谱的散焦图像测距算法研究

为了实现基于单目相机的弱或无表面纹理特征目标精确测距,提出了一种基于保留边缘频谱信息的改进散焦图像测距算法。通过对比以傅立叶变换和拉普拉斯变换为计算核心的两种经典散焦测距理论,构建相应的清晰度评价函数,根据灵敏度更好的频谱清晰度函数选择基于频谱的散焦测距法,并根据频谱清晰度函数在保留目标边缘信息的基础上选择频域计算范围,从而进行测距。为验证算法的可行性,本文采用6组不同的鸭蛋样本,获取不同光圈、不同距离的散焦图像,利用该改进算法求解鸭蛋到相机镜头的距离。实验结果表明,基于边缘频谱保留的散焦图像测距改进算法具有良好的测距效果,相关系数为0.986,均方根误差为11.39 mm,并发现对于斜放拍摄的鸭蛋图像进行图像旋转处理后,可有效地提升测距能力,均方根误差从11.39 mm下降至8.76 mm,平均相对误差从2.85%下降至2.28%,相关系数提升至0.99。基本满足了弱或无表面纹理特征目标测距的稳定、精度等要求。     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题.针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题.首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范...     

基于加权暗通道的图像去雾方法

传统基于暗通道图像去雾中仅考虑初始透射图对于透射图优化的影响,而未充分考虑深度信息对于透射图优化贡献不同的特点,造成去雾结果在深度不连续处出现"晕"且离视点较远区域的去雾效果有明显下降.针对上述问题,本文提出一种基于边缘特征的加权暗通道先验去雾算法.该方法根据边缘特征的位置估计深度信息的连续性,将边缘点及非边缘点赋予不同权值,对加权透射图优化求解.仿真实验表明,新的去雾算法在恢复图像细节的基础上能够有效抑制"晕"的产生,证实了本文方法的可行性和有效性.     

一种层析深度图像去噪算法

常规图像去噪方法难以去除飞行时间技术或结构光等深度传感器所获取的深度图像中的大量噪声,因此提出一种根据图像深度值进行分层的去噪算法。该算法首先对深度图像实现噪声强度估计,根据噪声强度和深度图像的探测距离范围,确立图像的深度层级间隔,并得到分层级的深度图像,然后对每一层级的深度图像进行去噪,最后对分层级的图像进行拼合,合成完整深度图像。实验结果表明,该算法能够有效去除图像中不确定性干扰噪声,同时较好地保持图像中目标和景物背景的原始细节以及边缘信息。     

先进驾驶辅助系统中基于单目视觉的场景深度估计方法

针对先进驾驶辅助系统对车辆前视景深信息的需求,在无监督学习框架下提出了一种基于单目视觉的场景深度估计方法。为了降低不同尺寸的前视目标对景深估计结果的影响,采用金字塔结构对输入图像进行预处理;在训练过程中,将深度估计问题转化为图像重建问题,利用双目图像设计了新的损失函数代替真实深度标签,解决了真实场景景深数据难以获取的问题;将中间多尺度的视差图与原输入图像的尺寸统一,改善了深度图中的空洞现象,提升了景深估计精度。在KITTI和Make3D数据集上的定量与定性对比结果表明,本方法可以获得准确度较高的绝对景深数据,且具有良好的泛化能力。在真实道路场景下的实验结果表明,本方法可以利用单张车载前视图像得到对应的像素级景深信息。     

基于变分模型的单目视觉三维重建方法

提出一种基于单目视觉的致密场景重建方法,以实现对环境快速,准确地三维立体化建模。该方法针对自由式手持单目相机,在并行跟踪与地图创建(PTAM)算法框架下准确地实现相机的自定位。在此基础上,选取关键帧处图像序列,构造变分模式下深度估计模型;运用离散空间采样法获取初始深度图,借助于原始对偶算法实现该深度模型的优化,并结合相机投影模型估计待求解场景的三维模型。在统一计算设备架构(CUDA)下,利用图形处理器(GPU)进一步实现了深度估计算法的并行优化,显著提高了算法处理的实时性。真实场景下实验结果验证了所提算法的有效性与可行性。     

基于先验似然的高分辨光场图像深度重建算法研究

针对传统双目以及多目在处理遮挡和弱纹理区域匹配效果差、稳健性低的问题,提出了一种基于极平面图像(EPI)对复杂、精细场景进行深度重建的算法。根据EPI特殊的线性结构,提出一种交叉检测模型,有效地计算出EPI轮廓边缘,并将指数距离度量函数和距离权重系数相结合,得到轮廓边缘的深度。对于内部平坦区域,利用求得的深度作为先验,通过先验似然扩散策略将深度扩散到整个区域。整个算法在局部进行,不但保存了精确的轮廓边缘,同时也保证了无纹理区域深度的平滑性。测试结果表明,该算法在重建速度及质量上均优于原始方法。     

结合同场景彩色图像的深度图超分辨率重建EI北大核心CSCD

针对飞行时间相机获取深度图像分辨率低,并受成像噪声干扰的问题,提出一种插值深度图和高分辨率彩色图像联合约束的二阶广义全变分(TGV)深度图超分辨率重建方法。首先利用传统插值和多尺度形态学方法进行预处理,获取插值深度图的梯度信息,然后将插值深度图和同场景高分辨率彩色图像两者的梯度信息联合,对二阶TGV模型中的正则化项加以优化:计算各项异性扩散张量时结合插值深度图的梯度信息;引入由插值深度图梯度信息决定的加权因子,控制重建过程中扩散强度。最后通过原始对偶算法完成深度图的超分辨率重建。实验结果表明,本文方法在抑制噪声的基础上,有效保护了深度边缘,可以获得较好的高分辨率深度图像。     

基于无监督在线学习实现视频遮挡边界检测

为了检测视频序列中的遮挡边界,提出一种新颖的基于无监督在线学习的遮挡边界检测方法。该方法提取视频序列中待测帧的遮挡相关特征并计算其对应的时间长度,利用对冲算法思想并结合时间长度及不同遮挡特征求得待测帧中像素点的遮挡相关信息,利用各特征的遮挡相关信息进行投票,完成当前帧图像的遮挡边界检测。利用Online Boosting思想以当前帧的检测结果来估计下一帧的特征投票权重,实现后续帧图像的遮挡边界检测。该方法通过在线学习思想改变不同特征的权重完成遮挡边界检测功能,无需预先获取视频序列的先验知识。实验结果表明,同已有方法相比,该方法具有较高的准确性和较好的通用性。     

结合同场景彩色图像的深度图超分辨率重建

针对飞行时间相机获取深度图像分辨率低,并受成像噪声干扰的问题,提出一种插值深度图和高分辨率彩色图像联合约束的二阶广义全变分(TGV)深度图超分辨率重建方法。首先利用传统插值和多尺度形态学方法进行预处理,获取插值深度图的梯度信息,然后将插值深度图和同场景高分辨率彩色图像两者的梯度信息联合,对二阶TGV模型中的正则化项加以优化:计算各项异性扩散张量时结合插值深度图的梯度信息;引入由插值深度图梯度信息决定的加权因子,控制重建过程中扩散强度。最后通过原始对偶算法完成深度图的超分辨率重建。实验结果表明,本文方法在抑制噪声的基础上,有效保护了深度边缘,可以获得较好的高分辨率深度图像。