基于深层卷积神经网络的单目红外图像深度估计

针对从单目红外图像中恢复深度信息的问题,提出了一种基于深层卷积神经网络(DCNN)的深度估计方法。用劳斯掩膜和梯度检测器分别提取不同尺度下红外图像的纹理能量与纹理梯度,并将这两种纹理信息作为红外图像的第一种特征;提取图像中像元及其邻域的灰度值,以及统计其灰度直方图作为另外两种特征;分别用三种特征和深度信息标签训练DCNN,得到三种训练后的DCNN分别对单目红外图像进行深度估计。实验结果表明,相比较另外两种特征,用纹理信息训练的DCNN能够更有效地估计深度,并且优于现有的估计方法,尤其能较好地表现局部场景的深度变化。     

基于遮挡场景的光场图像深度估计方法

针对在深度估计过程中的遮挡问题,提出一种新的基于多线索融合的光场图像深度估计方法。利用约束性自适应散焦算法和约束性角熵度量算法获取场景的散焦线索、一致性线索,并计算出场景的初始深度、置信度。为增强图像的边缘轮廓信息,通过Canny算子提取中心视角图像的边缘信息,然后利用马尔可夫随机场融合场景的初始深度、置信度及边缘信息,实现图像的高精度深度估计。与其他先进方法相比,所提方法能够较好地解决场景中存在的遮挡问题,获取的深度图精度较高、平滑效果较好,图像边缘保持效果较好。     

压缩光场重建与深度估计

针对光场深度估计过程中数据量大、边缘处深度估计结果不准确问题,利用压缩感知原理重建光场,提出一种新的多信息融合的光场图像深度估计算法。利用压缩感知重建算法重建5×5视角光场数据,获取光场数据后首先移动子孔径实现重聚焦,然后利用角度像素块散焦线索和匹配线索计算出场景初始深度和置信度。计算图像边缘信息,通过融合初始深度、置信度、边缘信息获取最终深度。实现压缩光场仿真重建,并对仿真光场数据和公开光场数据进行深度估计,实验结果表明:可以仿真重建出5×5视角光场数据,且仿真重建的光场可用于深度估计。该深度估计算法在场景边缘处的深度估计结果边界清晰,层次分明,验证了重建光场深度估计的可行性与准确性。     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题.针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题.首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范...     

光子计数激光雷达的时间相关卡尔曼深度估计

在高背景噪声和低积分时间的激光雷达远距离成像场景中,针对传统方法得到的深度图像目标被噪声淹没和深度估计偏差较大的问题,提出了一种基于信号光子时间相关性和自适应卡尔曼滤波器的深度信息估计方法。首先,提取在时间上具有聚集特征的光子计数形成集合;然后,分析了影响信号光子在时间上分布的因素并使用静态高斯线性模型来描述该集合;最后将集合中的所有光子飞行时间乱序,输入改进的自适应卡尔曼滤波器,从而迭代估计深度值。在信号噪声比为1的室内,积分时间分别为10 ms和1 ms时,本文方法相对传统的最大似然方法在均方根误差指标上提升了40%和38%。在信噪比约为0.135的室外2 km目标成像实验中,在信号光子数分别为100、33和17的情况下,本文方法成像效果都优于传统最大似然估计方法和时间相关光子快速去噪方法,得到的深度图像都更清晰,噪声更低。在高噪声和短积分时间下,本文方法可以被运用于激光雷达远距离成像的深度信息估计和图像恢复中。     

一种从离散法线图重建高度图的方法

阴影形状、偏转测量和光度立体法等多种手段都能得到场景的法线场，需要进一步重建才能获得高度场，因此由法线场重建场景的深度信息值得研究。提出一种由离散法向量恢复高度场函数的方法。首先，基于离散几何的原理，逐行估计场景的行高度值；然后计算少量列高度；最后根据列高度值，逐行调整各行的高度平均值，得出整个场景的高度分布，其中在估计行高度值与列高度值的过程都运用了最小二乘法。该方法由于减少了优化的数据量，不需要大型的矩阵运算和运算内存，并且对于物体表面连续并且光滑的曲面会有较好的效果。实验表明，该方法对曲面连续突变较少的场景的深度恢复较好，但对于突变较多的场景，所恢复出的高度会有横条纹。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于分布式信源编码的干涉多光谱图像压缩

根据干涉多光谱图像的特点.提出一种基于分布式信源编码的干涉多光谱图像压缩箅法.干涉多光谱图像序列的相邻图像之间具有明显的平移特性,编码端通过块匹配算法检测出相邻帧间的相对位移量,联合块匹配算法估计的边信息帧进行比特平面码率估计,采用基于率失真提升的感兴趣区域编码,调整图像不同区域的率失真斜率来进行更合理的码率分配.实验结果表明.该算法比传统算法更好地保护了多光谱图像的光谱信息,在不同压缩比的情况下.满足卫星干涉多光谱图像压缩系统要求.易于硬件实现,更适于星上环境的应用.     

单幅图像的去雾新算法

提出了一种基于单幅图像的去雾新算法.首先把图像归一化后从RGB彩色空间转换到HSI彩色空间,对色调分量运用四叉树分割法进行分割图像|分割后图像的每一局部小方块可以认为具有相同的场景深度,从而可以对每一局部小方块估计出空气光.然后再对亮度分量运用雾天图像光学模型,从雾的物理特性上去除雾对图像的影响.最后再对图像的饱和度分量进行校正,得到复原后的图像.该算法的主要优点是速度快,且不仅可以应用于彩色图像,也可以适用于灰度图像.通过该算法与其它几种算法的实验结果进行分析和比较,表明该算法能有效恢复出清晰图像.     

单幅图像的去雾新算法

提出了一种基于单幅图像的去雾新算法.首先把图像归一化后从RGB彩色空间转换到HSI彩色空间,对色调分量运用四叉树分割法进行分割图像;分割后图像的每一局部小方块可以认为具有相同的场景深度,从而可以对每一局部小方块估计出空气光.然后再对亮度分量运用雾天图像光学模型,从雾的物理特性上去除雾对图像的影响.最后再对图像的饱和度分量进行校正,得到复原后的图像.该算法的主要优点是速度快,且不仅可以应用于彩色图像,也可以适用于灰度图像.通过该算法与其它几种算法的实验结果进行分析和比较,表明该算法能有效恢复出清晰图像.     

联合深度编解码网络和时频掩蔽估计的单通道语音增强

提出了一种联合深度编解码神经网络和时频掩蔽估计的语音增强方法。该方法利用深度编解码网络估计时频掩蔽表示,并联合带噪语音的幅度谱学习带噪语音与纯净语音幅度谱之间的非线性映射关系。深度编解码网络采用卷积-反卷积网络结构。在编码端,利用卷积网络的局部感知特性,对带噪语音的时频域结构特征进行建模,提取语音特征,同时抑制背景噪声。在解码端,利用编码端提取到的语音特征逐层恢复局部细节信息并重构语音信号。同时,在编解码端对应层之间引入跳跃连接,以减少由于池化和全连接操作导致的低层细节信息丢失的问题。在TIMIT语音库和不完全匹配噪声集下进行仿真实验,实验结果表明,该方法可以有效抑制噪声,且能较好地恢复出语音细节成分。      

基于变分模型的单目视觉三维重建方法

提出一种基于单目视觉的致密场景重建方法,以实现对环境快速,准确地三维立体化建模。该方法针对自由式手持单目相机,在并行跟踪与地图创建(PTAM)算法框架下准确地实现相机的自定位。在此基础上,选取关键帧处图像序列,构造变分模式下深度估计模型;运用离散空间采样法获取初始深度图,借助于原始对偶算法实现该深度模型的优化,并结合相机投影模型估计待求解场景的三维模型。在统一计算设备架构(CUDA)下,利用图形处理器(GPU)进一步实现了深度估计算法的并行优化,显著提高了算法处理的实时性。真实场景下实验结果验证了所提算法的有效性与可行性。     

一种偏振普适性多尺度实时的图像去雾算法

针对现有偏振算法依赖于"天空区域"估计大气参数,从而受白色目标或高亮区域干扰的不足之处,提出了一种图像普适性多尺度偏振去雾方法.研究偏振差分图像四叉树空间索引和图像暗通道先验方法,突破估计模型参数利用天空的局限性,重建场景深度,结合大气散射模型复原低频无雾图像;同时针对目标复原过程中噪声遗留问题,研究软阈值去噪算法,结合低频信息重构的透射率,以梯度增强方式丰富纹理细节,最后小波重构出清晰图像.实验结果表明,该算法有效消除了估计大气参数受制于天空区域的局限性,抑制噪声的影响,复原的目标更加清晰,细节方面更为丰富,算法运行效率方面有较大提高.     

聚焦堆栈中空间几何结构的深度估计

利用聚焦堆栈估计场景深度是计算成像领域中的重要技术手段。提出三维自适应加权全变分计算框架,用于解决场景中弱纹理区域和遮挡区域深度线索丢失导致深度估计不准确的问题。相比传统二维引导滤波方法,所提三维优化框架不仅考虑聚焦堆栈和聚焦测度中共同蕴藏的场景几何结构,避免在深度图中错误地引入场景物理信息,还充分考虑聚焦堆栈和聚焦测度沿图像序列方向的结构特点,实现更高程度的数据保真。模拟数据和实际数据实验结果表明,所提方法能够有效提升聚焦堆栈估计深度的精度。     

基于双向递归卷积神经网络的单目红外视频深度估计

考虑到红外视频的深度特征具有单帧图像的独特性和视频全局的连续性,在单目红外视频深度估计问题上提出一种基于双向递归卷积神经网络(BrCNN)的深度估计方法。BrCNN在卷积神经网络(CNN)能够提取单帧图像特征的基础之上引入循环神经网络(RNN)传递序列信息机制,使其既具有CNN良好的图像特征提取能力,能够自动提取视频中每一帧图像的局部特征,又具有RNN良好的序列特征提取能力,能够自动提取视频中每一帧图像所包含的序列信息,并向后递归传递这种信息。采用双向递归的视频序列信息传递机制来估计红外视频的深度,提取到的每一帧图像的特征都包含了视频前后文的序列信息。实验结果表明,相对于传统CNN提取单帧图像特征进行的估计,使用BrCNN能够提取更具有表达能力的特征,估计出更精确的深度。     

基于多尺度并行残差网络的图像去雾算法北大核心CSCD

雾降低了图像的清晰程度和细节信息,从而对后续视觉信息处理的影响是一个具有挑战性的问题。现有的图像去雾算法虽能去除雾度,但对处理户外浓雾场景的效果较差。为了突破现有去雾算法的局限性,结合大气散射物理模型,提出了一种端到端的多尺度并行融合去雾网络。采用多尺度卷积从整体到局部提取不同尺度的特征,并对这些特征进行多次并行融合;通过引入残差模块对细节特征进行深入学习,可以恢复出更多的图像细节。实验结果和数据分析表明,提出的方法在合成图像和真实图像上都能表现出良好的去雾性能,PSNR和SSIM指标平均同比提升3%。     

结合Lab空间和单尺度Retinex的自适应图像去雾算法

针对暗通道先验算法在大片天空区域透射率估计过小及景深突变处出现Halo效应的问题,提出一种结合Lab空间和单尺度Retinex的图像去雾算法。将RGB图像转换至Lab空间提取出亮度分量,利用Canny算子对亮度分量提取边缘信息,丰富恢复图像细节;利用单尺度Retinex对非边缘区域进行高斯自适应滤波估计出优化后的亮度分量,获得“伪”去雾图像,得到粗略的透射率;利用交叉双边滤波优化透射率消除Halo效应;最后根据大气散射模型恢复出无雾图像。实验结果表明,该方法恢复出的图像细节明显,整体平滑,且对含大片天空区域的图像也有较好的恢复效果。     

基于衍射追迹的集成成像重构算法

衍射受限集成成像光线追迹算法所重构的深度平面是物体深度的重聚焦图像,重构图像像质模糊,不利于物体的三维重构。针对这些问题,提出了一种基于衍射追迹的深度平面重构算法,由菲涅耳衍射公式计算物空间点源传播至成像系统各平面的光场分布,最终求得每个采样点在传感器上的光强脉冲响应,通过反解与光强脉冲响应相关的线性方程组,实现物体深度平面的图像重构。仿真结果表明,采用该方法实现的重构图像是物体的深度平面切片,而且图像像质接近于原始图像,有利于物体的三维重建。     

基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力,针对无人车在夜间获取的红外图像,提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化,该算法在DeepLabv3+网络的基础上,通过引入密集连接的空洞卷积空间金字塔模块,使网络生成的多尺度特征能覆盖更大的尺度范围。此外,该算法将编码器模块的多层结果拼接在译码器模块中,以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练,可直接用于对夜间红外图像的语义分割。实验结果表明,该算法在红外数据集上的分割精度优于原DeepLabv3+算法,平均交并比达到80.42,具有良好的实时性和准确性。     

基于先验似然的高分辨光场图像深度重建算法研究

针对传统双目以及多目在处理遮挡和弱纹理区域匹配效果差、稳健性低的问题,提出了一种基于极平面图像(EPI)对复杂、精细场景进行深度重建的算法。根据EPI特殊的线性结构,提出一种交叉检测模型,有效地计算出EPI轮廓边缘,并将指数距离度量函数和距离权重系数相结合,得到轮廓边缘的深度。对于内部平坦区域,利用求得的深度作为先验,通过先验似然扩散策略将深度扩散到整个区域。整个算法在局部进行,不但保存了精确的轮廓边缘,同时也保证了无纹理区域深度的平滑性。测试结果表明,该算法在重建速度及质量上均优于原始方法。