基于图模型及骨架信息的人体分割算法

针对复杂场景中分割人体不准确的问题,提出了一种在图论优化框架中联合RGB-D信息和骨架信息的人体分割算法.首先,采用边缘引导的滤波算法修复低质量的深度图,得到高质量的深度图;然后通过一种聚类算法对RGB-D数据进行聚类得到超像素;最后在图模型中将超像素看作节点,并结合相应的人体骨架来提高区分人体和背景相似颜色区域的能力,设计能量函数各组成项,最小化能量函数得到全局最佳的融合结果.为验证算法的有效性,在实际场景数据集上与多种算法进行比较.实验结果表明,在主观视觉和客观指标上,本文提出的算法均得到了更为准确的人体分割结果.     

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果.然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果.实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法.     

基于位置约束的参考图引导的遥感影像超分辨率网络

在遥感对地观测领域中,往往需要对生态或地质环境进行长时间跨度的监测.然而,仅通过卫星拍摄的高分辨率影像来实现在长时间跨度范围内对同一位置区域的覆盖是较为困难的.因此,之前的研究多采用单图像超分辨率算法来对低分辨率影像进行重建.但单张低分辨率影像中的信息是有限的,所以该类算法的重建结果往往较为平滑和模糊.实际上,对于同一位置区域而言,通常可以获取到来自不同卫星在不同时间段拍摄的多幅分辨率不同的遥感影像.其中的高分辨率影像可以作为低分辨输入在重建过程中的参考影像.因此,提出了一种基于位置约束的参考图引导的遥感影像超分辨率网络.该网络首先通过一个基于位置编码的纹理转换模块来实现参考图像与低分辨率图像之间的相似特征块匹配.同时引入位置约束,即根据低分辨率输入中邻近元素所对应的参考相似块的聚合度来对转换后的参考图像进行编码,从而提高匹配的准确度.同时,还提出了一种基于通道注意力机制的多尺度特征自适应融合模块,该模块有效提高了网络在进行跨尺度特征融合时的特征表达能力,进一步提高了网络的重建性能.实验结果表明,相较于其他新近的超分辨率方法,该网络在4×和8×超分辨率任务上均表现出了更为优越的重建性能...     

基于多层级跨模态特征融合的深度图重建算法

针对稀疏深度图像的重建问题,提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合,在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样,输出初始深度图,同时复用彩色编码支路提取的丰富语义特征,将多个尺度下输出的上采样特征图进行金字塔迭代上采样,进而学习与最终重建结果的残差,提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比,具有较好的深度图重建性能,同时在视觉比较上生成了更为锐利的深度边界.     

Ways to Sparse Representation: A Comparative Study

Many algorithms have been proposed to achieve sparse representation over redundant dictionaries or transforms. A comprehensive understanding of these algorithms is needed when choosing and designing algorithms for particular applications. This research studies a representative algorithm for each category, matching pursuit (MP), basis pursuit (BP), and noise shaping (NS), in terms of their sparsifying capability and computational complexity. Experiments show that NS has the best performance in terms of sparsifying capability with the least computational complexity. BP has good sparsifying capability, but is computationally expensive. MP has relatively poor sparsifying capability and the computations are heavily dependent on the problem scale and signal complexity. Their performance differences are also evaluated for three typical applications of time-frequency analyses, signal denoising, and image coding. NS has good performance for time-frequency analyses and image coding with far fewer computations. However, NS does not perform well for signal denoising. This study provides guidelines for choosing an algorithm for a given problem and for designing or improving algorithms for sparse representation.