|
|||||
|
|
| 基于多层级跨模态特征融合的深度图重建算法 | |
| 引用本文： | 杨敬钰,谢天昊,岳焕景.基于多层级跨模态特征融合的深度图重建算法[J].华中科技大学学报(自然科学版),2023(3):52-59. |
| 作者姓名： | 杨敬钰 谢天昊 岳焕景 |
| 作者单位： | 天津大学电气自动化与信息工程学院 |
| 基金项目： | 国家自然科学基金资助项目(62231018)； |
| 摘 要： | 针对稀疏深度图像的重建问题，提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合，在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样，输出初始深度图，同时复用彩色编码支路提取的丰富语义特征，将多个尺度下输出的上采样特征图进行金字塔迭代上采样，进而学习与最终重建结果的残差，提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比，具有较好的深度图重建性能，同时在视觉比较上生成了更为锐利的深度边界. |
| 关 键 词： | 深度图 深度图重建 深度学习 特征融合 残差学习 |