基于光流反馈的单目视觉三维重建

提出一种基于光流反馈的单目视觉三维(3D)重建方法,实现对场景快速、准确的3D立体化建模。由帧间光流场建立更为稳健的同名像点匹配关系,同时运用五点算法估计摄像机的相对位姿,以构建稀疏点云和初始网格。从运动视觉分析的角度寻求多视重构的求解方法,将重建模型反馈至重建过程,用各视图像的偏差驱动模型变形。将粗略、不准确的原始网格曲面经过致密的非刚性变形,调整至精确的曲面。在统一计算设备架构下,利用图形处理器对光流算法进行并行加速,显著提高了重构算法运行的实时性。室内真实场景下的重建结果证明了所提算法的可行性与准确性。     

基于地平面的单目视觉辅助激光雷达SLAM研究

融合视觉传感器和激光雷达可以实现优于单一传感器的同时定位与建图(SLAM)系统,现有的视觉和激光雷达融合算法仍然存在计算复杂度高、系统精度及稳定性受错误的深度匹配影响等问题。为了更加高效、鲁棒地融合视觉和激光雷达的信息,充分利用图像和激光点云中的地平面信息,提出了高效的视觉辅助激光雷达SLAM算法。首先,从激光点云中分割出地面点云用于提取图像中的地面ORB特征点,并通过单应性变换中的交比不变性校验特征匹配,从而高效鲁棒地利用单应性矩阵分解实现绝对尺度相机运动估计。然后,将得到的相机运动估计以李群SE(3)形式进行插值,用于校正激光雷达在自身运动过程中产生的点云畸变。最后,单目相机的运动估计作为初值用于激光里程计的位姿优化。公共数据集KITTI和实际环境的测试结果表明,本文算法可以有效利用相机运动估计对激光点云畸变进行校正,实时准确地实现里程计和建图。     

基于自适应像素级注意力模型的场景深度估计

深度估计是传统的计算机视觉任务,在理解三维场景中起着至关重要的作用。基于单目图像的深度估计任务的困难在于如何提取图像特征中大范围依赖的上下文信息,提出了自适应的上下文聚合网络（adaptive context aggregation network,ACANet）用于解决该问题。该方法基于有监督的自注意力模型(supervised self-attention,SSA),能够自适应地学习任意像素之间的具有任务特性的相似性以模拟连续的上下文信息,并通过模型学习的注意力权重分布用来聚合提取的图像特征。将单目深度估计任务设计为像素级的多分类问题,经过设计的注意力损失函数减少RGB图像和深度图的语义不一致性,通过生成的像素级注意力权重对由位置索引的特征进行全局池化。最后提出一种软性有序推理算法（soft ordinal inference,SOI）,充分利用网络的预测置信度,将离散的深度标签转化为平滑连续的深度图,并且提高了准确率（rmse下降了3%）。在公开的单目深度估计基准数据集NYU Depth V2上的实验结果表明:rmse指标为0.490,阈值指标为82.8%,取得了较好的结果,证明了本文提出的算法的优越性。     

基于语义目标匹配的三维跟踪注册方法

提出了一种基于语义目标匹配的三维跟踪注册方法。通过改进的单发多框检测(SSD)深度卷积神经网络对图像进行语义分割,获取场景中不同目标的像素级语义分割结果。在求取相机姿态的目标函数时,融合了图像的灰度约束与几何约束对相机的姿态进行估计。所提方法减小了特征点的缺乏或误匹配问题对三维跟踪注册算法性能的影响,且能够适应不同结构的场景。研究结果表明,该方法的误差不超过2.2pixel,基本满足了实时性的要求。     

基于弱透视成像模型的目标三维姿态测量

为了准确获取空间目标跟踪、视觉导航等领域中目标的三维姿态,进行了目标三维姿态单目视觉测量方法研究.提取图像目标的典型特征点构造出直角三角形,并通过其边长比例先验信息以及弱透视成像模型推导出目标三维姿态的单目解算算法.与传统测姿方法相比,该算法在相机焦距等内参量未知条件下依然可解算姿态,增大了测姿应用范围;与传统迭代测姿方法相比,避免了循环迭代求解过程,无需设置迭代初值,提高了解算效率.数值仿真试验结果表明目标在离相机1~3km成像时姿态测量误差低于1.5°;实际图像序列测量结果表明目标俯仰角和偏航角测量结果拟合残差小于1°,翻滚角拟合残差小于2°.实验验证了算法的正确性和稳定性,表明该算法在内参量未知条件下能有效测量中远距离成像目标三维姿态.     

一种快速的单目移动相机下运动目标检测方法

从射影几何的角度分析了单目移动相机下场景运动矢量与摄像机运动之间的关系,基于摄像机光心坐标系,提出了一种快速极线估计算法.该算法中摄像机在此坐标系下永远静止,只有场景和运动目标在运动,将原来移动平台下运动目标检测的问题转换成静止平台下场景全局运动与运动目标独立运动的问题,并推导出光流约束的简洁形式.该算法框架能够根据KLT算法获得Harris角点光流场,并根据实际图像的运动场补偿摄像机的随机运动,同时在保证算法准确性与鲁棒性的前提下,与原来算法相比,计算速度提升了10倍左右.根据实际采集的图像序列进行了分析对比,真实的数据测试表明快速极线估计算法在保证算法准确性与鲁棒性的前提下,极大地降低了算法的计算量与计算时间,从而无需三维重建便可有效地解决单目移动摄像机下运动目标检测的问题.     

条纹投影相位高度转换映射模型及其标定方法

为了提高条纹投影三维(3D)测量系统的测量速度和准确度,提出了一种改进的相位高度转换映射模型。通过建立虚拟相机坐标系以及分析条纹信息在投射器坐标系与相机坐标系之间的转换关系,在相机坐标系中建立了从相位到高度的一一映射模型,并在映射模型中校正了相机镜头的畸变。该模型结构简单,便于结合查表(LUT)法使用。应用查表法后,模型算法复杂度极低,可以应用在高速测量中。同时,提出了一种针对映射模型的标定方法,并在相机标定过程中利用逆向投影优化过程对相机的参数进行迭代优化。标定方法简单高效,不需要参考平面,且对系统中的相机和投射器的相对位姿没有严格的要求。实验结果表明所提映射模型及标定方法可以实现快速准确的三维测量。     

聚焦堆栈中空间几何结构的深度估计

利用聚焦堆栈估计场景深度是计算成像领域中的重要技术手段。提出三维自适应加权全变分计算框架,用于解决场景中弱纹理区域和遮挡区域深度线索丢失导致深度估计不准确的问题。相比传统二维引导滤波方法,所提三维优化框架不仅考虑聚焦堆栈和聚焦测度中共同蕴藏的场景几何结构,避免在深度图中错误地引入场景物理信息,还充分考虑聚焦堆栈和聚焦测度沿图像序列方向的结构特点,实现更高程度的数据保真。模拟数据和实际数据实验结果表明,所提方法能够有效提升聚焦堆栈估计深度的精度。     

单目多视点立体图像提取及应用

设计并实现了一种基于广角相机和平面镜的单目多视点立体图像摄像系统,给出了硬件装置的设计指标和优化方法;同时,在研究了硬件系统的标定方法基础上,实现了其在三维测距方面的应用。多枚平面镜构成的对称斗型腔体被放置在广角相机前面,物体光线经过不同平面镜反射后,投影到相机图像平面的不同区域,在相机投影平面上生成物体多个影像,形成单目多视点投影图像。该类图像等价于视点不同的多幅图像,可以使用多视点立体视觉算法实现三维测量。     

基于光场极平面图像测距的三点式光笔空间坐标测量

为克服测量端的几何约束条件,需对现有的光笔系统布置多个测量光点,这会导致测量终端结构复杂,不利于光笔系统应用于测量空间受限的场合。针对这一问题,将光场成像方法引入到光笔式测量系统中,利用光场成像原理获取光笔上光点的极平面图像(EPI),并采用旋转平行四边形算子(SPO)计算EPI中斜线的斜率,从而估计出发光点的深度信息,排除了PNP(perspective-n-points)算法的错误解,得到被测点的准确三维坐标。最后通过实验对所提方法进行了验证。所提方法仅需单目光场相机,并结合三点式光笔即可完成三维坐标值的测量,极大地简化了光笔测量系统。     

基于多源信息融合的果树冠层三维点云拼接方法研究

构建了基于彩色相机和光学混合探测(PMD)相机的多源视觉系统,旨在建立具有真彩色信息的果树冠层三维点云模型,为果树的剪枝、疏花疏果和采摘等果园管理提供技术支持。针对PMD相机获取的目标场景三维点云,结合PMD相机的幅度图像和密度聚类算法提取有效点,利用前期研究的图像配准方法得到多源图像之间的坐标转换关系,完成了果树冠层多源信息融合。通过主成分分析法得到较好的初始位置,再采用最近点迭代算法,实现两组三维点云之间的拼接。对自然场景下的开花期和坐果期的果树冠层三维点云拼接方法进行了实验验证,结果表明多视角三维点云拼接误差为2.62cm,可以较好地弥补单个角度下拍摄造成的数据缺失,实现了果树冠层完整的三维显示。     

基于平面系数表示的自适应深度分布单目深度估计方法

提出了一种针对室内场景的轻量化端到端单目深度估计神经网络。首先设计了新型自适应深度分布估计模块，可针对不同输入图像估计差异化的深度范围，使得网络更好地预测室内物体的相对位置关系，恢复出的深度图像能获得更接近真实值的像素分布。其次，在深度估计的过程中，通过基于平面系数的深度间接表示形式加入平面隐式约束，可以在场景的平面区域得到更平滑的深度估计结果。在NYU Depth-v2数据集上的多项实验结果表明，提出方法能满足较高分辨率下的实时性要求，同时能以更少的参数恢复出质量更高、更完整的室内深度图像，有助于实现更加准确的三维重建效果。     

单目视觉的同时三维场景构建和定位算法

同时场景构建和定位算法是机器人自主导航的重要组成部分.针对传统算法不能应用于室外环境和缺乏定量分析的缺点,提出了一种单摄像机恢复场景三维结构和摄像机位姿的新算法.提出了视频序列关键帧提取方法,降低了运算复杂度;利用特征点对和摄像机内参量计算场景三维结构和关键帧的位姿并提出一种估计关键帧位姿的简便方法;最后,提出一种兼顾优化效果和运算复杂度的自适应光束法平差算法优化场景结构和摄像机位姿,并生成适于机器人导航的数字高程图.室内和室外多种场景下的定量和定性实验结果表明,绕行误差低于4%,该算法能够接近实时准确实现同时场景构建和摄像机定位.     

基于AutoCAD和3DSMAX的虚拟校园三维场景构建研究

当前的虚拟校园三维场景构建方法是利用osgEarth获取GoogleEarth数据,构建虚拟校园三维地图,然后依据本地地形信息与三维场景模型完成对虚拟校园的三维场景构建。该方法在三维场景构建过程中没有考虑到校园后续建设发展,只凭现在所需进行三维场景构建,导致虚拟校园三维场景杂乱,存在虚拟校园三维场景构建顾虑不周的问题。为此,提出一种基于AutoCAD和3DSMAX的虚拟校园三维场景构建方法。该方法首先利用Kinect的RGB深度摄像头获取校园平面数据、影像数据和贴图资料,采用相机阵列合成算法对所得校园图像进行特征提取,然后依据非局部均值滤波方法对获取的校园图像进行去噪操作,最后利用边缘方向和梯度表示中的结构方向与强度,对校园图像外轮廓的纹理特征进行收敛,依据外轮廓纹理特征收敛实现校园图像内轮廓的准确定位,将校园图像与虚拟校园三维场景构建所需图像进行匹配,由此完成对虚拟校园三维场景的构建。实验结果证明,所提方法是虚拟校园三维场景构建领域革命性的突破,提高了学校的招生率,增加了校园文化历史的展现机会,为该领域的研究发展提供了有效依据。     

体表血管近红外三维成像系统与识别算法研究

针对体表组织较厚部位的血管识别困难的问题，提出一种用于体表血管提取与三维成像的双目系统与图像处理算法。成像系统设计采用会聚双目近红外增强相机与近红外LED阵列，并基于朗伯特辐射模型优化了LED阵列的辐照分布均匀性。图像处理算法先通过以Frangi滤波为基础的单目图像处理流程提取左图像中血管骨架，再通过改进的滑窗匹配算法结合右图信息计算血管骨架深度。实验分析了该系统在手背、小臂、颈部以及仿体模型上的血管提取效果、立体匹配有效率以及处理速度，验证了该系统在体表组织较厚部位的实用性。     

铁路运行环境下的车载相机姿态估计

基于对铁路运行环境中所拍摄的图像特征的分析,提出了一种修正的线段检测子(MLSD),并利用该线段检测子结合最小二乘拟合及交叉迭代优化方法对消失点进行快速检测,进而利用消失点坐标实现了相机姿态的估计,为后续调整机器视觉算法进行铁路运行环境的场景重建提供重要依据。运用该方法,基于车载相机所拍摄的图像对车载相机姿态进行估计,实验所得的估计值满足了车载检测系统的精度要求,表明了此方法对于估计相机姿态有效的。     

基于深层卷积神经网络的单目红外图像深度估计

针对从单目红外图像中恢复深度信息的问题,提出了一种基于深层卷积神经网络(DCNN)的深度估计方法。用劳斯掩膜和梯度检测器分别提取不同尺度下红外图像的纹理能量与纹理梯度,并将这两种纹理信息作为红外图像的第一种特征;提取图像中像元及其邻域的灰度值,以及统计其灰度直方图作为另外两种特征;分别用三种特征和深度信息标签训练DCNN,得到三种训练后的DCNN分别对单目红外图像进行深度估计。实验结果表明,相比较另外两种特征,用纹理信息训练的DCNN能够更有效地估计深度,并且优于现有的估计方法,尤其能较好地表现局部场景的深度变化。     

基于移动机器人和单目视觉的姿态测量方法

在单目视觉的姿态测量工作中,传统卷积神经网络在模糊场景及复杂场景下存在准确度大幅降低的问题,为此提出了一种基于胶囊网络与贝叶斯网络相结合的深度学习模型,在此基础上提出了基于移动机器人与单目视觉的姿态测量方法.采用新型胶囊网络对单目视觉目标的重要关节点进行空间定位;设计了简单的贝叶斯网络学习算法,通过贝叶斯网络推理出关节...     

基于深度相机的特殊表面定位与修复

由于成像原理限制,深度相机无法获得非朗伯体高反射面和透明物质的真实深度值,造成模型缺失甚至重建失败。针对特殊表面的三维重建问题,提出一种定位特殊表面并优化位姿追踪的方法。通过累计零深度区和时序一致性约束优化对特殊表面进行定位。对深度数据置信度进行评估,并采用空间、时间两个维度上非平均的位姿计算方法来减小透明物质对位姿计算的影响。实验结果表明,在自然场景中,所提方法能够仅通过消费级相机采集的深度数据完成包含特殊表面的三维模型重建与修复,位姿追踪更加准确,模型精度更高。     

多传感器融合的轨道车体表面特征定位方法北大核心CSCD

在以工业机器人为主体的轨道车体打磨和喷涂系统中,由于轨道车辆表面纹理特征较少和曲率变化,使得物体表面关键特征定位困难和稳定性差等问题。为解决上述问题,首先对常见的视觉传感器的优缺点进行分析,然后选择使用单目视觉技术来对车体表面特征定位方法进行研究,提出并实现了融合多传感器的方法来实现大型物体表面关键特征的定位。该方法结合使用单目相机和激光位移传感器,在算法层面上借鉴了逆映射和最近点迭代的算法。最后对提出的算法进行验证,结果表明:该方法可高效快速地计算出车体目标点的三维坐标和相机相对车体的位置关系,并根据结果对误差来源进行综合分析。