基于改进ORB-SLAM2算法的RGB-D稠密地图构建

针对传统ORB-SLAM2系统无法稠密建图以及缺少可应用于移动机器人在特定场景下导航与路径规划的八叉树地图等问题,提出了一种改进RGB-D ORB-SLAM2算法.该算法利用深度信息,通过针孔成像模型计算出关键帧点云的三维空间位置,采用离群点滤波去除多余杂点,体素滤波保留具有特征信息的点云进行拼接,降低地图冗余度,并经过稠密回环处理进一步优化更新关键帧的点云位姿,构建出精确的稠密点云地图并转换为八叉树地图.试验数据表明,相比于RGB-D SLAMV2系统,RGB-D ORB-SLAM2系统的全局轨迹误差和相对位姿误差提升有50%以上,均方根误差为0.89%,均值误差为0.76%;在建图性能方面,相比于同类型算法,点云数量平均降低约30%.此外,八叉树地图相比于点云地图,仅占其内存的0.6%,更加满足了高精度、快速性的导航需求.     

基于卷积神经网络的语义同时定位以及地图构建方法

环境感知技术是智能车功能实现的前提,而在感知的基础上提高智能车对环境的认知能力是实现全自动驾驶的关键。本文针对室外交通场景,基于卷积神经网络提出了一种新的智能车同时定位以及语义地图构建方法,对智能车进行定位,并且构建稠密的3D语义地图,提高智能车的环境感知、认知能力。首先,基于双目ORB-SLAM提出了一种四线程的双目SLAM（Simultaneous Localization and Mapping）方法构建稠密的3D点云地图,四线程分别为追踪线程,局部地图构建线程,回环检测线程以及稠密地图构建线程;其次,为提高智能车的环境认知能力,使用端对端的方法对图像进行语义分割,并且为提高语义分割精确率,将环境的几何信息也作为卷积神经网络输入;最后,将感知的能力与认知的能力相结合构建语义地图,为智能车实现全自动驾驶奠定基础。本文将算法在KITTI数据集上进行测试,整体算法速度为10帧/秒,语义分割的全局精确率为73.1%,构建的语义地图显示本文提出算法能够在大规模室外场景下重构全局一致性地图,并且帮助智能车实现对环境的解析。     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping, SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。     

基于深度学习的语义栅格地图构建方法

为了提升移动机器人在定位导航任务中对环境的理解力,提出一种包含墙角信息的语义地图构建方法.首先结合激光SLAM算法和深度学习方法创建环境栅格地图并提取环境语义,同时对语义点云进行假语义去除,通过坐标转换将语义信息与环境栅格地图进行融合,并采用基于贝叶斯估计的增量式方法对栅格中物体语义存在与否进行判定,得到包含语义信息的...     

单目视觉下基于图像裁剪的行人小目标检测算法

为解决室内监控场景中行人小目标不易检测的问题,提出一种基于图像裁剪的行人小目标检测算法.在固定的单目视觉监控视频数据流中,图像序列中不同帧之间存在相关性,使用斯皮尔曼等级相关系数找出两幅图像间不相关部分并进一步精确验证,运用差异函数对传输的图像进行高频感兴趣区域的提取,再利用图像裁剪剔除冗余部分,最后在单阶段目标检测模...     

基于目标检测的室内动态场景SLAM

室内动态场景下的同步定位与地图构建(simultaneous localization and mapping, SLAM)系统容易受到运动障碍物的影响,从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法,获取语义信息,并利用LK光流法判断动态特征,在传统的ORB-SLAM2系统上将动态特征点剔除,只使用静态特征点来估计相机的位姿;建立稠密点云地图,并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估,实验结果表明：在动态环境下,该系统与ORB-SLAM2相比,相机位姿估计精度提高83%,且减少了生成的环境地图的存储空间,为后续实现机器人导航具有重要意义。     

融合FEB的YOLOX遥感图像目标检测算法

针对遥感图像的复杂背景干扰大、目标尺度变化大以及小目标检测困难等导致检测精度降低的问题,提出一种增强YOLOX主干网络输出特征提取能力的检测算法。通过加入连续膨胀残差卷积和注意力机制,设计一种全新的提取主干网络输出特征增强块(feature enhance block,FEB),让连续膨胀残差卷积串联4个具有不同膨胀率的膨胀残差卷积,扩大算法的感受野,丰富上下文信息,同时减轻背景对检测的影响,有效加强算法对目标尺度变化大及小目标的检测能力,使用SA注意力机制抑制背景对算法检测的干扰,提高算法的检测精度。在RSOD数据集上的实验表明,FEB相较于其他同类型模块具有更好的特征提取能力。     

基于优化RBPF的同时定位与地图构建

以优化的Rao-Blackwellized粒子滤波器(RBPF)为基础,实现了室内移动机器人同时定位与地图构建(SLAM).结合移动机器人的运动模型和观测模型,设计一种基于退火参数优化混合提议分布的RBPF算法,以退火参数调控两者在混合提议分布中的比例,使改进的提议分布更加接近真实状态;针对重采样后粒子退化效应,提出一种基于等级的自适应局部重采样(APRR)算法.在机器人操作系统(ROS)平台上,使用配有URG激光器的Pioneer3-DX机器人对改进算法进行实验验证,结果表明:改进算法能减少所需粒子数,保持粒子多样性,降低计算复杂度,在不同环境下在线创建高精度的2-D栅格地图.     

基于视觉-IMU-编码器的SLAM新算法

VINS-Mono算法应用于轮式机器人时,由于惯性测量单元(inertial measurement unit, IMU)加速度计信噪比较小,观测尺度不准确,会出现定位精度下降。对此,提出了一种融合单目相机、惯性测量单元和编码器的改进算法。在VINS-Mono初始化和后端优化的目标函数中,增加编码器测量残差项,直接融合由编码器数据计算的速度,增强尺度的可观性,降低定位累积误差,提高了定位精度。另外,针对车轮打滑造成编码器速度测量不准的问题,利用IMU角速度计测量值计算打滑因子,自适应调整编码器残差项在目标函数中的权重及其鲁棒核函数的阈值,减小车轮打滑对定位结果的影响。在两轮移动机器人上的实验表明,改进算法具有较强的鲁棒性,定位精度比VINS-Mono提高了一个数量级。     

基于单目视觉的距离测量研究

针对目前单目视觉中依靠图像标定及其在双目视觉中立体匹配方法的不足,提出了利用单目视觉测量物体与镜头之间距离的测距方法。首先利用步进电机控制镜头移动来引起图像放大倍数的变化,然后根据图像的放大倍数和镜头移动的距离来计算镜头与物体之间的距离,距离计算的准确性已通过测量试验得到验证。     

基于单目视觉的横穿障碍物检测

提出一种基于单目视觉的横穿障碍物检测方法.首先,基于道路平面假设,根据特征点的位置约束以及逆透视投影变换下的性质,提取地面特征点对.其次,采用迭代加权最小二乘法估计自车平移和旋转运动参数.然后,利用估计的运动参数对图像光流进行旋转补偿,并基于道路C 速度空间生成障碍物的候选标记点.最后,对候选标记点进行分组聚类和验证,确定横穿障碍物区域.不同交通场景下的实验结果表明,上述方法能够适用于各种自车运动,有效检测横穿障碍物.     

基于单目序列图像的运动目标跟踪

对于视频监控图像中运动目标位置的检测,现有的定位跟踪系统主要采用双目或结构光立体视觉技术,存在系统设计复杂、检测速度慢等缺点.有鉴于此,文中将地面约束引入到单目视觉监控中,提出了一种单目序列图像运动目标跟踪方法.该方法利用摄像机安装信息和几何成像原理,结合非线性补偿,推导出单目不对称非线性成像的地面运动目标实际位置计算公式.通过搭建室内监控测试平台,在序列图像中进行了寻找步行者足印位置的实验,结果验证了文中方法的有效性.     

基于半稠密COLMAP自监督单目内窥镜深度估计

在单目内窥镜场景下人体内组织表面纹理稀疏,视野受限给图像的深度估计带来了一定的困难。针对以上问题,提出了一种基于半稠密COLMAP(structure-from-motion and multi-view stereo generation pipeline)结合动态卷积注意力机制的自监督单目深度估计方法。通过改进的COLMAP进行图像序列预处理,产生加权半稠密深度图作为监督信号,该过程引入加权可靠度对半稠密深度图中的干扰点和不准确点进行丢弃或抑制操作,在训练网络中加入了具有动态卷积的注意力机制模型(Selective Kernel Networks, SKNet),这种注意力机制模型可以对输入的特征图进行动态卷积以获得更多感受野的信息,加强网络对特征的提取能力。在肝脏数据集上进行试验,结果表明,绝对相对差为0.135,阈值T<1.25³时,准确率为0.985,对监督数据、SKNet模型进行了消融实验,证明了半稠密重建、SKNet模型以及加权半稠密深度图的有效性。     

基于肤色和运动检测技术的单目视觉手势分割

在分析肤色的信息特征和手势的运动特性基础上,构建了一种基于单目视觉的手势分割方法,可从视频图像序列中获取有意义的手势区域.针对确定的背景图像,以10帧的采样间隔采集手势图像,通过肤色信息特征来获得手势的肤色区域,同时通过差分法获得手势的运动区域,再将肤色区域与运动区域进行融合处理获得初始的手势区域,在此基础上,进一步研...     

基于单目视觉的车辆3D空间检测方法

针对基于单目车辆检测的3D包围框检测精确率比较低的问题,提出了一种基于改进的FPN特征融合、ResNet残差单元、全连接层组合而成的新网络方法.在训练阶段,回归车辆的三维尺寸、残差角度和置信度;在推理阶段,检测出所属类别车辆的三维尺寸和局部角度(α).由车辆的3D包围框中心点坐标、车辆的三维尺寸、车辆偏航角(θ)和相机内参矩阵复原绘制出车辆的3D包围框.所提方法在KITTI验证集上进行了实验,与原方法的检测结果相比,改进的方法在容易、适中、困难三个检测等级下提升了车辆3D包围框平均精确率(AP_3D)为0.60%,1.37%,1.41%.     

基于异质传感器信息融合的移动机器人SLAM研究

针对采用单一传感器在移动机器人同步定位与构图(SLAM)中存在定位精度低、构图不完整等问题,提出一种基于Kinect视觉传感器和激光传感器信息融合的SLAM算法。首先将Kinect传感器获取的深度图像经过坐标系转换得到三维点云、通过限制垂直方向滤波器过滤三维点云的高度信息、再将剩余三维点云投影到水平面并提取边界点云信息转化为激光扫描数据;然后与激光传感器的扫描数据进行数据级的信息融合;最后输出统一数据实现移动机器人的构图及自主导航。实验结果表明,该方法能够准确的检测小的及特征复杂的障碍物,能够构建更精确、更完整的环境地图,且更好地完成移动机器人自主导航任务。     

基于目标检测的施工钢材物料智能实时计数

研究了基于深度学习目标检测技术的钢材智能计数方法。通过拍摄并标注大量施工现场的钢筋、圆钢管、方钢管图片,构建了包含近40万个计数点的数据集。基于YOLOv4目标检测算法,建立了钢材智能计数模型,并通过改进其网络结构、损失函数,以及采用合适的训练策略,提高了模型对于钢材的计数精度。检验表明,模型的平均精度为91.41%,平均绝对误差为4.07。利用上述成果开发的APP软件,可通过手机拍照、上传,完成实时计数。     

通用目标检测算法研究进展与评述

通用目标检测是计算机视觉和模式识别领域中最活跃的研究主题之一,在图像检索、目标识别、辅助驾驶系统以及视觉监控等许多方面都有着重要应用.目标检测研究中要解决的基本问题是,如何选取目标特征,以及如何利用这些特征描述目标物体.一般情况下,目标物体的描述方法跟目标特征的选取原则密切相关.论文从两类典型的特征类型出发,对目标检测研究的暨有成果加以回顾与评述,并对可能的发展趋势进行分析.