基于Kinect传感器多深度图像融合的物体三维重建

物体的三维重建技术一直是计算机视觉领域研究的热点问题,提出一种利用Kinect传感器获取的深度图像实现多幅深度图像融合完成物体三维重建的方法。在图像空间中对深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场（hierarchical signed distance field）,对距离场中所有的体素应用整体Delaunay三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,完成物体表面重建。实验结果表明,该方法利用Kinect传感器采集的不同方向37幅分辨率为640480的深度图像完成目标物体的三维重建,仅需要48 s,并且得到非常精细的重建效果。     

基于结构特征引导滤波的深度图像增强算法研究

为了解决深度图像中存在的图像模糊、空洞和噪声等图像质量问题,拟从软件的角度出发,在不改变传感器成像系统物理结构的前提下,基于结构特征并以彩色图像作为引导展开研究,实现深度图像增强和空洞修补的目的,提高深度图像的质量。通过对彩色图像和深度图像的结构特征进行提取,得到共性的全局特征,并对得到的结构特征进行联合双边滤波,最后基于马尔科夫随机场的方法进行深度图像增强,实现了低成本获取深度增强的图像。实验结果表明本文算法在保持图像边缘的细节性、平滑性和整体性上具有更好的效果,与其他算法相比,图像的均方根误差RMSE更低,仅为0.506 93及1.169 30（针对Teddy及Art图像）。     

基于多视差函数拟合的集成成像深度提取方法EI北大核心CSCD

集成成像系统采用微透镜阵列记录空间场景信息,只有一次成像过程,在获取场景深度时,不存在相机的参数设置和校准问题,简化了深度测量过程,具有很大优势。但是由于该系统采集的元素图像分辨率低,容易受记录噪声影响,元素图像之间匹配困难。基于集成成像系统能够计算重构出多幅视图的优势,充分利用多幅视图提供的冗余信息来改善立体匹配情况。采用颜色相似性的自适应窗口在参考视图与其他视图之间进行立体匹配,得到参考视图与其他视图之间的视差信息,利用视差与视图对之间的抽样距离满足正比函数关系的性质,对多个视差值进行函数拟合,减少了由于记录噪声等因素产生的误匹配,物体深度层次的分辨更加准确。     

基于多视差函数拟合的集成成像深度提取方法

集成成像系统采用微透镜阵列记录空间场景信息,只有一次成像过程,在获取场景深度时,不存在相机的参数设置和校准问题,简化了深度测量过程,具有很大优势。但是由于该系统采集的元素图像分辨率低,容易受记录噪声影响,元素图像之间匹配困难。基于集成成像系统能够计算重构出多幅视图的优势,充分利用多幅视图提供的冗余信息来改善立体匹配情况。采用颜色相似性的自适应窗口在参考视图与其他视图之间进行立体匹配,得到参考视图与其他视图之间的视差信息,利用视差与视图对之间的抽样距离满足正比函数关系的性质,对多个视差值进行函数拟合,减少了由于记录噪声等因素产生的误匹配,物体深度层次的分辨更加准确。     

移动机器人动态环境下目标跟踪异构传感器一致性观测方法

为了解决机器人同时定位,地图构建与目标跟踪(SLAMOT)过程中的多源,异构传感器空间一致性观测问题,提出了基于信息融合的摄像机与激光测距传感器联合标定优化方法。完成基于误差传播公式的激光扫描点图像平面投影不确定范围判定,并利用协方差交集算法实现基于运动物体检验方法和基于Camshift方法的图像坐标系下目标状态融合。在此基础上,利用目标图像平面投影方向误差构造目标函数,通过非线性优化方法实现摄像机与激光测距仪标定参数优化。实验验证了设计方法能有效提高目标跟踪以及多传感器参数标定的准确性。相关成果能够为基于多传感器信息融合的机器人同时定位,地图构建与目标跟踪滤波方法研究提供观测值支持。     

通用工业相机的炸点瞬时位置测量模拟研究

为解决当前已有炸点空间位置探测系统存在的结构复杂、成本昂贵的问题,进行了基于通用工业相机的炸点瞬时位置测量的模拟研究,设计了LED瞬态闪光单元,通过光电传感器探测LED产生的光信号并转换为电信号.经过信号处理,根据信号的幅值控制2台普通工业相机同时曝光进行抓拍,然后对采集的图像进行数字图像处理,获取2幅图像中爆炸光斑中...     

基于遮挡场景的光场图像深度估计方法

针对在深度估计过程中的遮挡问题,提出一种新的基于多线索融合的光场图像深度估计方法。利用约束性自适应散焦算法和约束性角熵度量算法获取场景的散焦线索、一致性线索,并计算出场景的初始深度、置信度。为增强图像的边缘轮廓信息,通过Canny算子提取中心视角图像的边缘信息,然后利用马尔可夫随机场融合场景的初始深度、置信度及边缘信息,实现图像的高精度深度估计。与其他先进方法相比,所提方法能够较好地解决场景中存在的遮挡问题,获取的深度图精度较高、平滑效果较好,图像边缘保持效果较好。     

离焦投影三维测量的二值光栅生成方法

投影仪离焦技术克服了光栅投影三维测量中的投影仪非线性问题,但二值光栅存在的高次谐波会降低生成光栅的正弦性,从而引入相位误差。提出一种二值光栅图像生成方法,基于正弦光栅图像所具有的对称性和周期性,选取了尺寸较小的二值块。然后对所选块进行随机初始化,再采用多像素跳变方法对二值块进行优化,根据优化所得的二值块生成整幅二值光栅图像。最后结合相移算法,在投影仪离焦测量环境下,计算得到三维测量所需的相位信息。相较于传统二值光栅图像生成方法,所提方法能够保证高质量相位信息获取,且适用于不同程度的离焦测量环境。仿真及实验验证了所提方法更加适用于离焦投影三维测量。     

基于光场成像的表面三维重构

传统的成像方式单次曝光只能获取物空间二维横向分辨率信息,无法获取纵向深度信息,导致单次拍摄过程中物空间的深度信息丢失, 无法对物空间的目标物进行三维重构。光场相机内部采用光场传感器,不同于传统成像系统单次采集只能获取二维信息而造成的信息缺失,光场传感器可获取物空间的多维光场信息,同时其还具有便携等优点。采用光场相机进行拍摄,利用数字重聚焦以及散焦测距和相关计算的方法,实现密集深度图像的获取,基于matlab软件平台,对所获取的图像深度数据矩阵进行处理,最终实现物空间的三维重构。得到物空间的相对深度的归一化结果。本实验中,在深度范围为100 mm~1 500 mm范围内,实现平均误差为5.47%深度信息的表面三维重构,最大重构误差为8.30%。     

距离选通切片图像高精度三维重构方法

高精度水下三维成像可以获取更多的目标信息,有利于提高水下目标的识别率,一直是水下光电成像的重要研究方向之一。距离选通成像技术可以获取目标的距离信息,但由于选通深度的限制,难以直接从多幅选通图像重构出高精度的三维图像。在基本距离选通成像技术基础上,以较小的选通延迟时间间隔获取多幅距离选通切片图像,对这些图像的像素灰度值进行统计分析和曲线拟合,可以获取每个像素的距离值,从而重构出高精度的目标三维图像。理论分析表明,该方法的距离解算精度可能达到厘米级。     

光子计数激光雷达的时间相关卡尔曼深度估计

在高背景噪声和低积分时间的激光雷达远距离成像场景中,针对传统方法得到的深度图像目标被噪声淹没和深度估计偏差较大的问题,提出了一种基于信号光子时间相关性和自适应卡尔曼滤波器的深度信息估计方法.首先,提取在时间上具有聚集特征的光子计数形成集合;然后,分析了影响信号光子在时间上分布的因素并使用静态高斯线性模型来描述该集合;最...     

Fusion of 3D laser scanner and depth images for obstacle recognition in mobile applications

The problem of obstacle detection and recognition or, generally, scene mapping is one of the most investigated problems in computer vision, especially in mobile applications. In this paper a fused optical system using depth information with color images gathered from the Microsoft Kinect sensor and 3D laser range scanner data is proposed for obstacle detection and ground estimation in real-time mobile systems. The algorithm consists of feature extraction in the laser range images, processing of the depth information from the Kinect sensor, fusion of the sensor information, and classification of the data into two separate categories: road and obstacle. Exemplary results are presented and it is shown that fusion of information gathered from different sources increases the effectiveness of the obstacle detection in different scenarios, and it can be used successfully for road surface mapping.     

融合RANSAC光流跟踪法和特征点匹配法的视觉里程计

为了解决光流跟踪法定位精度不足、误差累积和特征点匹配法耗时久的问题,设计了一种将随机抽样一致性（random sample consensus,RANSAC）光流跟踪法和改进的特征点匹配法结合的视觉里程计。利用RANSAC光流跟踪法对关键帧之间的小规模运动进行估计,RANSAC算法对光流跟踪的误匹配点进行剔除,大大降低了光流跟踪法存在的误匹配;而关键帧之间的运动估计则利用改进的特征点匹配法,以修正光流跟踪法的估计误差;最后利用卡尔曼滤波将RANSAC光流跟踪法和改进的特征点匹配法进行融合。实验结果表明:该文的算法能够克服光流跟踪法精度不足、误差累积的问题,将平均相对误差由15.5%提升到了2.6%;同时也能在一定程度上提高特征点匹配法的速度,将特征点匹配法的平均耗费时间由37.28 ms提升到了21.07 ms。     

An improved edge detection algorithm for depth map inpainting

Three-dimensional (3D) measurement technology has been widely used in many scientific and engineering areas. The emergence of Kinect sensor makes 3D measurement much easier. However the depth map captured by Kinect sensor has some invalid regions, especially at object boundaries. These missing regions should be filled firstly. This paper proposes a depth-assisted edge detection algorithm and improves existing depth map inpainting algorithm using extracted edges. In the proposed algorithm, both color image and raw depth data are used to extract initial edges. Then the edges are optimized and are utilized to assist depth map inpainting. Comparative experiments demonstrate that the proposed edge detection algorithm can extract object boundaries and inhibit non-boundary edges caused by textures on object surfaces. The proposed depth inpainting algorithm can predict missing depth values successfully and has better performance than existing algorithm around object boundaries.     

基于Kalman滤波算法的陀螺仪动态漂移补偿研究

应用MEMS陀螺仪测量人体手臂运动姿态时,针对陀螺仪受线加速度干扰导致测量姿态发散的问题,提出基于Kalman滤波算法的姿态误差补偿方法;该方法首先将陀螺仪采集到的角速度通过方向余弦算法解算得到姿态角,并将陀螺仪动态漂移造成的姿态角误差视为时变信号,通过建立姿态角漂移误差的状态方程及观测方程,应用卡尔曼滤波算法,实现对姿态角漂移误差的估计,最终达到对陀螺仪动态漂移误差的补偿;实验与仿真结果表明,应用该算法能够有效的抑制线加速度干扰导致的陀螺仪测量的姿态发散,适用于陀螺仪对人体手臂运动姿态的测量。     

目标机动未知下的有源声呐跟踪滤波方法

为解决由有源声呐测量误差而引入的目标机动判决模糊问题,提出了基于延迟机动检测的跟踪滤波算法。利用多假设跟踪方法,在目标机动检测模糊时,生成匀速及机动的两种目标运动假设以延迟最终的决策时间,基于残差序列构造假设检验统计量,实施序列似然比检验并融合强跟踪滤波器和Kalman滤波器的优点,提高了有源声呐对先验信息未知目标的跟踪能力。通过仿真分析表明,该算法不仅能够精确的跟踪匀速运动目标,而且能够稳定的跟踪机动目标。海试数据处理进一步验证了算法跟踪真实水声目标的有效性。     

A new method to accelerate depth extraction for aperture-coded camera

Depth extraction, or the retrieval of three-dimensional information of the captured scene from camera, is an important problem in computer vision and image processing. The aperture-coded camera has certain advantages in depth extraction. However, such calculation will cost huge time as it contains weighted iterative deconvolution. In order to solve the problem, this paper proposes an improved algorithm in which the image is firstly segmented and then the small image regions are sampled for deconvolution and depth judgment. Experimental results prove that the proposed method can greatly reduce time consumption and save computer memory. On this basis, by using the characteristics of aperture-coded camera obtaining image and depth, we propose a framework to handle the application of stitching the images of occluded scene, and then carry out experiments.     

基于灰度投影改进的电子稳像

针对灰度投影算法运用于存在局部运动目标的情况下,稳像效果较差并且可能产生错稳这一问题,在分析灰度投影基本理论的基础上,提出一种改进的灰度投影算法:局部运动物体位置估计方法和像素替代法。利用灰度值的改变和像素替代的方法,把局部运动物体去除,再进行稳像处理。通过实验验证,该方法可以解决图像中存在运动物体时发生的错稳情况。比较改进前与改进后的稳像效果,改进后的PSRN（峰值信噪比）提高了1.35。