基于优化估计的深度图像修复与误差补偿方法研究

针对Kinect传感器在获取深度图像时存在深度值随机跳变的不准确性问题,基于最优估计的思想,提出卡尔曼滤波与多帧平均法相结合的图像修复方法。首先利用卡尔曼滤波对多幅深度图像进行修复处理,实现Kinect传感器在采集信息过程中随着时间递推,深度值的跳变逐渐趋于平稳的效果;然后基于多幅图像平均法确定最终的深度图像,解决了Kinect获取深度值存在误差导致的不精确问题。实验结果表明,该算法的均方根误差为38.102 5,平均梯度为0.471 3,信息熵为6.191 8,与单幅图像修复效果相比,得到的深度图像边缘更加清晰。     

基于T-S模糊神经网络的智能轮椅避障控制策略

在复杂的环境中,智能轮椅的自主避障是安全的保证。本文提出基于超声波和激光传感器的环境深度分区算法,和T-S模糊神经网路的信息融合方法,实现避障策略。提高了智能轮椅控制系统的实时性和安全性,实现避障控制的高效性。     

基于Kinect传感器多深度图像融合的物体三维重建

物体的三维重建技术一直是计算机视觉领域研究的热点问题,提出一种利用Kinect传感器获取的深度图像实现多幅深度图像融合完成物体三维重建的方法。在图像空间中对深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场（hierarchical signed distance field）,对距离场中所有的体素应用整体Delaunay三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,完成物体表面重建。实验结果表明,该方法利用Kinect传感器采集的不同方向37幅分辨率为640480的深度图像完成目标物体的三维重建,仅需要48 s,并且得到非常精细的重建效果。     

Long-range three-dimensional active imaging with superresolution depth mapping

We present a technique to overcome the depth resolution limitation for 3D active imaging. Applying microsecond laser pulses and sensor gate width, a scene of several hundred meters is illuminated and recorded in a single image. The trapezoid-shaped range intensity profile is analyzed to obtain both the reflectivity and the depth of scene. We demonstrate a 3D scene reconstruction in a depth of 650 to 1550 m from only three images with an accuracy of <30 m. This depth accuracy is 10 times better than estimated from the classical resolution limit obtained for depth scanning active imaging with a similar number of images. Therefore, this technique enables superresolution depth mapping with a reduction of image data processing.     

一种新的激光车辙深度测量方法研究

车辙深度测量通常使用共梁式多路激光测距传感器测量路面多个离散点,由多个测量点组成的断面信息计算车辙深度,因横向采样点间距宽,导致测量误差较大。提出了一种新的激光车辙深度测量方法,采用线激光器和三维(3D)相机组合集成测量路面3D断面,通过3D断面解算车辙深度。3D相机以一定夹角采集激光器投射在路面的线结构光图像,获取路面的3D断面数据,对断面数据通过拉依达准则进行异常值剔除,再进行旋转、平移和模型识别,最终计算路面左右轮迹和最大车辙深度。实际证明,数据重复性和相关性都达到98%以上,与传统方法相比较,该方法采样间距小、测量精度高、成本低、通用性强,具有广阔的使用推广价值。     

An improved edge detection algorithm for depth map inpainting

Three-dimensional (3D) measurement technology has been widely used in many scientific and engineering areas. The emergence of Kinect sensor makes 3D measurement much easier. However the depth map captured by Kinect sensor has some invalid regions, especially at object boundaries. These missing regions should be filled firstly. This paper proposes a depth-assisted edge detection algorithm and improves existing depth map inpainting algorithm using extracted edges. In the proposed algorithm, both color image and raw depth data are used to extract initial edges. Then the edges are optimized and are utilized to assist depth map inpainting. Comparative experiments demonstrate that the proposed edge detection algorithm can extract object boundaries and inhibit non-boundary edges caused by textures on object surfaces. The proposed depth inpainting algorithm can predict missing depth values successfully and has better performance than existing algorithm around object boundaries.     

基于环境光检测的场景融合系统

基于深度相机和人眼检测模型实时返回观察者眼睛的位置坐标,利用坐标转换模型计算合理的显示区域,通过颜色传感器的颜色分量数据估计环境色温和亮度;根据提前标定的显示参数映射表调整显示状态,使其最接近环境光的色彩表现。搭建了场景融合实验系统,系统分为位置监测相机、图像采集相机、颜色传感器、显示设备、处理器五部分.分别在色温为6354 K,照度为160 lx的室内场景和色温为6197 K,照度为848 lx的室外场景下进行融合实验.实验结果表明,场景融合方案能够为不同位置的观察者调整显示画面,并根据环境光信息改变显示参数,融合效果优良,单次执行仅需283 ms.     

Pulse-shape-free method for long-range three-dimensional active imaging with high linear accuracy

We present a three-dimensional (3D) imaging method employing linear increasing gain to encode flying time of photons into intensity information. This method obtains both the reflectivity and the depth of scene from only two two-dimensional (2D) images. High linear accuracy between the depth and the intensity information is independent of the laser pulse shape. We demonstrated <1 m linear depth accuracies with two different kinds of laser pulse shape and a 3D scene reconstruction with supperresolution depth mapping when the targets are 800-1100 m away.     

基于激光和单目相机信息融合的智能轮椅避障策略研究

针对智能轮椅使用环境复杂多变,障碍物形状各异,单一传感器无法获得完整的环境信息的问题,提出一种基于激光传感器和单目视觉传感器信息融合的障碍物检测方法。通过单目相机和激光雷达传感器感知智能轮椅周围环境,得到障碍物的形状、距离分布状况等信息;在此基础上提出两种传感器信息的融合策略,建立局部障碍物地图,进一步采用模糊神经网络完成整体避障算法,实现智能轮椅安全、快速避障等功能。实验结果验证了文中所提避障算法的可行性及有效性。     

融合Kinect与γ相机图像的放射性区域重建与定位

针对核设施退役、核应急处置过程中放射性分布信息的可视化需求,提出了一种基于Kinect与γ相机图像信息融合的放射性区域重建与定位方法。首先,基于γ相机的特殊成像方式,构建了Kinect与γ相机组合成像模型,并完成相机组合联合标定;其次,基于视觉地图构建方法,建立了核辐射环境稠密点云地图并得到Kinect位姿;然后,提取γ相机图像中的放射性分布信息,根据相机组合模型计算地图中的放射性区域点云;最后,基于最小包围盒对γ相机成像的中心区域进行三维定位。在实验中,通过将Kinect和γ相机数据同步与空间对齐,在少量γ相机图像的情况下,实现了单个点源的三维分布重建模型与辐射场景地图的融合。在8×12 m2的实验室环境中点源定位的均方根误差为0.11 m,证明了本文方法的有效性。     

基于热释电红外传感器的多节点定位系统研究与设计

针对热释电红外传感器(PIR)在人体探测领域中越来越广泛的应用,研究设计了一种基于PIR的检测定位系统,可实时完成对人员目标入侵探测区域时的检测与定位,并预推出人员目标的行进轨迹;该系统由多个PIR感知节点组成,每个感知节点通过传感在动、静两种状态下对探测区域进行信息采集;最终融合多节点与不同状态下传感器采集的数据,算出各个传感器的探测角度值,以交叉定位的算法,得到目标的定位坐标;经实验证明,该系统运行稳定,检测灵敏,定位效果很好,拓宽了热释电传感器在定位定向方面的使用范围。     

一种新的全色图像与光谱图像融合方法研究

给出了一种新的综合伪彩色映射技术和小波变换理论的图像融合方法,并将其应用于全色图像和光谱图像的融合中.通过提取两个不同谱段光谱图像的共有信息和特别信息,并进行伪彩色映射融合,来增强目标与背景的对比度.同时将伪彩色映射融合后的图像进一步用IHS变换提取空间信息,在小波变换框架下将其与全色图像进行融合以提高目标的边缘细节信息,使所获得的融合结果不仅包含丰富的光谱信息的同时还具有较高的空间分辨率.仿真图和评价指标表明,该算法在增强目标与背景的对比度以及保留目标信息等方面具有较强的优势.     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

近红外与可见光双通道传感器信息融合的去雾技术

为了对雾霾天气下的图像进行去雾处理,多幅图像去雾算法是常用的方法之一。多幅图像去雾算法也有多种形式,部分算法面临硬件实现困难、获取途径受限或者可实施性弱等问题,而且多幅图像比对处理时常常涉及图像配准,造成算法的实时性差、计算复杂度高等问题。针对以上问题,提出的算法为多幅图像去雾提供了新的思路,基于双目传感器硬件架构能够同时捕获近红外和可见光图像,将近红外传感器图像作为新的数据源,近红外传感器能够在一定程度上穿透雾霾,在雾天捕获可见光传感器无法捕获的图像细节,而且硬件实现简单。可见光图像的颜色信息较丰富,近红外传感器图像对近处场景细节的描述能力较好,捕获的图像稍加校正就能实现完全配准,将近红外图像与可见光图像进行融合,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,得到边缘、轮廓等细节信息更加丰富的去雾图像。基于上述思路,借助近红外传感器对边缘细节的描述能力和可见光传感器对颜色信息的反映能力,提出了一种基于近红外与可见光双通道传感器图像融合的去雾算法。首先,将彩色可见光图像转换到HIS彩色空间,分别得到亮度通道图像、色调通道图像和饱和度通道图像。先将其亮度通道图与近红外图像进行融合去雾处理。采用非下采样Shearlet变换（NSST）进行分解,对得到的高频系数进行双指数边缘平滑滤波器保边滤波处理,对低频系数进行反锐化掩蔽处理,通过融合规则和反向变换得到新的亮度通道图像。然后,在对可见光图像的色彩处理中,建立饱和度图的退化模型,采用暗原色原理对参数进行估计,得到估计的饱和度图。最后,将新的亮度通道图像,估计的饱和度图像和原色调图像反映射到RGB空间得到去雾图像。为了验证新算法的有效性,特选取四组雾天拍摄的真实近红外图像与可见光图像进行融合去雾处理,将融合结果与其他两种去雾方法对于彩色可见光图像的去雾效果进行比较。实验结果表明,该算法在提高图像的边缘对比度和视觉清晰度上有较好的效果。并提出将近红外传感器图像作为新的数据源,采用双通道图像融合方法进行去雾处理,为图像去雾提供的新的技术思路是可行的。该算法的优势在于：首先提出将图像融合方法与去雾算法相结合,得到了新的去雾算法的思路。将彩色可见光图像转换到HSI色彩空间,将其亮度通道图与近红外图像采用非下采样Shearlet变换方法进行融合处理,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,使得去雾图像中的边缘、轮廓等细节信息更加丰富。其次,提出了在图像去雾算法中采用新的数据源--近红外传感器图像,从图像处理的角度,近红外传感器能够在一定程度上穿透雾霾,对于近处场景细节的描述能力较好,而且硬件实现简单,捕获的图像稍加校正就能实现完全配准,为后续的融合去雾算法带来了便利,为图像去雾提供了新的技术途径和路线。再次,采用的是多幅图像去雾算法,该算法基于双目传感器获取图像,可见光图像的颜色信息较丰富,近红外图像对于近处场景细节的描述能力较好,相对于单幅图像去雾算法,有更好的效果。最后,将可见光传感器图像映射到其他色彩空间,对于每个通道的图像根据其特征有针对性地进行处理。可见光图像的亮度通道图和近红外图像的处理采用了图像融合和增强处理,对于可见光图像饱和度通道的处理采用了图像复原算法,可以从整体上提升去雾效果,对细节特征有了进一步增强。该算法为图像去雾提供了新的技术途径和路线。     

Depth map resolution improvement for 3D range-intensity correlation laser imaging

This Letter proposes a high bit-depth coding method to improve depth map resolution and render it suitable to human-eye observation in 3D range-intensity correlation laser imaging. In this method, a high bit-depth CCD camera with a nanosecond-scaled gated intensifier is used as an image sensor; subsequently two high bit-depth gate images with specific range-intensity profiles are obtained to establish the gray depth map and finally the gray depth map is encoded by an equidensity pseudocolor. With this method, a color depth map is generated with higher range resolution. In our experimental work, the range resolution of the depth map is improved by a factor of 1.67.     

水下移动平台网络化协同探测技术发展*

在水下网络中心战（UWNCW）思想的指引下，UUV、鱼雷兵器等水下移动平台网络化协同探测是必然的发展趋势。本文阐述了协同探测网络拓扑结构、网络节点空时统一的关键问题；针对水声复杂信道给通信组网带来的困难，给出了协同探测网络中时变信道自适应复合调制、信道自适应接入机制和移动通信同步的初步方案；并探讨了协同探测的一些关键问题和应用策略，包括跨平台传感器的信息融合、尺度目标的方位分布特征提取以及鱼雷自导多目标协同跟踪。提供的一些计算机仿真结果初步显示了网络化协同探测的优越性。     

A video-rate range sensor based on depth from defocus

Recovering the depth information derived from dynamic scenes implies real-time range estimation. This paper addresses the implementation of a bifocal range sensor which estimates the depth by measuring the relative blurring between two images captured with different focal settings. To recover the depth accurately even in cases when the scene is textureless, one possible solution is to project a structured light on the scene. As a consequence, in the scene's spectrum a spatial frequency derived from illumination pattern is evident. The resulting algorithm involves only simple local operations, this assures the possibility of computing the depth at a rate of 10 frames per second. The experimental results indicate that the accuracy of this proposed sensor compares well with that offered by other methods such as stereo and motion parallax, while avoiding the problems caused by occlusion and missing parts.     

超声波测距导盲车关键技术的研究

为了确保盲人或者视觉受损人群独自安全出行、真正解决其出行不便的困难,设计一款成本低廉、精度高,能够得到广泛推广使用的盲人辅助产品是很有必要的。通过分析提高测距精度和减小盲区的方法,设计了导盲车系统。系统由超声波测距和语音播报两部分组成。通过旋转云台搭载超声波探头检测障碍物距离和方位以及路面凹坑,车底前方的电极检测路面积水;由STM32微处理器对各信号进行处理。采用较高的时钟频率来提高测距精度,增加温度传感器补偿进一步保证精度;安装多个探头以及使用旋转云台,通过旋转扫描以减小盲区,再由文字转语音芯片SYN6288播报路况信息。由于采用旋转扫描检测,经过设计实物并测试,基本上能够覆盖前方约 、5-300cm扇形区域。测距分辨率可达到1cm。     

Development of a vision-based lane detection system considering configuration aspects

Vision-based lane-sensing systems require accurate and robust sensing performance in lane detection. Besides, there exists trade-off between the computational burden and processor cost, which should be considered for implementing the systems in passenger cars. In this paper, a stereo vision-based lane detection system considering sensor configuration aspects such as field of view (FOV), span pixels, resolution, etc is developed. An inverse perspective mapping method is formulated based on the relative correspondence between the left and right cameras so that the 3D road geometry can be reconstructed in a robust manner. The selection rule of the sensor configuration and specifications is investigated for a standard highway. Based on the selected sensor configurations, it is shown that sensing region range on the camera image coordinate can be determined for the best lane-sensing performance. The proposed system is implemented on a passenger car and its real-time sensing performance is verified experimentally.     

递变能量X射线高动态融合图像的灰度表征算法研究

递变能量X射线成像,通过获取并融合图像序列实现动态范围扩展,完整再现了检测对象的结构信息.但是在融合过程中往往是以质量优化为目的,忽略了与实际高动态成像的灰度映射正确性,从而不能保证图像信息与实际物体信息的物理匹配性.因此,本文提出了递变能量X射线高动态融合图像的灰度表征算法.该算法首先以标钢质准楔形试块为对象,将不同电压下的融合图像作为输入数据,直接采集高动态成像图像作为输出数据,利用神经网络方法构建递变能量成像的灰度表征模型.同时针对不同于训练对象的材料,对灰度表征模型进行修正,实现了不同材质的灰度正确表征,进而实现了低动态图像序列融合图像的正确表征.以12和16 bit成像系统进行实验,结果表明,利用12 bit探测器通过变电压采集图像序列,经图像融合、灰度映射及灰度校正,达到了16 bit探测器的成像效果,且满足灰度对应关系,有效拓展了成像器件的动态范围.