基于多视角融合的夜间无人车三维目标检测

为了提高无人车在夜间情况下对周围环境的物体识别能力,提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想,在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式,与红外图像组成多视角通道,各通道信息之间融合互补,从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入,网络通过特征提取层、候选区域层和通道融合层准确地回归检测出目标的位置以及所属的类别。实验结果表明,该方法能够提高无人车在夜间的物体识别能力,在实验室的测试数据中准确率达到90%,速度0.43 s/帧,达到了实际应用要求。     

基于深度学习的无人车夜视图像语义分割

为了增强无人车对夜视图像的场景理解,在夜间模式下更快更精确地探测和识别周围环境,将深度学习应用于夜视图像的场景语义分割,提出了一种基于卷积-反卷积神经网络的无人车夜视图像语义分割方法。在传统的卷积神经网络中加入反卷积网络,构建卷积-反卷积神经网络,无需手工选取特征。通过像素到像素的学习和训练,得到图像语义分割模型,可直接用该模型预测夜视图像中每个像素所属的场景语义类别,实现无人车夜间行驶时的环境感知。实验结果表明,该方法具有较好的准确性和实时性,平均IU达到68.47。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于红外图像形心优化提取的汽车夜视安全系统

为了提高汽车夜间行驶安全性能,设计并实现了一套基于红外图像处理的夜视安全系统。使用被动式红外相机对车辆和行人进行红外成像以得到车辆前方行人和车辆的准确位置;测距必须确定对象的形心,对红外图像的灰度值进行判定区分行人和车辆,对行人使用中值空域滤波方法进行降噪,对车辆使用db4小波进行预处理,然后使用基于图像边缘的图像分割方法进行图像分割,使用最大类间方差评估确定分割结果,再进行区域提取得到形心坐标;使用小孔成像模型计算形心与本车的距离,提取本车速度、加速度参数计算理论碰撞时间,当理论碰撞时间小于时间阈值时进行声光告警,从而实现实时预警。系统使用DIR-384-P红外相机,系统算法使用PFGA实现,测试结果表明,经过标校和加固后,系统与目标存在5米距离时,车辆测距的误差率达到2.74%,行人测距的误差率低于3.9%,具有一定的实际应用价值。     

压缩光场重建与深度估计

针对光场深度估计过程中数据量大、边缘处深度估计结果不准确问题,利用压缩感知原理重建光场,提出一种新的多信息融合的光场图像深度估计算法。利用压缩感知重建算法重建5×5视角光场数据,获取光场数据后首先移动子孔径实现重聚焦,然后利用角度像素块散焦线索和匹配线索计算出场景初始深度和置信度。计算图像边缘信息,通过融合初始深度、置信度、边缘信息获取最终深度。实现压缩光场仿真重建,并对仿真光场数据和公开光场数据进行深度估计,实验结果表明:可以仿真重建出5×5视角光场数据,且仿真重建的光场可用于深度估计。该深度估计算法在场景边缘处的深度估计结果边界清晰,层次分明,验证了重建光场深度估计的可行性与准确性。     

基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力,针对无人车在夜间获取的红外图像,提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化,该算法在DeepLabv3+网络的基础上,通过引入密集连接的空洞卷积空间金字塔模块,使网络生成的多尺度特征能覆盖更大的尺度范围。此外,该算法将编码器模块的多层结果拼接在译码器模块中,以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练,可直接用于对夜间红外图像的语义分割。实验结果表明,该算法在红外数据集上的分割精度优于原DeepLabv3+算法,平均交并比达到80.42,具有良好的实时性和准确性。     

基于并行融合网络的航拍红外车辆小目标检测方法

提出了一种基于并行融合网络的航拍红外车辆小目标检测方法.以并行残差块搭建的网络作为主干网络,完成对目标高精度且强鲁棒性的识别和分类.在此网络的基础上进行特征提取与特征融合,提出了基于跨层连接的改进YOLOv3算法,充分利用底层的信息完成对红外车辆小目标的高精度检测与定位.最后,采用soft-NMS替代NMS来缓解目标重...     

基于双目序列图像的测距定位与自车速度估计

为了确定车辆在行驶过程中的相对位置与速度,提出一种基于双目序列图像的实时测距定位及自车速度估计方法。该方法利用车载双目视觉传感器采集周围环境的序列图像,并对同一时刻的左右图像进行基于SURF(speeded up robust features)特征的立体匹配,以获取环境特征点的景深,实现车辆测距定位;同时又对相邻两帧图像进行基于SURF特征的跟踪匹配,并通过对应匹配点在相邻两帧摄像机坐标系下的三维坐标,计算出摄像机坐标系在车辆运动前后的变换参数,根据变换参数估算出车辆的行驶速度。模拟实验表明,该方法具有良好的可行性,速度计算结果比较稳定,平均误差均在6%以内。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题.针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题.首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范...     

改进Fast-RCNN的双目视觉车辆检测方法

针对不同空间尺度的车辆表现出显著不同的特征导致检测算法效率低、准确性差且单目难以准确获取车辆距离信息的问题,提出了一种改进Fast-RCNN的汽车目标检测法,利用双目视觉对车辆进行测距。首先利用双目立体相机采集前方图像并进行预处理,加载深度神经网络Fast-RCNN的训练数据,再针对汽车不同空间尺度引入多个内置的子网络,将来自所有子网络的输出自适应组合对车辆进行检测,然后利用SURF特征匹配算法进行左右图像的立体匹配,根据匹配数据进行三维重建并确定车辆质心坐标,从而测量出车辆与双目相机之间的距离。实验结果表明,所述算法可以实现对车辆的快速检测,检测时间比传统的Fast-RCNN缩短了42 ms,并且实现了对5 m范围车辆距离的准确测量,其误差仅为2.4%,精确度高,实时性好。     

Infrared/laser multi-sensor fusion and tracking based on the multi-scale model

The state estimation problem of targets detected by infrared/laser composite detection system with different sampling rates was studied in this paper. An effective state estimation algorithm based on data fusion is presented. Because sampling rate of infrared detection system is much higher than that of the laser detection system, the theory of multi-scale analysis is used to establish multi-scale model in this algorithm. At the fine scale, angle information provided by infrared detection system is used to estimate the target state through the unscented Kalman filter. It makes full use of the high frequency characteristic of infrared detection system to improve target state estimation accuracy. At the coarse scale, due to the sampling ratio of infrared and laser detection systems is an integer multiple, the angle information can be fused directly with the distance information of laser detection system to determine the target location. The fused information is served as observation, while the converted measurement Kalman filter (CMKF) is used to estimate the target state, which greatly reduces the complexity of filtering process and gets the optimal fusion estimation. The simulation results of tracking a target in 3-D space by infrared and laser detection systems demonstrate that the proposed algorithm in this paper is efficient and can obtain better performance than traditional algorithm.     

安全距离和成像尺寸约束的超大视场红外系统车载应用关键参数论证

在现有车载辅助驾驶系统中,可见光成像系统难以有效应用于夜晚、雨、雾、霾等低照度不良天气。红外成像系统有效克服了上述不足,但传统车载红外系统存在视场角小、视野盲区大的缺点。研究了超大视场红外系统的车载辅助驾驶应用,提出了基于安全距离和成像尺寸联合约束的超大视场红外系统关键参数论证方法。通过分析等距投影成像规律,建立了超大视场红外系统车载应用的安全距离约束模型和成像尺寸约束模型,以极限速度对应的探测最近距离和二维Johnson准则约束下的“发现”最远距离来验证超大视场红外车载系统的可行性,计算了视场角等关键参数。经过理论论证和分析,超大视场红外车载系统的镜头焦距/像元尺寸范围需在[276.1 521.3]范围之内。通过开展系统试验,设计了水平视场角为140°的超大视场红外成像系统,满足了对人的发现距离大于130 m的要求,进而可用于车辆辅助驾驶。     

基于改进SSD的车辆小目标检测方法

地面车辆目标检测问题中由于目标尺寸较小,目标外观信息较少,且易受背景干扰等的原因,较难精确检测到目标。围绕地面小尺寸目标精准检测的问题,从目标特征提取的角度提出了一种特征融合的子网络。该子网络引入了重要的局部细节信息,有效地提升了小目标检测效果。针对尺度、角度等的变换问题,设计了基于融合层的扩展层预测子网络,在扩展层的多个尺度空间内匹配目标,生成目标预测框对目标定位。在车辆小目标VEDAI(vehicle detection in aerial imagery)数据集上的实验表明,算法保留传统SSD(single-shot multibox detector)检测速度优势的同时,在精度方面有了明显提升,大幅提升了算法的实用性。