基于改进YOLOv3网络的无人车夜间环境感知

环境感知是无人车夜间行驶中的一项关键任务，提出一种改进的YOLOv3网络，以实现夜间对无人车获取的红外图像中行人、车辆的检测，将判断周边车辆的行驶方向问题转化为预测车辆位置的角度大小问题，并与深度估计信息进行融合对周边车辆行驶的距离和速度作出判断，从而实现夜间无人车对周边车辆行驶意图的感知。该网络具有端到端的优点，能实现整张图像作为网络的输入，直接在输出层回归检测目标的边界框位置、所属的类别和车辆的角度预测结果，并和深度估计信息融合得到周边车辆的距离和速度信息。实验结果表明，使用改进的YOLOv3网络对夜间无人车获取的红外图像进行目标检测的时间为0.04 s/帧，角度和速度预测效果较好，准确性和实时性达到了实际应用要求。     

基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力，针对无人车在夜间获取的红外图像，提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化，该算法在DeepLabv3+网络的基础上，通过引入密集连接的空洞卷积空间金字塔模块，使网络生成的多尺度特征能覆盖更大的尺度范围。此外，该算法将编码器模块的多层结果拼接在译码器模块中，以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练，可直接用于对夜间红外图像的语义分割。实验结果表明，该算法在红外数据集上的分割精度优于原DeepLabv3+算法，平均交并比达到80.42，具有良好的实时性和准确性。     

应用于地面战场目标的点云检测算法研究

地面战场上目标检测是精准跟踪以及准确打击的前提,在现代无人化陆战中起着至关重要的作用.传统的图像检测方法受到光照,天气等条件制约,利用激光雷达技术进行3D目标检测能够显著改善车体的感知能力.针对应用于陆战无人车的检测任务,提出了一种基于卷积神经网络的3D点云检测算法,通过优化VoxelNet的体素化和特征融合模块设计了...     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

基于深度学习的无人车夜视图像语义分割

为了增强无人车对夜视图像的场景理解,在夜间模式下更快更精确地探测和识别周围环境,将深度学习应用于夜视图像的场景语义分割,提出了一种基于卷积-反卷积神经网络的无人车夜视图像语义分割方法。在传统的卷积神经网络中加入反卷积网络,构建卷积-反卷积神经网络,无需手工选取特征。通过像素到像素的学习和训练,得到图像语义分割模型,可直接用该模型预测夜视图像中每个像素所属的场景语义类别,实现无人车夜间行驶时的环境感知。实验结果表明,该方法具有较好的准确性和实时性,平均IU达到68.47。     

基于目标识别的红外与微光图像融合方法

 为了在融合图像中突出运动目标,提出了一种基于动态目标检测和识别的图像融合算法。先对红外图像序列中的运动目标进行检测和提取,同时对红外和微光图像进行融合,最后将提取到的红外目标与融合图像进行二次融合。试验结果表明,该算法获得的融合图像不仅具有普通融合算法信息丰富的特点,还具有鲜明的红外目标指示特性。     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

自然地面背景下红外目标检测算法

为了快速准确地检测出以地面物体为背景的红外序列图像中的目标,结合小波变换的特点及其应用于图像边缘检测的优点,提出了一种基于小波技术的图像预处理算法。该方法利用图像边缘在目标识别中的重要作用,讨论了基于小波变换的图像边缘检测方法,并结合地面背景红外图像自身的特点,大大地提高了单帧的检测概率。     

基于特征级融合的多波段舰船目标识别方法

针对复杂情况下海上舰船目标单波段特征识别能力不足的问题,研究可见光、中波红外和长波红外三波段特征图像融合技术,重点解决图像融合方法中存在的算法耗时和融合策略选择的问题,提出了一种新的基于区域协方差矩阵的多波段特征级融合方法,针对可见光图像和红外图像分别设计11维和5维特征向量,协方差矩阵可以将多个特征进行融合,既保证了不同目标之间的区别性,同时又减小计算量。该方法首先利用显著性检测,快速定位图像中的目标区域,然后,针对不同波段图像设计的特征向量定义协方差阵的距离计算公式并进行匹配,通过对图像的一次遍历操作获得积分图像,在协方差计算时达到快速计算的目的,最后利用k-阶最近邻算法对多种舰船目标进行分类识别。利用实拍的3 400余张三波段舰船目标图像作为测试数据。实验主要分为两部分,首先对比单波段和三波段融合识别的识别率,验证所提出的融合方法具有更广的应用范围;然后,在计算效率上对比多种传统的像素级方法,验证采用的特征级融合在计算时间上的优势。实验结果表明,该方法可达到95.1%的识别率,单帧计算耗时约为0.5 s,在实时性和检测率方面都有明显提高。     

点云投影结合轻量化卷积神经网络实现三维成像声呐快速目标分类*

三维成像声呐的成像结果是三维点云，基于点云的三维成像声呐目标分类方法具有网络结构复杂，计算量大的特点，针对这一问题本文提出了一种将三维成像声呐成像结果从三维点云投影至二维图像的方法，并且使用轻量化卷积神经网络实现了三维成像声呐快速目标分类。该方法首先对三维成像声呐波束形成后的波束域数据进行最大值滤波和阈值滤波，降低点云数据维度；接着，依据三维成像声呐的波束方向，将点云投影为深度图和强度图，分别保存点云的位置信息和强度信息；然后，利用深度图和强度图分别作为第一个通道和第二个通道构建混合通道图，将混合通道图作为目标分类网络的输入，从而将三维点云的目标分类问题转换为二维图像的目标分类问题；最后使用MobileNetV2网络实现了三维成像声呐快速目标分类。实验结果表明，通过本文提出的投影方法可以用二维图像分类网络完成三维成像声呐点云的目标分类任务；而且混合通道图比单独的强度图和深度图收敛速度更快，结合目标识别网络可以25fps实时的进行目标分类，在真实数据集上分类精度达到了91.13%。     

Night vision dense crowd counting based on mid-term fusion of thermal imaging features北大核心CSCD

为了提高人群计数模型对尺度和光噪声的鲁棒性,设计了一种多模态图像融合网络。提出了一种针对夜间人群统计模型,并设计了一个子网络Rgb-T-net,网络融合了热成像特征和可见光图像的特征,增强了网络对热成像和夜间人群特征的判断能力。模型采用自适应高斯核对密度图进行回归,在Rgb-T-CC数据集上完成了夜视训练和测试。经验证网络平均绝对误差为18.16,均方误差为32.14,目标检测召回率为97.65%,计数性能和检测表现优于当前最先进的双峰融合方法。实验结果表明,所提出的多模态特征融合网络能够解决夜视环境下的计数与检测问题,消融实验进一步证明了融合模型各部分参数的有效性。     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组。基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合。通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制非目标区域信息。以端到端识别网络作为基础,利用交叉损失计算策略,对含有注意力掩码的多尺度双频段融合特征图进行目标识别。结果表明,所设计的识别网络能够有效地融合目标红外热源物理特征和可见光图像纹理特征,提高了信息融合深度,保留目标热辐射与纹理特征的同时降低了背景信息干扰,对全天候复杂环境下的多尺度热源目标具有良好的识别精度与鲁棒性。     

主被动光学图像融合技术研究

本文应用扫描式激光成像雷达获取试验数据并实现对激光数据的三维成像处理,给出了基于目标特征的激光雷达图像与被动光学图像的数据融合方法,实现了激光图像和光学图像间的三维融合。试验结果表明,本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的,融合后的图像具有丰富的光谱信息和三维立体信息。     

基于激光点云多条件约束的相机检校方法

为了克服相机检校对二维/三维检校场的依赖,提出一种基于激光点云多条件约束的相机检校方法。该方法通过对相机获取的多视影像进行光束法平差获得初始相机参数;利用影像点云与其最邻近的激光点云之间的位置关系,以共线方程为基础模型,建立多条件约束的相机检校数学模型;使用不等式约束的最小二乘方法平差迭代解算相机参数。将本文方法与基于三维控制场的检校精度进行了实验对比分析,结果表明本文方法与基于三维控制场的检校精度相当,两者反投影平均误差相差小于0.1 pixel,验证了本文方法在没有传统检校场的情况下进行相机检校的可行性。     

Visible and infrared tracking based on multi-view multi-kernel fusion model

In the visual tracking problem, fusion of visible and infrared sensors provides complementarily useful features and can consistently help distinguish the target from the background efficiently. Recently, multi-view learning has received growing attention due to its enormous potential in combining diverse view features containing consistent and complementary characteristics. Therefore, in this paper, a visible and infrared fusion tracking algorithm based on multi-view multi-kernel fusion (MVMKF) model is presented. The proposed MVMKF model considers the diversities of visible and infrared views and embeds complementary information from them. Furthermore, the multi-kernel framework is used to learn the importance of view features so that an integrated appearance representation is made with regard to the respective performance. Besides, the tracking task is completed with naive Bayes classifier in sophisticated compressive feature domain, considering the high performances of classifier-level and sophisticated feature-level learning for multiple views. The experimental results demonstrate that the MVMKF tracking algorithm performs well in terms of accuracy and robustness.     

一种双通道夜视图像彩色融合系统

提出了一种双通道夜视图像的彩色融合系统。利用Matrox Meteor-Ⅱ多通道图像采集卡获取双通道微光与红外视频图像．通过仿MIT,BIT．TNO．线性组合和混合结构等图像融合结构实现微光／微光和微光／红外图像的彩色融合处理。系统彩色图像融合处理是在VC++6．0环境下运用采集卡图像函数库实现的。建立的实验平台为彩色夜视融合算法的评价和进一步的研究奠定了基础。     

基于特征定位的航空航天制孔多视测量拼接方法

为满足航空航天大部件对制孔质量的数字化原位检测需求，提出一种基于特征板的制孔多视点云拼接方法，实现孔壁完整三维形貌重建与检测。分析制孔多视检测的需求，提出采用特征定位板辅助的多视点云配准方法。介绍了内角不等四边形特征板的设计与相应的点云分割、识别算法。说明基于特征自定位的多视点云拼接及参数提取方法。结合机械臂搭建实验平台，对常用钛、铝及复合材料的试件模拟原位检测，结果显示各平均误差分别为0.011 mm、0.034 mm、0.041 mm，验证了配准算法的可靠性；并对比传统单视与该方法检测结果，体现该方法的鲁棒性。