基于生成对抗式神经网络的红外目标仿真方法

提出了一种应用于红外目标仿真的模型。利用训练后的条件深度卷积生成对抗网络,只需输入随机噪声和类别标签,便能够自动产生预期类别的红外目标仿真图像。在手写数字数据集(MNIST)和红外数据集上分别训练模型参数,再进行自动生成实验,均可以产生高真实度的样本图像;将判别网络提取的特征用于分类实验,并将所提方法合成的图像用于数据增强,以提升分类器性能。研究结果表明,所提方法能够有效模仿红外辐射特征。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测

提出一种迁移学习与深度学习相结合的钢板裂纹缺陷检测方法。首先,通过非负矩阵分解（NMF）建立红外缺陷数据集的目标域特征空间,以余弦相似度为衡量指标选取可见光缺陷数据集的源域样本,对深度学习模型进行预训练,并将模型权重参数迁移至目标域,实现相似领域的知识迁移;然后,在YOLO v5算法基础上引入自适应空间特征融合（ASFF）模块,提高缺陷检测精度。实验结果表明：所提方法对钢板脉冲涡流热成像裂纹缺陷的检测精度达到98.6%,可实现不同长度裂纹的准确识别与定位。     

基于深度注意力机制的多尺度红外行人检测

针对多尺度目标检测问题,提出一种基于深度注意力机制的多尺度红外行人检测方法。首先,选取较为轻量级的Darknet53作为深度卷积特征提取的主干网络,设计四尺度的特征金字塔网络负责目标的定位和分类,通过引入更低层高分辨率的特征图来改善对小尺度行人目标的检测性能。其次,利用注意力模块替代特征金字塔网络中传统的上采样模块,生成基于卷积特征的局部显著图,可以有效抑制不相关区域的特征响应,突出图像局部特性。最后,利用Caltech行人数据集和U-FOV红外行人数据集进行两次迁移训练,以提高模型的泛化能力,丰富行人的样本特征。实验结果表明,所提方法在U-FOV数据集上的识别平均准确率达到了93.45%,比YOLOv3高26.74个百分点,能检测到的最小行人像素为6×13。在LTIR数据集上的定性实验结果验证,所提模型具有良好的泛化能力,适用于多尺度红外行人的检测。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于可见光谱的鱼苗体长估测方法研究

在鱼苗养殖过程中,同一养殖池会出现个体大的鱼苗攻击个体小的鱼苗,个体小的鱼苗会出现伤病甚至死亡,造成经济损失,鱼苗分塘和售卖价格主要与其体长参数相关,因此需要对不同大小的鱼苗进行分离。鱼苗分类主要依赖于不同大小的网筛,费时费力,且容易对鱼苗造成损伤。针对传统人工分离方法效率低下并且缺乏科学指导的问题,本文提出了基于可见光谱的鱼苗体长估测方法研究,能够根据鱼苗图像计算鱼苗长度并进行分类。为了精确无损的获取鱼苗的体长,提出了基于迁移学习ResNet50模型的鱼苗体长估测方法。首先采集在同等高度条件下拍摄的不同长度鱼苗图像,同时手工测量鱼苗的实际长度作为数据集的标签,用四种迁移学习模型AlexNet, VGG16, GoogLeNet, ResNet50对鱼苗体长进行估算,通过验证集准确率,测试集准确率,以及不同方法的运行时间三个指标进行分析, AlexNet模型验证集准确率90.04%,测试集准确率89.82%,运行时间52 min 3 s; VGG16模型验证集准确率91.01%,测试集准确率91.17%,运行时间131 min 37 s; GoogLeNet模型验证集准确率88.02%,测试集准确率88.39%,运行时间45 min 2 s; ResNet50模型验证集准确率91.92%,测试集准确率91.09%,运行时间99 min 17 s;确定方法ResNet50。该模型具有50层的Residual Network架构,用迁移学习的方法将在ImageNet上训练得到的卷积层的参数传递到训练所使用的模型上,并调整softmax层适应本文问题。对来自10种不同长度的6 677个样本的鱼苗数据集上的实验结果表明该方法可以有效地用于鱼苗分类,通过对模型ResNet50的迁移学习的层数,迭代次数,学习率,最小批处理尺寸(Mini Batch Size)进行微调以优化模型。实验结果表明,当迁移学习模型的迁移层数为30,迭代次数为6,学习率为0.001, Mini Batch Size为10时,方法效果达到最优,模型的验证集准确率94.31%,测试集的准确率达到93.93%。该算法与传统的图像处理方法相比估算鱼苗体长准确率提高2%左右。在未来实际生产场景中,可以将该方法嵌套入鱼苗体长分离装置之中,真正的做到将科研落地,投入到实际的生产之中,减少鱼苗损伤,为未来的无人渔场奠定基础。     

基于可见光-红外模态下双向特征生成的行人重识别方法

为了提高可见光-红外跨模态行人重识别的检测准确度,提出一种基于可见光-红外模态双向特征生成的双流网络模型,相对现有算法,使用双向特征生成方法进行跨模态行人特征迁移,显著提高了跨模态特征表达,同时利用双流网络提取具有判别性双模态特征,并通过设计的粗细粒度损失融合的策略,提高了跨模态行人检索的准确度。实验结果表明,与最新方法相比,文章提出的方法提高了跨模态行人重识别的平均准确度,在RegDB数据集上取得92.91%,在SYSU-MM01数据集取得66.17%。     

基于改进关系网络的小样本红外空中目标分类方法

针对地对空红外空中目标识别任务中数据量严重不足的问题,提出一种基于改进关系网络的小样本红外空中目标分类方法。该方法将关系网络模型、多尺度特征融合方法及元学习训练策略相结合,首先构造多尺度特征提取模块提取输入图像的特征向量,然后将支撑样本和预测样本的特征向量输入到关系模块中,根据关系值得到预测样本的类别标签。mini-ImageNet数据集上的实验结果表明:所提模型的分类精度显著高于其他经典的小样本学习模型。Infra-aircraft dataset上的实验结果表明:所提方法在仅有个位数样本的情况下,可完成多种机型的地对空红外图像分类任务。     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组.基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合.通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制...     

基于热红外图像处理技术的农作物冠层识别方法研究

为解决农作物冠层热红外图像边缘灰度级分布不均且噪声较大,而传统图像分割方法难以实现其目标区域有效识别的难题,以苗期红小豆冠层热红外图像为研究对象,将模糊神经网络和仿射变换有机结合,提出了基于热红外图像处理技术的农作物冠层识别模型。首先利用五层线性归一化模糊神经网络的自适应特性,选取高斯隶属度函数,自动计算冠层可见光图像识别的推理规则,有效地分割了可见光图像中的冠层区域。通过分析3种分割指标和熵,定量评价可见光图像冠层分割质量。网络迭代38次时,误差精度为0.000 952,该算法平均有效识别率为96.13%,获取可见光冠层图像的像元信息熵值范围为2.454 4~5.198 7,与标准算法所得冠层图像的像元信息熵仅相差0.245 9。然后以取得可见光图像的冠层有效区域为参考图像,采用仿射变换算法,调整优选平移、旋转、缩放等图像变换因子,配准原始热红外图像,提出了基于仿射变换的冠层热红外图像识别方法。对于初始温度范围值在16.35~19.92 ℃的农作物热红外图像,计算选取旋转幅度为1.0和缩放因子为0.9时,作为异源图像的最优配准参数,获取目标图像的最大温差为3.17 ℃,相对于原图像的平均温度值由18.711 ℃下降至17.790 ℃,进而实现了基于热红外图像处理技术的农作物冠层识别。最后以熵的互信息作为监督指标,对农作物冠层热红外图像识别方法进行评价。提出的冠层热红外图像识别方法,所获取的目标图像与初始热红外图像的平均互信息为4.368 7,标准目标图像和初始热红外图像的平均互信息为3.981 8,二者仅相差0.486 9。同时,两种冠层热红外图像的平均温度差值为0.25 ℃,高效消除了原始热红外图像的背景噪声。结果表明本研究方法的有效性和实用性,能够为应用热红外图像反映农作物生理生态信息特征指标参数提供技术借鉴。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

舰船小目标图像配准算法

当舰船目标距离红外/可见光复合导引头较远的时候,红外与可见光图像中的目标信息微弱,可供提取的特征较少且差异较大,传统的图像配准算法很难适用.针对该问题,本文提出一种基于传感器参量的图像配准算法,首先根据红外与可见光传感器的成像模型将图像配准分解简化为视场配准与平移配准两个相对分离的步骤;然后利用传感器参量进行图像的视场配准;最后基于海天线和水平高通能量分布确定匹配点完成平移配准.仿真实验结果表明,该算法具有较高的配准准确度,可以应用于实际远距离海上舰船的红外和可见光图像配准.     

基于迁移学习的原子力显微镜成像恢复方法

受限于探针针尖结构尺寸,用原子力显微镜进行微纳测量时会产生图像边缘失真.提出了一种基于迁移学习的原子力显微镜成像恢复方法,通过迁移学习训练源模型和靶模型实现一维栅格成像恢复.该方法采用数学形态法中的腐蚀算法生成栅格点云数据,通过U-Net网络源模型从点云中提取针尖卷积效应的特征向量,将权重参数迁移至U-Net网络靶模型,靶模型在自适应正则化方法下进行监督学习.实验结果表明,该方法能有效恢复一维栅格的原子力显微镜测量图像,提高横向分辨力,可用于纳米栅格的线宽检测上.     

高频信息矢量匹配实现异源图像配准

介绍了一种通过提取红外与可见图像高频信息形成矢量模型的方法,该模型可用于可见和红外两种不同波段相同场景图像的配准。分析了红外与可见图像的共同特性,即边缘高频特性,并在作为模板的图像中提取这类高频信息。利用人工干预的方法形成矢量模型,该矢量模型可通过实时姿态信息进行实时三维变换,并重新投影为二维图形,据此可在另一图像中进行特征搜索,达到两者匹配的目的。利用实际数据进行了实验分析,结果显示,利用本文算法提取的矢量模型,经变换后能可靠地实现异源目标自动识别;实验证明此方法有效可行,并可推广应用于各种异源图像间的自动目标识别和配准处理。     

适应积分时间调整的红外图像非均匀性校正方法

针对应用常规红外图像非均匀性校正方法在变积分时间时,图像灰度值会发生改变的现象,提出了一种适应积分时间调整的红外图像非均匀性校正方法.该方法将不同积分时间、不同温度的黑体定标数据和对应的理论红外辐射量整合为一个整体数据库,借助神经网络损失函数和误差反向传递机制,对模型中的校正系数进行学习.训练得到的校正网络能在红外相机积分时间实时调整过程中,保证图像均匀地稳定输出,对后端红外图像处理有着重要意义,并验证训练该网络不需要大量定标数据.而针对红外探测器响应漂移的现象,则提出了在线修正校正系数的方法以有效应对.     

自适应参考图像的可见光与热红外彩色图像融合算法

可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一,该技术有效提高了人们对目标的探测和场景理解能力。目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法,彩色融合图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性。针对常规YUV空间色彩传递彩色图像融合算法的环境适应性问题,通过对植物、城镇和海天三类典型场景的分类与统计,发现了典型场景在UV通道的均值和标准差具有的较为明显的分类特性,由此提出了一种基于UV通道均值和标准差的自适应参考图像构造方法,使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性,融合图像的色彩具有较好的自然感,且算法处理量较小,对现有实时硬件融合处理算法的运算速度影响不大,是一种环境适应性强的自然感彩色融合处理算法。     

Real-time visual enhancement for infrared small dim targets in video

Visual enhancement for infrared small dim targets is a standing problem in infrared image processing. Existing approaches cannot enhance the target well and suppress the background simultaneously, especially for targets which are so faint that they are hardly visible. This paper proposes a novel real-time visual enhancement algorithm for infrared small dim targets in video by introducing temporal cues. In this work, Dynamic Programming Algorithm (DPA) is used to detect the target’s trajectory in the video and the target is enhanced through energy accumulation along the trajectory. The shape prior of the small dim target is adopted for background suppression and adaptive merging. Experimental results on real infrared small dim target videos indicate that the proposed algorithm can improve the visual quality of these types of images notably, especially for cases in which the target is hardly visible. In addition, the proposed algorithm takes on average 8.35 ms to process a 320 1 256 image, and thus meets the needs of real-time applications.     

数字图像注入式红外目标捕获跟踪训练仿真

介绍一种利用数字图像注入构建目标环境来完成目标捕获跟踪仿真训练任务的新方法,该方法通过模拟目标的理论航迹,实时接收并解算编码器输出值,同时与目标的运动方程做综合处理,计算出目标的位置信息,最后在背景中合成目标后按照红外图像的格式将数字图像注入到数字图像处理系统中。该方法可以在不开启红外相机的情况下,方便地完成手动及自动跟踪的训练任务,节约了训练成本,并已成功运用到某光电跟瞄设备的仿真训练系统中。