基于图像融合的动态轮廓线跟踪新方法

红外与可见光传感器是目标跟踪识别系统中常用的两种传感器,对这两种传感器图像进行融合能有效提高系统跟踪检测的准确性。将动态轮廓线模型与图像融合结合,在特征搜索过程中利用特征点准确地完成了图像配准,同时使用了一种新的特征级融合方法,将两种图像中目标轮廓的B样条曲线控制点进行实时微分耦合。这种耦合将Curwen提出的微分耦合机制作了改进,利用图像配准把刚性硬模板改变为实时的变换模板并推导了融合后动态轮廓线的新的动力学方程。这种融合利用了红外图像目标轮廓信息约束可见光图像中动态轮廓线的收敛形状,有效地提高了可见光图像目标跟踪的准确性。对运动人手序列图像的对比跟踪实验表明,这种融合使得可见光图像中动态轮廓线平均跟踪误差减小了60．25％。     

可见光/红外双视场全景式航空侦查相机光学系统设计

为提高航空侦查识别目标能力以及满足部队全天候作战需要,设计了一种应用于全景航空侦查相机的可见光/红外双视场成像光学系统。可见光光学系统焦距为165 mm/660 mm,相对孔径为1:8.8,视场角为9.1°×6.8°/2.3°×1.7°;红外光学系统焦距为75 mm/300 mm,相对孔径为1:4,视场角为8.3°×6.2°/2.1°×1.6°。采用有限焦距光学系统前面加一个望远系统的方法实现变倍,根据红外器件及可见光器件的像元尺寸计算出红外系统及可见光系统的奈奎斯特频率分别为33 lp/mm和91 lp/mm。在33 lp/mm处,红外光学系统大、小视场的MTF值分别为为0.35和0.37,在91 lp/mm处,可见光光学系统大、小视场MTF值分别为0.41和0.4,成像质量接近衍射极限,表明光学系统成像质量良好,满足实际工程使用要求。     

可见光与红外一体化光学系统设计

空间遥感相机的空间分辨率、时间分辨率以及光谱分辨率不断提高,相机的观测谱段也得到了拓展,实现了多谱段观测.针对多谱段观测需求,通过计算以及光学设计软件设计研究了可见光与红外一体化光学系统.可见光部分系统焦距为6000mm,F数为11.8,波段为400~900nm.红外部分系统焦距为1280mm,F数为2.5,波段为3000~5000nm,两个系统视场均为1.4°×0.6°.可见光波段系统与红外波段系统共用前四片反射镜,五镜为二向分色镜,将可见光反射至五镜上方的时间延迟积分CCD中,红外波段透过五镜至后方校正镜组.整个系统无色差,结构较为紧凑,可见光与红外部分成像质量均达到要求.     

可见光与红外一体化光学系统设计EI北大核心CSCD

空间遥感相机的空间分辨率、时间分辨率以及光谱分辨率不断提高,相机的观测谱段也得到了拓展,实现了多谱段观测.针对多谱段观测需求,通过计算以及光学设计软件设计研究了可见光与红外一体化光学系统.可见光部分系统焦距为6000mm,F数为11.8,波段为400~900nm.红外部分系统焦距为1280mm,F数为2.5,波段为3000~5000nm,两个系统视场均为1.4°×0.6°.可见光波段系统与红外波段系统共用前四片反射镜,五镜为二向分色镜,将可见光反射至五镜上方的时间延迟积分CCD中,红外波段透过五镜至后方校正镜组.整个系统无色差,结构较为紧凑,可见光与红外部分成像质量均达到要求.     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于楔板型分束镜的望远镜系统优化设计北大核心CSCD

研制基于楔板型分束镜的可见-红外光同步成像望远镜系统,通过优化设计分束镜楔角,抑制反射可见光鬼像产生,校正透射红外波段像差,实现对可见光波段与红外波段同时成像。对望远镜系统进行像质检测,主次镜系统RMS为0.093λ(λ=6328nm),可见光支路RMS达到0.120λ,红外光路成像质量满足要求。该系统采用卡塞格林共光路,用楔形板实现对可见光到中红外波段光线同步成像,使得宽波段望远镜设计更加轻便的同时提升装置成像性能。     

一种发红光的电子陷获型红外上转换材料的制备

本文研制的电子陷获(ET)型红外上转换材料是在改进传统工艺的基础上,使用硫化助熔法,在石英反应管中,基质合成和掺杂一次完成,具有工艺简单、生长周期短、重复性好的优点。由于反应在密闭系统中完成,安全可靠,对实验室环境保护好,用这种方法制备出的红外上转换材料,在室温下用紫外光或可见光激励后,用红外激发时发红光,并测得了其激发光谱(红外)和发射光谱(红光)。     

红外光学系统焦距测量的研究

红外光学系统是红外系统的关键组件,而焦距是光学系统重要的参数之一,它的测量直接影响到红外系统的定位精度和打击目标的准确率。传统的测量焦距的方法一直沿用可见光照明的放大率法,其测量精度受很多因素的制约。研制的测量红外光学系统焦距的系统,采用倒置放大率法测量方式,直接用红外光源照明放置在被测光学系统物方焦面上的玻罗板,用线...     

一种红外与可见光融合的“双双目”立体视觉系统的标定方法研究

针对红外相机与可见光相机联合标定的问题,利用不同物体红外辐出度的差异,设计了可同时应用于红外相机与可见光相机标定的平面靶标。利用"最大稳定极值区域"(MSER)算法,检测靶标的镂空深色区域。为克服图像可能存在较大畸变的问题,通过相邻最大稳定极值区域质心的位置关系预估角点所在位置,在预估位置内进行角点检测,提取用于标定的亚像素角点位置。结果表明:新型靶标及相应的角点提取方法能够同时满足于红外相机与可见光相机内外参数标定的需要。通过红外与可见光"双双目"立体视觉系统的融合重构效果可看出,提供的标定数据能够满足系统需求。     

Suomi NPP卫星可见光红外成像辐射仪的改进动态阈值云检测算法

基于可见光红外成像辐射仪多波段、宽覆盖、长重访周期的特点,以及云层在可见光到热红外通道的分布及变化特性,提出了一种适用于可见光红外成像辐射仪数据的改进的动态阈值云检测算法;通过遥感目视解译的方法对云检测结果进行精度验证,并与通用动态阈值云检测算法、可见光红外成像辐射仪云掩膜产品的结果进行对比。结果表明:所提算法能以较高的精度识别不同地表上空的云层,平均总体精度为93.23%,平均Kappa系数为0.821,对薄、碎云的整体识别精度得到了明显提高,错分和漏分误差明显减小;所提算法的云检测结果整体优于通用动态阈值云检测算法和可见光红外成像辐射仪云掩膜产品的云检测结果。     

一种从粗到精的红外和可见光卫星图像配准方法

气象卫星所携带的多种传感器可以获得可见光、红外、多光谱等多模态的卫星图像,目前处理这些多模态图像的一个重要手段是数据融合分析方法,而获取不同模态图像空间对应关系的图像配准是数据融合分析的前提和基础。针对多模态气象卫星图像的配准问题,重点研究红外图像和可见光图像的配准问题,并根据红外图像和可见光图像的特点,提出了一种由粗到精的两阶段配准方法。在粗配准阶段,将Fourier-Mellin变换应用于红外和可见光图像的边缘图像上,并通过变换图像在频域的关系实现了图像配准仿射变换参数的快速计算;在精配准阶段,基于图像的Harris算子检测红外图像和可见光图像的特征点,并通过特征点局部区域的互相关函数实现特征点的匹配,最终通过匹配特征点求得精确配准的变换参数。文章提出的由粗到精的图像配准方法,有效结合了Fourier-Mellin变换对边缘图像配准的高效性和Harris算子图像配准的准确性,是红外和可见光图像配准的一种新方法。利用FY-2D气象卫星获取的红外和可见光图像进行了配准实验,实验结果表明所提出的方法具有良好的鲁棒性和较高的配准精度。     

红外大气能见度:定义、算法及关键因素分析

通常用大气能见度表征大气对可见光波段的视觉影响程度,但它并不适用于红外波段。鉴于大气能见度的直观特性和红外光电技术的迫切需求,参照可见光大气能见度的定义,依据红外系统对比度阈值,提出了红外大气能见度的概念。根据这里提出的定义和涉及的红外大气透射率的物理过程,分析了决定红外大气能见度的关键大气因素。一般情况下,这些因素是可见光大气能见度、水汽含量、气溶胶类型。建立了红外大气能见度与这些关键参数间的定量关系,计算了噪声等效温差(NETD)为0.05 K对应的3个大气窗口(1.06、3~5、8~12μm)的红外大气能见度。     

一种发红光的电子陷获型红外上转换材料的制备

本文研制的电子陷获（ＥＴ）型红外上转换材料是在改进传统工艺的基础上，使用硫化助熔法，在石英反应管中，基质合成和掺杂一次完成，具有工艺简单、生长周期短、重复性好的优点。由于反应在密闭系统中完成，安全可靠，对实验室环境保护好，用这种方法制备出的红外上转换材料，在室温下用紫外光或可见光激励后，用红外激发时发红光，并测得了其激发光谱（红外）和发射光谱（红光）。     

基于非下采样Shearlet变换与剥离策略的可见光与红外图像融合算法北大核心CSCD

为了使可见光与红外融合图像能更好的表达目标信息,联合非下采样Shearlet变换与剥离策略,对其进行融合。首先,借助非下采样Shearlet变换,获取可见光与红外图像的高、低频成分。然后,通过Otsu阈值分割方法来构建剥离策略,将红外图像中的目标层与其背景层进行剥离,并以目标层为基础,利用图像的区域能量特征,对可见光图像与红外图像背景层的低频系数进行加权计算,并将结果与红外图像的目标层结合,以得到富含目标内容和背景内容的融合低频系数。引入区域方差函数,对图像的细节特征进行测算,通过构造方差加权因子,得到富含细节特征的融合高频系数。最后,对两个融合系数实施非下采样Shearlet逆变换,从而输出融合图像。实验结果显示,本算法融合的图像,比现有融合算法融合的图像更具优良的目标及细节表达能力,可用于获取高质量的可见光与红外融合图像。     

双通道曲面棱镜高光谱成像系统设计

为满足航空航天载荷宽谱段、小型化的探测需求,提出一种双通道曲面棱镜高光谱成像系统的设计方法,实现单台光谱成像仪可同时覆盖可见光和短波红外两个波段。可见光和短波红外两个通道共用一个离轴三反前置成像系统和部分光谱系统,通过在像面前放置的分色片进行分光,使得可见光由分色片全部反射,短波红外由分色片全部透射,反射光和透射光分别被不同的探测器接收。根据此方法设计了谱段范围为420～2500nm的双通道光谱成像系统。结果表明,该系统结构简单,光学成像性能良好,光学总长度小于350mm。与传统的宽谱段光谱成像方法相比,该方法可以满足系统的小型化和低成本需求,适用于航空航天遥感应用。     

可见光电视/红外成像复合寻的制导技术

复合导引头技术是实现精确制导的一种新技术途径，它比单一体制的导引头具有更高的精度和抗干扰能力。成像制导技术可以直接获取目标外形或基本结构等丰富的目标信息，能抑制背景干扰，可靠识别目标，是复合导引头技术的重要发展方向。分析了可见光电视/红外成像复合寻的制导技术的特点，介绍了国内外的装备现状，重点阐述了系统组成及其关键技术。在此基础上，给出了可见光电视/红外成像复合寻的制导的设计实例，预测了该技术的发展趋势。     

大视场大相对孔径双波段夜视R-C系统设计

为了利用可见光波段和长波红外波段所蕴含的不同信息进行数据融合和实时彩色显示,设计了一种大视场的单通道双光谱R-C结构。双谱光学系统的具体结构为R-C系统加校正镜,采用主镜后分光,利用二向分光镜反射可见光波段,透射长波红外波段。全视场角和相对孔径分别为5°和1∶1.7;次镜遮拦比为1∶3;光学系统在可见光波段MTF=0.60的成像质量对应的空间频率为50 lp/mm,在长波红外波段MTF=0.30的成像质量对应的空间频率为15 lp/mm。对该系统的结构特点进行分析和讨论,给出了各种像差曲线和光学传递函数。     

基于虚拟仪器技术的光学成像测试系统

针对近年来红外成像技术的广泛应用,兼顾科研分析和生产过程工艺控制以及现场实验与维修检测的基本要求,论述了基于虚拟仪器技术的光学成像测试系统的设计思想及实现方案。使用光学的红外波段和可见光波段成像光照模型,通过多通道同时输入输出的虚拟仪器技术实现了在线实时测试分析。该系统人机界面友好、算法完善、操作简便,实验证明:该系统具有非常重要的实际意义和理论价值。     

远距离多源图像融合系统实时配准设计

为了实现全天候多波段远距离实时图像监控,设计了具有微光、红外和可见光融合的光学前端,对多源图像进行实时配准研究。在平行光轴的基础上,通过计算不同视场图像的成像视差,计算仿射变换需要的参数,采用双线性内插算法弥补红外在成像方面与可见光图像的差别,将红外图像的变换制作成查找表存储在图像处理器DM642中,系统通过硬件查找表可以快速实现不同图像的配准变换,实现同步视频的实时配准与融合。实验表明:该设计能够准确地实现多源图像的实时配准,系统经过图像配准、图像融合和伪彩变换处理后的时间约为24.3 ms,系统探测距离大于3 km。