红外与可见光图像配准技术研究综述

多模态图像配准能提供比单模态图像配准更加丰富和全面的信息,红外与可见光图像配准作为一种常见的多模态配准类型,在电力、遥感、军事以及人脸识别等领域具有重要的应用价值。首先介绍了红外与可见光图像配准的相关技术并阐述了配准中存在的难点与挑战,然后详细分析和总结了基于区域、基于特征和基于深度学习3种红外与可见光图像配准方法,并分别阐述了不同配准方法的优缺点,之后概述了红外与可见光图像配准技术的实际应用,最后对红外与可见光图像配准未来的发展趋势进行讨论。     

红外与可见光图像自动配准算法的研究

提出了一种新的红外与可见光图像的配准算法,该方法基于图像的小波变换与互信息最大化完成图像的配准过程.首先通过搜索小波模极大提取图像感兴趣区域(ROI),完成图像预处理,并采用仿射变换,建立图像变换模型;其次将低分辨率图像进行图像插值,计算灰度直方图,进行概率分布的估计;最后选择模拟退火法,逼近全局最优解.实验结果证明了此算法的有效性.     

红外与可见光图像配准研究现状与展望

红外与可见光图像配准是常见的多模态图像配准,它广泛应用于军事、遥感等领域,有必要对其研究现状进行综述。在描述了红外与可见光图像配准问题后,首先简述了图像配准的一般方法,分为基于图像区域的配准方法和基于图像特征的配准方法,重点述评了局部不变特征方法中的SIFT算法和SURF算法;然后按文献发表时间顺序对红外与可见光图像配准的国外和国内研究现状进行了详细述评;总结了红外与可见光图像配准研究中存在的问题;最后对其进行展望,并指出未来的研究重点是以SIFT算法和SURF算法为研究基础去构造对模态不敏感的不变特征和其相应的描述子。     

红外与可见光图像融合中的快速配准方法

红外与可光传感器目标跟踪识别系统中常用的两种传感器，对这两种传感器图像进行有效的融合能大大提高探测识别的准确性和可靠性。快速准确地实现图像配准是图像融合的前提，为此提出了一种基于小波变换的快速算法，有利于实时准确地实现图像配准。     

基于多尺度红外与可见光图像配准研究

利用尺度空间理论对多分辨率的红外与可见光图像配准算法进行研究,提出利用红外与可见光图像的多尺度特征点及边缘作为配准的特征,利用特征尺度确定用于相似度匹配的子图像大小,使用LTS-Hausdorff(least trimmed square Hausdorff)距离判断子图像的相似性。利用尺度空间理论及多尺度下图像的特征能更加全面的对图像进行描述。在利用多尺度特征获取到匹配对后,再利用随机一致性检测对匹配对进行提纯并获取空间变换的参数,然后使用该参数对红外与可见光图像进行配准与融合。实验结果表明,基于多尺度的图像配准方法,能有效对红外与可见光图像进行配准。     

红外与可见光图像配准算法

提出把二阶互信息与对齐度相结合作为相似度函数,通过Hough变换提取两幅图像中一致性较高的直线,计算它们的对齐度,最后针对不同的图像特点,调整对齐度在新相似度函数中所占比例进行配准.实验结果表明.新算法与其他几种测度函数相比有更高的精确性和鲁棒性.     

红外与可见光图像配准方法分类及现状

红外与可见光图像配准作为一类重要的多传感器图像配准方法,在自动控制、机器人、遥感及军事应用等领域发挥着重要作用.介绍了红外与可见光图像配准问题的本质及难点,从原理上总结了大部分配准算法的基本步骤,并将现有的配准方法分为两类:基于区域的配准方法和基于特征的配准方法.从算法的可行性角度出发,分析了几种具有代表性的配准方法及其优缺点,最后对其未来的发展进行了展望.     

基于对齐度和互信息的红外与可见光图像配准

针对红外与可见光图像的特点,在此提出了一种结合边缘对齐度与互信息的图像配准方法。首先通过小波变换边缘检测得到红外与可见光图像的边缘图像,并将对齐度和归一化互信息自适应加权平均得到新的相似性测度函数,最终通过计算相似性测度函数的极值求得待配准图像间的变换参数。实验结果表明,该方法可减少配准所需的时间,具有更高的精确性和鲁棒性。     

基于深度学习的电力设备红外与可见光图像配准

针对相对位置固定的红外和可见光双目相机配准任务,现有算法没有考虑到两者相对位置固定的先验知识,存在配准精度低、几何定位差异大等问题,适用性差。提出一种基于几何约束下区域搜索的红外可见光双目图像配准方法。首先借助红外和可见光双目相机的标定信息对红外和可见光图像进行立体校正使二者处于同一高度之上。接着借助于相位一致性计算红外与可见光的边缘特征图,然后在红外边缘图上提取特征点,最后提出两阶段的同名特征点搜索方法,以红外特征点为基准在可见光边缘图局部区域内搜索同名特征点。在第一阶段以归一化互相关（Normalized cross-correlation,NCC）为相似性度量计算两边缘图的整体水平偏移,预测同名特征点初始位置,在第二阶段提出多尺度加权NCC作为相似性度量,在初始同名特征点位置周围精确搜索同名特征点。在构造的真实环境数据集上进行实验,实验结果表明相对于其他对比算法,在特征点匹配数量和准确率以及主观视觉上的配准效果都优于其他对比算法。     

基于特征点的红外与可见光图像配准研究

提出了一种基于特征点的红外和可见光图像配准方法。首先根据边缘图像的结构分别提取红外图像特征点和可见光图像特征点,其次根据结合了形状结构和灰度、梯度角信息的配准准则寻找两幅图像的对应特征点,最后利用三对特征点根据刚体变换得到图像的缩放倍率、旋转角度和平移坐标,从而实现两幅图像的配准,并通过实验给予了证明。     

基于边缘和互信息的红外与可见光图像配准

采用一种结合边缘特征和互信息的图像配准方法,对红外与可见光图像进行配准。首先,用小波变换提取图像边缘,然后计算两幅边缘图像在不同条件（平移、旋转）下的归一化互信息,取归一化互信息最大时对应的配准参数为所需配准参数,再确定刚性仿射变换模型的参数,最后经过缩放、平移和旋转得到最终配准图像。     

基于参数分步估计的红外与可见光图像自动配准算法

 提出了一种仿射模型参数分步估计的红外与可见光图像自动配准算法.首先,使用矩阵正交分解方法,将仿射变换的6个自由度分离为易于估计的切变、尺度比例、旋转、尺度缩放以及x和y方向上的平移量等参数;然后基于方向一致性约束和线段间的对齐度分别构建用于参数分步估计的目标函数,并使用SGA(Stud Genetic Algorithm)算法搜索使目标函数取得近似全局最优解的参数值;最后,基于Powell算法对参数估计值进行局部求精.实验结果表明,当两幅需要配准的图像中含有丰富的关联线段及多样的线段方向分布时,本文算法能够利用这些线段间的方向一致性约束和位置分布信息,有效地实现红外与可见光图像的自动配准,且算法具有较好的配准精度.     

一种用于红外与微光图像配准的改进型SURF算法

针对红外与微光图像配准的特殊性, 为了减少配准计算量,提出了一种从主方向确定和特征点描述 两方面加以改进的加速鲁棒特征(Speeded Up Robust Feature, SURF)配 准算法。首先检测微光图像和红外图 像的边缘,然后用改进型SURF算法提取两种图像边缘上的特征 点,并采用最近邻距离法对原始特征点进行筛选。在得到较高精 度的特征点后进行粗匹配。接着用随机抽样一致 性(RANdom SAmple Consensus, RANSAC)算法对一次筛选后的 特征点进行精匹配。最后利用精确的特征点建立变换模型,并 将重采样后的待配准图像与参考图像实现配准。实验结果表明, 该算法不仅可以解决红外与微光图像的配准问题,而且在匹配精度和 算法运算时间等方面的表现均优于原始SURF算法。     

结合滚动引导滤波和相位信息的红外与可见光图像配准

针对红外与可见光图像尺度差异大、图像较模糊,且图像中可提取的特征点数量不足以及特征分布不均匀易导致现有配准算法失效的情况,提出一种结合滚动引导滤波和相位信息的红外与可见光图像配准方法.利用滚动引导滤波构建尺度空间,在不增加耗时的前提下尽可能保持图像边缘信息;提出一种改进的Shitomasi角点检测算法,提取具有尺度不变性且分布均匀的强角点;在特征描述阶段,给出一种新的加权函数进行频率扩展,以得到更显著的相位一致性信息,实现更准确的图像特征描述.实验结果表明,该配准方法对存在9倍尺度差异的红外与可见光图像仍能实现准确配准,且对多组图像对的配准RMSE误差均保持在2像素之内.     

基于双层次决策规则的红外与可见光图像融合

针对传统可见光和红外图像融合方法存在融合图像中缺失方向性信息和各向异性信息的问题,提出了一种基于双层次决策规则的红外与可见光图像融合方法。该方法将各向异性扩散(Anisotropic Diffusion,AD)和极值规则进行融合,首先通过AD滤波器将每个输入的源图像分解为近似层和细节层。然后将双层次融合决策规则分别应用于细节层和近似层,以保留光谱信息和结构信息,最后使用结构相似性指数(SSIM)、平均梯度(AG)和信息熵(IE)对融合图像的图像质量进行评估。实验结果表明,相比现有其他图像融合方法,所提方法的融合图像中具有更多的信息并有效减少了伪影现象,验证了所提出方法的有效性。     

基于多特征的红外与可见光图像融合方法的研究

红外图像包含物体的温度信息,但其存在对比性差、纹理弱等缺陷,限制了应用,目前基于融合的方法能有效改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。文章在这方面做了进一步的研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值及纹理特征为依据分层次分区域融合,从而在细节上极大地改进了目标的视觉效果,提高了效率。最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。     

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法.使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度.将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像.实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果.     

基于SIFT/ORB几何约束的红外与可见光图像特征点匹配

红外图像与可见光图像记录着地物的不同属性信息,两者融合能够优势互补,弥补单一数据源信息的不足。然而由于两者成像原理不同,热红外传感器与可见光传感器对同一场景获取的图像灰度差异较大,二者图像误匹配多,融合难度大。本文在分析红外与可见光图像共有特征的基础上,提出了一种基于SIFT与ORB特征检测的匹配方法,利用SIFT算子与ORB算子同时进行特征点检测,先基于RANSAC对SIFT匹配得到的同名点进行筛选,同时结合最近邻比次近邻算法获取ORB匹配点,再利用SIFT匹配点对ORB匹配点进行距离和角度的几何约束进一步剔除误匹配,最终得到特征点分布均匀、可靠度更高的匹配结果,解决因灰度差异较大产生的匹配效果不佳的问题。利用4组红外与可见光图像进行实验,结果表明,本文算法特征点正确匹配数量相较于SIFT分别提高了约3.7倍、3.2倍、3.6倍、3倍,大幅地提高了红外与可见光图像的匹配数量,为两者间的匹配提供了一种有效的方法。