基于无人机载的光电与SAR图像融合技术研究

为了提高无人机侦察识别能力,提出基于小波变换方法的无人机载光电与SAR的图像融合技术。经时间配准算法生成图像配准源,采用SIFT算法提取图像特征点,BBF算法计算生成匹配点集,依据匹配点集计算图像间透视变换模型完成图像配准,利用小波变换算法实现配准图像融合。经实验验证以及利用Matlab分析图像灰度直方图和计算信息量,结果表明:融合图像保留了光电图像95.7%的细节(熵),相比于光电图像平均梯度提高了1.52倍,增强了光电图像目标区对比度,降低了随机性噪点;融合图像相比于SAR图像信息量提高了1.44倍。     

基于聚类分割和形态学的可见光与SAR图像配准

针对可见光与SAR图像灰度差异大,共有特征提取难的问题,提出了一种基于k-均值聚类分割和形态学处理的轮廓特征配准方法。利用k-均值聚类算法对两类图像进行分割,得到图像分割区域;通过形态学处理,有效减少SAR图像斑点噪声影响,准确提取两类图像的封闭轮廓;采用轮廓不变矩理论,引入矩变量距离均值、方差约束机制和一致性检查的匹配策略,获取最佳匹配对,实现了两类图像的配准。通过实验,三组图像的配准精度分别达到0.3450、0.2163和0.1810,结果表明该法可行且能达到亚像素的配准精度。     

基于Contourlet域持续性和聚集性的合成孔径雷达图像融合分割算法

针对合成孔径雷达(SAR)图像含有大量斑点噪声的特点,基于Contourlet的多尺度、局部化、方向性和各向异性等优点,并结合隐马尔科夫树(HMT)模型和隐马尔科夫场(MRF),提出了一种基于Contourlet域持续性和聚集性的SAR图像模糊融合分割算法。该算法有效捕获了Contourlet子带的持续性和聚集性,并分别用HMT和MRF来刻画,再依据模糊测度,将多尺度HMT和MRF有机融合,建立Contourlet域HMT-MRF融合模型,并导出新模型下的最大后验概率(MAP)分割公式。对实测SAR图像进行了仿真,仿真结果和分析表明:与小波域上的HMT-MRF融合分割及Contourlet域上HMT和MRF分割算法相比,该算法在抑制斑点噪声的同时,有效地提高了SAR图像的分割精度。     

基于T分布混合模型的多光谱人脸图像配准

为了降低多光谱人脸图像中出现的非刚性形变、噪声和离群点等因素对配准结果的准确性和稳健性的影响,提出一种综合考虑特征点的空间几何结构和局部形状特征两方面信息的多光谱人脸图像配准方法。所提方法首先通过基于内部距离的形状上下文描述子来表述点集的局部特征信息,建立可见光和红外图像相似性测度函数。然后利用Student′s-T分布混合模型来表示图像特征点集配准过程中变换模型估计问题,并采用期望最大化算法对模型进行求解。仿真数据表明在点集存在非刚性形变、噪声和离群点的情况下,所提方法仍可以实现点集间的精确配准。可见光和红外人脸真实图像数据表明所提方法的平均匹配误差和运算效率都优于对比算法,配准融合后的多光谱人脸图像可以提高后续的人脸检测和识别性能。     

改进SIFT变换与客观评价结合的图像配准算法

针对SIFT(Scale Invariant Feature Transform)算子在大幅复杂图像中提取的过多不稳定特征点及在只有少量重合区域下图像配准过程中出现的过多误匹配,导致图像配准精度下降。提出一种改进的SIFT算法,在对目标图像提取SIFT特征后,利用双向BBF(Best-Bin-First)匹配算法对提取的特征点进行匹配,采用SIFT描述子的尺度以及梯度方向信息建立最小邻域匹配剔除误匹配点,通过随机抽取一致性算法(RANSAC)进一步筛选匹配点,并利用最小二乘法结合多项式近似拟合出变换模型,利用局部均方根有效值(RMS)评价映射矩阵与实际图像的误差,找出并删除引起误差的误匹配点,迭代至配准图像符合评价标准后,计算出精确变换模型。实验结果表明,该算法提高了大幅复杂图像在少量重合区域时的配准精度。     

基于小波变换和混合遗传算法的医学图像配准

为了解决灰度图像配准中由于目标函数容易陷入局部极值而造成的误匹配问题,使参数随图像的NMI计算和多分辨率级数进行自适应调整,采用基于小波变换多分辨率策略,形成多尺度匹配模型,并将粒子群算法(PSO)作为添加算子,提出了以图像归一化互信息(NMI)作为相似性测度的混合遗传算法,对CT与MRI图像进行了配准。实验结果表明,该方法能够解决遗传算法早熟收敛问题,有效地克服信息函数的局部极值,实现图像的自动配准,具有匹配精确、鲁棒性好及效率高等优点。     

基于语义分割的城区激光点云与光学影像配准

基于点云数据与光学遥感影像的协同应用在遥感领域获得广泛关注,为了对两种数据进行精确的配准以更好地融合两者优势,提出了一种城市场景下点云与光学遥感影像的自动配准方法。首先,由点云数据生成深度影像,即3D数据转换为2D影像;然后,运用Unet模型对深度影像和光学遥感影像分别进行训练并分割得到建筑面;再基于建筑面轮廓点集构建建筑最小外接矩形,将矩形长宽比作为寻找同名点的约束条件;接着,利用相似三角形原理寻找矩形中心同名点;最后,同名点坐标代入变换模型计算模型参数,完成配准。实验结果表明该方法对于运用传统点特征方法匹配困难的情况可实现较好的配准效果,且对图像平移、旋转、缩放均具有可抗性。     

一种改进的视觉传感器与激光测距雷达特征匹配点提取算法

激光测距雷达与视觉传感器的配准是视觉图像与激光距离信息融合的前提。激光测距雷达与视觉传感器的配准可分为点匹配与平面匹配。由于混合像素和非结构空间特征激光点丢失现象,使得基于点匹配的视觉传感器与激光测距雷达配准算法精度难以提高。通过对混合像素和非结构空间特征激光点丢失问题的分析,提出了一种结合平面建模思想,利用假想激光光束与平面模型相交提取匹配特征点的方法。验证了实验结果并进行了算法精度比较。实验结果表明,这种改进的特征匹配点提取算法解决了特征点缺失,并且提高了点匹配的精度,使匹配性能大大地改善。     

基于边缘与SURF算子的SAR与可见光图像配准方法

鉴于SAR(synthetic aperture radar)与可见光图像的成像机理存在很大差别,使得其同名特征的提取和配准十分困难,但在某些情况下,这两类图像的边缘存在一定的相关性。提出一种基于边缘与SURF(speed-up robust feature)算子的图像配准方法。通过适当预处理增强图像间的共性,采用综合性能比较好的Canny算子提取两幅图像共有的边缘特征,在边缘图像的基础上提取SURF特征;通过比值提纯法进行特征点粗匹配,RANSAC(random sample consensus)算法剔除误匹配点,计算仿射变换模型从而实现SAR与可见光图像的自动配准。实验结果表明:该算法的正确匹配率为100%,均方根误差为0.852个像素,配准精度达到亚像素水平。     

基于图像融合的动态轮廓线跟踪新方法

红外与可见光传感器是目标跟踪识别系统中常用的两种传感器,对这两种传感器图像进行融合能有效提高系统跟踪检测的准确性。将动态轮廓线模型与图像融合结合,在特征搜索过程中利用特征点准确地完成了图像配准,同时使用了一种新的特征级融合方法,将两种图像中目标轮廓的B样条曲线控制点进行实时微分耦合。这种耦合将Curwen提出的微分耦合机制作了改进,利用图像配准把刚性硬模板改变为实时的变换模板并推导了融合后动态轮廓线的新的动力学方程。这种融合利用了红外图像目标轮廓信息约束可见光图像中动态轮廓线的收敛形状,有效地提高了可见光图像目标跟踪的准确性。对运动人手序列图像的对比跟踪实验表明,这种融合使得可见光图像中动态轮廓线平均跟踪误差减小了60．25％。     

融入图像全局信息的局部图像拟合模型

为提高局部图像拟合(LIF)模型对初始轮廓的鲁棒性,提出了一种新的融合图像全局和局部信息的活动轮廓模型(LIF_GI模型)。针对灰度均匀图像,利用图像的全局均值构建了全局图像拟合(GIF)模型,结合GIF模型和LIF模型的优势,通过构造新的图像拟合函数构建了LIF_GI模型。为避免对水平集函数进行繁琐的重新初始化操作,使用反应扩散(RD)方法实现水平集演化。实验表明,所构建的GIF模型在灰度均匀图像上能够获得满意的分割结果,且容许灵活的轮廓初始化。在分割灰度不均匀图像时,LIF_GI模型有效地降低了LIF模型对初始轮廓的敏感性,与LIF模型相比,LIF_GI模型又表现出迭代次数少、检测速度快的优势。     

基于SIFT特征的彩色图像拼接方法研究

针对传统特征提取拼接算法在复杂图像中配准过程中出现的过多误匹配,导致拼接后图像出现鬼影、模糊等问题,从而影响拼接图像的质量,提出一种改进的SIFT配准算法。在对目标图像提取SIFT特征后,利用SIFT描述子的尺度以及梯度方向信息建立最小邻域匹配剔除误匹配点,之后利用局部均方根误差(RMSE)评价映射矩阵与RANSAC算法相结合,迭代出精确变换模型。在对图像进行几何矫正后,提出一种自适应的混合线性算法对重合区域图像变换至HIS颜色空间进行图像拼接,最后得到平滑无缝的完整彩色全景拼接图像。实验结果证明,该算法在拼接复杂场景并且重合区域不多时仍有较好的准确性及稳定性。     

基于特征匹配的三维点云配准算法

针对当前机器视觉热点研究的配准问题,提出了一种全新的快速点特征直方图(FPFH)特征描述与Delaunay三角剖分相结合的三维点云配准方法。首先采用FPFH综合描述特征信息,通过Delaunay三角网建立特征信息的局部关联性;再根据特征点对的对应关系进行采样一致性初始变换,实现初始配准;最后,根据得到的初值采用迭代最近点法进行精确配准,获得精确转换关系。分别对简单目标物体及复杂目标物体进行配准实验。实验结果表明,将FPFH特征描述与Delaunay三角剖分结合引入传统点云配准,简化了特征提取复杂度,缩小了特征点对匹配的搜索范围,提升了配准精度及速度,实现对目标物体高效配准,对提高机器视觉特征点匹配效率具有一定指导作用。     

一种从粗到精的红外和可见光卫星图像配准方法

气象卫星所携带的多种传感器可以获得可见光、红外、多光谱等多模态的卫星图像,目前处理这些多模态图像的一个重要手段是数据融合分析方法,而获取不同模态图像空间对应关系的图像配准是数据融合分析的前提和基础。针对多模态气象卫星图像的配准问题,重点研究红外图像和可见光图像的配准问题,并根据红外图像和可见光图像的特点,提出了一种由粗到精的两阶段配准方法。在粗配准阶段,将Fourier-Mellin变换应用于红外和可见光图像的边缘图像上,并通过变换图像在频域的关系实现了图像配准仿射变换参数的快速计算;在精配准阶段,基于图像的Harris算子检测红外图像和可见光图像的特征点,并通过特征点局部区域的互相关函数实现特征点的匹配,最终通过匹配特征点求得精确配准的变换参数。文章提出的由粗到精的图像配准方法,有效结合了Fourier-Mellin变换对边缘图像配准的高效性和Harris算子图像配准的准确性,是红外和可见光图像配准的一种新方法。利用FY-2D气象卫星获取的红外和可见光图像进行了配准实验,实验结果表明所提出的方法具有良好的鲁棒性和较高的配准精度。     

基于非采样Contourlet变换高分辨率遥感图像配准

为了提高高分辨率遥感图像配准的精确度,将非采样Contourlet变换应用于高分辨率遥感图像配准算法中.首先对高分辨率遥感图像进行非采样Contourlet变换.利用非采样Contourlet变换的平移不变性在变换域提取图像的边缘并选择合适的阈值准确地得到图像的边缘特征点.然后利用归一化互相关匹配法和概率支撑法对特征点进行匹配.最后通过三角形局部变换映射甬数实现图像配准.实验结果表明,该方法更能准确地提取高分辨率遥感图像的特征点,大大提高了正确匹配的概率,与基于小波方法的图像配准效果相比有更高的准确性和稳健性.     

用于光学系统分析的质心配准法

将图像区域像素的统计特征引入活动轮廓模型,提出使分割轮廓所包括区域的质心对应角均方根误差极小的最优搜索方法——质心配准法。质心配准法有效地避免了散斑噪声等图像污染对图像区域分割精度的影响,实现了模糊图像精确的区域分割,求得图像最佳配准参数。对实际光学系统输出的多幅具有较大空时互补性的低分辨率图像进行了仿真实验,实验结果表明：该配准算法具有较高的精度,并在光学系统分析上得到了很好的应用。     

一种基于Canny边缘的红外与可见光图像配准算法

针对异源传感器在图像配准时如何精确地找到相应的匹配特征问题,结合红外图像与可见光图像的特征,利用2种传感器对同一场景成像时具有一定的边缘轮廓相似特性,提出了提取图像的Canny边缘,在边缘轮廓上根据边缘曲线上像素点的位置夹角的相似性寻找对应匹配点,通过仿真和实验数据与真实值的比较验证算法的有效性和配准的精度.     

基于水平集的闪光照相图像分割算法

针对Chan-Vese(CV)模型局部控制能力差的缺点,将基于区域的CV模型和分割曲线的局部信息结合起来,提出了一种新的水平集图像分割算法。该算法以CV法的分割曲线为初始曲线,以获得全局收敛性,在后继分割中引入分割曲线的局部信息,以提高模型对图像中微弱信号的分割能力。对闪光照相图像的数值实验表明,该算法噪声抵抗能力强,对初始轮廓位置不敏感,能实现对含细长拓扑结构和微小孔洞的弱边界闪光图像的自动分割。     

基于局部和全局信息的自适应水平集图像分割

针对仅采用局部或全局信息无法快速准确分割灰度不均匀图像的问题,提出了一种基于局部和全局信息的自适应水平集图像分割模型。首先,利用图像局部信息和全局信息建立局部能量项和全局能量项,并且利用演化曲线轮廓内外小邻域的灰度均值差作为自变量,建立了权重函数模型,实现了局部能量项和全局能量项之间权重的自适应调整,提高了模型分割灰度不均匀图像的效率和准确性。其次,提出了一种新的能量惩罚项,避免了水平集函数的重新初始化,增强了数值计算的稳定性。最后,为验证模型的优越性,将模型与CV模型、LBF模型和LGIF模型进行了对比,并通过分割时间、迭代次数以及相似度等指标对分割结果进行了客观、定量分析。最终结果表明:该模型不但对初始轮廓具有较高鲁棒性,而且对灰度不均匀图像具有较高的分割准确性与分割效率。     

基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.