低照度夜视成像的自然感彩色化及增强方法

低照度成像系统输出一般都是黑白视频,为了获得更好的夜视实际应用效果,提出了一种基于YUV空间色彩传递的低照度视频图像彩色化及增强的亮度拉伸色彩传递方法.该方法借鉴了双波段色彩传递自然感彩色融合方法,由灰度图像及其负片图像构成初始彩色图像,并对亮度通道进行自适应亮度拉伸,在UV通道进行参考图像的色彩传递,实现灰度图像的自然感彩色化和增强.通过与其他基于色彩传递的彩色化方法比较,亮度拉伸色彩传递方法对参考图像和源图像的相似程度要求较低;选取几幅适当的典型场景彩色参考图像,可对绝大多数场景取得较好的彩色化效果,具有很好的场景环境普适性.同时可以看出,该方法高效,对比度高,颜色协调性好,色彩自然,更有利于人眼的观察感知,对于低照度夜视成像效果提升效果明显.该方法已在硬件平台上实时应用,可在无需增加硬件资源的基础上,有效地应用于低照度夜视成像.     

基于色彩传递的单波段热图像彩色化处理算法

研究基于色彩传递的单波段热成像自然感彩色化处理算法,提出一种应用伪彩色编码突出显示热目标的方法.方法首先选定适当的参考图像并对亮度通道做线性变换,然后基于通道间相关性很小的lαβ颜色空间,利用图像像素邻域亮度通道的均值和标准差进行像素间的相互匹配,将参考图像的色彩传递给单波段红外图像,最后寻找色彩传递结果图像中亮度接近最大值的像素,将它们的颜色映射到彩虹编码的高温端,以红色凋突出显示.算法用于几种场景类型的单波段红外图像,得到了色彩自然感较好的彩色化热图像,能够避免长时间观察热图像造成视觉疲劳的问题;突出场景热目标,在保留背景深度感的基础上,可有效提升观察者的目标识别能力.     

基于伪彩色融合图像聚类的夜视图像上色算法

提出一种将小波融合和基于伪彩色融合图像的C均值聚类用于图像色彩传递算法中的彩色夜视方法.在色彩传递前将可见光和红外图像进行小波融合得到灰度融合图像作为目标图像,保持了较好的纹理信息和目标信息;再对彩色源网像进行基于连接相对熵的彩色阈值分割;然后针对灰度融合图像的特点,根据一种基于伪彩色融合图像的C均值聚类方法,将伪彩色融合图像的彩色信息作为特征向量应用在夜视图像的分类当中,得到较好的分类效果,并基于此分类结果再进行色彩传递,得到更为自然的彩色夜视图像.实现了对夜视图像的自动色彩传递,得到的罔像色彩较真实.纹理清晰,将有利于人眼的目标识别.     

基于多分辨率色彩传递的彩色夜视方法研究

为了获得符合人眼感知的彩色夜视图像,帮助观察者获取丰富的场景信息和舒适的观察效果,提出了一种基于多分辨率色彩传递的彩色夜视处理方法.结合微光与红外图像特点,对二者进行YUV空间拮抗视觉特性的彩色融合之后,采用控向金字塔对彩色融合图像(源图像)和参考图像各颜色通道进行多分辨率分解,计算子带图像的均值和标准方差,通过参考图像与源图像在各子带的方差比调整源图像的子带系数值,再经金字塔重构,最终使微光与红外彩色夜视图像获得类似参考图像的自然感色彩.分析了lαβ、YUV和RGB颜色空间对色彩传递的影响,并确定YUV颜色空间更适于多分辨率分解的色彩传递.相比传统的线性色彩传递方法,本方法不仅使彩色夜视图像拥有更符合真实场景的色彩,还可以提高其细节信息,改善场景感知,提升融合图像目标探测能力.     

基于小波变换和区域分割的红外可见光彩色图像融合算法

提出一种基于小波变换和区域分割的YCb Cr变换域红外-可见光彩色图像融合算法,以小波变换融合为基础,将融合结果作为YCb Cr域参量,以区域分割方法为基础,与参考图像进行色彩传递。实验结果表明,采用方法比传统的线性色彩传递方法具有更好的彩色图像融合效果,同时参考图像适应性较好,适合单一图像以及视频的融合。     

红外和彩色可见光图像亮度-对比度传递融合算法

以红外和彩色可见光图像为研究对象,提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合,然后用LCT技术改善灰度融合结果的亮度和对比度,最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明,提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩,而且具备令人满意的亮度和对比度,即使采用运算简单的像素平均法进行灰度融合,同样可以获得良好的融合效果。     

微光下SCMOS彩色成像处理系统设计

为了在微光条件下获取像白天一样兼具色彩和细节的图像,提出一种微光下的彩色成像处理方法:对彩色探测器图像进行降噪、增强和模糊处理,提取其中的色彩信息,对同时能接收可见光和近红外波段的高灵敏度黑白探测器图像进行降噪处理,获得微光场景的细节信息,在YCbCr色彩空间将色彩信息与微光场景的细节信息进行融合,生成微光场景下的彩色图像。根据这种方法,选择两款像元分辨率及像元尺寸相同的彩色和黑白SCMOS探测器,设计并搭建成像处理系统。实验结果表明,在0.01Lx的条件下,处理得到的彩色图像符合真实场景,适宜人眼观察。     

近红外与可见光双通道传感器信息融合的去雾技术

为了对雾霾天气下的图像进行去雾处理,多幅图像去雾算法是常用的方法之一。多幅图像去雾算法也有多种形式,部分算法面临硬件实现困难、获取途径受限或者可实施性弱等问题,而且多幅图像比对处理时常常涉及图像配准,造成算法的实时性差、计算复杂度高等问题。针对以上问题,提出的算法为多幅图像去雾提供了新的思路,基于双目传感器硬件架构能够同时捕获近红外和可见光图像,将近红外传感器图像作为新的数据源,近红外传感器能够在一定程度上穿透雾霾,在雾天捕获可见光传感器无法捕获的图像细节,而且硬件实现简单。可见光图像的颜色信息较丰富,近红外传感器图像对近处场景细节的描述能力较好,捕获的图像稍加校正就能实现完全配准,将近红外图像与可见光图像进行融合,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,得到边缘、轮廓等细节信息更加丰富的去雾图像。基于上述思路,借助近红外传感器对边缘细节的描述能力和可见光传感器对颜色信息的反映能力,提出了一种基于近红外与可见光双通道传感器图像融合的去雾算法。首先,将彩色可见光图像转换到HIS彩色空间,分别得到亮度通道图像、色调通道图像和饱和度通道图像。先将其亮度通道图与近红外图像进行融合去雾处理。采用非下采样Shearlet变换（NSST）进行分解,对得到的高频系数进行双指数边缘平滑滤波器保边滤波处理,对低频系数进行反锐化掩蔽处理,通过融合规则和反向变换得到新的亮度通道图像。然后,在对可见光图像的色彩处理中,建立饱和度图的退化模型,采用暗原色原理对参数进行估计,得到估计的饱和度图。最后,将新的亮度通道图像,估计的饱和度图像和原色调图像反映射到RGB空间得到去雾图像。为了验证新算法的有效性,特选取四组雾天拍摄的真实近红外图像与可见光图像进行融合去雾处理,将融合结果与其他两种去雾方法对于彩色可见光图像的去雾效果进行比较。实验结果表明,该算法在提高图像的边缘对比度和视觉清晰度上有较好的效果。并提出将近红外传感器图像作为新的数据源,采用双通道图像融合方法进行去雾处理,为图像去雾提供的新的技术思路是可行的。该算法的优势在于：首先提出将图像融合方法与去雾算法相结合,得到了新的去雾算法的思路。将彩色可见光图像转换到HSI色彩空间,将其亮度通道图与近红外图像采用非下采样Shearlet变换方法进行融合处理,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,使得去雾图像中的边缘、轮廓等细节信息更加丰富。其次,提出了在图像去雾算法中采用新的数据源--近红外传感器图像,从图像处理的角度,近红外传感器能够在一定程度上穿透雾霾,对于近处场景细节的描述能力较好,而且硬件实现简单,捕获的图像稍加校正就能实现完全配准,为后续的融合去雾算法带来了便利,为图像去雾提供了新的技术途径和路线。再次,采用的是多幅图像去雾算法,该算法基于双目传感器获取图像,可见光图像的颜色信息较丰富,近红外图像对于近处场景细节的描述能力较好,相对于单幅图像去雾算法,有更好的效果。最后,将可见光传感器图像映射到其他色彩空间,对于每个通道的图像根据其特征有针对性地进行处理。可见光图像的亮度通道图和近红外图像的处理采用了图像融合和增强处理,对于可见光图像饱和度通道的处理采用了图像复原算法,可以从整体上提升去雾效果,对细节特征有了进一步增强。该算法为图像去雾提供了新的技术途径和路线。     

真彩色传递双波段图像融合

针对基于颜色传递的双波段（中波红外、可见光）图像融合时,由于参考图像选择不当,造成的彩色融合图像对比度差、图像边缘细节下降等问题,提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解,每一级按照不同的融合规则进行融合,以重构后的灰度融合图像作为融合结构的亮度分量Y,将可见光与红外图像的差值图像作为U分量,以红外图像为V分量。在颜色传递公式中,加入可调的比例系数,通过适当调节比例系数可调节融合图像的对比度。实验结果表明,获得的融合图像较好地保留了可见光图像的细节,既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明,融合图像的均值、方差、熵等评价指标均得到较大提高。     

基于Tetrolet变换的彩色水下图像清晰化算法

为了对水下图像传感器获取的彩色图像进行清晰化处理,提出一种lαβ色彩空间的图像清晰化算法。将捕获到的彩色水下图像进行暗原色初步复原后,映射RGB空间至lαβ三通道进行清晰化处理。采用Tetrolet变换方法处理亮度通道l,对包含大部分的轮廓、边缘等线性细节的高频分量采用Bilateral滤波器处理,对包含大部分能量的低频分量进行非局部均匀滤波处理,然后将处理后的高、低频分量进行反向Tetrolet变换得到复原的亮度通道图;对α、β通道的色彩偏差进行空间均值颜色校正,得到复原的α、β通道图。将处理后的非彩色通道图和彩色通道图反向变换至RGB通道,更新透射率,得到清晰化的彩色水下图像。实验结果表明,该算法对彩色水下图像的复原效果较好,在图像色彩的提升和边缘细节的描述方面效果显著。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

基于优势特征图像融合的水下光学图像增强

针对水下光学图像颜色失真、非均匀光照、对比度低的问题,提出基于优势特征图像融合的水下光学图像增强算法.首先,提出改进的暗通道先验算法去除退化图像中的不均匀浑浊并均衡色彩;其次,对颜色校正图像分别使用基于加权分布的自适应伽玛校正算法和限制对比度自适应直方图均衡-同态滤波算法,增强颜色校正图像对比度并使其亮度均衡;最后,定义三幅融合图像即颜色校正图像、亮度均衡图像、对比度增强图像的关联权重图,通过多尺度融合算法获得融合图像.与单一预处理算法只能解决对应的退化现象相比,该算法对单幅退化图像进行多算法处理,得到三幅优势特征图像,通过不同权重的组合最大程度地将各优势特征相结合,得到的综合效果远超各单一算法优化效果,不再局限于解决颜色失真等单一问题.将本文算法与现有算法在主观评价和客观评价两方面进行实验对比,结果表明,该算法可以有效平衡水下图像的色度、饱和度及清晰度,视觉效果接近自然场景下的图像.     

基于热红外图像处理技术的农作物冠层识别方法研究

为解决农作物冠层热红外图像边缘灰度级分布不均且噪声较大,而传统图像分割方法难以实现其目标区域有效识别的难题,以苗期红小豆冠层热红外图像为研究对象,将模糊神经网络和仿射变换有机结合,提出了基于热红外图像处理技术的农作物冠层识别模型。首先利用五层线性归一化模糊神经网络的自适应特性,选取高斯隶属度函数,自动计算冠层可见光图像识别的推理规则,有效地分割了可见光图像中的冠层区域。通过分析3种分割指标和熵,定量评价可见光图像冠层分割质量。网络迭代38次时,误差精度为0.000 952,该算法平均有效识别率为96.13%,获取可见光冠层图像的像元信息熵值范围为2.454 4~5.198 7,与标准算法所得冠层图像的像元信息熵仅相差0.245 9。然后以取得可见光图像的冠层有效区域为参考图像,采用仿射变换算法,调整优选平移、旋转、缩放等图像变换因子,配准原始热红外图像,提出了基于仿射变换的冠层热红外图像识别方法。对于初始温度范围值在16.35~19.92 ℃的农作物热红外图像,计算选取旋转幅度为1.0和缩放因子为0.9时,作为异源图像的最优配准参数,获取目标图像的最大温差为3.17 ℃,相对于原图像的平均温度值由18.711 ℃下降至17.790 ℃,进而实现了基于热红外图像处理技术的农作物冠层识别。最后以熵的互信息作为监督指标,对农作物冠层热红外图像识别方法进行评价。提出的冠层热红外图像识别方法,所获取的目标图像与初始热红外图像的平均互信息为4.368 7,标准目标图像和初始热红外图像的平均互信息为3.981 8,二者仅相差0.486 9。同时,两种冠层热红外图像的平均温度差值为0.25 ℃,高效消除了原始热红外图像的背景噪声。结果表明本研究方法的有效性和实用性,能够为应用热红外图像反映农作物生理生态信息特征指标参数提供技术借鉴。     

一种双通道夜视图像彩色融合系统

提出了一种双通道夜视图像的彩色融合系统。利用Matrox Meteor-Ⅱ多通道图像采集卡获取双通道微光与红外视频图像．通过仿MIT,BIT．TNO．线性组合和混合结构等图像融合结构实现微光／微光和微光／红外图像的彩色融合处理。系统彩色图像融合处理是在VC++6．0环境下运用采集卡图像函数库实现的。建立的实验平台为彩色夜视融合算法的评价和进一步的研究奠定了基础。     

A Generative Adversarial Network for Infrared and Visible Image Fusion Based on Semantic Segmentation

This paper proposes a new generative adversarial network for infrared and visible image fusion based on semantic segmentation (SSGAN), which can consider not only the low-level features of infrared and visible images, but also the high-level semantic information. Source images can be divided into foregrounds and backgrounds by semantic masks. The generator with a dual-encoder-single-decoder framework is used to extract the feature of foregrounds and backgrounds by different encoder paths. Moreover, the discriminator’s input image is designed based on semantic segmentation, which is obtained by combining the foregrounds of the infrared images with the backgrounds of the visible images. Consequently, the prominence of thermal targets in the infrared images and texture details in the visible images can be preserved in the fused images simultaneously. Qualitative and quantitative experiments on publicly available datasets demonstrate that the proposed approach can significantly outperform the state-of-the-art methods.     

具有紧支撑正交非张量积小波的图像融合

提出了基于一种新的小波——具有紧支撑、正交性、伸缩矩阵为[^2 0 ^0 2]的非张量积小波的图像融合方法。首先根据非张量积小波理论,利用Daubechies构造的单变量滤波器构造出基于四通道的不可分的小波滤波器组,用此滤波器组对参加融合的图像进行分解,然后对低频部分采用取均值、高频部分采用系数绝对值取大的融合算法对分解子图进行融合,最后重构。并采用熵、交叉熵、互信息、均方根误差和峰值信噪比等指标对该方法进行了客观评价。对可见光图像与红外图像、远红外图像与近红外图像、遥感图像、多聚焦图像和其它多类图像的融合实验结果证明本方法有较好的融合效果,其融合性能与采用同样融合算法的张量积db2小波的融合方法的融合性能相当。