基于区域分维和非采样Contourlet变换的图像融合算法

针对源图像有用信息的提取,提出了基于区域分维和非下采样Contourlet变换相结合的红外与可见光图像融合算法.将图像的区域属性、区域大小、边缘强度以及纹理显著程度等特点用图像不同尺度上的区域分维进行描述,对于非下采样Contourlet变换低频系数,根据源图像不同尺度上的区域分维进行基于系数选择的融合.针对带通子带系数设计了系数局部匹配度算子,依据匹配度不同采用加权和系数选取相结合的融合规则.与其他常规融合方法进行比较,该算法可有效实现红外与可见光图像的融合.     

基于区域分维和非采样Contourlet变换的图像融合算法

针对源图像有用信息的提取,提出了基于区域分维和非下采样Contourlet变换相结合的红外与可见光图像融合算法.将图像的区域属性、区域大小、边缘强度以及纹理显著程度等特点用图像不同尺度上的区域分维进行描述,对于非下采样Contourlet变换低频系数,根据源图像不同尺度上的区域分维进行基于系数选择的融合.针对带通子带系数设计了系数局部匹配度算子,依据匹配度不同采用加权和系数选取相结合的融合规则.与其他常规融合方法进行比较,该算法可有效实现红外与可见光图像的融合.     

一种基于方向窗特性的Contourlet域的多聚焦图像融合算法

针对同一场景多聚焦图像的融合问题,提出了一种基于方向区域特性的Contourlet域多聚焦图像融合算法.该算法对图像进行Contourlet变换,分解为不同尺度、不同方向的高低频子带;低频和高频子带分别采用方向区域的方差匹配度和能量作为融合规则;最后通过反变换得到融合图像.结果表明,所提出的方向区域方法能够更好地体现二维图像中的曲线或直线状边缘特征,是一种有效可行的图像融合算法.     

一种基于方向窗特性的Contourlet域的多聚焦图像融合算法

针对同一场景多聚焦图像的融合问题,提出了一种基于方向区域特性的Contourlet域多聚焦图像融合算法.该算法对图像进行Contourlet变换,分解为不同尺度、不同方向的高低频子带|低频和高频子带分别采用方向区域的方差匹配度和能量作为融合规则|最后通过反变换得到融合图像.结果表明,所提出的方向区域方法能够更好地体现二维图像中的曲线或直线状边缘特征,是一种有效可行的图像融合算法.     

基于静态小波分解和能量函数优化的图像拼接

提出了一种基于静态小波分解和能量函数优化的全景图拼接算法.该算法首先使用静态小波分解初始图像,并利用序贯检验法对高频图像快速搜索计算粗略匹配序列,在此基础上对初始图像细致搜索计算精确匹配点；对于传统图像融合处理中采用的线性加权函数通常引起的重叠区域模糊问题,采用包含图像梯度的能量函数计算高频图像的全局最优融合因子进行融合,而低频图像则采用线性因子融合.实验表明,该算法在降低匹配运算时间的同时又能获得满意的视觉效果.     

基于离散Curvelet变换与自适应能量模型的多聚焦图像融合算法

针对当前图像融合算法多采用一个源图像的子带能量函数作为融合系数,导致融合图像质量不理想,提出一种基于离散Curvelet变换与自适应能量模型的多聚焦图像融合算法。利用离散Curvelet对源图像进行多尺度分解,以获取图像的低频子带和高频子带;将低频子带分割成子块,利用离散Curvelet系数来构造平均能量函数,以此建立自适应能量模型;引入信息熵模型,对高频子带所包含的信息量进行度量;通过高频子带所含信息量特征和清晰度特征,完成图像高频子带的融合。实验结果表明:与当前多聚焦图像融合算法相比,所提算法具有更高的融合质量,其输出图像具备更好的细节表现能力。     

基于平移不变剪切波变换域图像融合算法

针对传统基于多尺度变换的图像融合方法存在的缺点,提出了一种基于平移不变剪切波变换域的自适应图像融合新方法.首先,使用平移不变剪切波变换对源图像进行分解,得到低频子带及方向带通子带系数.然后,对于低频子带系数采用梯度域奇异值分解方法估计图像的局部结构信息,提出了基于提取的特征与S函数的可变加权融合策略;对于各方向带通子带系数,提出了一种基于改进的拉普拉斯能量和匹配的“加权平均”和选择相结合的系数选择策略.最后,对得到的融合系数进行逆变换得到融合图像.通过实验可以发现相比于传统的图像融合方法,本文方法得到了更高的客观指标,融合图像视觉效果更好.     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

基于平移不变剪切波变换域图像融合算法

针对传统基于多尺度变换的图像融合方法存在的缺点,提出了一种基于平移不变剪切波变换域的自适应图像融合新方法.首先,使用平移不变剪切波变换对源图像进行分解,得到低频子带及方向带通子带系数.然后,对于低频子带系数采用梯度域奇异值分解方法估计图像的局部结构信息,提出了基于提取的特征与S函数的可变加权融合策略;对于各方向带通子带系数,提出了一种基于改进的拉普拉斯能量和匹配的"加权平均"和选择相结合的系数选择策略.最后,对得到的融合系数进行逆变换得到融合图像.通过实验可以发现相比于传统的图像融合方法,本文方法得到了更高的客观指标,融合图像视觉效果更好.     

有限离散剪切波域的红外可见光图像融合

针对目前图像融合过程中的不足之处,结合有限离散剪切波具有高的方向敏感性和抛物尺度化特性,提出了一种有限离散剪切波变换下的图像融合算法。首先对严格配准的多传感器图像进行有限离散剪切波变换,得到低频子带系数和不同尺度不同方向的高频子带系数;然后对低频子带系数采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合的融合算法,高频方向子带系数采用方向权重对比度与相对区域平均梯度和相对区域方差相结合的方案;最后通过有限离散剪切波逆变换得到融合图像。实验结果表明,与其他的融合算法相比较,本文算法不但有良好的主观视觉效果,而且3幅图像的客观评价指标分别平均提高了0.9%、3.8%、3.1%,2.6%、3.8%、2.9%和1.5%、125%、59%,充分说明了本文融合算法的优越性。     

Multifocus image fusion scheme using focused region detection and multiresolution

To solve the fusion problem of the multifocus images of the same scene, a novel algorithm based on focused region detection and multiresolution is proposed. In order to integrate the advantages of spatial domain-based fusion methods and transformed domain-based fusion methods, we use a technique of focused region detection and a new fusion method of multiscale transform (MST) to guide pixel combination. Firstly, the initial fused image is acquired with a novel multiresolution image fusion method. The pixels of the original images, which are similar to the corresponding initial fused image pixels, are considered to be located in the sharply focused regions. By this method, the initial focused regions can be determined, and the techniques of morphological opening and closing are employed for post-processing. Then the pixels within the focused regions in each source image are selected as the pixels of the fused image; meanwhile, the initial fused image pixels which are located at the focused border regions are retained as the pixels of the final fused image. The fused image is then obtained. The experimental results show that the proposed fusion approach is effective and performs better in fusing multi-focus images than some current methods.     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于亚像素区域加权能量特征的多尺度图像融合算法

对矩形和圆形区域中各像素进行亚像素划分,确定各亚像素的权值,得到基于哑像素的综合加权区域能量.融合箅法首先对源图像进行金字塔分解,然后对金字塔的高频细节分量使用基于哑像素加权区域能量特征的融合规则取大,对低频粗糙分量取平均.得到融合图像的塔形分解,最后重构融合图像.仿真结果表明,新算法融合效果较常规的区域能量特征作为融合规则的多分辨率图像融合算法效果更好,从清晰度和熵的评价来看,提高了融合图像的品质.     

列图像中遮挡缺损图像补偿算法

针对动态图像的遮挡缺损问题,提出了基于图像块的帧间预测算法,可以检测出序列图像中的遮挡缺损区域;利用帧间灰度相关性修正补偿算法进行遮挡缺损区域补偿,利用修正的像元对缺损区域进行补偿能够克服传统插值补偿算法补偿痕迹明显的缺点.仿真结果表明:该算法补偿处理区域与邻域灰度过渡平滑,消除了补偿痕迹,补偿效果比较理想.     

A Noisy SAR Image Fusion Method Based on NLM and GAN

The unavoidable noise often present in synthetic aperture radar (SAR) images, such as speckle noise, negatively impacts the subsequent processing of SAR images. Further, it is not easy to find an appropriate application for SAR images, given that the human visual system is sensitive to color and SAR images are gray. As a result, a noisy SAR image fusion method based on nonlocal matching and generative adversarial networks is presented in this paper. A nonlocal matching method is applied to processing source images into similar block groups in the pre-processing step. Then, adversarial networks are employed to generate a final noise-free fused SAR image block, where the generator aims to generate a noise-free SAR image block with color information, and the discriminator tries to increase the spatial resolution of the generated image block. This step ensures that the fused image block contains high resolution and color information at the same time. Finally, a fused image can be obtained by aggregating all the image blocks. By extensive comparative experiments on the SEN1–2 datasets and source images, it can be found that the proposed method not only has better fusion results but is also robust to image noise, indicating the superiority of the proposed noisy SAR image fusion method over the state-of-the-art methods.     

利用匹配区域的纹理特征改善重构三维图像的视觉质量

研究了计算机重构三维图像时分辨率低的问题,提出一种改善3D计算机全景重构图像的视觉质量的方法,该方法利用3D空间的物体部分在每个元素图像中形成的匹配区域的纹理特征,从两个相邻的元素图像中的匹配区域提取出多个像素,经过加权计算重构出相应的图像区域.该方法与传统的计算机重构方法相比,提高了图像分辨率,同时也消除了从每个元素图像中提取多个像素直接重构图像时存在的"像素块"效应,改善了重构图像的视觉质量.     

基于人工鱼群优化分块的多聚焦图像融合

在多聚焦图像的融合过程中,对源图像采用固定大小的分块会导致融合后的图像存在块效应、边缘模糊甚至聚焦错误。为了克服此问题,提出了一种新的基于人工鱼群优化分块的多聚焦图像融合方法。首先,将源图像分解成互不重叠的方块,利用聚焦准则选取清晰度高的方块,将已选择的方块合并重构成初始融合图像。然后,利用改进的人工鱼群优化算法,根据一定的适应度值,寻找最优大小的分块方式,获得更优的融合图像。该方法与基于空域、频域及其他优化算法的融合方法进行了多个实验比较,结果表明,该方法获得的融合图像具有较好的客观质量和主观视觉感觉。     

基于伪维格纳分布的图像融合

提出了一种基于伪维格纳分布(PWVD)的融合方法.利用一维N像素的滑动窗口在各个方向上对各待融合图像进行伪维格纳变换,选择均方根最大的方向为各待融合网像的PWVD分解方向,分解形成待融合图像不同频段的能量谱图,然后,针对各待融合不同频段的能量谱图,融合原则足高频段取区域能量最大,低频段取能量方差最大,形成具有不同频段的融合能量谱网,最后,对能量谱网进行PWVD逆变换,形成融合图像.对红外与可见光图像、多聚焦图像、电子计算机X射线断层扫描(CT)图像与磁共振(MR)图像和红外与合成孔径雷达(SAR)图像进行了融合实验,并对融合图像和待融合图像进行了信息熵对比.实验结果表明,采用本文算法的融合图像保留了待融合图像的绝大部分信息.     

应用于多视点视频编码的基于深度特征的图像区域分割与区域视差估计

基于多视点视图深度特征,提出一种通过简单块匹配运算划分多视点视图区域并估计区域视差的算法.首先基于深度对象的概念确定图像中具有不同深度的区域数量以及这些区域对应的区域视差,再根据误差最小化准则初步确定每个图像块所属区域.当区域中图像块数量小于某个阈值时,采用区域合并算法将该区域中的每个图像块合并到与它的视差最为接近的其它图像区域,通过迭代形成最终的有效图像区域划分.实验表明,该算法能够以图像块为基本单元有效地划分各深度层区域,并准确估计对应的区域视差.     

基于嵌入式多尺度分解和可能性理论的多波段纹理图像融合

将多尺度变换和“高频取大、低频加权平均”融合规则相结合是融合双波段图像的有效方法。但用该类方法融合多波段图像时,序贯式加权常常会导致原图像间固有的差异信息在融合图像中被弱化,从而影响后续的目标识别和场景理解。该问题在融合具有纹理特征的多波段图像时更为突出。为此,提出了一个基于嵌入式多尺度分解和可能性理论的多波段纹理图像融合新方法。首先,利用一种多尺度变换方法把多波段原图像分别分解为高频和低频成分,并对多波段图像中标准差最大的一幅原图像的低频成分利用另一种多尺度方法进行分块,再以该分块图像的大小和位置为标准对其余波段的原图像进行分块。然后,基于可能性理论的相关融合规则逐一融合对应的多波段块图像,再把块融合图像进行拼接,以拼接结果作为低频融合图像。最后,将该低频融合图像和利用取大规则融合得到的高频成分一起通过多尺度逆变换获得最终的融合图像。这种方法不仅将像素级和特征级融合方法综合在一起, 而且将空间域和变换域技术综合在一起, 并通过对大小块采用不同融合规则解决了目标边缘的锯齿效应问题。实验表明该方法效果显著。