基于阶梯网络与交叉融合的端到端图像去雾

针对卷积神经网络类图像去雾方法存在的细节丢失、颜色失真、去雾不彻底等问题,提出一种基于阶梯网络与注意力交叉融合的端到端图像去雾算法.整体网络模型包含特征提取、特征融合、图像重建三个模块,其中特征提取包括有雾图像细节和轮廓特征的提取,由阶梯网络的不同阶梯层提取实现;特征融合模块以注意力机制的交叉融合实现,并结合自适应残差...     

基于改进残差密集网络的高光谱重建

高光谱图像包含着丰富的光谱信息,单幅RGB重建高光谱图像在军事目标识别和医学诊断领域具有重要价值。传统算法无法对未知相机光谱响应的RGB图像进行重建,针对此问题,本文提出了一种基于改进残差密集网络的重建算法。首先,将改进的残差密集块作为残差密集网络的基本模块,使用自适应权重模块对特征通道进行特征重标定,使高光谱重建精度得到了提高。其次,用特征变换层替代原来网络的空间变换层,将解决图像超分辨率问题转换成解决高光谱重建问题,实现网络从空间维度到光谱维度的转变。实验结果表明:本文所提算法无论是在主观效果上还是在客观评估指标上均优于主流的传统方法和深度学习方法,与稀疏字典方法相比,本文算法的平均相对绝对误差(MRAE)和均方根误差(RMSE)分别下降了46.7%和44.8%。     

基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。     

基于小波变换和残差网络的磁共振影像分割方法

为了提高磁共振图像分割的准确度,提出一种基于残差网络和小波变换的磁共振图像分割方法.采用离散小波变换对核共振图像的不同序列进行融合,使融合图像包含更加丰富的纹理信息和结构信息;提出了包含通道注意力模块和空间注意力模块的残差网络模型,使网络重点关注于目标分割区域,并加入残差块来缓解深度神经网络的梯度消失问题.最终在公开的...     

基于GAN的半监督遥感图像场景分类

针对遥感图像背景复杂及有监督场景分类算法无法利用无标签数据的问题,提出一种基于生成对抗网络的半监督遥感图像场景分类方法.首先,引入谱归一化残差块代替传统生成对抗网络中的二维卷积,利用残差块的跳跃连接解决梯度消失问题;其次,引入特征融合思想,将浅层特征与深层特征进行融合,从而减少特征损失;最后,在生成对抗网络的判别器中加...     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于多尺度双阶段网络的图像超分辨率重建

针对目前图像超分辨率重建算法中所存在的特征信息提取不充分、重建图像细节信息模糊等问题,提出了一种多尺度双阶段网络来实现图像的超分辨率重建。首先,考虑到单尺度卷积层会出现特征信息提取不充分的现象,故而以多尺度卷积层为大体框架,设计网络模型;其次,考虑到重建后的图像效果,将整体网络分为2个阶段,第1阶段根据输入的低分辨率图像进行特征信息的提取和重建,第2阶段对重建后的图像进行更深一步的特征细化,从而提高重建图像的视觉效果;整体网络中还引入了跳跃连接和注意力模块,以加强特征信息的有效传播;最后,以数据集Set5、Set14、Urban100、BSDS100和Manga109作为测试集展开实验,峰值信噪比和结构相似度作为图像质量的评价指标。实验结果表明,二者的值相比以往均有所提高,且重建图像视觉效果较好。因此,该算法在客观评价和主观视觉上都取得了较好的结果。     

基于残差注意力网络的波前畸变复原方法

针对自由空间光通信中大气湍流造成涡旋光束相位畸变,导致通信系统性能下降的问题,提出一种基于残差注意力网络的自适应光学波前复原方法。为防止神经网络的退化现象,首先采用残差网络作为主干网络,并在此基础上构建多尺度残差混合注意力网络结构,用卷积操作将光强图像转换为特征图向后传播;其次通过不同尺度的卷积核来分布式提取特征,利用注意力机制提高网络对破损光斑特征的识别率,以增强网络表达光强图像特征的能力;最后设计结合现实评价指标的网络损失函数,从而得到符合实际波前像差的Zernike系数。在不同大气湍流强度条件下开展仿真,结果表明,残差注意力网络能快速准确地重构湍流相位,复原的残余像差的波峰波谷在0.05～0.3 rad之间,均方根在0.01～0.07 rad之间。     

改进的YOLO V3算法及其在小目标检测中的应用

针对图像中小目标检测率低、虚警率高等问题,提出了一种YOLO V3的改进方法,并将其应用于小目标的检测。由于小目标所占的像素少、特征不明显,提出对原网络输出的8倍降采样特征图进行2倍上采样,将2倍上采样特征图与第2个残差块输出的特征图进行拼接,建立输出为4倍降采样的特征融合目标检测层。为了获取更多的小目标特征信息,在YOLO V3网络结构Darknet53的第2个残差块中增加2个残差单元。利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析。用改进的YOLO V3算法和原YOLO V3算法在VEDAI数据集上进行对比实验,结果表明改进后的YOLO V3算法能有效检测小目标,对小目标的召回率和检测的平均准确率均值都有明显的提升。     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

基于深度跳跃级联的图像超分辨率重建

针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上提取浅层特征,并使用亚像素卷积对图像进行放大;通过使用跳跃级联块可以充分利用每个卷积层提取到图像特征,实现特征重用,减少网络的冗余性。网络的跳跃级联块可以直接从输出到每一层建立短连接,加快网络的收敛速度,缓解梯度消失问题。实验结果表明,在几种公开数据集上,所提算法的峰值信噪比、结构相似度值均高于现有的几种算法,充分证明了所提算法的出色性能。     

基于全卷积金字塔残差网络的能谱CT图像降噪研究

传统CT采用积分式探测器采集投影数据,反映的是物体的平均衰减特性,会在一定程度上造成信息损失,无法对物体进行较好的定性定量测量。基于光子计数探测器的能谱CT通过设定多个能量响应阈值能够探测不同能量范围内的X射线光子,采集更多被测物体的物质组成信息,有助于识别不同物理特性的材料,基于此,能谱CT被广泛的应用于小病灶、低对比度结构以及微细结构的成像。然而将整个能谱划分为多个能量段进行数据采集时,范围较窄能量范围内的有效光子数比例相对降低,导致图像中包含较多的噪声,图像质量较差,影响能谱CT的临床应用。为了有效的抑制能谱CT不同能量段内重建图像中的噪声,提出了一种基于深度学习的能谱CT图像降噪方法。我们将全卷积网络和金字塔残差网络结合为全卷积金字塔残差网络(FCPRN),实验中,利用能谱CT在不同的能量范围扫描小鼠样本,使用FDK算法和基于压缩感知的Split-Bregman算法进行重建并分别作为训练数据和标签数据训练全卷积金字塔残差网络。为了验证网络的降噪性能,选取了常见的降噪网络模型denoising convolutional neural networks(DNCN)以及residual encoder decoder convolutional neural network (REDCNN)进行对比,训练三种网络的使用的数据和实验配置都是完全相同的,实验结果表明训练模型可以有效抑制不同能量范围内重建图像的噪声,且使用的全卷积金字塔残差网络的降噪性能优于其他网络模型。模型训练好后,可以对FDK算法重建出的图像进行降噪,由此提高能谱CT图像降噪效率,保证能谱CT重建图像的质量。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

基于层次聚类的图像超分辨率重建

多字典学习的图像超分辨率重建过程中常见的K均值聚类、高斯混合模型聚类等方法会导致图像的重建质量欠佳且不稳定,针对这一问题提出一种新的基于层次聚类的图像超分辨率重建算法;首先对样本图像块提取特征并进行层次聚类,经改进的主成分分析方法训练得到K个字典,然后将测试图像裁切成若干图像块,并分别自适应匹配最合适的字典进行图像块重建,最后对整幅图像进行优化,以实现全局重建。结果表明:所提算法具有较高的可行性,能有效改善图像的重建质量;与传统算法相比,所提算法重建图像的峰值信噪比和结构相似度均有所增大。     

基于USENet实现数字全息细胞再现相位像超分辨重构

在UNet框架中集成SENet权重标定学习机制,设计了USENet实现图像超分辨重构.网络以对称拓扑叠加残差运算,通过多尺度卷积窗口增强模型精度与泛化能力,为图像特征通道引入权重标定算法以提升兴趣区域的估算置信度.结果表明,该模型能够明显改善输入样本的细节特征,已将验证集与真实图像的结构相似性从平均0.770 2提升至0.942 7.根据实验组和不带标定层的对照组重建图像对比显示,标定层可进一步在全局图像中将兴趣区域从平均0.965 5提升至0.970 3.     

基于轻量级网络的光纤环图像超分辨率重建北大核心CSCD

为了提高光纤环绕制图像的分辨率并减轻深度学习模型带来的内存和计算开销,提出了一种能够同时提取梯度信息和图像信息的双分支网络,利用轻量级残差块快速轻量的优势来提取网络路径中的图像特征,还引入了多阶段残差特征迁移机制。在梯度信息和特征迁移的共同作用下,网络可以保留丰富的几何结构信息,使重构图像的边缘细节更加清晰。实验结果表明,该模型以较少的参数和0.018 s的运行时间实现了优越的性能,在2^(×)、3^(×)和4^(×)的比例因子下,峰值信噪比分别为44.08 dB、41.35 dB和38.97 dB,结构相似性指数分别为0.985 8、0.979 3和0.976 9,均优于其他现有方法,为后续的光纤环质量检测提供了强有力的保障。     

NVST高分辨率图像中太阳小尺度结构的精细放大

将基于深度学习的放大方法应用于天文图像的研究中,根据新真空太阳望远镜(NVST)图像中的结构特征,提出一种有效的天文图像放大方法。首先使用Binning技术对数据进行降采样处理,获得对应的低分辨率图像;其次通过改进的残差稠密网络充分提取和利用低分辨率图像多级特征,重建出高分辨率的太阳图像;最后通过残差分析、相关性分析及功率谱分析对太阳图像的重建误差进行定量评估。实验结果表明,相对传统插值法,所提方法能够对太阳图像中的小尺度结构进行精细放大,且在放大图像的同时有效提高图像的信噪比。     

基于空洞循环卷积的近红外图像彩色化方法

针对近红外图像彩色化过程中存在近红外与可见光图像间模态差异较大、图像域样式不佳而导致其彩色化结果出现色彩纹理不吻合的问题,提出一种基于空洞循环卷积的近红外图像彩色化方法。改进CycleGAN网络,利用级联结构和空洞卷积块的优势设计了一种名为空洞级联模块,该模块采用编解码级联结构,代替原模型残差网络中的单向连接结构,进行特征通道的级联。在编解码级联层中引入空洞卷积模块,利用空洞卷积不损失图像纹理细节的优势,进一步提取不同尺度的近红外图像特征信息,最后通过解码将近红外灰度图像上色成彩色近红外图像。算法在生成网络中采用空洞级联方式改善误着色问题;在判别网络中引用感知损失函数改善网络收敛速度慢的问题。并且在NIR＿VIS数据集上开展验证和分析。实验结果表明,所提方法提升效果明显,更好地保持了原目标的结构及色彩纹理特征,有效地提升了近红外图像的可视化效果。     

面向嵌入式平台的轻量级光学遥感图像舰船检测

针对现有基于深度学习的轻量级目标检测算法对复杂遥感场景图像中舰船目标检测精度低、检测速度慢的问题,提出了一种面向嵌入式平台的轻量级光学遥感图像舰船实时检测算法（STYOLO）。首先,针对主干网络内存访问成本较高的问题,利用高效网络架构ShuffleNet v2作为主干网络对图像进行特征提取,降低内存访问成本,提高网络并行度;其次,利用Slim-neck特征融合结构作为特征增强网络,以融合较低层级特征图中的细节信息,增强对小目标的特征响应,在多尺度信息融合区域施加坐标注意力机制,强化目标关注以提高较难样本检测以及抗背景干扰能力;最后,提出一种跨域迁移和域内迁移相结合的学习策略,减少源域与目标域的差异性,提升迁移学习效果。实验结果表明：基于光学遥感图像舰船检测公开数据集HRSC2016,与同类型快速检测算法YOLOv5s相比,所提算法的检测精度提高了2.7个百分点,参数量减少了61.77%,在嵌入式平台Jetson Nano上检测速度达到102.8 frame/s,能够有效实现对光学遥感图像中舰船目标的实时、准确检测。