基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于小波变换和残差网络的磁共振影像分割方法

为了提高磁共振图像分割的准确度,提出一种基于残差网络和小波变换的磁共振图像分割方法.采用离散小波变换对核共振图像的不同序列进行融合,使融合图像包含更加丰富的纹理信息和结构信息;提出了包含通道注意力模块和空间注意力模块的残差网络模型,使网络重点关注于目标分割区域,并加入残差块来缓解深度神经网络的梯度消失问题.最终在公开的...     

多局部残差连接注意网络的图像去模糊

针对现有的基于卷积神经网络的图像去模糊算法存在图像纹理细节恢复不清晰的问题,提出了一种基于多局部残差连接注意网络的图像去模糊算法。首先,采用一个卷积层进行浅层特征提取;其次,设计了一种新的基于残差连接和并行注意机制的多局部残差连接注意模块,用于消除图像模糊并提取上下文信息;再次,采用一个基于扩张卷积的成对连接模块进行细节恢复;最后,利用一个卷积层重建清晰图像。实验结果表明：在GoPro数据集上的PSNR (peak signal to noise ratio)和SSIM (structure similarity)分别为31.83 dB、0.927 5,在定性和定量两方面都表明所提方法能够有效地恢复模糊图像的纹理细节,网络性能优于对比方法。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于深度可分离卷积的轻量化残差网络高光谱影像分类

针对传统深度残差网络在对高光谱图像进行特征提取和分类过程中因参数量大导致的训练时间长的问题,提出一种基于深度可分离卷积的轻量化残差网络模型（DSC-Res14）。该模型首先基于一层三维卷积层对经主成分分析方法降维后的高光谱影像进行光谱特征和空间特征初提取;其次,引入3个不同尺度的三维深度可分离卷积残差层对影像的深层语义特征进行提取,减少了网络训练参数量,增强了网络对高维、多尺度空间特征信息的表达能力。经在公开的Indian Pines和Pavia University标准数据集上进行实验验证,结果表明：所提模型在两个数据集上的分类精度分别为99.46%和99.65%;对比同类模型,所提模型在保证较高分类精度的同时,参数量和计算量小,训练时间短,并具有良好的鲁棒性。     

纹理细节恢复的图像超分辨率重建算法

针对现有单图像超分辨率方法在重建过程中容易忽略原图像中不同结构-纹理的差异与联系，导致生成的高分辨率图像缺乏纹理细节并存在伪影的问题，提出了纹理细节恢复的图像超分辨率重建算法。该方法由梯度分支、纹理分支和图像超分辨率分支组成。其中，在梯度分支和纹理分支之间使用了类注意力模块处理二者的特征混淆问题，并通过双向特征融合模块实现了对结构特征与纹理特征的相互促进，作为先验信息以达到纹理细节信息增强的目的。此外，在图像超分辨率分支还通过构建特征恢复模块，利用浅层和深层信息帮助网络保留了图像中更丰富的上下文信息和纹理细节。该方法通过在DIV2K数据集上进行了网络训练，并在5个基准测试集Set5、Set14、BSD100、Urban100和MANGA109上进行了实验，峰值信噪比(PSNR, Peak Signal to Noise Ratio)分别：37.88dB、33.28dB、32.0781dB、31.89dB、38.39dB,相比现有方法均有显著提升。实验结果表明，本文方法获得了有效的重建图像并且保留更多的图像细节，生成具有边缘清晰和逼真细节的超分辨率图像。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

一种基于信息保留网络的图像去噪算法

由于成像设备等各种因素影响, 图像在成像或传感过程中会受到噪声干扰。图像去噪旨在减少或消除噪声对图像的影响, 这一过程往往会导致高频信息的丢失。为了在去除图像噪声的同时保护图像的边缘信息与纹理细节, 文章提出了一种计算复杂度相对较低的含有信息保留模块的卷积神经网络, 直接对含噪声图像进行降噪。信息保留模块通过残差学习提取局部长路径和局部短路径的混合特征信息。该文采用峰值信噪比(PSNR/dB)和结构相似性(SSIM)两项评价指标对实验结果进行量化, 这两项指标值越大, 说明去噪效果越好。实验结果表明, 在峰值信噪比和结构相似性2项评价指标的均值可达到30.36 dB和0.828 0, 相比其他对比算法, 2项评价指标分别平均提升了2.15 dB和0.072 9。该算法对不同种类、不同水平的噪声都具有良好的去噪效果, 且速度优于所对比的一般算法, 对基于卷积神经网络的去噪工作的进一步发展有一定的作用。     

结合注意力和残差聚合的图像超分辨率算法

为解决残差块间的层级特征利用不充分导致生成的图像结构扭曲、视觉模糊等问题,提出结合注意力和残差聚合的图像超分辨率重建算法。网络通过浅层特征聚合模块获取多尺度的特征并输入到残差聚合网络,采用渐进式融合策略从局部和全局两方面对各个残差块的特征进行聚合,以达到充分利用残差块层级特征的目的。为进一步增强特征表示,利用双重注意力机制分别从空间和通道来关注特征之间的相互依赖性。实验结果表明,与SRCNN、FSRCNN等方法相比,算法重建的图像结构清晰且细节信息丰富。     

采用OFDM信号作为标记的光分组交换方案

以光正交频分复用信号作为光标记,利用两个不同波长的光载波分别经过强度调制,产生了10 Gb/sOOK光载荷和2.5 Gb/sOFDM光标记。测得了光分组信号经光纤传输前后接收载荷的眼图和标记的星座图以及误码率曲线,结果表明:经过40 km光纤传输后,载荷与标记的功率代价分别为1dB和0.5dB。     

Coherent transfer of an optical carrier over 251 km

We transfer an optical frequency over 251 km of optical fiber with a residual instability of 6x10(-19) at 100 s. This instability and the associated timing jitter are limited fundamentally by the noise on the optical fiber and the link length. We give a simple expression for calculating the achievable instability and jitter over a fiber link. Transfer of optical stability over this long distance requires a highly coherent optical source, provided here by a cw fiber laser locked to a high finesse optical cavity. A sufficient optical carrier signal is delivered to the remote fiber end by incorporating two-way, in-line erbium-doped fiber amplifiers to balance the 62 dB link loss.     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

Night vision dense crowd counting based on mid-term fusion of thermal imaging features北大核心CSCD

为了提高人群计数模型对尺度和光噪声的鲁棒性,设计了一种多模态图像融合网络。提出了一种针对夜间人群统计模型,并设计了一个子网络Rgb-T-net,网络融合了热成像特征和可见光图像的特征,增强了网络对热成像和夜间人群特征的判断能力。模型采用自适应高斯核对密度图进行回归,在Rgb-T-CC数据集上完成了夜视训练和测试。经验证网络平均绝对误差为18.16,均方误差为32.14,目标检测召回率为97.65%,计数性能和检测表现优于当前最先进的双峰融合方法。实验结果表明,所提出的多模态特征融合网络能够解决夜视环境下的计数与检测问题,消融实验进一步证明了融合模型各部分参数的有效性。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于光子晶体光纤中四波混频效应的单到双非归零到归零码型转换

归零(RZ)码与非归零(NRZ)码是波分复用和时分复用系统中广泛采用的两种码型, 全光NRZ到RZ码型转换能完成从波分复用到时分复用的网络接口功能, 是未来透明光子网络中一项重要的全光信号处理技术. 提出并实验证实了一种基于色散平坦高非线性光子晶体光纤中四波混频效应的单到双NRZ到RZ码型转换方法, 将一束信号光与同步时钟脉冲同时输入色散平坦高非线性光子晶体光纤中, 通过四波混频过程, 产生两个携带该数据信息的闲频光, 从而实现了单到双的NRZ到RZ码型转换功能, 码型转换器工作波长在193 nm范围可调谐, 最大转换效率为-21 dB, 最优消光比和品质因子分别为11.9 dB和7.2. 该方法的特点在于基于光纤中的四波混频效应工作, 因而具有对调制格式和比特率透明的优点, 同时, 光子晶体光纤特有的高非线与色散平坦性, 既避免了使用传统光纤需要较长的长度, 又避免了波长设置不灵活的弊端, 并具备可进一步增加带宽的能力, 且在码型转换的同时, 实现了波长转换, 完成了双通道波长组播功能. 整个系统为全光纤设计, 结构简单, 性能可靠, 并易于与现有的光纤通信系统相容, 对促进超高速大容量光子网络的发展具有重要意义. 关键词： 码型转换 四波混频 光子晶体光纤     

基于对偶学习的图像去雾网络

针对光学成像设备在雾天搜集到的图像存在的降质问题,提出了一种基于对偶学习的从源域到目标域转换的对偶去雾网络以实现图像去雾功能。网络首先采用对偶生成对抗网络直接学习有雾图像与无雾图像之间的双向映射关系,并将有雾到无雾图像的映射作为初步的去雾结果,随后采用预训练模型在特征空间计算去雾图像与真实无雾图像的特征向量,运用欧式距离作为损失函数最小化特征向量之间的距离,以保证去雾图像在特征层面与真实无雾图像接近。实验结果表明,对偶去雾网络得到的去雾结果具有较高的峰值信噪比和较低的色差值,并能够有效保留图像的结构信息。