基于深度注意力机制的多尺度红外行人检测

针对多尺度目标检测问题,提出一种基于深度注意力机制的多尺度红外行人检测方法。首先,选取较为轻量级的Darknet53作为深度卷积特征提取的主干网络,设计四尺度的特征金字塔网络负责目标的定位和分类,通过引入更低层高分辨率的特征图来改善对小尺度行人目标的检测性能。其次,利用注意力模块替代特征金字塔网络中传统的上采样模块,生成基于卷积特征的局部显著图,可以有效抑制不相关区域的特征响应,突出图像局部特性。最后,利用Caltech行人数据集和U-FOV红外行人数据集进行两次迁移训练,以提高模型的泛化能力,丰富行人的样本特征。实验结果表明,所提方法在U-FOV数据集上的识别平均准确率达到了93.45%,比YOLOv3高26.74个百分点,能检测到的最小行人像素为6×13。在LTIR数据集上的定性实验结果验证,所提模型具有良好的泛化能力,适用于多尺度红外行人的检测。     

基于双向递归卷积神经网络的单目红外视频深度估计

考虑到红外视频的深度特征具有单帧图像的独特性和视频全局的连续性,在单目红外视频深度估计问题上提出一种基于双向递归卷积神经网络(BrCNN)的深度估计方法。BrCNN在卷积神经网络(CNN)能够提取单帧图像特征的基础之上引入循环神经网络(RNN)传递序列信息机制,使其既具有CNN良好的图像特征提取能力,能够自动提取视频中每一帧图像的局部特征,又具有RNN良好的序列特征提取能力,能够自动提取视频中每一帧图像所包含的序列信息,并向后递归传递这种信息。采用双向递归的视频序列信息传递机制来估计红外视频的深度,提取到的每一帧图像的特征都包含了视频前后文的序列信息。实验结果表明,相对于传统CNN提取单帧图像特征进行的估计,使用BrCNN能够提取更具有表达能力的特征,估计出更精确的深度。     

基于阶梯网络与交叉融合的端到端图像去雾

针对卷积神经网络类图像去雾方法存在的细节丢失、颜色失真、去雾不彻底等问题,提出一种基于阶梯网络与注意力交叉融合的端到端图像去雾算法.整体网络模型包含特征提取、特征融合、图像重建三个模块,其中特征提取包括有雾图像细节和轮廓特征的提取,由阶梯网络的不同阶梯层提取实现;特征融合模块以注意力机制的交叉融合实现,并结合自适应残差...     

压缩光场重建与深度估计

针对光场深度估计过程中数据量大、边缘处深度估计结果不准确问题,利用压缩感知原理重建光场,提出一种新的多信息融合的光场图像深度估计算法。利用压缩感知重建算法重建5×5视角光场数据,获取光场数据后首先移动子孔径实现重聚焦,然后利用角度像素块散焦线索和匹配线索计算出场景初始深度和置信度。计算图像边缘信息,通过融合初始深度、置信度、边缘信息获取最终深度。实现压缩光场仿真重建,并对仿真光场数据和公开光场数据进行深度估计,实验结果表明:可以仿真重建出5×5视角光场数据,且仿真重建的光场可用于深度估计。该深度估计算法在场景边缘处的深度估计结果边界清晰,层次分明,验证了重建光场深度估计的可行性与准确性。     

基于多尺度递归网络的图像超分辨率重建

提出了一种基于多尺度递归网络的图像超分辨率网络模型,该模型主要由多个多尺度特征映射单元级联而成,每个单元分别包含一组不同尺度的特征提取层、一个融合层以及一个特征映射层。特征提取直接在原始低分辨率图像上进行,最后采用亚像素卷积重构高分辨率图像。训练阶段使用自适应矩估计优化方法加速网络模型的收敛。实验结果表明,所提算法取得了较好的超分辨率结果,图像纹理清晰、边缘锐利,视觉效果明显得到增强。在Set5、Set14、BSD100以及Urban100等常用测试集上的客观评价指标(PSNR和SSIM)均高于现有的几种主流算法。     

基于深度学习的合成孔径雷达图像去噪算法

针对合成孔径雷达在生成图像时产生的固有斑点噪声问题,提出了一种基于多尺度注意力级联卷积神经网络的去噪算法,用多尺度卷积网络与注意力机制来实现图像的特征提取,将级联网络结构作为主网络中的特征增强部分,并加入批量归一化来防止模型中出现过拟合。实验结果表明,所提算法相较于其他传统图像去噪算法,峰值信噪比、结构相似性分别平均提高了0.75 dB～14.45 dB和0.01～0.16,在图像熵上也优于其他算法,并且能较好地恢复图像中的细节信息。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

利用光场合成与弥散圆渲染的单幅图像重聚焦

提出一种单幅图像动态重聚焦方法,结合基于深度学习的光场合成与基于几何结构的弥散圆渲染方法,模拟出光场重聚焦效果。该方法仅输入单幅图像,首先进行深度估计,然后将深度图转换为视差,最后在不同深度确定弥散圆直径以进行像素重采样。设计两种神经网络结构,分别以光场相机的多视角子图和重聚焦图像为样本进行有监督的深度学习。在多个数据集和实际场景中的实验结果表明,本文方法在可接受的计算成本下能获得优于其他方法的视觉效果与评价指标,峰值信噪比达到了34.55,结构相似度达到了0.937。     

基于Swin-Transformer迭代展开的有限角CT图像重建用于PTCT成像

针对相对平行直线扫描CT(PTCT)图像重建存在的有限角伪影问题,提出一种学习局部和非局部正则项的深度迭代展开方法。该方法将具有固定迭代次数的梯度下降算法迭代展开到神经网络,利用具有坐标注意力（CA）机制的卷积模块和Swin-Transformer模块作为迭代模块交替级联部署,构成端到端的深度重建网络。卷积模块学习局部正则化,其中CA用于减少图像过平滑;Swin-Transformer模块学习非局部正则化,提高网络对图像细节的恢复能力;在相邻模块间,使用迭代连接（IC）增强模型提取深层特征的能力,提高每次迭代的效率。通过消融实验验证了网络各部分的有效性,并在两种类型的数据集上进行实验,结果证明了本文方法的效果。实验结果表明,本文方法在抑制PTCT重建图像有限角伪影的同时,能较好地保留重建图像细节,提高重建图像质量。     

基于广义中心差分卷积和空间分布机制的CG图像检测

针对数字取证和司法鉴定领域中计算机生成图像检测技术日益增长的现实需求,提出一种基于广义中心差分卷积和空间分布机制的计算机生成图像检测网络。首先,设计了一个包含三个并行独立分支的相关性特征提取模块;随后,将三个分支的输出经串接后输入到通道注意力机制子模块;最后,使用5个附带空间分布机制的深度卷积模块进一步学习图像的分层表示来进行最终决策。在SPL2018和DSToK两个公共数据集上的检测准确率可达94.76%和95.38%,相比最好的对比方法对生成图像的检测准确率提高了3.12%和3.23%。消融实验验证了网络中各模块对于模型整体检测效果的贡献。最后,验证了该网络对JPEG压缩和加性噪声的鲁棒性,即使对质量因子为60压缩后的图像,检测准确率仍可达84%以上。提高了模型的检测准确率及鲁棒性。     

基于深度学习的逆向反射模型

为提高光度立体视觉技术处理各向同性非朗伯反射的能力，提出一种基于深度学习的逆向反射模型，通过提取与方位角差相关的图像特征，弥补共位光源逆向反射模型的理论不足，实现表面法向量高精度估计。该模型由三阶段子网络组成，分别是方位角差子网络、逆向反射模型子网络与法向量估计子网络，其中：第一阶段子网络与第二阶段子网络共同实现像素值到法向量以及入射光线方向点积的高精度映射；第三阶段子网络充分利用前两个子网络提取的特征，实现表面法向量高精度估计。仿真实验表明，所提方法对100种典型各向同性非朗伯反射均具有较好的处理能力；基于标准数据集的真实实验证明，所提方法能够取得平均5.90°的法向量估计精度，充分证明所提方法的有效性。     

基于深度学习的无人车夜视图像语义分割

为了增强无人车对夜视图像的场景理解,在夜间模式下更快更精确地探测和识别周围环境,将深度学习应用于夜视图像的场景语义分割,提出了一种基于卷积-反卷积神经网络的无人车夜视图像语义分割方法。在传统的卷积神经网络中加入反卷积网络,构建卷积-反卷积神经网络,无需手工选取特征。通过像素到像素的学习和训练,得到图像语义分割模型,可直接用该模型预测夜视图像中每个像素所属的场景语义类别,实现无人车夜间行驶时的环境感知。实验结果表明,该方法具有较好的准确性和实时性,平均IU达到68.47。     

基于DSA-BCNN的毫米波图像隐藏物检测

自动检测毫米波图像中被检人员是否携带隐藏物,是实现智能毫米波安检系统的重要技术之一.针对隐藏物在毫米波图像中的特征局部性和低辨识性问题,提出一种动态自注意力的双线性卷积神经网络,能够仅以图像级标签训练,实现图像中隐藏物的存在检测.引入自注意力机制以引导网络对隐藏物区域进行特征提取,增强网络刻画全局信息的能力;双线性池化...     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于自适应像素级注意力模型的场景深度估计

深度估计是传统的计算机视觉任务,在理解三维场景中起着至关重要的作用。基于单目图像的深度估计任务的困难在于如何提取图像特征中大范围依赖的上下文信息,提出了自适应的上下文聚合网络（adaptive context aggregation network,ACANet）用于解决该问题。该方法基于有监督的自注意力模型(supervised self-attention,SSA),能够自适应地学习任意像素之间的具有任务特性的相似性以模拟连续的上下文信息,并通过模型学习的注意力权重分布用来聚合提取的图像特征。将单目深度估计任务设计为像素级的多分类问题,经过设计的注意力损失函数减少RGB图像和深度图的语义不一致性,通过生成的像素级注意力权重对由位置索引的特征进行全局池化。最后提出一种软性有序推理算法（soft ordinal inference,SOI）,充分利用网络的预测置信度,将离散的深度标签转化为平滑连续的深度图,并且提高了准确率（rmse下降了3%）。在公开的单目深度估计基准数据集NYU Depth V2上的实验结果表明:rmse指标为0.490,阈值指标为82.8%,取得了较好的结果,证明了本文提出的算法的优越性。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法*

环境声分类技术在家居安全监测、人机语音交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,本文提出一种基于多尺度通道注意力机制下的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出音频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%（iFLYTEK+Urbansound8k）的分类准确率。消融实验结果进一步表明：引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外, 在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。