改进YOLO轻量化网络的行人检测算法

针对当前行人检测方法计算量大、检测精度低的问题,基于YOLOv4-tiny提出一种改进的行人检测算法.引入通道注意力和空间注意力模块(CBAM)至CSPDarknet53-tiny网络中,通过学习图像的位置信息和通道信息得到更加丰富的特征;在骨干网络CSPDarknet53-tiny之后引入空间金字塔池化模块,能够极大...     

面向嵌入式平台的轻量级光学遥感图像舰船检测

针对现有基于深度学习的轻量级目标检测算法对复杂遥感场景图像中舰船目标检测精度低、检测速度慢的问题,提出了一种面向嵌入式平台的轻量级光学遥感图像舰船实时检测算法（STYOLO）。首先,针对主干网络内存访问成本较高的问题,利用高效网络架构ShuffleNet v2作为主干网络对图像进行特征提取,降低内存访问成本,提高网络并行度;其次,利用Slim-neck特征融合结构作为特征增强网络,以融合较低层级特征图中的细节信息,增强对小目标的特征响应,在多尺度信息融合区域施加坐标注意力机制,强化目标关注以提高较难样本检测以及抗背景干扰能力;最后,提出一种跨域迁移和域内迁移相结合的学习策略,减少源域与目标域的差异性,提升迁移学习效果。实验结果表明：基于光学遥感图像舰船检测公开数据集HRSC2016,与同类型快速检测算法YOLOv5s相比,所提算法的检测精度提高了2.7个百分点,参数量减少了61.77%,在嵌入式平台Jetson Nano上检测速度达到102.8 frame/s,能够有效实现对光学遥感图像中舰船目标的实时、准确检测。     

基于深度注意力机制的多尺度红外行人检测

针对多尺度目标检测问题,提出一种基于深度注意力机制的多尺度红外行人检测方法。首先,选取较为轻量级的Darknet53作为深度卷积特征提取的主干网络,设计四尺度的特征金字塔网络负责目标的定位和分类,通过引入更低层高分辨率的特征图来改善对小尺度行人目标的检测性能。其次,利用注意力模块替代特征金字塔网络中传统的上采样模块,生成基于卷积特征的局部显著图,可以有效抑制不相关区域的特征响应,突出图像局部特性。最后,利用Caltech行人数据集和U-FOV红外行人数据集进行两次迁移训练,以提高模型的泛化能力,丰富行人的样本特征。实验结果表明,所提方法在U-FOV数据集上的识别平均准确率达到了93.45%,比YOLOv3高26.74个百分点,能检测到的最小行人像素为6×13。在LTIR数据集上的定性实验结果验证,所提模型具有良好的泛化能力,适用于多尺度红外行人的检测。     

基于拓展型特征金字塔的OLED像素缺陷检测方法

针对传统方式检测有机发光二极管（OLED）像素缺陷精度低以及成本高的问题,提出了一种基于拓展型特征金字塔网络（FPN）的喷墨打印OLED像素缺陷检测方法。首先对数据进行处理,获得喷墨打印OLED像素图像数据集,随后利用预训练模型ResNet18作为主干,选取其底层模块作为特征提取器,制定出更加适合打印像素缺陷的训练网络。通过将FPN进行拓展,使用具有丰富区域细节的大规模超分辨率特征来解耦像素缺陷检测,实现缺陷区域信息的获取与缺陷的像素级分割。实验中对比了不同方法在OLED像素数据集上的检测效果并评估了不同方法在几个缺陷类型上的性能。结果表明：所提出的方法对喷墨打印OLED像素缺陷的识别精度比直接使用FPN提升了5.5%（达到99.8%）,对缺陷区域的分割平均精度提升3.7%（达到88.8%）,且所提模型适用于小样本缺陷数据检测,具有研究价值和实践意义。     

一种基于GAN和自适应迁移学习的样本生成方法

研究了基于生成式对抗网络(GAN)和跨域自适应迁移学习的样本生成和自动标注方法。该方法利用自适应迁移学习网络，基于已有的少量可见光图像样本集，挖掘目标在红外和可见光图像中特征内在相关性，构建自适应的转换迁移学习网络模型，生成标注好的目标图像。提出的方法解决了红外图像样本数量少且标注费时的问题，为后续多频段协同目标检测和识别获得了足够的样本数据。实验结果表明:自动标注算法对实际采集的装甲目标图像和生成的装甲目标图像各1 000张进行自动标注测试，对实际装甲目标图像的标注准确率达到95%以上，对生成的装甲目标标注准确率达到83%以上；利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。     

增强小目标特征的多尺度光学遥感图像目标检测

针对光学遥感图像目标分布密集、尺度变化范围较大及小目标特征信息过少等造成目标检测精度不高、泛化能力差等问题,本文提出了一种增强小目标特征的多尺度神经网络（ESF-MNet）。首先在骨干网络中引入注意力模块构建出高效层注意力聚合结构,以增强特征提取能力;此外,在浅层特征图与颈部网络融合之前加入感受野增强模块,以捕获不同尺度的上下文信息。其次,使用GSConv构成颈部网络,减少网络层参数量,保持网络的特征提取能力,并通过基于内容感知的特征重组模块提高识别精度。最后,采用下采样率分别为4、8和16倍的三个下采样模块作为头部网络输入,来提高小目标的检测效果。为了证明该方法的有效性,在DOTA数据集和NWPU NHR-10数据集上进行实验,平均检测精度分别达78.6%和94.3%,计算复杂度为94.7 G,整体模型大小为26.2 M。该方法具备检测精度高、计算复杂度低、模型权重小等特点,能有效提高小目标的检测精度,进一步改善光学遥感图像小目标检测性能。     

基于改进二阶段检测网络的长时跟踪重检测方法

为构建适用于长时跟踪的重检测模块,受改进二阶段检测网络的GlobalTrack方法的启发,提出了一种高效的对特定模板目标进行端到端重检测的深度网络：首先,为了在大尺度图像上更高效地融合模板特征,通过构造交叉信息增强模块改进深度互相关方法,利用交叉通道注意力信息编码搜索特征和模板特征;此外,采用动态实例交互模块替代传统二阶段网络的RPN(region proposal network)和RCNN(region-based convolutional neural networks)结构,根据模板信息指导检测网络的分类和回归阶段,构建了端到端的稀疏重检测结构。在LaSOT和OxUva长时跟踪数据集上进行对比实验,本文方法相较于原始方法性能提升3%,实时帧率提升173%。实验结果表明,改进后的方法可以在全图范围内更准确、快速地重新检测模板目标。     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

基于轻量级网络的光纤环图像超分辨率重建北大核心CSCD

为了提高光纤环绕制图像的分辨率并减轻深度学习模型带来的内存和计算开销,提出了一种能够同时提取梯度信息和图像信息的双分支网络,利用轻量级残差块快速轻量的优势来提取网络路径中的图像特征,还引入了多阶段残差特征迁移机制。在梯度信息和特征迁移的共同作用下,网络可以保留丰富的几何结构信息,使重构图像的边缘细节更加清晰。实验结果表明,该模型以较少的参数和0.018 s的运行时间实现了优越的性能,在2^(×)、3^(×)和4^(×)的比例因子下,峰值信噪比分别为44.08 dB、41.35 dB和38.97 dB,结构相似性指数分别为0.985 8、0.979 3和0.976 9,均优于其他现有方法,为后续的光纤环质量检测提供了强有力的保障。     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于改进DeepLabV3+网络的卫星遥感图像林地提取

针对普通卷积神经网络在遥感图像分割中林地边界区域识别不完整、小片林地分割精度低的问题,提出一种基于transformer与注意力机制的DeeplabV3+网络改进方法。在编码阶段引入transformer机制,将原池化金字塔部分中的空洞卷积操作替换为可获取更多上下文信息的transformer操作,从而提高网络对林地边界信息的提取能力;将注意力机制引入到网络的解码部分,提升模型对小片林地的检测能力。实验表明,采用改进后的方法平均交并比(MIou)可达到81.83%,对比原DeepLabV3+网络模型提升了1.25%。该方法充分考虑了卫星遥感图像分割中林地边缘信息的提取以及对小目标的关注度,提出的改进方法可提升遥感图像中对林地提取的精度。     

基于改进深度残差网络的计算断层扫描图像分类算法

基于改进的深度残差网络(ResNet),提出更加适合肺部组织的计算断层扫描(CT)图像模式分类模型。为克服医学图像分析中可用数据集稀少的困难,采用迁移学习方法来减小神经网络模型对数据量大的需求,以减小过拟合。迁移学习的策略是将肺内大量可用的无标签区域作为预训练的数据,使用深度互信息最大化和先验分布匹配的方法进行无监督表征学习。通过对比实验发现,改进的深度ResNet可以得到更高的分类精度,迁移学习算法可以有效地利用肺内无标签区域的数据,从而提升网络模型的分类表现。     

高分辨率灰度投影算法及其在电子稳像中的应用

提出一种用于检测图像运动矢量的高分辨率灰度投影算法。灰度投影算法将图像在水平和垂直方向上的灰度投影数据作为图像特征,获得图像运动信息,一般只能达到一个像元精度。而通过采用相关计算进一步细分灰度投影数据,可以提高图像运动特征位置信息的精度,获得亚像元级的图像运动矢量。实验室摇摆台电子稳像实验结果表明,该方法可以有效提高图像运动矢量的计算精度。     

基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测

提出一种迁移学习与深度学习相结合的钢板裂纹缺陷检测方法。首先,通过非负矩阵分解（NMF）建立红外缺陷数据集的目标域特征空间,以余弦相似度为衡量指标选取可见光缺陷数据集的源域样本,对深度学习模型进行预训练,并将模型权重参数迁移至目标域,实现相似领域的知识迁移;然后,在YOLO v5算法基础上引入自适应空间特征融合（ASFF）模块,提高缺陷检测精度。实验结果表明：所提方法对钢板脉冲涡流热成像裂纹缺陷的检测精度达到98.6%,可实现不同长度裂纹的准确识别与定位。     

利用全局信息提取靶标特征的方法

为了准确提取图像中目标特征,结合靶标的尺寸和特征信息提出了一种基于全局信息的方法。利用霍夫变换(HT)确定图像中包含靶标的目标区域;在目标区域中提取靶标上不同特征区域的中心;利用提取的中心拟合靶标在图像中所占区域的圆心和半径;完成图像上各区域与靶标上对应区域的匹配。实验证明该方法能够有效、准确的提取图像中靶标的特征,实验室内实验中靶标上特征区域中心提取精度为0.09pixel,实验室外提取精度为0.12pixel。在序列图像处理时,利用前一帧图像的结果可以有效降低计算量,提高提取精度。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

纹理细节恢复的图像超分辨率重建算法

针对现有单图像超分辨率方法在重建过程中容易忽略原图像中不同结构-纹理的差异与联系，导致生成的高分辨率图像缺乏纹理细节并存在伪影的问题，提出了纹理细节恢复的图像超分辨率重建算法。该方法由梯度分支、纹理分支和图像超分辨率分支组成。其中，在梯度分支和纹理分支之间使用了类注意力模块处理二者的特征混淆问题，并通过双向特征融合模块实现了对结构特征与纹理特征的相互促进，作为先验信息以达到纹理细节信息增强的目的。此外，在图像超分辨率分支还通过构建特征恢复模块，利用浅层和深层信息帮助网络保留了图像中更丰富的上下文信息和纹理细节。该方法通过在DIV2K数据集上进行了网络训练，并在5个基准测试集Set5、Set14、BSD100、Urban100和MANGA109上进行了实验，峰值信噪比(PSNR, Peak Signal to Noise Ratio)分别：37.88dB、33.28dB、32.0781dB、31.89dB、38.39dB,相比现有方法均有显著提升。实验结果表明，本文方法获得了有效的重建图像并且保留更多的图像细节，生成具有边缘清晰和逼真细节的超分辨率图像。     

基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力，针对无人车在夜间获取的红外图像，提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化，该算法在DeepLabv3+网络的基础上，通过引入密集连接的空洞卷积空间金字塔模块，使网络生成的多尺度特征能覆盖更大的尺度范围。此外，该算法将编码器模块的多层结果拼接在译码器模块中，以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练，可直接用于对夜间红外图像的语义分割。实验结果表明，该算法在红外数据集上的分割精度优于原DeepLabv3+算法，平均交并比达到80.42，具有良好的实时性和准确性。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

面向病理图像分割的边缘感知网络

提出了一种针对病理切片图像的端到端语义分割方法--边缘感知网络（BPNet）,以提高病理图像分割精度。BPNet网络首先在解码器阶段增加边缘感知模块,改善网络对于病理图像边缘的特征信息提取能力。然后,采用自适应通道注意力模块弥补不同层次特征间的语义差距,进一步加强网络的特征聚合能力。在此基础上,设计了一种基于结构和边缘的联合损失函数,以实现最佳的病理图像分割结果。在GlaS和MoNuSeg两个公开病理数据集上的分割实验结果表明,所提方法的Dice系数得分在两个数据集上分别达到92.21%和81.18%,有效提升了病理图像的分割精度。