类别非均衡遥感图像语义分割的全卷积网络方法

基于U-Net模型,提出了一个全卷积网络(FCN)模型,用于高分辨率遥感图像语义分割,其中数据预处理采用了数据标准化和数据增强,模型训练过程采用Adam优化器,模型性能评估采用平均Jaccard指数。为提高小类预测的准确率,模型中采用了加权交叉熵损失函数和自适应阈值方法。在DSTL数据集上进行了实验,结果表明所提方法将预测结果的平均Jaccard指数从0.611提升到0.636,可实现对高分辨率遥感图像端到端的精确分类。     

基于卷积神经网络的路面裂缝分割设计与研究

裂缝是路面病害最主要的类型,准确的裂缝分割是国家进行公路预防养护管理的重要决策依据。针对背景复杂下现有模型路面裂缝分割准确度有待提高的问题,提出一种基于卷积神经网络的端到端裂缝分割模型,使用分层结构的ConvNeXt编码器提取多尺度特征,特征的最高层使用金字塔池化模块进一步获取全局先验特征,通过具有横向连接和自上而下的金字塔结构进行特征融合。针对裂缝和背景不平衡问题,使用平衡交叉熵损失函数提高模型的检测性能。此外,构建了一个包含2 876张裂缝图片的数据集UCrack,覆盖多种裂缝类型和广泛的背景范围,以提供丰富的特征供模型学习。实验表明,在UCrack测试数据集上模型的召回率和F1得分比其他表现最佳的模型提高了2.68%和6.89%;在CrackDataset数据集上的测试取得了85.68%的召回率和80.11%的F1得分,说明模型具有较好的泛化性能,可应对背景复杂的路面裂缝分割。     

基于注意力融合的目标跟踪算法

针对基于孪生网络的目标跟踪算法存在抗干扰能力弱、鲁棒性差等问题,在SiamCAR基础上提出通道和空间注意力融合的目标跟踪算法。在特征提取子网络和分类回归子网络之间级联改进后的高效通道注意力和空间注意力模块,加强网络对互相关后响应图中重要通道特征和位置特征的关注,同时抑制不重要的特征信息。在OTB100上,所提算法在背景杂乱挑战下成功率和精度相比SiamCAR分别提高了3.1%和2.8%;在VOT2018上,所提算法的鲁棒性和期望平均重叠率相比SiamCAR分别提高了4.9%和2.2%。实验结果表明,所提算法增强了跟踪器的鲁棒性,提升了跟踪器在复杂场景下的跟踪效果。     

基于改进YOLOv5的无人机检测方法

针对小尺寸无人机目标检测精度低,且深层网络的参数量大、内存占用高等问题,提出一种基于改进YOLOv5的无人机检测方法。首先,调整了YOLOv5多尺度预测层的个数,裁剪掉冗余网络层,有效减少网络参数量,提高无人机检测速度;其次,通过在特征提取阶段引入多个不同采样率的空洞卷积,增强小目标的多尺度细节特征提取能力;最后,在多尺度特征融合阶段引入注意力机制,将深层特征进行通道加权后再与浅层特征进行高效融合,增强小目标特征表达能力。实验表明,改进的YOLOv5模型在自制数据集上mAP达到了99.02%,对于小尺寸的无人机目标,具有更好的检测效果。相较于改进前网络,检测速度提高了10.3%,内存开销节约了65%,降低了对设备计算和存储能力的要求,更加有利于无人机检测系统的工程部署和实际应用。     

基于语义分割和可见光谱图的作物叶部病斑分割方法

病害严重影响作物品质,并造成经济损失。病斑分割是病害定量诊断的重要过程,其分割结果可为后续的识别和严重度估算提供有效依据。由于病斑具有不规则性和复杂性,且自然环境下病斑可见光谱图像易受光照变化等影响,传统的图像处理方法对病斑图像分割存在准确率低、普适性低和鲁棒性不高等问题。该工作提出了基于语义分割和可见光谱图像的作物叶部病害病斑分割方法。首先,以花生褐斑病、烟草赤星病为研究对象,使用尼康D300s单反相机共采集到165张可见光谱图像。通过Matlab Image Labeler APP对病害可见光谱图像进行像素标记,分别标记出褐斑病病斑、赤星病病斑和背景区域。其次,对标记后的数据采用水平翻转、垂直翻转、改变亮度等图像扩充方式,获得1 850份增强后样本数据集。为了节约计算成本,将数据集的像素分辨率调整为300×300。最后,基于FCN, SegNet和U-Net 3种语义分割网络,构建4种作物叶部病害病斑分割模型,探索了数据增强、病害类别对病斑分割模型的影响,并采用4种分割指标评价模型效果。结果表明：仅对于病斑分割,图像增强能够提高模型的分割精度,增强后FCN模型的平均精度(MP)和平...     

基于改进U-net的金属工件表面缺陷图像分割方法

针对金属工件表面小尺寸缺陷及受非均匀光照影响的图像缺陷难以分割的问题,提出了一种改进的U-net语义分割网络,实现金属工件表面缺陷图像的精确分割。首先,在U-net网络中融入CBAM(convolutional block attention module)模块来提升图像中缺陷目标的显著度;其次,采用深度超参数化卷积DO-Conv(depthwise over-parameterized convolutional)代替网络中部分传统卷积,增加网络可学习的参数数量;然后,采用Leaky Relu函数代替网络中部分Relu函数,提高模型对负区间的特征提取能力;最后,采用中值滤波及非均匀光照的补偿方法进行图像预处理,减弱非均匀光照对金属工件图像表面缺陷的影响。结果表明:改进后的网络平均交并比、准确率和Dice系数指标分别达到0.833 5、0.933 2、0.867 4,改进的网络显著提升了对金属工件表面缺陷图像的分割效果。     

基于注意力机制的多曝光图像融合算法

针对多曝光图像任务缺乏真值图像,以及现有多曝光图像融合算法存在的边缘特征丢失、细节模糊等问题,本文提出了一种基于注意力机制的多曝光图像融合算法.该算法建立权重独立的双通道Unet网络,对目标场景不同曝光图像分别进行特征提取,生成不同曝光图像的高维多尺度特征图;通过视觉注意力机制凸显目标场景在不同曝光下对融合有利的特征,...     

基于YOLOv4的目标检测优化方法

针对YOLOv4目标检测网络结构复杂,参数量以及计算量大等问题,提出了一种轻量化目标检测算法（YOLOv4-GC）。首先,使用ghostnet结构替换原始YOLOv4的主干网络,降低了获取冗余特征图像的计算量,在SPP与PANet模块中使用深度可分离卷积,使模型的计算量和参数量比原始YOLOv4分别降低82%和80%;再结合PyConv多尺度卷积设计出Py-PANet金字塔结构,提高了模型对于图像特征的提取和融合能力。在Pascal VOC数据集上的实验结果表明,在保证模型精度的情况下模型的参数量和计算量相比原始有明显降低。     

基于注意力机制的多目标优化高光谱波段选择

神经网络的注意力机制可以从数据中提取关键信息,将这一特性运用在高光谱波段选择上有助于充分学习波段之间的相互依赖和非线性关系,提取更重要的波段。提出了一种基于注意力机制的多目标优化高光谱波段选择算法。首先,利用注意力模块和自编码器构建网络;然后,将一维光谱数据作为网络输入,采用两种损失函数并结合多目标优化方法对输入数据进行训练,使嵌入在网络中的注意力模块充分学习各波段之间的非线性关系,对信息量大和易于分类的波段赋予更大的权重,以实现波段选择;最后,利用支持向量机分类器和平均光谱散度验证波段子集的性能。实验结果表明:相比于其他算法,所提算法在Botswana与Indian Pines数据集上提取的波段子集的分类精度更高,信息量更大,由此证明了所提算法对高光谱波段选择的有效性。     

基于YOLOv4-tiny的遥感图像飞机目标检测技术研究

针对传统遥感图像飞机目标检测算法在复杂背景下存在检测准确度和检测召回率较低的问题,基于深度学习中YOLOv4-tiny提出一种遥感图像飞机目标检测算法.根据YOLOv3和YOLOv4的网络结构对YOLOv4-tiny的网络结构进行改进,将原算法中的CSP特征提取网络强化,使其特征提取能力增加;使用Mish激活函数替换原...     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组.基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合.通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制...     

基于注意力和角度间隔损失的高光谱目标跟踪北大核心CSCD

随着计算机技术的发展,基于深度学习的目标跟踪方法已成为计算机视觉领域中重要的研究方向;但跟踪环境的复杂多变使得跟踪算法在背景干扰、颜色相近等问题上仍面临巨大挑战。相比于传统彩色图像,高光谱图像包含丰富的辐射、空间和光谱信息,能够有效提升目标跟踪的准确率。提出了将注意力机制(attention mechanism)和加性角度间隔损失(additive angular margin loss, AAML)相结合的方法来进行针对高光谱图像的目标跟踪。通过融合多域神经网络对不同波段组合进行特征提取,同时设计了融合的注意力机制模型,使得来自不同波段组合之间的相似特征进行整合和强化,在目标背景颜色相近的情况下,网络会更多地注意目标物体,使得跟踪结果更为准确。在此基础上为了使目标和背景的区分更具有判别性,网络使用加性角度间隔损失作为损失函数,在训练过程中可以有效减小同类样本的类内距离,增大正负类样本的类间距离,从而提高网络的准确性和稳定性。实验结果表明,本文方法可使两种跟踪精度评价指标精确率和成功率分别提升1.3%和0.3%,相较于其他方法更具优势。     

U-net网络中融合多头注意力机制的单通道语音增强EI北大核心CSCD

在低信噪比和突发背景噪声条件下,已有的深度学习网络模型在单通道语音增强方面效果并不理想,而人类可以利用语音的长时相关性对不同的语音信号形成综合感知。因此刻画语音的长时依赖关系有助于改进低信噪比和突发背景噪声下的增强性能。受该特性的启发,提出一种融合多头注意力机制和U-net深度网络的增强模型TU-net,实现基于时域的端到端单通道语音增强。TU-net网络模型采用U-net网络的编解码层对带噪语音信号进行多尺度特征融合,并利用多头注意力机制实现双路径Transformer,用于计算语音掩模,更好地建模长时相关性。该模型在时域、时频域和感知域计算损失函数,并通过加权组合损失函数指导训练。仿真实验结果表明,TU-net在低信噪比和突发背景噪声条件下增强语音信号的语音质量感知评估(PESQ)、短时客观可懂度(STOI)和信噪比增益等多个评价指标都优于同类的单通道增强网络模型,且保持相对较少的网络模型参数。     

基于脉冲耦合神经网络融合的压缩域运动目标分割方法

针对H.264压缩域内运动目标分割算法所存在的弱自适应性和抗噪能力差等问题,本文提出了一种基于脉冲耦合神经网络的压缩域运动目标分割方法.该方法采用时空域矢量均值滤波对运动矢量进行预处理,减少运动目标丢失率,并设计了前后向矢量累积方法,增强运动矢量的可靠性.基于脉冲耦合神经网络设计的融合模型可以将累积后的运动矢量和宏块模式进行融合处理,增强分割算法的抗噪能力,保证加快分割速度的同时兼顾运动区域的分割准确度.另外,采用最小交叉熵作为点火终止判断条件,实现了最佳分割模板的自适应获取.仿真实验表明,本文算法在自适应性和抗噪能力方面均有较好表现,可以准确分割出监控视频中的运动目标.     

基于脉冲耦合神经网络融合的压缩域运动目标分割方法

针对H.264压缩域内运动目标分割算法所存在的弱自适应性和抗噪能力差等问题,本文提出了一种基于脉冲耦合神经网络的压缩域运动目标分割方法.该方法采用时空域矢量均值滤波对运动矢量进行预处理,减少运动目标丢失率,并设计了前后向矢量累积方法,增强运动矢量的可靠性.基于脉冲耦合神经网络设计的融合模型可以将累积后的运动矢量和宏块模式进行融合处理,增强分割算法的抗噪能力,保证加快分割速度的同时兼顾运动区域的分割准确度.另外,采用最小交叉熵作为点火终止判断条件,实现了最佳分割模板的自适应获取.仿真实验表明,本文算法在自适应性和抗噪能力方面均有较好表现,可以准确分割出监控视频中的运动目标.     

基于轨迹预判的空间小目标在轨检测方法研究

空间目标监视和检测是维护空间环境安全的重要保障,天基观测是其中的一个重要观测手段。在天基观测图像中,恒星和空间小目标形状、大小相似,影响空间小目标的检测。且空间环境复杂,图像的噪声也会对空间小目标检测造成干扰。针对以上问题,提出了一种基于轨迹预判的空间小目标在轨检测方法。首先对图像进行预处理,包含使用图像滤波剔除坏像元和背景影响以及阈值分割。对相机进行畸变误差校正,再进行坐标系转换以及匹配星表剔除大部分恒星。然后采集多帧图像,对候选目标进行轨迹关联、预判,确定搜索范围。最后实现对空间小目标的检测。本检测方法具有以下几方面的优势：在低信噪比下,实现高检测精度和低虚警率;减少搜索范围,提高在轨实时检测能力;具备对连续帧图像上目标不连续出现的检测能力,适应更复杂的空间环境下目标检测需求。本检测方法的检测能力在硬件系统上得到了验证,实验结果表明,该算法在检测信噪比为2的目标时也具有99.9%的检测率和0.002%的虚警率,为在轨空间小目标检测提供参考。     

基于差分图像的运动目标跟踪与分割方法的应用研究

提出了一种基于差分图像运动检测和轮廓提取的跟踪与分割图像的方法。该方法首先从初始图像中提取目标的轮廓,然后利用相邻帧之间的差分图像初步确定目标在每帧图像中的粗略位置,最后把从上一帧图像中得到的目标轮廓置于该位置,并作为轮廓提取的初始值,由此可得到对目标的准确分割。     

基于多特征融合与ROI预测的红外目标跟踪算法

针对当前红外目标检测与跟踪算法存在场景自适应能力弱、专用性强,以及在大视场条件下,首帧图像中小目标误检率高的问题,提出一种红外序列图像目标自适应阈值分割、检测与跟踪方法.选取目标移动速度、目标轮廓的面积和周长、以及自适应分割阈值与感兴趣区域位置为动态变量,建立动态决策准则.采用首帧目标检测算法计算出序列图像的第一帧图像目标的静态变量和部分动态变量,再采用改进的局部自适应阈值分割算法分割后续帧图像,然后利用静态与动态决策准则筛选出分割后的真实目标,最后计算并更新动态决策准则.红外靶标测试结果表明:该方法对不同场景具有较好的适应性,四个场景平均跟踪准确率为95.81%,微机平台平均每帧处理时间为10.93ms,嵌入式平台为26.79ms.