基于特征融合和注意力机制的目标分割跟踪算法

在当前的目标跟踪领域,现有的基于分割的算法没有充分利用目标的长距离依赖信息和各个特征层的不同特性,前背景判别能力不强,对目标的多尺度估计不足。针对此问题,提出了自适应特征融合模块和混合域注意力模块,以提高网络对目标的多尺度估计能力和对目标的前背景辨别能力,并将其集成到当前基于视频分割的算法中,提出了一种新的目标跟踪算法,在各大公开数据集上的实验结果证明其达到了领先水平。     

基于自注意力的合成孔径雷达图像目标分类方法北大核心CSCD

基于自注意力的视觉变换器(ViT)模型在自然语言处理和计算机视觉领域显示出强大的特征提取和模式表征能力。针对合成孔径雷达(SAR)图像特征与自然物体图像特征存在明显差异的问题,文中提出一种使用ViT模型进行SAR图像目标分类识别的方法,探索基于自注意力的深度学习模型在SAR图像智能化处理的可行性和有效性。ViT模型架构设计与自然语言处理模型架构相似,具有设置简单、可扩展性好、开箱即用的优点。模型主要由图像块分割、图像块投影嵌入、位置嵌入、自注意力模块序列和全连接分类器五部分组成。选择MSTAR公开数据集作为实验数据集,并对数据集训练样本进行数据增强,在增强数据集上对ViT模型进行训练,以在验证集上获得较低的误差和较高的识别率并使网络收敛。使用训练好的ViT模型对SAR图像测试样本进行分类测试,结果显示ViT模型对于SAR图像分类有着高准确率和良好的泛化能力,基于自注意力深度学习方法在SAR图像自动化处理领域具有广阔的应用前景。     

基于空间和通道注意力机制的目标跟踪方法

目标跟踪是计算机视觉中重要的研究领域之一,大多跟踪算法不能有效学习适合于跟踪场景的特征限制了跟踪算法性能的提升.该文提出了一种基于空间和通道注意力机制的目标跟踪算法(CNNSCAM).该方法包括离线训练的表观模型和自适应更新的分类器层.在离线训练时,引入空间和通道注意力机制模块对原始特征进行重新标定,分别获得空间和通道...     

基于空间和通道注意力机制的目标跟踪方法

目标跟踪是计算机视觉中重要的研究领域之一,大多跟踪算法不能有效学习适合于跟踪场景的特征限制了跟踪算法性能的提升.该文提出了一种基于空间和通道注意力机制的目标跟踪算法(CNNSCAM).该方法包括离线训练的表观模型和自适应更新的分类器层.在离线训练时,引入空间和通道注意力机制模块对原始特征进行重新标定,分别获得空间和通道权重,通过将权重归一化后加权到对应的原始特征上,以此挑选关键特征.在线跟踪时,首先训练全连接层和分类器层的网络参数,以及边界框回归.其次根据设定的阈值采集样本,每次迭代都选择分类器得分最高的负样本来微调网络层参数.在OTB2015数据集上的实验结果表明:相比其他主流的跟踪算法,该文所提算法获得了更好的跟踪精度,重叠成功率和误差成功率分别为67.6％,91.2％.     

基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法

针对多源遥感图像的差异性和互补性问题,该文提出一种基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法。首先利用卷积神经网络分别进行光学图像和SAR图像的特征提取,设计空间注意力和光谱注意力组成的注意力模块分析特征重要程度,生成不同特征的权重进行特征融合增强,同时减弱对无效信息的关注,从而提高光学和SAR图像融合分类精度。通过在两组光学和SAR图像数据集上进行对比实验,结果表明所提方法取得更高的融合分类精度。     

基于多尺度特征选择性融合的遥感图像检测算法北大核心CSCD

遥感图像的检测在监察自然环境、军事、国土安全等方面具有极其广阔的应用前景,而遥感图像具有背景复杂、目标面积小、特征提取困难等缺点,进行检测时容易产生小目标漏检问题。本文提出一种基于多尺度特征选择性融合的遥感图像检测算法。所提算法采用改进的Resnet50作为主干网络,将Resnet50第一个卷积替换成动态卷积,并将其ConvBlock模块中的卷积替换成金字塔卷积,提高特征提取能力。同时,为了避免遗漏底层信息,在动态卷积层后加入所提有效空间通道注意力机制模块。最后,选取基于上下文信息的不同尺度特征进行融合,提高了模型对目标物体的定位能力。实验结果表明,本文算法在保证速度的同时提高了对遥感图像的检测精度,在遥感图像公开数据集RSOD和NWPUVHR-10上平均精度均值(mean average precision,mAP)分别达到91.88%和90.23%,检测速度达到33 FPS。     

基于高度有效驱动注意力与多层级特征融合的城市街景语义分割北大核心CSCD

针对DeepLabv3+网络在进行城市街景图像分割任务时,没有充分利用到网络中多层级特征信息,导致分割结果存在大目标有孔洞、边缘目标分割不够精细等不足;并且考虑到城市街景数据具有天然的空间位置特殊性,本文提出在DeepLabv3+网络的基础上引入高度有效驱动注意力机制(height-driven efficient attention model,HEAM)与多层级特征融合模块(multi-stage feature fusion model,MFFM),将HEAM嵌入特征提取网络与空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)结构中,使其对目标关注更多垂直方向上的空间位置信息;MFFM通过融合多层特征图,在网络中形成多条融合支路依次连接到网络解码端,采用逐次上采样提高解码时像素上的连续性。将改进的网络通过CamVid城市街景数据集验证测试,实验结果表明,该网络能有效改善DeepLabv3+的不足,并且合理运用了数据集的位置先验性,增强了分割效果,在CamVid测试集上平均交并比(mean intersection over union,MIoU)达到了68.2%。     

适于多尺度宫颈癌细胞检测的改进算法北大核心CSCD

深度学习技术因其强大的特征提取能力而被广泛应用于目标检测任务中。针对多尺度宫颈癌细胞的识别准确率不均衡、检测效率低等问题,本文提出一种基于YOLO v3模型的改进识别算法mo-YOLO v3(mini-object-YOLO v3)。选用20倍数字扫描仪下采集的宫颈细胞图像作为数据集,为提高算法的鲁棒性,引入对比度增强、灰度图、旋转和翻转等多种数据增强策略扩充数据集;模型以Darknet53网络结合注意力机制作为主干模块,针对宫颈癌细胞尺寸差异大的特点,提出一种多尺度特征融合算法来优化模型结构;针对小目标检测精度低的问题,提出一种改进的损失函数,采用相对位置信息的方法减弱物体框对检测结果的影响。测试结果表明,本文所提的mo-YOLO v3模型不仅在总体识别精度上有明显的优势,同时大大提高了小尺寸宫颈癌细胞的定位精度。该模型对宫颈癌细胞识别的准确率达到90.42%,查准率达到96.20%,查全率达到93.77%,相似指数ZSI为94.97%,高于同类算法。     

融合通道互联空间注意力的Siamese网络跟踪算法

基于Siamese网络的跟踪算法在跟踪精度和速度方面展现出巨大的潜力,然而要使离线训练的模型适应在线跟踪仍然面临着挑战。为了提升复杂场景下算法的特征提取以及判别能力,提出了一种融合通道-互联-空间注意力的Siamese网络实时跟踪算法。首先构建以深度卷积网络VGG-Net-16作为主干网络的Siamese跟踪框架,增加特征提取能力;接着设计通道-互联-空间注意力模块,增强模型的适应能力与判别能力;然后加权融合多层响应图,获取更精准的跟踪结果;最后使用大规模数据集对网络进行端到端的训练,在通用数据集OTB-2015上进行跟踪测试。实验结果表明:与当前主流算法相比,所提算法具有较强的稳健性,能更好地适应目标外观变化、相似物干扰、目标遮挡等复杂场景,在NVIDIA RTX 2060 GPU上,跟踪速度平均达到37FPS,满足实时性要求。     

基于多尺度融合注意力机制的人脸表情识别研究

针对传统卷积神经网络在表情特征提取阶段容易丢失大量有用信息,无法提取到高判别性表情特征,从而导致表情识别率低的问题,提出一种基于多尺度特征融合注意力机制的人脸表情识别方法.首先,采用VGGNet16来提取卷积特征.为了避免表情特征信息的丢失,将网络中不同层次卷积层的输出特征图进行多尺度特征融合,引入上下文信息的同时提取...     

融合灰度与显著性特征的空中红外目标跟踪

针对红外目标特征简单且信息量少导致跟踪精度不高,提出一种基于灰度和显著性特征融合的核相关滤波算法用于空中红外目标跟踪。首先,在保证目标足够特征信息量的前提下对较大的目标进行不同等级压缩。然后将提取的二维灰度特征与显著性特征按页方式进行拼接扩展成三维特征,再将融合的特征用于核相关滤波。实验表明所提算法能够适应多种环境下的空中红外目标跟踪,跟踪精度和成功率典型值分别达到84.8%和63.9%,较大部分算法有很大提高,平均跟踪速度高达125 f/s,体现出了良好的实时性。因此,本文提出的算法在保证实时性的同时提高了跟踪的可靠性,具有一定的实用意义。     

基于多特征融合相关滤波的红外目标跟踪

针对红外目标分辨率低、对比度差、信噪比低、纹理信息缺失等特点,提出一种融合多特征的红外目标跟踪算法。利用背景感知相关滤波器生成大量真实样本,对红外目标提取HOG特征和运动特征,通过线性求和方式进行特征融合,更好地发挥各自特征优势,实现对红外目标运动的精准跟踪。另外,提出使用空间加权窗代替传统相关滤波器中的余弦窗,可以更加突出目标的中心位置,同时也能很好地抑制边缘效应。采用VOT-TIR 2016数据集对算法性能进行评估,同时和15种流行算法进行比较。结果表明,本文算法在精确度和成功率上的得分分别为0.751和0.697,在精确度和成功率指标方面分别提高了8.8%和15.4%,具有一定的研究价值。     

基于VGG网络的双波段图像融合方法

针对红外与可见光图像中物体信息具有各自优点的情况,提出了基于VGG网络的红外与可见光图像融合方法来提高对夜间或复杂背景情况下的物体检测识别能力。首先将图像分别输入到一个经过训练得到的VGG网络中,经过不同的卷积层提取各自的特征图;然后将特征图经过ZCA白化处理,去除冗余信息;再通过归一化处理,将特征图的维度降到二维,并通过双三次插值法将其缩放到与源图像尺寸一致;最后通过加权取平均得到融合后的图像。实验结果表明,本文的方法在第四和第五层卷积得到的融合结果优于前三层的融合结果。同时,本文融合方法与其他3种融合方法相比视觉效果较好,在标准差、平均梯度、相关系数、熵值等评价指标上分别平均提升了12.79 %、11.04 %、9.94 %和2.54 %,并且在融合时间上保持在1秒以内。这说明该方法融合效果较好,速度较快,能够较多地保留红外与可见光图像信息和较好地提升目标的显著性。     

基于图像融合的双波段目标跟踪算法研究

针对红外和可见光图像各自的特点以及单一传感器在目标跟踪中的缺陷,提出了基于双波段融合图像的目标跟踪算法。该方法对原始图像进行小波分解后,为了满足目标跟踪的稳定性及实时性,重点考虑目标跟踪时需要的边缘等细节信息,采用对低频系数取零,高频系数基于小波系数绝对值取大的融合方法,然后对融合后的图像采用基于Mean shift算法进行目标跟踪。实验结果表明,此算法可以稳定并且实时跟踪目标,通过对单波段采用相同的跟踪算法进行比较,算法在性能上优于单波段的目标跟踪。     

基于深度降噪自编码器的多特征目标融合跟踪算法

针对在目标遮挡、光线变化、目标模糊等情况下的目标跟踪算法抗干扰能力较差的问题,提出了一种基于深度降噪自动编码器的多特征目标融合跟踪算法。该方法首先引入稳像和图像去雾算法以改善训练集数据和测试集数据的质量;再构建多特征深度降噪自动编码网络,基于深度神经网络的强大学习能力提取目标的颜色特征和均匀模式纹理特征;将两种特征加权融合输入到逻辑回归分类器,获得置信分数,更有效地区分目标和背景。最后,采用粒子滤波算法对目标进行跟踪。实验结果表明,该方法能够更准确地对存在目标遮挡、光线变化、目标模糊等干扰问题的视频进行跟踪。与传统方法相比,该方法成功率在上述三个方面平均分别提升33.73%、9.73%和12.80%;与近年流行算法相比,该方法成功率平均达到90.16%,实时性平均达到49.37 fps。     

在线特征融合的均值移位红外目标跟踪

提出了一种改进的均值移位红外目标跟踪算法.首先,针对红外图像低信噪比的特点,采用局部灰度均值特征及局部标准差特征用于目标建模.其次,针对目标低对比度的特点,以目标与局部背景的特征似然比作为核直方图的权值,建立了新的特征表征模型,并将两种特征模型进行线性融合,得到最终的目标表征模型,其中的融合系数由特征似然图对比度自适应确定.最后,在均值移位框架下推导了该模型梯度匹配过程中移位向量的表达形式.同时,基于帧间综合对比度的变化建立了复杂背景条件下的模型更新判别准则.通过基于实测数据的红外目标跟踪实验验证了该算法的可行性.     

DSiamMFT: An RGB-T fusion tracking method via dynamic Siamese networks using multi-layer feature fusion

The task of object tracking is very important since its various applications. However, most object tracking methods are based on visible images, which may fail when visible images are unreliable, for example when the illumination conditions are poor. To address this issue, in this paper a fusion tracking method which combines information from RGB and thermal infrared images (RGB-T) is presented based on the fact that infrared images reveal thermal radiation of objects thus providing complementary features. Particularly, a fusion tracking method based on dynamic Siamese networks with multi-layer fusion, termed as DSiamMFT, is proposed. Visible and infrared images are firstly processed by two dynamic Siamese Networks, namely visible and infrared network, respectively. Then, multi-layer feature fusion is performed to adaptively integrate multi-level deep features between visible and infrared networks. Response maps produced from different fused layer features are then combined through an elementwise fusion approach to produce the final response map, based on which the target can be located. Extensive experiments on large datasets with various challenging scenarios have been conducted. The results demonstrate that the proposed method shows very competitive performance against the-state-of-art RGB-T trackers. The proposed approach also improves tracking performance significantly compared to methods based on images of single modality.     

一种基于多特征自适应融合的运动目标跟踪算法

针对复杂背景下的运动目标跟踪问题,提出了一种基于多特征自适应融合的运动目标跟踪算法。通过构建目标与背景的图像特征分布方差的比值函数来衡量目标与背景间的区分度,采用各特征的区分度对特征集进行线性加权自适应表示运动目标并集成在基于核的跟踪方法中。为了克服模板更新过程中的漂移,通过计算前后相邻两帧间目标模型的相似度函数,对跟踪模板进行自适应更新。基于生物视觉认知理论,目标的颜色、边缘特征以及纹理特征被用来实现基于多特征自适应融合的运动目标跟踪算法。仿真实验表明:采用本文算法能有效地对复杂背景下的运动目标进行跟踪。     

基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。