基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...     

基于多尺度特征和反向注意力的肝脏肿瘤自动分割方法

肝脏肿瘤分割旨在定位肝脏肿瘤区域,以辅助医生进行精准诊治。鉴于深度学习能自动学习医学图像中复杂的特征和结构,已成为肝脏肿瘤分割的主流方法之一。但肝脏肿瘤的大小、形态存在显著差异及边缘模糊等问题,限制了深度学习模型的分割性能。基于此,该文提出了一种融合多尺度特征和反向注意力机制的深度网络,并用于肝脏肿瘤的自动分割。具体地,基于U-Net模型的框架,分别设计了多尺度特征提取模块和基于深度监督的反向注意力模块,使得网络能根据分割目标的大小自适应地选择不同尺度的特征,并引导网络关注分割目标的边缘特征,进而提高网络的边缘分割能力。此外,设计了一种新的混合损失,以解决医学图像分割中的类别不平衡问题。最后,在MICCAI2017 LiTS挑战赛数据集的数值实验结果表明,所提方法的Dice系数、平均对称表面距离ASSD分别为76.12%和3.25 mm。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

基于多尺度与混合注意力机制的苹果目标检测

自然环境下,苹果采摘机器人进行采摘任务时易受到环境因素的影响,导致其视觉系统的检测性能降低,出现误检和漏检的情况.针对此问题,在YOLOv3的基础上,提出了一种基于多尺度与混合注意力机制的目标检测模型PM-YOLOv3.首先,改进YOLOv3的特征提取网络,减少网络残差模块的数量,引入多尺度卷积,构建新的特征提取网络;...     

基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

一种融合多尺度特征的多物体检测方法

在图像识别与计算机视觉领域,物体检测是研究热点,提出了一种融合多尺度特征的多物体检测方法,基于卷积神经网络在多尺度特征下提取物体的候选区域,然后将不同尺度下的特征进行融合,使多物体检测中出现的小物体被漏检的概率降低.最后采用基于中心点的非极大值抑制方法,计算检测窗口的中心点的欧式距离和iou来抑制冗余的窗口,从而提升多物体检测的精度.将提出的方法在PASCAL VOC数据集上进行验证,实验证明所提的方法能有效提高多物体检测的精确度.     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

基于多尺度融合和特征对齐的实时高精度交通标志检测与识别

高精度的实时交通标志检测和识别对安全自动驾驶和智能交通系统至关重要。本研究对基线网络YOLOV4进行了升级,增加了多尺度融合模块和注意力机制模块（AMM）,丰富了不同尺度交通标志的特征表示。同时,颈部网络结合了特征选择模块和特征对齐模块,增强了高、低层特征图之间像素偏移的语义判别。具体地说,针对AMM,设计了一种转置的自注意力操作。其使用互协方差矩阵将令牌维度上的操作转换为通道维度,将时间复杂度从O(n2)降低到O(n)。在TT100K交通标志数据集上的实验结果表明,与基线网络（mAP@0.5=76.4%）相比,升级后的网络（mAP@0.5=83.4%）取得了较好的改进,检测和识别速度可达39.45帧/秒,达到了目前最先进的水平。     

基于多尺度特征融合的中分辨率遥感场景分类算法

在对中分辨率遥感图像进行场景分类时,传统的特征提取方法无法提取全面的特征,若使用卷积神经网络进行场景分类,同一大小的卷积核无法提取尺寸大小各异的地物特征,导致分类精度降低.为了提取不同尺寸的地物特征,提高分类精度,本文提出一种基于多尺度特征融合的中分辨率遥感场景分类算法.对传统的卷积神经网络进行改进以适应中分辨率遥感数据集,并在其基础上添加多尺度池化,将连接多层次的特征图谱输入到全连接层进行分类.实验表明,多层特征融合方法提取的特征信息比单层多尺度池化方法提取的特征信息更全面,分类效果更优.与其他的传统分类方法相比,本文方法获得更好的分类结果.     

结合特征融合和金字塔注意力的场景文本检测

基于深度学习的场景文本检测普遍缺少特征级的精细化,导致原本设计良好的模型不能被充分利用,提出将特征融合和特征金字塔注意力模块应用到场景文本检测.将基本特征提取网络(PixelLink算法)得到的4个特征映射层以采样后加权叠加的方式进行特征融合,并将结果送给特征金字塔注意力模块.特征融合使各层级的特征信息相结合,从而增加...     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与四个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

多尺度积角点检测和视觉颜色特征的鲁棒车牌定位算法

车牌图像包含的尺度、仿射变化及其复杂的背景是影响车牌定位准确度的重要因素。在高斯差（DOG）尺度空间框架下,笔者提出了一种基于多尺度乘积的角点特征和视觉颜色特征提取及其相融合的车牌定位算法。基于高斯差尺度空间的图像边缘信息,应用多尺度乘积分别提取具有尺度和仿射不变特性的角点和颜色特征,并在两特征融合结果基础上确定车牌位置候选区域;最后通过车牌区域特征点之间的距离及密集关系实现车牌的准确定位。对大量实拍的复杂环境下的车辆图像进行测试表明,该算法对车牌定位具有快速、高效的定位效果,且在噪声、仿射变换等方面的鲁棒性表现较好。     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

基于多尺度相关性的异常网络流量的检测与定位

在相关分析原理基础上,建立网络观测系统的模型,确定了网络流量的相关性特征,然后将多尺度相关分析方法引入系统检测中,提出了一种流量异常检测与定位方法。实验表明,与残差相关分析方法相比较,克服了干扰过多或者丢失信号细节成分两种不同性质的错误,该方法适合于突变信号的处理。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。