基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。     

基于改进注意力机制的图像描述算法

图像描述的任务是根据输入图像自动生成描述该图像的语句,属于计算机视觉与自然语言处理的交叉领域.针对传统注意力机制提取特征能力不足、模型复杂且训练困难等问题,本文提出了一种改进注意力机制的图像描述模型.在传统注意力机制的基础上引入高效通道注意模块,在提升特征提取效果的同时降低模型复杂度,在保证性能的同时提高模型效率,更好...     

基于多层级视觉融合的图像描述模型

传统方法在视觉策略网络中只关注实体,不能够推理出实体和属性之间的联系,在语言策略网络存在暴露偏差和误差累计问题.为此,提出了一个基于强化学习的多层级视觉融合网络模型.在视觉策略网络中通过多层级神经网络模块将视觉特征转化为视觉知识的特征集.融合网络生成使描述语句更加流畅的虚词,用于视觉策略网络和语言策略网络的互动.在语言...     

图像与问题双引导注意力机制视觉问答算法

针对视觉问答任务中问题特征与图像特征缺乏交互推理关系的问题,提出了图像与问题双引导注意力机制视觉问答算法.模型结构主要由问题特征注意力模块、图像特征注意力模块、问题与图像双引导注意力模块、特征融合模块4部分构成.该算法先针对问题特征和图像特征分别使用自我注意力机制实现特征的自我加强,然后引入图像与问题双引导注意力机制,...     

基于鲁棒视觉变换和多注意力的全景图像显著性检测

针对当前全景图像显著性检测方法存在检测精度偏低、模型收敛速度慢和计算量大等问题,该文提出一种基于鲁棒视觉变换和多注意力的U型网络(URMNet)模型。该模型使用球形卷积提取全景图像的多尺度特征,减轻了全景图像经等矩形投影后的失真。使用鲁棒视觉变换模块提取4种尺度特征图所包含的显著信息,采用卷积嵌入的方式降低特征图的分辨率,增强模型的鲁棒性。使用多注意力模块,根据空间注意力与通道注意力间的关系,有选择地融合多维度注意力。最后逐步融合多层特征,形成全景图像显著图。纬度加权损失函数使该文模型具有更快的收敛速度。在两个公开数据集上的实验表明,该文所提模型因使用了鲁棒视觉变换模块和多注意力模块,其性能优于其他6种先进方法,能进一步提高全景图像显著性检测精度。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于图像描述算法的离线盲人视觉辅助系统

针对现有盲人视觉辅助设备存在的不便,探讨了基于模型剪枝的图像描述模型在便携式移动设备上运行的方法。回顾了图像描述模型和剪枝模型技术,重点提出了一种针对图像描述模型的改进剪枝算法。结果表明,在保证准确性的前提下,剪枝后的图像描述模型可以大幅降低工作时的处理时间和消耗的电源容量,能够随时随地快速准确地对环境信息进行描述及语音播报。     

基于问题增强的问题引导图像视觉问答算法

为解决视觉问答(Visual Question Answering,VQA)算法中问题与图像缺乏推理关系的难题,提出了增强问题有用信息的问题引导图像注意力机制(Question Guide Image Attention,QGIA)视觉问答算法.该算法在问题特征提取过程中对关键词进行筛选,加强对问题有效信息的关注,实现...     

基于视觉注意的遥感图像分析方法

该文根据人类视觉系统的生理结构与认知特点,提出了一个基于自底向上视觉注意的遥感图像分析模型,并在此基础上开发出了一种新的遥感图像分析方法。该方法在一定程度上具备了类似于人类视觉系统的选择性加工能力。将其应用于多种类型的真实遥感图像,获得了较为满意的实验结果。     

基于卷积神经网络和注意力机制的图像检索

当前先进的图像检索方法中,存在着不能很好地分辨图像中不同区域和内容的重要性的问题,导致计算资源分配不合理、检索正确率较低等一系列结果.为了解决这些问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)和注意力机制的图像检索方法.首先使用卷积神经网络提取特征,然后使用注意力机...     

基于注意力机制的多分支特征级联图像去雨网络

针对已有去雨网络在不同环境中去雨不彻底和图像细节信息损失严重的问题,本文提出一种基于注意力机制的多分支特征级联图像去雨网络。该模型结合多种注意力机制,形成不同类型的多分支网络,将图像空间细节和上下文特征信息在整体网络中自下而上地进行传递并级联融合,同时在网络分支间构建的阶段注意融合机制,可以减少特征提取过程中图像信息的损失,更大限度地保留特征信息,使图像去雨任务更加高效。实验结果表明,本文算法的客观评价指标优于其他对比算法,主观视觉效果得以有效提升,去雨能力更强,准确性更加突出,能够去除不同密度的雨纹,并且能够更好地保留图像背景中的细节信息。     

基于空间注意力的图像分类网络研究

针对以往的图像分类方法利用手工提取的特征（或通过神经网络提取的特征）、空间信息关注不足等问题,文章提出一种基于空间注意力的图像分类网络。该网络利用空间注意力模块,对深度网络提取的视觉特征进行空间约束。利用特征的空间信息,使得网络能够对特征在空间上的重要性加以区分,从而使其更具判别性。采用CIFAR-10和CIFAR-100测试集分别进行测试,测试结果表明,该文提出的图像分类网络的图像分类效果明显优于其他深度学习方法。     

计算机提取图像区域特征的描述和测量

我们常用计算机对图像进行分割,来实现图像特征的提取和描述,提取效果的好坏直接影响我们对图像的识别,那么我们该如何正确的实现计算机图像区域特征的描述呢?图像测量技术就是通过各种器械获取物体的真实图像,然后在计算机中对物体的形状以及几何尺寸进行精确测量,这种技术在对精密器件以及航空遥感测量等领域有着突出的成效,那么我们又该如何进行图像测量呢?     

基于注意力特征融合的视觉问答模型

随着深度学习的兴起和不断发展,视觉问答领域的研究取得了显著进展,当前较多视觉问答模型通过引入注意力机制和相关迭代操作来提取图像区域与高频疑问词对的相关性,但在获取图像与问题的空间语义关联方面的有效性较低,从而影响答案的准确性.为此,提出一种基于MobileNetV3网络及注意力特征融合的视觉问答模型,首先,为优化图像特...     

融合空间注意力机制的图像语义描述算法

图像语义描述模型通常采用编码器-解码器方式实现图像语义描述,模型存在对图像特征利用不充分,图像目标的位置信息提取不足等问题.针对此问题,提出在编码器部分融合注意力机制的图像语义描述算法,通过解码器上下文信息对不同图像特征的注意力权重分配,从而提高图像语义描述的表达能力.并在Flickr30k和MSCOCO数据集上进行了...     

基于联合注意力的渐进式遥感图像融合

为发挥遥感图像在国防军事、公共安全、环境监测等领域的重要作用,如何融合已配准的高分辨率全色图像与低分辨率多光谱图像的互补信息成为当前研究的重点。尽管近年来全色锐化方法已取得较大进步,但大多数方法仍受到以下限制:一方面,利用Wald协议退化生成不同尺寸图像时会造成信息损失;另一方面,受到网络结构和单一注意力的限制,无法同时利用全局和局部特征。为解决以上问题,本文提出了基于联合注意力的渐进式网络(Pan-sharpening based onmulti-attention progressive network),称为MAPNet。在该网络中,首先采用多阶段训练以减小尺寸变化带来的光谱和细节损失。其次设计联合注意力模块,将自注意力、空间注意力和通道注意力结合,实现对全局特征和局部特征、空间特征和通道特征的多模态分析,进一步提高MAPNet对纹理细节的保留能力。在高分二号卫星上进行大量对比实验和消融实验,定性和定量结果表明,本文方法融合效果优于其他10种方法,能够改善光谱失真和细节纹理丢失等问题。     

融合注意力机制的遥感图像旋转目标检测算法

针对光学遥感图像目标检测中存在的精度低及忽略目标方向性的问题,提出了一种基于改进YOLOv5m的遥感图像旋转目标检测算法。首先,融合注意力机制模块提升模型对重要特征的提取能力;其次,在特征融合模块部分考虑各节点特征融合的贡献度,并增加同一特征尺度的跳跃连接;最后,针对旋转检测中存在的角度边界问题,使用密集编码标签对角度进行离散化处理。实验结果表明,所提算法在DOTA数据集子集上的检测精度达到了82.75%,在小幅降低模型计算量的情况下,较原有YOLOv5m提升了11.73个百分点,同时在HRSC2016舰船数据集上也取得了88.89%的检测精度。即该算法能有效提升光学遥感图像旋转检测的精度。     

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。