基于注意力编码的轻量化语义分割网络

为了解决自注意力机制的注意力图计算复杂度高、内存占用大等问题,同时提高语义分割网络的性能,提出了一种基于注意力编码的轻量化网络.该网络用自适应位置注意力模块和全局注意力上采样模块分别对长距离语义依赖关系进行编码和解码,在计算注意力图时先用自适应位置注意力模块排除无用的基组,再获取上下文信息;全局注意力上采样模块用全局上...     

基于区域自我注意力的实时语义分割网络

高精度的语义分割结果往往依赖于丰富的空间语义信息与细节信息,但这两者的计算量均较大.为了解决该问题,通过分析图像局部像素具有的相似性,提出了一种基于区域自我注意力的实时语义分割网络.该网络可分别通过一个区域级的自我注意力模块和一个局部交互通道注意力模块计算出特征信息的区域级关联性和通道注意力信息,然后以较少的计算量获取...     

融合自监督和自注意力的输电线语义分割网络

要解决无人机在空中飞行过程中遭遇输电线时存在的避障难的问题,关键之一是要解决对输电线的语义分割中存在的长距离图像分割不连续的问题.为此,提出了一种添加自注意力模块来改进U-Net的语义分割算法,用于输电线的语义分割.通过自注意力模块提取U-Net不同尺度上的全局特征,提高对跨越全局的输电线特征的捕捉能力.为进一步优化训练过程,提出最大池化标签下采样,增强对不平衡类别输电线的学习能力;提出卷积神经网络图像掩码建模自监督预训练,提高预训练权重的质量.此外,为在大规模的输电线数据集上进行验证,对TTPLA输电线输电塔数据集实例分割标签进行处理,制作了TTPLA输电线语义分割数据集.实验表明,改进的网络通过捕捉全局特征的自注意力机制、优化的深度监督过程和自监督预训练,对比原版U-Net具有更高的分割精度.在TTPLA输电线语义分割数据集的测试中,与原版U-Net相比,其IoU指标提高了2.32%,达到了71.45%.证明算法增强了图像中长距离输电线语义特征之间的联系,提高了输电线语义分割的完整性,提升了无人机的避障能力.     

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中,往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征,尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡,但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面,算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意,为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构,先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支,然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理,也能在Cityspaces数据集上展现出优良的准确率,测试集的分割精度达到了72.2%。     

用于点云语义分割的深度图注意力卷积网络

相比于卷积神经网络,图卷积网络更适合处理不规则的点云数据,但其存在网络层数受限以及固定的标准化聚集方式影响点云语义分割结果的问题.针对这些问题,提出一种用于点云语义分割的深度图注意力卷积网络.该网络通过残差连接来加深图卷积网络层数,可以有效解决网络过深所导致的梯度消失和网络退化的问题,采用注意力机制可以使网络有选择地关...     

面向图像语义分割任务的多级注意力蒸馏学习

传统的蒸馏学习仅通过大网络对轻量网络进行单向蒸馏,不但难以从轻量网络的学习状态中得到反馈信息,对训练过程进行优化调整,同时还会限制轻量网络的特征表达能力.本文提出结合自身多级注意力上下文信息进行自我学习优化的方法(MAD,Multi Attention Distillation),以自监督的方式使自身成熟的部分约束不成...     

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

基于特征累积的语义分割网络设计

语义分割是一种像素到像素的图像分类任务。而现有方法在处理此类问题时,往往忽略了不同图像之间类别分布的相似性。因此,该文提出了一种基于特征累积的语义分割网络,能够在训练的过程中,使用动量累积的方式,根据每张图像上不同的类别特征,拟合整个数据集的特征分布。除此之外,为了适应通用数据集中复杂的自然环境,该网络尝试对同一类别的特征聚类进行更深层次的划分,并且取得了较好的效果。与同样使用特征通道信息的OCRNet相比,使用ResNet作为骨干网络的情况下,该模型在Pascal Context数据集上平均交并比（mIoU）和平均准确度（mAcc）分别可以提升0.34%和0.64%;实验证明了这一优势在不同数据集、不同骨干网络中同样存在。     

基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

Attention Guided Enhancement Network for Weakly Supervised Semantic Segmentation

Weakly supervised semantic segmentation using only image-level labels is critical since it alleviates the need for expensive pixel-level labels. Most cuttingedge methods adopt two-step solutions that learn to produce pseudo-ground-truth using only image-level labels and then train off-the-shelf fully supervised semantic segmentation network with these pseudo labels. Although these methods have made significant progress, they also increase the complexity of the model and training. In this paper, ...     

语义分割网络下的混合信号频谱分离

单通道接收机下,多个时频混合信号的分离属于非稀疏欠定信号分离问题,难以求解。针对这类非稀疏欠定信号分离问题,提出了一种基于语义分割网络、从频域实现多个指定类别信号分离的新方法。利用语义分割网络提取信号的频域分布特征,克服了单通道接收机下信号先验信息过少的问题。仿真表明,该方法具有较高的分离精度,且响应时间短,可用于单通道接收机中时频混叠信号的分离。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

Dilated Convolutional Pixels Affinity Network for Weakly Supervised Semantic Segmentation

This paper studies semantic segmentation primarily under image-level weak-supervision. Most state-of-the-art technologies have recently used deep classifica-tio...     

消除语义网络中分词歧义方法研究

针对计算机语义网络中交集型和组合型词汇岐义的问题,通过分析了传统分词方法中存在的缺陷,提出基于最大概率计算的自动分词歧义方法.运用上下文语义相关度对产生歧义的词汇进行有效修正,重新计算切分候选词所产生的有效"费用",运用最大概率计算法对产生歧义的词汇进行关联程度概率计算,克服传统分词方法的弊端.成功地解决交集型岐义、连环交集型岐义、组合型岐义、混合型岐义切分问题,消除语义网络中的交集型和组合型词汇岐义的影响,取得了不错的效果.     

Convolutional Neural Network for the Semantic Segmentation of Remote Sensing Images

Mobile Networks and Applications - In recent years, the success of deep learning in natural scene image processing boosted its application in the analysis of remote sensing images. In this paper,...     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于卷积神经网络的多任务图像语义分割

传统分割方法只能对目标物体进行像素及语义信息解读并不能确定出目标的相对位置信息,另外室内环境复杂、光线不均匀、物体尺度较多且差异较大,尤其是对于小目标的分割效果不好。提出了基于全卷积神经网络的多任务语义分割算法,通过在检测框架添加用于预测与现有分支并行的对象像素级分割,实现了图像像素分割与目标物体检测相结合的多任务分割技术。加入RoI Align方法去除了量化操作,使原图中的像素和特征图中的像素完全对齐,消除了像素偏差、提高了精度,改进的梯度优化算法加速了模型收敛。通过mAP指标评估算法在公共数据集和实际应用场景中的有效性和广泛性,实验结果证明该方法的准确率明显高于传统的单任务分割算法。     

基于局部注意力机制的三维牙齿模型分割网络

从三维牙齿模型中准确分割出牙齿部分是正畸计算机辅助诊疗的基础.由于现有的三维模型分割网络对局部特征建模方式相对简单,这些方法无法有效提取牙齿边缘区域更细节的局部特征信息,进而导致这些区域出现牙齿多分、漏分等情况.本文提出一种基于局部注意力机制的三维牙齿模型分割网络以提高牙齿边缘区域的分割性能.首先,对原始牙齿模型中的三...     

基于DeepLabV3+与注意力机制相结合的图像语义分割

基于DeepLabV3+进行图像分割时,在特征提取阶段忽略了不同级别的特征图中存在的特征重要程度不同,丢失了大量的细节信息,致使分割效果不佳.针对该问题,提出了一种基于DeepLabV3+与注意力机制相结合的图像语义分割算法.在骨干网络Xception模型中提取两条低级特征作为解码器的输入特征,提高特征提取的准确性;采...