基于区域自我注意力的实时语义分割网络

高精度的语义分割结果往往依赖于丰富的空间语义信息与细节信息,但这两者的计算量均较大.为了解决该问题,通过分析图像局部像素具有的相似性,提出了一种基于区域自我注意力的实时语义分割网络.该网络可分别通过一个区域级的自我注意力模块和一个局部交互通道注意力模块计算出特征信息的区域级关联性和通道注意力信息,然后以较少的计算量获取...     

基于卷积神经网络的图像语义分割技术

本文阐述了卷积神经网络的基本概念,并基于此引出全卷积神经网络和带孔卷积等卷积神经网络,对其含义、优缺点及其在图像语义分割中的应用进行了进一步的介绍和总结。本文阐述了卷积神经网络的基本概念,并基于此引出全卷积神经网络和带孔卷积等卷积神经网络,对其含义、优缺点及其在图像语义分割中的应用进行了进一步的介绍和总结。     

基于数据上采样的医学图像分割研究

医学图像分割领域对图像分割算法的精度和执行速度提出了很高的要求.目前在主流计算机视觉领域,医学图像分割所使用的语义分割网络大多是基于编码-解码结构及其改进算法.解码模块的最后一层通常使用一个双线性上采样结构来恢复特征图的分辨率,这种过于简单的上采样结构可能会导致分割的效果并不理想.基于此,提出了一种基于输入数据的上采样...     

基于语义分割和卷积神经网络的数显表识别算法研究

针对传统数显表读数识别算法适用性差、抗噪能力弱等问题,提出了一种适用于小数据集的基于语义分割和卷积神经网络（CNN）的数显表读数识别算法。该算法通过融合残差网络的U-net实现数字区域定位,利用卷积神经网络实现数字识别。采用mnist数据集预训练模型,使用真实表盘数字图片进行微调,建立适用于多种类、有背景噪声条件下的数显表识别模型。利用家用水表图片构建的测试数据集对算法进行验证。实验结果表明,数字区域定位分割结果的平均IoU为99.76%,160张水表读数识别准确率为100%,单张图片识别用时350.59 ms,满足工程应用需求。     

基于卷积神经网络的多任务图像语义分割

传统分割方法只能对目标物体进行像素及语义信息解读并不能确定出目标的相对位置信息,另外室内环境复杂、光线不均匀、物体尺度较多且差异较大,尤其是对于小目标的分割效果不好。提出了基于全卷积神经网络的多任务语义分割算法,通过在检测框架添加用于预测与现有分支并行的对象像素级分割,实现了图像像素分割与目标物体检测相结合的多任务分割技术。加入RoI Align方法去除了量化操作,使原图中的像素和特征图中的像素完全对齐,消除了像素偏差、提高了精度,改进的梯度优化算法加速了模型收敛。通过mAP指标评估算法在公共数据集和实际应用场景中的有效性和广泛性,实验结果证明该方法的准确率明显高于传统的单任务分割算法。     

深度卷积神经网络语义分割综述

得益于深度卷积神经网络在特征提取和语义理解的强大能力,基于深度神经网络的语义分割技术逐渐成为计算机视觉研究的热点课题.在无人驾驶、医学图像,甚至是虚拟交互、增强现实等领域都需要精确高效的语义分割技术.语义分割从图像像素级理解出发,为每个像素分配单独的类别标签.针对基于深度神经网络的语义分割技术,根据技术特性的差异,从编码-解码架构、多尺度目标融合、卷积优化、注意力机制、传统-深度结合、策略融合方面展开,对现有模型的优缺点进行梳理和分析,并当前主流语义分割方法在公共数据集实验结果进行对比,总结了该领域当前面临的挑战以及对未来研究方向的展望.     

基于空洞卷积的语义图像分割算法研究

图像语义分割是通过对图像中每个像素点分类别地进行标记,使机器能够自动识别并分割出图像中的不同内容。目前全卷积网络进行图像语义分割时,池化层使感受野增大,造成图像空间尺度信息丢失。使用空洞卷积神经网络对图像语义进行分割,能够消除池化层带来的减小图像尺寸问题,保持图像空间维度信息。文章对密集特征提取以及空间金字塔池化模块进行了优化,提出了一种新的语义分割网络。文章基于PASCAL VOC 2012数据集进行算法有效性的验证,相比于之前的算法分割准确性高11.4%。     

基于稀疏卷积和注意力机制的点云语义分割方法

近年来,三维点云语义分割方法取得了很大的进展,代表性的方法为基于稀疏卷积的方法,但是稀疏卷积会带来全局上下文信息丢失的问题。基于此,提出一种基于稀疏卷积和注意力机制的点云语义分割方法。将注意力机制引入稀疏卷积网络,增强网络对全局上下文信息的获取能力。但是注意力机制计算量较大,限制了所提方法的适用场景。进一步将空间金字塔采样引入注意力机制中,在减少计算量的同时扩展其使用场景。实验结果表明,所提方法在Scannet V2数据集上取得了71.825%的平均交并比（MIOU）,在S3DIS数据集上的MIOU达到70.5%,优于对比方法,验证了其有效性。     

基于全卷积神经网络的非对称并行语义分割模型

针对RGB图像具有丰富的色彩细节特征,红外图像对目标轮廓、尺寸、边界等外形特征有较高敏感度的特点,提出了一种非对称并行语义分割模型APFCN（Asymmetric Parallelism Fully Convolutional Networks）.APFCN上路设计了一个卷积核尺寸非统一的五层空洞卷积网络来提取红外图像目标高层轮廓特征;下路沿用卷积加池化网络提取RGB图像三个尺度上的细节特征;后端将红外图像高层特征与RGB图像三个尺度的细节特征进行融合,并将4倍上采样后的融合特征作为语义分割输出.结果表明,APFCN在像素精度和交并比等方面均优于FCN（输入为RGB图像或红外图像）,适用于背景一致下地面目标的语义分割任务.     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

用于点云语义分割的深度图注意力卷积网络

相比于卷积神经网络,图卷积网络更适合处理不规则的点云数据,但其存在网络层数受限以及固定的标准化聚集方式影响点云语义分割结果的问题.针对这些问题,提出一种用于点云语义分割的深度图注意力卷积网络.该网络通过残差连接来加深图卷积网络层数,可以有效解决网络过深所导致的梯度消失和网络退化的问题,采用注意力机制可以使网络有选择地关...     

面向图像语义分割任务的多级注意力蒸馏学习

传统的蒸馏学习仅通过大网络对轻量网络进行单向蒸馏,不但难以从轻量网络的学习状态中得到反馈信息,对训练过程进行优化调整,同时还会限制轻量网络的特征表达能力.本文提出结合自身多级注意力上下文信息进行自我学习优化的方法(MAD,Multi Attention Distillation),以自监督的方式使自身成熟的部分约束不成...     

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中,往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征,尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡,但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面,算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意,为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构,先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支,然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理,也能在Cityspaces数据集上展现出优良的准确率,测试集的分割精度达到了72.2%。     

基于增强多尺度特征解码器的图像语义分割

针对语义分割模型SegFormer在进行图像分割时存在多尺度语义信息利用不充分、细节特征丢失等问题,提出了一种改进的轻量级的语义分割算法,并设计了一个新的解码器来增强多尺度特征表示.采用新提出的瓶颈空间金字塔池化模块（BoSPP）以获得丰富且准确的多尺度信息,所提出模型采用拉普拉斯金字塔来获得编码阶段更精确的高分辨率细节特征,并将其应用于解码阶段来解决细节特征丢失的问题;最后对特征进行逐步融合,以避免上采样率过大导致细节损失,极大地保留丰富的细节特征进而增强最终的语义分割效果. ADE20K数据集的实验结果表明,使用改进后的解码器进行语义分割,在精度和运算量方面都有所改善.以使用MiT-B0编码器的实验为例,其mIoU指标相比原网络提升了1.36%,浮点运算量仅为原网络的51%.实验结果表明,改进后的模型在不增加大量计算成本的情况下提升了模型的分割精度,且浮点运算量更少,改进后的语义分割模型优于原模型,在增强多尺度特征和图像边界细节特征方面有更好的分割效果.