基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中,往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征,尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡,但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面,算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意,为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构,先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支,然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理,也能在Cityspaces数据集上展现出优良的准确率,测试集的分割精度达到了72.2%。     

基于元学习和神经架构搜索的半监督医学图像分割方法

多数医学图像分割方法主要在相同或者相似医疗数据领域进行训练和评估，意味其需要大量像素级别的标注。但这些模型在领域分布外的数据集上面临挑战，被称为“域偏移”问题。通常使用固定的U形分割架构解决该问题，导致其无法更好地适应特定分割任务。文中提出了一种基于梯度的元学习与神经架构搜索方法，可以根据特定任务调整分割网络以实现良好的性能并且拥有良好的泛化能力。该方法主要使用特定任务进行架构搜索模块来进一步提升分割效果，再使用基于梯度的元学习训练算法提升泛化能力。在公共数据集M&Ms上，在5%标签数据下，其Dice和Hausdorff distance分别为79.62%、15.38%。在2%标签数据下，其Dice和Hausdorff distance分别为74.03%、17.05%。与其他主流方法相比，文中所提方法拥有更好的泛化能力。     

ED-NAS:基于神经网络架构搜索的陶瓷晶粒SEM图像分割方法

为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法.该方法设计多分支结构编码空间和链式结构...     

基于图搜索和梯度弱化的SDOCT图像ILM层分割

频域光学断层相干扫描(SDOCT)图像针对视网膜中的RNFL层的精确检测,对于一些眼科疾病诊断有很好的参考价值,需要精确分割该层的上表面ILM边界。给出一种3D图搜索与梯度弱化方式相结合的分割ILM表面的方法,提出一种梯度弱化的方法,弱化了图像中其他高对比度区域的梯度,降低其他层对ILM表面分割的干扰,从而在图像中仅有在ILM表面附近较大梯度的前提下,利用经典三维图搜索方法实现对ILM表面的精确分割。分割过程中采用多尺度的分割方法,降低了三维图搜索算法本身时间复杂度和空间复杂度。采用斯坦福大学的25对眼睛的频域光学相干断层(SDOCT)图像,共50组3D图像体数据实验,结合ITK-SNAP软件的半自动分割结果进行实验对比。实验结果表明给出的方法对50组数据中的43组数据能够实现ILM表面的快速精确分割。     

基于增强多尺度特征解码器的图像语义分割

针对语义分割模型SegFormer在进行图像分割时存在多尺度语义信息利用不充分、细节特征丢失等问题,提出了一种改进的轻量级的语义分割算法,并设计了一个新的解码器来增强多尺度特征表示.采用新提出的瓶颈空间金字塔池化模块（BoSPP）以获得丰富且准确的多尺度信息,所提出模型采用拉普拉斯金字塔来获得编码阶段更精确的高分辨率细节特征,并将其应用于解码阶段来解决细节特征丢失的问题;最后对特征进行逐步融合,以避免上采样率过大导致细节损失,极大地保留丰富的细节特征进而增强最终的语义分割效果. ADE20K数据集的实验结果表明,使用改进后的解码器进行语义分割,在精度和运算量方面都有所改善.以使用MiT-B0编码器的实验为例,其mIoU指标相比原网络提升了1.36%,浮点运算量仅为原网络的51%.实验结果表明,改进后的模型在不增加大量计算成本的情况下提升了模型的分割精度,且浮点运算量更少,改进后的语义分割模型优于原模型,在增强多尺度特征和图像边界细节特征方面有更好的分割效果.     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

基于全卷积网络与凹点搜索的重叠葡萄分割算法

为解决自然环境下重叠葡萄难以分离的问题,提出了一种基于改进的FCN全卷积网络和凹点搜索的重叠葡萄分割方法.主要步骤如下:第一,对重叠葡萄图像进行H分量提取,然后通过改进的FCN全卷积网络得到二值图,对二值图进行质心位置求解和轮廓凸包检测;第二,根据矢量夹角最大法进行单串葡萄轴线检测,分离前的轮廓凸包与二值图像相减得到凹...     

融合纹理特征与螺旋状搜索聚类的超像素分割算法及应用

针对传统SLIC(simple linear iterative clustering)超像素分割算法没有综合考虑图像的纹理信息特征,导致对边缘信息较强和纹理复杂的图像进行超像素分割时,出现边缘检测不灵敏,分割效果不理想的问题.提出了把原图像先经过噪声抑制提取出纹理特征分量,构建以颜色特性、纹理特征和空间位置特征相融合...     

基于深度学习的点云分割研究进展分析

深度传感器及激光扫描技术的快速发展使人们可以轻易地采集到大量的点云数据。点云数据可以提供丰富的场景及对象信息,现已成为自动驾驶、虚拟现实、机器人导航等应用的首选研究对象。作为点云处理的有效手段,点云分割技术受到了各界的广泛关注。尤其是在深度学习的推动下,点云分割的精度和鲁棒性有了很大的提升。该文首先介绍了点云分割存在的问题与挑战,接着从间接、直接处理点云的角度对点云分割近年来的工作进行了对比分析,其中,间接的方法有基于多视图、基于体素的方法两类,对于直接的方法,该文将其归纳为5类,分别为基于点处理、基于优化卷积神经网络、基于图卷积、基于时序和基于无监督学习的方法。然后介绍了每个类别中具有代表性的方法的基本思想,并阐述了每个方法的优缺点。此外,该文还介绍了点云分割的常用数据集以及评价指标。最后对点云分类、分割技术的未来进行了展望。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰,如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构,但针对相似度较高物体的结构和轮廓,仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率,提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量,首先基于SegNet模型,提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net）,其中D-MA block采用基于注意力的自适应多尺度模块,根据学习到的权重自适应地对不同尺度特征进行提取,以获得更多有效的高级语义特征。为进一步细化提取物体的边界,基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合,以增强对图像空间分辨率的鲁棒性。实验结果表明,所提算法提高分割的准确率,对于不规则物体边界,能有良好的分割效果。     

基于Transformer的实时语义分割网络及应用北大核心CSCD

为提升机器人对电缆隧道场景的环境感知能力,提出了一种适用于电缆隧道场景的实时语义分割网络。使用Transformer结构提取图像全局语义信息,同时使用卷积神经网络捕获图像局部细节信息,将二者结合增强图像分割精度。同时,针对机器人以及隧道特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明,所提出的网络在公共数据集Cityscapes、CamVid上平均交叉联合度量分别为77.2%、76.8%,相比BiSeNet分别提高了8.8%、8.1%,并能较好地适应于实际电缆隧道环境中,提供有效的场景感知信息,实现自主避障。     

基于执行匹配的轻量级代码语义搜索方法

代码重用是软件开发过程中提高开发效率、降低开发成本的有效方法之一,如何帮助程序员在已有代码库中准确快速地搜索到期望代码是代码重用的前提。基于语义匹配的代码搜索方式能有效地提高代码搜索的准确度,但已有方法存在过程复杂、效率低下等缺陷,难以被推广应用。提出一种轻量级的针对输入输出语义匹配的代码搜索方法。根据搜索要求,利用程序静态分析技术和启发式过滤规则对源代码进行筛选,构建函数级可用代码库,并将所有函数编译成字节码文件;根据用户输入数据信息,动态执行字节码文件,以获得执行结果;最后将执行结果与用户期望的输出数据进行精确比较,以返回功能匹配的相关代码。实例表明,该方法能够快捷准确地实现用户代码搜索需求。     

基于MATLAB计算机模拟的图像分割技术研究

图像分割（image segmentation）是一种非常关键的图像技术，它是从图像处理进到图像分析要经过的一个关键步骤。为了更高层次的图像分析理解得以实现，必须先进行图像分割、目标分离、特征提取等过程，把原始图像转化成为更紧凑更抽象的形式。