多模态3D CNN脑部胶质瘤分割方法

目的 由于大多数脑部胶质瘤边界有水肿且内部结构复杂,分割胶质瘤及瘤内结构难度较大。提出一种新的基于多模态MRI 3D卷积神经网络(CNN)脑部胶质瘤及瘤内各结构的自动分割算法。 方法 首先,标准化由T1、T1c、T2、FLAIR 4个MRI模态组成的输入图像。其次,构建10个卷积层、2个全连接层的3D CNN。卷积层采用3×3×3 的3D 卷积核;全连接层采用PReLu激励函数,并结合dropout技术防止过拟合。结果 构建的3D CNN分割胶质瘤和瘤内各结构精度高,与专家手动分割的结果接近。结论 实验结果表明,构建的多模态3D CNN能够准确的分割MRI多模态图像脑部胶质瘤及瘤内各结构,具有重要的临床意义。     

基于多模态3D-CNNs特征提取的MRI脑肿瘤分割方法

针对目前MRI脑肿瘤分割中的无监督特征提取方法无法适应脑肿瘤图像的差异性,提出一种基于多模态3D卷积神经网络(CNNs)特征提取的MRI脑肿瘤分割方法。将2D的多模态MRI图像组合成3D原始特征,通过3D-CNNs提取特征,更有利于提取各模态之间的差异信息,去除各模态之间的冗余干扰信息,同时缩小原始特征邻域大小,以适应同一病人不同图像层肿瘤大小的差异变化,进一步提高MRI脑肿瘤的分割精度。实验结果证明,能适应不同病人各模态之间的差异性和多变性,以提高脑肿瘤的分割精度。     

一种多模态的脑肿瘤图像分割方法

针对现有的全卷积网络处理脑肿瘤分割任务时网络参数量大、计算困难的问题,提出了一种结合随机森林(Random Forests,RF)和密集连接网络(DenseNet)的方法.方法分为粗分割和精细分割两部分.粗分割在下采样的脑磁共振图像(MRI)上用增强RF初步分割出肿瘤.精细分割依据粗分割得到原始MRI的感兴趣区域,用改...     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

基于多模态深度神经网络的抓取检测方法

针对机器人抓取检测任务中对未知物体抓取检测精度低的问题,本文提出了一种多模态深度神经抓取检测模型。首先,在RGB和深度两个通道中引入残差模块以进一步提升网络的特征提取能力。接着,引入多模态特征融合模块进行特征融合。最终通过全连接层回归融合特征以得到最佳抓取检测结果。实验结果表明,在Cornell抓取数据集上,本文方法的图像拆分检测精度达到95.7%,对象拆分检测精度达到94.6%。此外,本文还通过消融实验证明了引入残差模块可以提高网络抓取检测性能。     

基于卷积神经网络的非等效点云分割方法

针对点云分割中的非等效性,提出基于CNN(convolutional neural network)的点云分割神经网络NEPN(non-equivalent point network),在设计网络随机抽样层与MaxPooling层解决点云数量与顺序多变的基础上,引入经惩罚函数作用后的距离矩阵对各点分类误差进行加权,优化模型训练损失计算方法,强化分割面邻近点的误差反馈,实现点云区域分割。试验结果表明,该方法分割精度优于PointNet方法,可有效解决非等效点云分割问题。     

基于卷积神经网络的MRI脑瘤图像分割方法研究

本文研究卷积神经网络在脑瘤图像分割中的应用.脑瘤位置易变,形状大小不定等特性促使我们去探索一个更加高效,更加准确,鲁棒性更好的方法.本文利用相同感受野下多个卷积层级联的非线性远大于单一卷积层的特性,将小卷积核级联层加入网络,并加入恒等映射来促进梯度流,使得训练速度增加.除此之外,网络利用多尺度操作同时提取同一像素点不同像素范围内的特征信息.最后将得到的结果送入卷积层构成全卷积神经网络,实现像素级别上的脑瘤分割.测试阶段在BRATS2013测试集上进行,研究过证明该模型能够得到较好的分割效果(Challenge:0.84,0.83,0.85;Leaderboard:0.77,079,0.78).     

基于卷积神经网络的臂丛神经超声图像分割方法

近几年卷积神经网络(convolutional neural network,CNN)在图像处理、语音识别、自然语言处理以及信息检索等领域得到广泛应用,颈部臂丛神经超声图像具有较低的信噪比、较低的对比度、模糊的边缘,其分割是一项富有挑战性的工作。文章针对目前臂丛神经超声图像手工标注的训练样本较少的情况,对U-Net模型进行改进,构建了一个适用于臂丛神经分割的卷积神经网络模型QU-Net,并选择BP图像数据库进行训练、测试。实验结果表明,与主流神经卷积网络分割算法SegNet、U-Net相比,QU-Net的图像分割结果具有更高的准确性。     

基于点云图卷积神经网络的3D目标检测

随着激光雷达传感器的快速发展,目标检测算法从传统的2D检测快速转向3D检测。然而,激光雷达产生的点云是不规则和非结构化的数据,传统的卷积神经网络无法对其进行处理。基于此提出了一种新颖的图卷积神经网络,能够更好地利用数据的几何关系和拓扑结构直接从点云中学习特征以进行3D目标检测。首先将原始激光雷达点云数据进行下采样,再进行固定半径邻域图的构建,随后设计了一个新型的图卷积神经网络对点云进行编码来预测图中每个顶点所属对象的类别和形状。为提升检测准确度,网络中加入了一种校准机制来减少特征在不同维度变化时引入的平移误差,此外还引入了注意力机制,以使用权重来进一步强化输出的顶点特征。在 KITTI 数据集上进行实验,实验结果表明,此方法能够有效对3D目标进行检测。对比其他多种检测算法,此方法在检测准确度上具有一定的优势。     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。     

基于脑部MRI分割方法新进展

脑部MRI图像自动分割是计算机技术运用于医学上的一个典型工作,脑部图像分割技术对于人类研究脑部疾病具有重要意义。应用广泛的有图像分割方法,如阈值法、区域增长法、聚类法等。在脑部MRI图像分割中,这些方法都没有图谱法具有更为实际的医学研究与临床价值。该文综述了MR图像不均匀性校正方法及近几年来有关脑部MRI分割方法的研究新进展以及对分割效果的评价方法。认为:基于脑部MRI分割算法趋向于发展全自动、快速、准确的分割方法,并综合多种方法的优点,取长补短,在算法中引入图像的空间结构、纹理信息,有望在新理论技术上和新工具方面有所突破。     

用于人体实例分割的卷积神经网络

针对当前的实例分割算法无法分割两个高度重叠的人体对象,且量化的Ma s k实例与其ground truth之间的IoU的Mask质量通常与分类分数相关性不强等问题,利用人体骨骼和姿态来对人体进行分割,增加一个全新的Evaluation模块,利用预测Mask与ground truth之间的IoU来描述实例分割质量,提出了...     

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一...     

基于改进卷积神经网络的平面地图道路模糊推理分割方法

由于平面地图呈现方式单一且有限,为提升其多样性需准确分割平面地图中的道路区域。提出一种基于改进CNN(convolutional neural network)平面地图道路和模糊推理分割的方法。选取两个道路信息丰富的数据库,实验选取百度地图(Baidu)数据库和高德地图(Amap)数据库,标记得到含标签信息的像素训练集;用Sigmoid分割目标函数代替复杂的Softmax函数分别训练得到Baidu-CNN模型和Amap-CNN模型;对得到的像素点概率进行非线性映射,构建模糊推理系统;将非线性映射后均匀分布的像素点概率输入模糊推理系统,判断像素点属于道路区域的概率,得到道路分割结果。结果表明:所提算法得到的平面地图道路分割模型较传统算法分割效果更好;准确率可以达到94.49%;单张平面地图的道路分割速度可达到5 s。     

基于卷积神经网络的细胞核图像分割算法

为了提高细胞核图像分割的精确性和鲁棒性,提出一种基于改进卷积神经网络的多尺度多层次双注意力图像分割算法.使用SE(Squeeze-and-Excitation)和改进的条纹池化SP(Strip Pooling)整合通道和空间上的信息权重代替传统U-Net编码的最后一层操作以提升对有用信息的关注.在级联路径,提出轻量级的Inception模块,在增加感受野的同时减少参数以获得多尺度的特征.编码和解码信息拼接之前结合注意力机制提高分割精度,使用残差块作为解码部分的基础层,并增加一个侧边输出结构提供多层次的信息.每一层的损失采用阶梯的方式相加,指导监督多层次模型更好的训练,提高模型准确率.在细胞分割数据集上的实验结果表明,该方法的交并比和相似性系数的精度分别达到85.72%和92.02%,和其他网络相比,分割效果更好.     

基于InceptionV3卷积神经网络森林火灾检测方法

卷积神经网络算法已广泛运用在图像识别的领域中,基于深度学习的森林火灾检测也逐渐兴起,传统的卷积神经网络算法存在计算速度慢、噪声影响大、传统全连接权重多等问题.本文将使用更好的优化器来提高计算速度,并通过调整模型权重的方式来获得更好的识别效果.     

基于混合神经网络的脑部MRI图像语义分割算法

针对传统医学图像对缺乏标注的数据进行自动分割时存在分割精度不高、边缘模糊等问题,提出了一种利用混合神经网络对脑部核磁共振成像(magnetic resonance imaging,MRI)的图像进行语义分割的算法。利用仿射网络对脑部MRI图像进行线性几何变换,基于卷积神经网络进行3D医学图像仿射变换,加入稠密模块减轻梯度消失和加强特征传递问题; 通过空间转换网络对脑部MRI进行空间转换,基于图谱的分割法获得脑部图像的分割结果。采用MICCAI的公共数据集BraTs2019进行实验验证,结果表明,算法可由脑部肿瘤MRI图像获得较好的分割精度和分割效率,为脑部MRI图像语义分割的研究提供一种新的实验方案。     

注意力机制引导的多模态心脏图像分割

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.     

应用对抗神经网络的胶质瘤MR图像分割

针对胶质瘤在结构上的多样性给分割带来的不精确等问题,提出一种应用对抗网络的胶质瘤MR图像分割方法,使用改进的U-Net网络作为生成器的基础架构,获得逐像素的分割结果,判别器是一个卷积神经网络结构.利用对抗机制优化生成器与判别器,直到两者同时收敛为止.训练好的生成器即可完成胶质瘤MRI分割.实验结果表明:提出的方法相比于...