基于深度学习的无人车夜视图像语义分割

为了增强无人车对夜视图像的场景理解,在夜间模式下更快更精确地探测和识别周围环境,将深度学习应用于夜视图像的场景语义分割,提出了一种基于卷积-反卷积神经网络的无人车夜视图像语义分割方法。在传统的卷积神经网络中加入反卷积网络,构建卷积-反卷积神经网络,无需手工选取特征。通过像素到像素的学习和训练,得到图像语义分割模型,可直接用该模型预测夜视图像中每个像素所属的场景语义类别,实现无人车夜间行驶时的环境感知。实验结果表明,该方法具有较好的准确性和实时性,平均IU达到68.47。     

基于改进U-Net++的CT影像肺结节分割算法

卷积神经网络的语义分割模型未有效利用特征权重信息,导致在医学图像复杂场景中分割边界出现欠分割现象。针对该问题,基于融合自适应加权聚合策略提出一种改进的U-Net++网络,并将其应用于电子计算机断层扫描影像肺结节分割。该模型首先在卷积神经网络中提取出不同深度特征语义级别的信息,再结合权重聚合模块,自适应地学习各层特征的权重,然后将学习得到的权重加载到各个特征层上采样得到的分割图以得到最终的分割结果。在LIDC数据集和重庆大学附属肿瘤医院肺部电子计算机断层扫描数据集上进行了分割实验,所提方法的交叉比在两个数据集上分别可达到80.59%和87.40%、骰子系数分别可达到88.23%和90.83%。相比U-Net和U-Net++方法,该算法有效提升了图像分割性能。本文方法能在肿瘤微小细节上实现精确分割,较好地解决了肺结节向周围浸润性生长时出现欠分割的问题。     

融合全卷积神经网络和视觉显著性的红外小目标检测

为提高复杂背景和噪声干扰下红外小目标检测性能,提出了融合深度神经网络和视觉目标显著性的单阶段红外小目标检测算法.首先设计了基于编码器-解码器架构的轻量级全卷积神经网络对红外图像进行分割,实现背景抑制和目标增强;然后利用红外小目标的显著性特征进一步抑制虚警;最后采用自适应阈值法分离出小目标.网络结构中通过引入多个下采样层降低计算量并增大感受野;通过引入多尺度特征提升背景抑制能力;通过引入注意力机制提升模型训练效果.在真实红外图像上的测试表明,本文算法在检测率、虚警率和运算时间等方面都优于典型红外小目标检测算法,适合进行复杂背景下的红外小目标检测.     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

基于卷积神经网络与光谱特征的夏威夷果品质鉴定研究

夏威夷果含油量高,在开缝之后容易发生变质,现有关于夏威夷果品质鉴定的方法多为传统的破坏性检验,很难满足无损检测的需求。卷积神经网络(CNN)作为应用最广泛的深度学习网络模型之一,具有比浅层学习方法更强的特征提取与模型表达能力,在光谱数据方面的应用拥有很大潜力。基于夏威夷果在可见-近红外的光谱特征分析,研究用于提取夏威夷果光谱特征的卷积神经网络模型,并提出一种高效无损鉴定夏威夷果品质的方法。首先以三种不同品质的夏威夷果(好籽、哈籽及霉籽)为研究对象,分析样本在500~2 100 nm的光谱信息;在光谱数据预处理中引入白化处理方法,用以增强数据的相关性差异;然后在模型训练过程中,将样本随机分为训练集和预测集,探讨不同CNN结构、卷积层数、卷积核大小及个数、池化层类型、全连接层神经元个数以及激活函数对分类结果的影响,并采用激活函数ReLU和Dropout方法,预防样本数据过少引起的过拟合现象;最后通过分析模型分类准确率和计算效率,确定了一个6层结构的CNN模型： 输入层-卷积层-池化层-全连接层(200神经元)-全连接层(100神经元)-输出层。实验结果表明： 上述网络模型对校正集和预测集的分类准确率均达到100％。因此,改进后的卷积神经网络模型可充分学习夏威夷果的光谱特征并有效分类,将深度学习理论与光谱分析相结合的方法能够实现对夏威夷果品质的准确鉴定,同时为夏威夷果等坚果类食品的高效、无损、实时在线检测提供了新思路。     

基于XRF-CNN土壤重金属Zn元素含量预测模型研究

结合X射线荧光光谱法,针对土壤中重金属元素Zn含量的预测问题,提出基于深度卷积神经网络回归预测模型。对原始土壤进行相关预处理,用粉末压片法制作土壤压片,采用X射线荧光光谱法(X-Ray-fluorescence,XRF)获取土壤光谱,相比于传统检测方式,XRF法具有检测速度快、精度高、操作简单、不破坏样品属性并且可实现多种重金属元素同时检测等优点,故将XRF与深度卷积神经网络相结合,实现对土壤中重金属Zn元素含量的精确预测。采用箱型图来剔除X射线荧光光谱中的异常数据,采用熵权法结合多元散射校正来对样品盒数据进行校正,采用Savitzky-Golay平滑去噪法以及线性本底法对光谱数据进行预处理,可以有效地解决由外界环境和人为因素产生的噪声及基线漂移等问题。针对卷积神经网络结构的特殊性,将获取的一维光谱数据向量,采用构建光谱数据矩阵的方式来进行处理,将同一浓度、同一含水率下5组平行光谱数据向量转化为二维光谱信息矩阵,以该矩阵作为深度卷积神经网络预测模型的输入,以适应卷积层的操作要求,利用深度卷积神经网络特殊的结构模式,能有效提取土壤光谱数据特征,提高了深度卷积神经网络预测模型的学习能力,降低模型的训练难度。深度卷积神经网络预测模型采用3层卷积层搭建,使用ReLU激活函数激活,采用最大池化方式,减少数据的维度,增加Dropout层,防止过拟合,使用ADAM优化器对预测模型进行优化。实验以平均相对误差(mean relative error, MRE)、损失函数(LOSS)、平均绝对误差(mean absolute error, MAE)确定了模型的最优学习率为10-3以及最优迭代次数为3000,并将深度卷积神经网络预测模型与BP预测模型、ELM预测模型、PLS预测模型进行对比,以均方误差(mean square error, MSE)、均方根误差(root mean square error, RMSE)、以及拟合系数R2来分析比较预测模型的好坏,结果表明,基于深度卷积神经网络预测模型在对土壤中重金属Zn元素含量预测方面优于BP,ELM,PLS三种预测模型,提高了预测精度。     

基于编码-解码卷积神经网络的遥感图像语义分割

农村地区遥感图像语义分割是进行城乡规划、植被以及农用地检测的基础。农村地区高分辨率遥感图像含有较为复杂的地物信息,对其进行语义分割难度较大。基于此,提出一种改进的对称编码-解码网络结构SegProNet,利用池化索引与卷积融合语义信息及图像特征,通过1×1卷积构建Bottleneck层进一步提取细节、减少参数量,逐步加深过滤器深度以构建端到端的语义分割网络,改进激活函数进一步提升网络性能。实验结果表明,在CCF卫星数据集上,所提方法及经典语义分割网络U-Net、SegNet的准确率分别为98.4%,80.3%,98.1%,所提方法较其他方法更优。     

基于语义目标匹配的三维跟踪注册方法

提出了一种基于语义目标匹配的三维跟踪注册方法。通过改进的单发多框检测(SSD)深度卷积神经网络对图像进行语义分割,获取场景中不同目标的像素级语义分割结果。在求取相机姿态的目标函数时,融合了图像的灰度约束与几何约束对相机的姿态进行估计。所提方法减小了特征点的缺乏或误匹配问题对三维跟踪注册算法性能的影响,且能够适应不同结构的场景。研究结果表明,该方法的误差不超过2.2pixel,基本满足了实时性的要求。     

基于卷积神经网络的焊缝缺陷图像分类研究

为有效地对焊缝缺陷进行分类，从而判断焊接质量的等级，对传统卷积神经网络进行改进，提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率，并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响，采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理，并在该数据集上验证模型的有效性。与传统卷积神经网络相比，该模型具有良好的性能，在测试集上准确率达到96.77%，同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。     

基于深度卷积神经网络的红外船只目标检测方法

针对红外船只图像较模糊导致的识别率低、识别速度慢等问题,提出了一种基于深度卷积神经网络(CNN)的检测算法。首先采用标记分水岭分割算法提取红外船只图像中的连通区域,并对原图相应的目标位置进行标记和归一化处理,提取候选区域。采用改进的AlexNet(一种深度CNN模型)进行船只目标识别,将提取的候选区域送入改进的AlexNet进行特征提取和预测,得到最终检测结果。分水岭方法可大大减少候选区域检测时间,以及减少深度CNN识别时间。利用实验室自制的红外成像系统获取近千张红外船只图像数据,并对其平移缩放形成的数据集进行仿真实验。结果表明,标记分水岭与深度CNN的结合,可有效识别船只目标,所提方法具有良好的性能,能够更加快速准确地识别红外船只目标。     

一种基于卷积神经网络的恒星光谱快速分类法

恒星光谱数据的分类是天体光谱自动识别的最基本任务之一,光谱分类的研究能够为恒星的演化提供线索。随着科技的发展,天文数据也向大数据时代迈进,需要处理的恒星光谱数量越来越多,如何对其进行自动而精准地分类成为了天文学家要解决的难题之一。当前恒星光谱自动分类问题的解决方法相对较少,为此本文使用了一种基于卷积神经网络的方法对恒星光谱MK系统进行分类。该网络由数据输入层、四个卷积层、四个池化层、全连接层、输出层构成,与传统网络相比具有局部感知、参数共享等优点实验。在Python3.5的环境下编程,利用Tensorflow构建了一个简单高效的具有四个卷积层的卷积神经网络,并将Dropout作用于全连接层之后以防止过度拟合。Dropout的基本思想：当网络模型进行训练时,把一些神经网络节点按一定的比例丢弃,使其暂时不发挥作用。Dropout可以理解成是一种十分高效的神经网络模型平均方法,由于它不依赖于某些局部特征所以能够让网络模型更加鲁棒。实验中使用的一维恒星光谱图是取自LAMOST DR3数据库,首先进行预处理截取光谱3 600~7 300 Å的部分,均匀采样后使用min-max标准化法对其进行初始化。实验包括两部分：第一部分为依据恒星光谱MK系统对光谱进行分类,每一类的训练样本包含1 000条光谱数据,测试样本为400条光谱数据,首先通过训练样本对CNN网络进行训练,进行3 000次的迭代,用训练后的网络将测试样本进行分类以验证网络的准确性;第二部分为相邻两类的恒星光谱的分类,其中O型星数据集样本为250条光谱,其余类别恒星样本数据集均为4 000条光谱,将数据5等分,每次选取当中的一份当作测试集,其余部分当作训练集,采用5折交叉验证法求得模型准确率,用BP神经网络进行对比实验。选择对网络模型进行评估的指标包括精确率P、召回率R、F-score、准确率A。实验结果显示CNN在对六类恒星光谱进行分类时其准确率都在95%以上,在对相邻类别的恒星进行分类时,由于O型星样本量较少,所以得到的分类结果不太理想,对其余类别的恒星分类准确率都高于98%,以上结果都证明了CNN算法能够很好地解决恒星光谱的分类问题。     

深度卷积网络的多品种多厂商药品近红外光谱分类

近红外光谱（NIR）分析具有分析高效、样品无损、环境无污染以及可现场检测等优点,特别适合药品的快速建模分析。但NIR存在吸收强度弱以及谱带重叠等缺点,需要建立稳健可靠的化学计量学模型对其进行分析。深度卷积神经网络是深度学习方法中一个重要分支,它通过逐层抽取数据特征并进行组合、转换,形成更高层的语义特征,具有极强的建模能力,广泛应用于计算机视觉、语音识别等领域,而在药品NIR分析方面尚未见报道。基于深度卷积网络模型,对药品NIR多分类建模进行研究。针对药品NIR数据的特点,设计若干个面向多品种、多厂商药品NIR分类的一维深度卷积网络模型。模型中卷积层和池化层交叠排列用于逐层抽取NIR数据特征,输出层连接softmax分类器,对药品NIR数据进行分类概率预测。在输出层之前采用全局最大池化层,将特征图进行整体池化,形成一个特征点,用于解决全连接层存在的限制输入维度大小,参数过多的问题。同时,在网络模型中引入批处理操作和dropout机制,以防止梯度消失和减小网络过拟合的风险。在网络模型的设计过程中,通过设计不同的卷积网络层数以及不同的卷积核尺寸大小,分析其对建模效果的影响,同时分析五种经典数据预处理方法对NIR分析的影响。以我国7个厂商生产的头孢克肟片和11个厂商生产的苯妥英钠片样本NIR为实验对象, 建立药品的多品种、多厂商分类模型,该模型在二分类、多分类实验中取得了良好的分类效果。在十八分类实验中,当训练集与测试集比例为7∶3时,分类准确率为99.37±0.45,比SVM, BP, AE和ELM算法取得更优的分类性能。同时,深度卷积神经网络模型推理速度较快,优于SVM和ELM算法,但训练速度慢于二者。大量实验结果表明,深度卷积神经网络可对多品种、多厂商药品NIR数据准确、可靠地判别分类,且模型具有良好的鲁棒性和可扩展性。该方法也可推广到烟草、石化等其他领域的NIR数据分类应用中。     

基于改进U-net的金属工件表面缺陷图像分割方法

针对金属工件表面小尺寸缺陷及受非均匀光照影响的图像缺陷难以分割的问题,提出了一种改进的U-net语义分割网络,实现金属工件表面缺陷图像的精确分割。首先,在U-net网络中融入CBAM(convolutional block attention module)模块来提升图像中缺陷目标的显著度;其次,采用深度超参数化卷积DO-Conv(depthwise over-parameterized convolutional)代替网络中部分传统卷积,增加网络可学习的参数数量;然后,采用Leaky Relu函数代替网络中部分Relu函数,提高模型对负区间的特征提取能力;最后,采用中值滤波及非均匀光照的补偿方法进行图像预处理,减弱非均匀光照对金属工件图像表面缺陷的影响。结果表明:改进后的网络平均交并比、准确率和Dice系数指标分别达到0.833 5、0.933 2、0.867 4,改进的网络显著提升了对金属工件表面缺陷图像的分割效果。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

A New Pooling Approach Based on Zeckendorf’s Theorem for Texture Transfer Information

The pooling layer is at the heart of every convolutional neural network (CNN) contributing to the invariance of data variation. This paper proposes a pooling method based on Zeckendorf’s number series. The maximum pooling layers are replaced with Z pooling layer, which capture texels from input images, convolution layers, etc. It is shown that Z pooling properties are better adapted to segmentation tasks than other pooling functions. The method was evaluated on a traditional image segmentation task and on a dense labeling task carried out with a series of deep learning architectures in which the usual maximum pooling layers were altered to use the proposed pooling mechanism. Not only does it arbitrarily increase the receptive field in a parameterless fashion but it can better tolerate rotations since the pooling layers are independent of the geometric arrangement or sizes of the image regions. Different combinations of pooling operations produce images capable of emphasizing low/high frequencies, extract ultrametric contours, etc.     

Diabetic Retinal Grading Using Attention-Based Bilinear Convolutional Neural Network and Complement Cross Entropy

Diabetic retinopathy (DR) is a common complication of diabetes mellitus (DM), and it is necessary to diagnose DR in the early stages of treatment. With the rapid development of convolutional neural networks in the field of image processing, deep learning methods have achieved great success in the field of medical image processing. Various medical lesion detection systems have been proposed to detect fundus lesions. At present, in the image classification process of diabetic retinopathy, the fine-grained properties of the diseased image are ignored and most of the retinopathy image data sets have serious uneven distribution problems, which limits the ability of the network to predict the classification of lesions to a large extent. We propose a new non-homologous bilinear pooling convolutional neural network model and combine it with the attention mechanism to further improve the network’s ability to extract specific features of the image. The experimental results show that, compared with the most popular fundus image classification models, the network model we proposed can greatly improve the prediction accuracy of the network while maintaining computational efficiency.     

基于改进卷积神经网络的肺炎影像判别

目前肺炎类型判别主要依靠医生的经验,但一些肺炎的CT影像极为近似,即使有经验的医生,也容易判别错误,造成误诊。为此提出卷积神经网络分类算法,该算法由3个卷积层、3个亚采样层及1个完全连接层组成,并且对卷积层进行了特殊结构处理,由反向传播算法调整网络参数,并对反向传播过程提出了改进。临床实验证明,该方案较现在普遍研究的分类算法,如adaboost算法和svm算法具有更高的识别率和准确度,并且改进的卷积神经网络防止了训练数据时过拟合现象的产生。     

卷积神经网络和近红外光谱的土壤pH值预测

土壤pH值是影响土壤养分转化和土壤肥力的关键因素,使用近红外光谱技术对土壤pH值进行检测可为土壤资源的开发利用提供重要依据。卷积神经网络作为深度学习在人工智能方面的典型算法,由于其结构具备“局部感知,权值共享”的能力,因此不仅能够对复杂的光谱数据进行特征抽取,还能够减少网络的训练参数,提高网络的运算效率。将卷积神经网络用于近红外光谱的建模分析,并提出一种基于一维卷积的卷积神经网络和近红外光谱的土壤pH值预测方法。网络由Python语言调用Tensorflow工具包搭建而成,其结构由输入层、卷积层、池化层以及全连接层四部分组成。以欧洲统计局在2008年-2012年开展的土地利用及覆盖面积统计调查所收集的矿物质土壤光谱样本数据集为研究对象,为消除光谱中存在的基线漂移,提高信噪比,对原始可见光近红外光谱（400～2 500 nm）进行一阶导数和Savitzky-Golay平滑处理。在模型训练过程中,随机选取15 000个样本作为训练集,剩余的2 272个样本作为测试集,探讨不同的卷积层个数及训练迭代次数对模型性能的影响,并采用ReLU激活函数及Adam优化器防止模型出现梯度消失现象,提高模型的稳定性,之后通过分析模型的拟合优度和运算成本确定模型的最佳性能,最后将网络模型与传统的BP和PLSR模型进行对比。结果显示,当模型迭代次数为2 500次,卷积层个数为4层时,模型达到最佳状态,模型对训练集的均方误差从1.898降到了0.097;模型对测试集的拟合优度为0.909,分别比BP和PLSR模型高0.117和0.218。使用卷积神经网络可以对土壤近红外光谱的内部特征信息进行抽取,从而实现对大面积土壤pH值的高效准确预测。CNNR模型可对农作物的合理栽种及精准施肥提供指导,从而达到土壤结构稳定和可持续发展的目的。基于卷积神经网络的近红外光谱回归方法也可以推广到其他土壤信息研究。     

卷积神经网络的缺陷类型识别分析

该文提出一种基于卷积神经网络直接对阵列超声检测原始信号进行缺陷类型识别的方法,该方法无需对超声回波原始信号进行特征提取.文章研究对比了不同卷积神经网络及其优化的识别性能.首先采用超声相控阵系统对不同试块上的平底孔、球底孔、通孔三种缺陷进行超声检测,然后利用LeNet5、VGG16和ResNet三种卷积神经网络对一维和二...