改进的基于卷积神经网络的图像超分辨率算法

针对现有的基于卷积神经网络的图像超分辨率算法参数较多、计算量较大、训练时间较长、图像纹理模糊等问题,结合现有的图像分类网络模型和视觉识别算法对其提出了改进。在原有的三层卷积神经网络中,调整卷积核大小,减少参数;加入池化层,降低维度,减少计算复杂度;提高学习率和输入子块的尺寸,减少训练消耗的时间;扩大图像训练库,使训练库提供的特征更加广泛和全面。实验结果表明,改进算法生成的网络模型取得了更佳的超分辨率结果,主观视觉效果和客观评价指标明显改善,图像清晰度和边缘锐度明显提高。     

基于去卷积的快速图像超分辨率方法

针对目前基于样例学习的图像超分辨率方法难以同时满足快速运算和生成高质量图像的问题,提出一种基于去卷积的快速图像超分辨率方法。设计新型网络模型,以低分辨率图像作为输入图像,利用卷积层进行特征提取与表示;利用去卷积层对图像特征放大膨胀,再以池化层浓缩特征图,提炼出对结果更敏感的特征;以亚像素卷积层实现特征映射与图像融合,获得高分辨率图像。在图像集上进行测试,相比其他方法,本文方法的测试结果具有较高的峰值信噪比,且平均每秒能处理24幅以上大小为320pixel×240pixel的图像,表明该方法不仅可以生成更高质量的图像,且具有较高的处理速度,能满足视频实时处理要求。     

基于改进旋转区域生成网络的遥感图像目标检测

为了实现遥感图像中目标的快速准确检测,解决遥感图像目标带有旋转角度的问题,在卷积神经网络理论的基础上,将旋转区域网络生成融入到Faster R-CNN网络中,提出了一种基于Faster R-CNN改进的遥感图像目标检测方法。相对于主流目标检测方法,本文算法针对遥感图像中的大多数目标都具有方向性不定且相对聚集的特点,在区域候选网络中加入了旋转因子,以便能够生成任意方向的候选区域;同时,在网络的全连接层之前增加一个卷积层,以降低其特征图参数,增强分类器的性能,避免出现过拟合。将本文算法与几种主流目标检测方法进行对比分析后可知,本文算法因融合了多尺度特征及旋转区域网络的卷积神经网络所提取的特征,能得到更好的检测结果。     

全卷积网络多层特征融合的飞机快速检测

针对传统飞机检测方法准确率低、虚警率高、速度慢等问题,提出一种全卷积神经网络多层特征融合的飞机快速检测方法。将浅层和深层的特征经过采样后在同一尺度进行融合,以缓解由于深层特征图维度过低造成的对小目标表达不足的问题;修改区域提取时的选框尺寸以适应实际图像中飞机的尺寸特征;用卷积层代替全连接层以减少网络参数并适应不同大小的输入图像;复用区域提取网络和检测网络的卷积层和学习的特征参数以保证检测的高效性。仿真结果表明,与典型的飞机检测方法相比,所提方法在测试集上取得了更高的准确率和更低的虚警率,同时大大加快了检测速度。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制，提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强；自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合，充分利用两者的互补信息；逐级特征融合网络学习多层融合特征的结合，充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果，将阈值指标提高了5%，明显优于其他方法。     

基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。     

基于视觉熵的视觉注意计算模型

提出了一种基于视觉熵的模拟生物视觉信息处理的视觉沣意计算模型,在使用图像的低层特征的基础上,充分考虑了视觉熵中人眼对图像信息的主观量度.该模型首先将图像分成4×4的图像块,分别计算每个图像块的均值、方差、幅度和亮度变化率;采用中央邻域差算子得到各图像的特征图,合并成一个显著图;计算该图中每个显著区域的视觉熵,将最显著Ⅸ域作为视觉注意的焦点,利用人类视觉注意的抑制返回机制,实现视觉注意焦点的转移,从而完成模拟人类视觉注意的整个过程.实验结果表明,该模型基本上能够模拟视觉注意的过程,而且复杂度较低,具有较高的实用价值.     

二尺度分解和显著性提取的红外与可见光图像融合

为增强红外与可见光图像融合可视性,克服红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。首先,以人类视觉感知理论为基础,针对人眼对图像不同区域敏感性不同特性,在跨模态融合任务中需要对源图像进行不同层次分解,避免高频分量和低频分量混合减少光晕效应,采用二尺度分解方法对源红外与可见光图像进行分解,分别获取各自的基本层和细节层,该分解方法能够很好的表达图像并具有很好的实时性;然后,针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则,VSM方法能够很好提取源图像中的显著结构和目标。采用基于VSM的加权平均融合规则对基本层融合,能够有效避免直接使用加权平均策略而导致对比度损失,使融合图像可视性更好;针对细节层的融合,采用Kirsch算子对源图像分别提取得到显著图,然后通过VGG-19网络对显著图进行特征提取获取权值图,并与细节层进行融合,得到融合的细节层;Kirsch算子能在八个方向上快速提取图像边缘,显著图中将包含更多边缘信息和更少噪声,且VGG-19网络能够提取到图像更深层特征信息,获取的权值图中将包...     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于离散余弦变换和深度网络的地貌图像分类

在未知环境中,无人机(UAV)着陆地貌的自动识别和分类有着极其重要的研究意义,传统的自然场景分类利用的是中层和底层特征信息,但是无人机着陆地貌图像场景复杂、信息丰富,需要较准确的高层语义特征表达。提出了一种基于离散余弦变换(DCT)和深度网络的地貌图像分类方法。首先将离散余弦变换能量集中的优势引入到卷积神经网络(CNN)的高效特征表达中,以降低维度和计算复杂度;然后根据地貌图像特点构建了14层的特征学习网络,并改进了卷积神经网络结构;最后将得到的深层特征输入到支持向量机(SVM)中,快速准确地完成图像分类。实验结果表明,该算法降低了数据冗余,使训练时间大幅度减少,可以自动地学习高层语义特征;所提算法提取的特征具有较好的特征表达,有效地提高了图像分类准确率。     

基于卷积神经网络的深度图超分辨率重建

针对传统深度图超分辨率重建算法需要人工提取特征、计算复杂度较高且不容易得到合适表示特征的问题,提出一种基于卷积神经网络(CNN)的深度图超分辨率重建算法。该算法不需要提前对特定的任务从图像中提取具体的手工特征,而是模拟人类的视觉系统对原始深度图进行层次化的抽象处理以自主地提取特征。该算法直接进行从低分辨率深度图到高分辨率深度图的映射学习。映射由7个卷积层和1个反卷积层联合实现。卷积操作学习丰富的图像特征,而反卷积实现上采样重建高分辨率的深度图。Middlebury RGBD数据集的实验结果表明,该模型得到的峰值信噪比(PSNR)较传统双三次插值算法平均提高了2.7235dB,均方根误差(RMSE)平均降低了0.098;与经典CNN算法相比,PSNR平均提高了1.5244dB,RMSE平均降低了0.043。     

基于深度特征的快速人脸图像检索方法

针对计算机视觉领域的人脸图像检索问题,提出了一种基于深度特征的快速人脸图像检索方法。该方法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸分类训练;在此基础上采用三元组损失方法对已训练好的人脸分类网络模型进行微调,使得网络能够更加有效地提取人脸特征构建高效的特征向量进行人脸检索初步过滤;最后,为了进一步提高系统检索性能,提出一阶段查询扩展方法对待检索人脸图像特征向量进行融合加强。在两个公用人脸数据集(CASIA-3DFaceV1和Labeled Faces in the Wild dataset)上进行详尽的实验验证,结果表明,基于深度特征的人脸图像检索方法不仅能够显著提高检索结果的准确率,而且该方法简单可靠,能够快速地实现人脸检索任务。     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

可见光谱图与深度神经网络的垩白大米检测方法

针对传统垩白大米检测主观随意性大、可重复性低、检测过程耗时费力、准确率低等问题,提出一种基于可见光谱图结合深度学习算法的垩白大米检测手段。用CCD彩色摄像机获取垩白大米和正常大米可见光谱图,对图像进行旋转、翻转以及调整对比度等随机图像变换方式提升网络训练数据集,防止深度检测模型在学习过程中出现过拟合现象。构建了7层深层次卷积神经网络模型,包括卷积层、池化层、全连接层和输入输出层,通过网络模型对采样的大米可见光谱图集进行卷积与池化操作,采用迭代学习训练方法获取大米可见光谱图在卷积层输出的特征参数,采用连接非线性ReLU激活函数来降低训练时间,以加速大米可见光谱图有效抽象特征提取的收敛速度;然后将深度神经网络嵌入池化层,对大米特征降维以获取能够表达正常大米和垩白大米可鉴别显著意义特征;最后在全连接层输出进行分类,从而实现对垩白大米的精确识别。基于可见光谱图的大米垩白深度检测方法比传统基于可见光谱图的垩白大米鉴别特征提取方法免去了复杂的特征提取步骤,由于卷积网络提取的特征对特定目标具有更鲁棒的表达,算法精度较高且复杂度比较小,泛化效果更好,获得识别精度达到90%,比基于传统特征提取的垩白大米鉴别方法识别精度高, SIFT+SVM, PHOG+SVM和GIST+SVM模型识别精度分别为70.83%, 77.08%和79.16%。提出的方法为当前我国现代农业生产中实现大米品质自动化快速精准检测提供了理论依据和有效的技术手段,对于现阶段实现大米品质人工智能检测产生实际意义。     

多局部残差连接注意网络的图像去模糊

针对现有的基于卷积神经网络的图像去模糊算法存在图像纹理细节恢复不清晰的问题,提出了一种基于多局部残差连接注意网络的图像去模糊算法。首先,采用一个卷积层进行浅层特征提取;其次,设计了一种新的基于残差连接和并行注意机制的多局部残差连接注意模块,用于消除图像模糊并提取上下文信息;再次,采用一个基于扩张卷积的成对连接模块进行细节恢复;最后,利用一个卷积层重建清晰图像。实验结果表明：在GoPro数据集上的PSNR (peak signal to noise ratio)和SSIM (structure similarity)分别为31.83 dB、0.927 5,在定性和定量两方面都表明所提方法能够有效地恢复模糊图像的纹理细节,网络性能优于对比方法。     

基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法

传统卷积神经网络模型在高光谱图像分类生成特征图的空间维度中存在大量的空间特征信息冗余,而且把高光谱图像单个像元上的光谱带数据看作是无序高维向量进行数据处理,并不符合光谱数据的特性,极大影响了模型的运行效率和分类性能。针对该问题,提出一种三维Octave卷积和双向循环神经网络注意力网络相结合的高光谱图像分类方法。首先,利用三维Octave卷积获取高光谱图像的空间特征的同时减少空间特征冗余信息。其次,利用Bi-RNN光谱注意力网络将光谱带数据视为有序序列以获取高光谱图像的光谱信息。然后,通过全连接层将空间和光谱特征图连接起来实现特征融合。最后,经过softmax输出分类结果。实验结果表明,所提方法在Pavia University和Botswana两个数据集上的分类精度分别达到了99.97%和99.79%,与其他主流算法相比,该方法可以充分利用空间和光谱特征信息,具有更佳的分类性能。     

基于多尺度双阶段网络的图像超分辨率重建

针对目前图像超分辨率重建算法中所存在的特征信息提取不充分、重建图像细节信息模糊等问题,提出了一种多尺度双阶段网络来实现图像的超分辨率重建。首先,考虑到单尺度卷积层会出现特征信息提取不充分的现象,故而以多尺度卷积层为大体框架,设计网络模型;其次,考虑到重建后的图像效果,将整体网络分为2个阶段,第1阶段根据输入的低分辨率图像进行特征信息的提取和重建,第2阶段对重建后的图像进行更深一步的特征细化,从而提高重建图像的视觉效果;整体网络中还引入了跳跃连接和注意力模块,以加强特征信息的有效传播;最后,以数据集Set5、Set14、Urban100、BSDS100和Manga109作为测试集展开实验,峰值信噪比和结构相似度作为图像质量的评价指标。实验结果表明,二者的值相比以往均有所提高,且重建图像视觉效果较好。因此,该算法在客观评价和主观视觉上都取得了较好的结果。     

基于稀疏编码和卷积神经网络的地貌图像分类

提出了一种基于稀疏编码和卷积神经网络的地貌场景图像分类算法;利用非下采样Contourlet变换对训练样本进行多尺度分解;在训练样本中选择图像,利用稀疏编码学习局部特征,对特征向量进行排序;选择灰度平均梯度较大的特征向量对卷积神经网络卷积核进行初始化。结果表明:所提算法可以获得比传统底层视觉特征更好的分类结果,有效避免了网络训练陷入局部最优的问题,提高了自然场景下无人机着陆地貌的分类准确率。     

一种基于视觉底层特征的图像质量评价方法

把视觉底层特征概念引入到客观图像质量评价中,提出了一种基于不同图像视觉底层特征的质量评价方法。在基于Itti计算模型和视觉底层特征最佳权重的基础上,对4种类型图像提取底层视觉特征显著图,利用特征最佳权重值,组合归一化形成视觉计算显著图,通过直方图相似度计算分析各显著图。实验结果与主观评价结果具有较好的一致性,且优于基于传统Itti模型和SSIM模型的图像质量评价方法。不同类型的图像需要充分考虑各特征的权重大小,使其能真实反映视觉感兴趣区域的特征属性,更好地评价失真图像的质量。     

融合全局和局部深度特征的高分辨率遥感影像场景分类方法

提出了一种融合全局和局部深度特征(GLDFB)的视觉词袋模型。通过视觉词袋模型将深度卷积神经网络提取的多个层次的高层特征进行重组编码并融合,利用支持向量机对融合特征进行分类。充分利用包含场景局部细节信息的卷积层特征和包含场景全局信息的全连接层特征,完成对遥感影像场景的高效表达。通过对两个不同规模的遥感图像场景数据集的实验研究表明,相比现有方法,所提方法在高层特征表达能力和分类精度方面具有显著优势。