基于深层卷积神经网络的单目红外图像深度估计

针对从单目红外图像中恢复深度信息的问题,提出了一种基于深层卷积神经网络(DCNN)的深度估计方法。用劳斯掩膜和梯度检测器分别提取不同尺度下红外图像的纹理能量与纹理梯度,并将这两种纹理信息作为红外图像的第一种特征;提取图像中像元及其邻域的灰度值,以及统计其灰度直方图作为另外两种特征;分别用三种特征和深度信息标签训练DCNN,得到三种训练后的DCNN分别对单目红外图像进行深度估计。实验结果表明,相比较另外两种特征,用纹理信息训练的DCNN能够更有效地估计深度,并且优于现有的估计方法,尤其能较好地表现局部场景的深度变化。     

基于深度卷积神经网络的红外船只目标检测方法

针对红外船只图像较模糊导致的识别率低、识别速度慢等问题,提出了一种基于深度卷积神经网络(CNN)的检测算法。首先采用标记分水岭分割算法提取红外船只图像中的连通区域,并对原图相应的目标位置进行标记和归一化处理,提取候选区域。采用改进的AlexNet(一种深度CNN模型)进行船只目标识别,将提取的候选区域送入改进的AlexNet进行特征提取和预测,得到最终检测结果。分水岭方法可大大减少候选区域检测时间,以及减少深度CNN识别时间。利用实验室自制的红外成像系统获取近千张红外船只图像数据,并对其平移缩放形成的数据集进行仿真实验。结果表明,标记分水岭与深度CNN的结合,可有效识别船只目标,所提方法具有良好的性能,能够更加快速准确地识别红外船只目标。     

基于时空双流卷积神经网络的红外行为识别

针对红外视频人体行为识别问题,提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段,然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络,空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息,再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络,融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和,从而得到最终的视频分类结果。实验中,采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别,正确识别率为92.0%。结果表明,该算法可以有效地对红外视频行为进行准确识别。     

基于邻域像素注意力机制的光场深度估计方法

通过发掘深度信息与子孔径图像邻域像素间的高度相关性,提出了一种基于邻域像素注意力机制的光场深度估计方法。首先根据光场图像的数据特性提出了一种邻域像素注意力机制,该注意力机制考虑了不同子孔径图像在同一邻域间的极几何关系,能够增强网络对遮挡像素的感知能力。其次基于注意力机制设计了一个光场子孔径图像序列特征提取模块,该模块通过三维卷积将相邻序列图像上的特征编码到特征图上,并通过注意力机制增强网络对光场图像极几何特征的学习能力。最后联合邻域像素注意力机制和特征提取模块设计了一个多分支的全卷积神经网络,该网络使用部分光场子孔径图像序列即可估计图像的深度特征。实验结果表明,所提方法在均方误差（MSE）和平均坏像素率（BP）指标上总体表现优于其他先进方法,同时得益于高效注意力机制的加入,与其他先进方法相比所提方法运行速度最快。     

基于轮廓跟踪的车载红外视频彩色化方法

提出一种车载红外视频快速彩色化方法,利用轮廓特征点跟踪获取每帧物体类别的轮廓区域,采用类别特征色彩对各区域传递色彩。构建各景物样本特征色彩集,以各类景物在自然彩色图像中表现出来的特征色彩作为红外图像中对应景物的色彩;利用改进的高效K Means方法对红外关键帧进行聚类,得到分割区域,提取轮廓特征点;通过KLT算法跟踪特征点,得到其在下一帧中的位置并同时修正,采用B样条插值进行轮廓复原,得到该帧的各类别轮廓区域;最后将特征色彩按类别赋予各区域,从而给各帧图像着上合适的颜色,实现红外视频序列的快速彩色化。实验结果表明, 该方法与基于运动估计的算法相比可提高近5倍的处理速度,并且能够得到与自然景物色彩较接近的彩色化视觉效果。     

特征融合的卷积神经网络多波段舰船目标识别

针对海面背景舰船目标单一波段图像识别率低的问题,提出了一种基于卷积神经网络(CNN)的融合识别方法。该方法提取可见光、中波红外和长波红外3个波段舰船目标特征进行融合识别。模型主要分为3个步骤:通过设计的6层CNN,同时对三波段图像进行特征提取;利用基于互信息的特征选择方法对串联的三波段特征向量按照重要性进行排序,并按照图像清晰度评价指标选取固定长度的特征向量作为目标识别依据;通过额外的2个全连接层和输出层进行回归训练。采用自建的三波段舰船图像数据库进行模型的训练和测试,共包含6类目标,5000余张图像。实验结果表明,本文方法识别率达到84.5%,与单波段识别方法相比有明显提升。     

视频监控下利用改进型C3D-RF的人群异常行为检测

传统基于卷积神经网络(CNN)算法的人群异常行为检测方法由于采用二维卷积核提取图像特征,故无法准确捕捉视频流在时序上的动态特征。为此,提出一种基于改进C3D网络与随机森林(RF)算法相结合的检测方法。利用具有时间特征捕捉能力的C3D网络进行视频流梯度方向直方图(HOG)特征提取,并作为三维卷积核输入以实现对视频时空特征的提取;使用随机森林分类器替代softmax全连接层以避免训练过程中繁琐的梯度计算操作,并降低对训练数据集样本规模的要求;基于基准数据集的算例结果表明,所提出的改进C3D-RF方案对人群异常行为的检测准确率保持在90%以上,且与传统C3D网络、支持向量数据描述模型(SVDD)、编码深度卷积神经网络(CAE)等方法相比,其训练时间缩短了15.34%以上。     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题。针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题。首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范围的其他像素点的深度信息,采用注意力机制可以针对这一点有效提取图像的像素级全局深度信息关联。其次,基于深度信息关联得到的特征可以考虑为非欧数据,进一步使用图卷积神经网络（graph convolutional neural network, GCN）来进行推理。最后,在训练阶段将连续的深度估计回归问题转化成分类问题,使训练过程更稳定,降低了网络的学习难度。实验结果表明,该方法在红外数据集NUST-SR上获得了良好的效果,在阈值指标小于1.253时,准确率提升了1.2%,相较其他方法更具优势。     

融合全局和局部深度特征的高分辨率遥感影像场景分类方法

提出了一种融合全局和局部深度特征(GLDFB)的视觉词袋模型。通过视觉词袋模型将深度卷积神经网络提取的多个层次的高层特征进行重组编码并融合,利用支持向量机对融合特征进行分类。充分利用包含场景局部细节信息的卷积层特征和包含场景全局信息的全连接层特征,完成对遥感影像场景的高效表达。通过对两个不同规模的遥感图像场景数据集的实验研究表明,相比现有方法,所提方法在高层特征表达能力和分类精度方面具有显著优势。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

基于阶梯网络与交叉融合的端到端图像去雾

针对卷积神经网络类图像去雾方法存在的细节丢失、颜色失真、去雾不彻底等问题,提出一种基于阶梯网络与注意力交叉融合的端到端图像去雾算法.整体网络模型包含特征提取、特征融合、图像重建三个模块,其中特征提取包括有雾图像细节和轮廓特征的提取,由阶梯网络的不同阶梯层提取实现;特征融合模块以注意力机制的交叉融合实现,并结合自适应残差...     

基于无监督在线学习实现视频遮挡边界检测

为了检测视频序列中的遮挡边界,提出一种新颖的基于无监督在线学习的遮挡边界检测方法。该方法提取视频序列中待测帧的遮挡相关特征并计算其对应的时间长度,利用对冲算法思想并结合时间长度及不同遮挡特征求得待测帧中像素点的遮挡相关信息,利用各特征的遮挡相关信息进行投票,完成当前帧图像的遮挡边界检测。利用Online Boosting思想以当前帧的检测结果来估计下一帧的特征投票权重,实现后续帧图像的遮挡边界检测。该方法通过在线学习思想改变不同特征的权重完成遮挡边界检测功能,无需预先获取视频序列的先验知识。实验结果表明,同已有方法相比,该方法具有较高的准确性和较好的通用性。     

基于FPGA的红外焦平面成像条纹噪声逐帧抑制算法的研究

红外焦平面阵列是当今红外成像技术发展的主要方向,随着器件工艺的进步,红外焦平面阵列探测器有了长足的发展,然而红外图像普遍具有信噪比低的缺点,这大大限制了红外焦平面的应用。与固定图案噪声（FPN）相比,随机噪声的最大特点是每帧均不同,因此去除该类型噪声的算法必须在一帧之内完成。提出了一种新型的单帧去除此类条纹噪声的算法并加以硬件实现,在单帧内设置适合的校正参数和阈值,达到在单帧图像内有效去除条纹噪声的目的。通过算法处理前后的图像对比以及客观的MSE、PSNR测试数据对比,证明了该算法能够有效地改善焦平面器件成像质量。     

基于远场信息和卷积神经网络的波前重构方法

探测波前相位信息是实现自适应光学波前补偿的关键,使用卷积神经网络（CNN）代替波前传感器进行波前重构,系统简单易于实现,同时重构过程不依赖迭代运算,快速实时。为准确提取远场中的波前特征,CNN需要事先使用大量样本进行训练。研究中根据4～30阶大气湍流泽尼克像差系数与其远场强度的对应关系,仿真制作样本数据集,训练CNN从输入的一帧远场图像中预测出畸变波前的泽尼克像差系数,重构原始波前。验证结果表明,该方法能快速实时地还原出波前相位信息,重构波前较原始波前具有极高的波面吻合度和较小的残差剩余量,有望实现实际自适应光学系统中的闭环校正。     

采用GAF-D3Net深度学习网络的水下目标有源识别方法

提出一种基于格拉姆角场(GAF)和卷积神经网络(CNN)的水下目标有源识别方法。该方法利用GAF将目标回波信号编码为二维图像,使用空洞卷积构建轻量级的卷积神经网络GAF-D3Net实现对目标的特征提取与分类识别。实验表明,与基于传统图像特征的分类方法相比,所提方法的分类精度有显著提高,达到99.65%。在泛化性测试中,对比了经典CNN使用声呐图像的迁移学习方法,本文方法的曲线下面积(AUC)达到89%,具有更好的泛化性能以及抗干扰能力,为实现水下目标有源识别提供了一种可靠方法。     

一种夜雾天况彩色视频构建方法

针对单一红外或可见光波段成像技术无法满足夜雾天况彩色成像要求的问题,结合红外和可见光成像各自的特点,提出一种固定区域下针对夜雾天况的彩色视频构建方法。该方法在能见度高的白天利用可见光传感器进行可见光背景图像的构建,在能见度低的夜雾天气利用红外传感器提取出红外运动目标,依据可见光背景图像与原始红外图像的配准参数进行2幅图像的同比例融合,完成彩色视频的重构。实验结果表明,该方法能够准确完成包含红外目标的彩色视频构建,充分体现出夜雾天况下运动目标及其所在场景的彩色特征信息,提升人眼对目标与场景的识别和感知。对于图像大小为720pixel×576pixel的视频序列,该算法的运行速度能够达到40frame/s,可满足彩色视频实时构建的需要。     

深度学习在超声检测缺陷识别中的应用与发展*

深度学习（Deep Learning）是目前最强大的机器学习算法之一,其中卷积神经网络（Convolutional Neural Network, CNN）模型具有自动学习特征的能力,在图像处理领域较其他深度学习模型有较大的性能优势。本文先简述了深度学习的发展史,然后综述了深度学习在超声检测缺陷识别中的应用与发展,从早期浅层神经网络到现在深度学习的应用现状,并借鉴医学影像识别和射线图像识别领域的方法,分析了卷积神经网络对超声图像缺陷识别的适用性。最后,探讨归纳了目前在超声检测图像识别中使用CNN存在的一些问题,及其主要应对策略的研究方向。     

利用全局信息提取靶标特征的方法

为了准确提取图像中目标特征,结合靶标的尺寸和特征信息提出了一种基于全局信息的方法。利用霍夫变换(HT)确定图像中包含靶标的目标区域;在目标区域中提取靶标上不同特征区域的中心;利用提取的中心拟合靶标在图像中所占区域的圆心和半径;完成图像上各区域与靶标上对应区域的匹配。实验证明该方法能够有效、准确的提取图像中靶标的特征,实验室内实验中靶标上特征区域中心提取精度为0.09pixel,实验室外提取精度为0.12pixel。在序列图像处理时,利用前一帧图像的结果可以有效降低计算量,提高提取精度。