基于深层卷积神经网络的单目红外图像深度估计

针对从单目红外图像中恢复深度信息的问题,提出了一种基于深层卷积神经网络(DCNN)的深度估计方法。用劳斯掩膜和梯度检测器分别提取不同尺度下红外图像的纹理能量与纹理梯度,并将这两种纹理信息作为红外图像的第一种特征;提取图像中像元及其邻域的灰度值,以及统计其灰度直方图作为另外两种特征;分别用三种特征和深度信息标签训练DCNN,得到三种训练后的DCNN分别对单目红外图像进行深度估计。实验结果表明,相比较另外两种特征,用纹理信息训练的DCNN能够更有效地估计深度,并且优于现有的估计方法,尤其能较好地表现局部场景的深度变化。     

基于双向递归卷积神经网络的单目红外视频深度估计

考虑到红外视频的深度特征具有单帧图像的独特性和视频全局的连续性,在单目红外视频深度估计问题上提出一种基于双向递归卷积神经网络(BrCNN)的深度估计方法。BrCNN在卷积神经网络(CNN)能够提取单帧图像特征的基础之上引入循环神经网络(RNN)传递序列信息机制,使其既具有CNN良好的图像特征提取能力,能够自动提取视频中每一帧图像的局部特征,又具有RNN良好的序列特征提取能力,能够自动提取视频中每一帧图像所包含的序列信息,并向后递归传递这种信息。采用双向递归的视频序列信息传递机制来估计红外视频的深度,提取到的每一帧图像的特征都包含了视频前后文的序列信息。实验结果表明,相对于传统CNN提取单帧图像特征进行的估计,使用BrCNN能够提取更具有表达能力的特征,估计出更精确的深度。     

基于遮挡场景的光场图像深度估计方法

针对在深度估计过程中的遮挡问题,提出一种新的基于多线索融合的光场图像深度估计方法。利用约束性自适应散焦算法和约束性角熵度量算法获取场景的散焦线索、一致性线索,并计算出场景的初始深度、置信度。为增强图像的边缘轮廓信息,通过Canny算子提取中心视角图像的边缘信息,然后利用马尔可夫随机场融合场景的初始深度、置信度及边缘信息,实现图像的高精度深度估计。与其他先进方法相比,所提方法能够较好地解决场景中存在的遮挡问题,获取的深度图精度较高、平滑效果较好,图像边缘保持效果较好。     

基于优化估计的深度图像修复与误差补偿方法研究

针对Kinect传感器在获取深度图像时存在深度值随机跳变的不准确性问题,基于最优估计的思想,提出卡尔曼滤波与多帧平均法相结合的图像修复方法。首先利用卡尔曼滤波对多幅深度图像进行修复处理,实现Kinect传感器在采集信息过程中随着时间递推,深度值的跳变逐渐趋于平稳的效果;然后基于多幅图像平均法确定最终的深度图像,解决了Kinect获取深度值存在误差导致的不精确问题。实验结果表明,该算法的均方根误差为38.102 5,平均梯度为0.471 3,信息熵为6.191 8,与单幅图像修复效果相比,得到的深度图像边缘更加清晰。     

先进驾驶辅助系统中基于单目视觉的场景深度估计方法

针对先进驾驶辅助系统对车辆前视景深信息的需求,在无监督学习框架下提出了一种基于单目视觉的场景深度估计方法。为了降低不同尺寸的前视目标对景深估计结果的影响,采用金字塔结构对输入图像进行预处理;在训练过程中,将深度估计问题转化为图像重建问题,利用双目图像设计了新的损失函数代替真实深度标签,解决了真实场景景深数据难以获取的问题;将中间多尺度的视差图与原输入图像的尺寸统一,改善了深度图中的空洞现象,提升了景深估计精度。在KITTI和Make3D数据集上的定量与定性对比结果表明,本方法可以获得准确度较高的绝对景深数据,且具有良好的泛化能力。在真实道路场景下的实验结果表明,本方法可以利用单张车载前视图像得到对应的像素级景深信息。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于深度图像利用随机森林实现遮挡检测

提出了一种新颖的利用随机森林检测深度图像中遮挡现象的方法。该方法从一幅深度图像中提取每个像素点的遮挡相关特征,利用随机森林分类器检测每个像素点是否为遮挡边界点,得到图像中的遮挡边界。主要贡献在于:提出了一种新的遮挡相关特征深度值离散度特征,同时引入高斯曲率特征,并将它们与现有特征相结合来检测遮挡边界;以特征重要性和特征提取时间为衡量标准,对深度图像中的各遮挡相关特征进行了分析评估,在此基础上,选取平均深度差、最大深度差、平均曲率、高斯曲率和深度值离散度5种特征用于设计遮挡检测分类器;一种新的遮挡检测方法,利用随机森林解决深度图像的遮挡检测问题。实验结果表明,同已有方法相比,所提方法具有较高的准确性和较好的通用性。     

聚焦堆栈中空间几何结构的深度估计

利用聚焦堆栈估计场景深度是计算成像领域中的重要技术手段。提出三维自适应加权全变分计算框架,用于解决场景中弱纹理区域和遮挡区域深度线索丢失导致深度估计不准确的问题。相比传统二维引导滤波方法,所提三维优化框架不仅考虑聚焦堆栈和聚焦测度中共同蕴藏的场景几何结构,避免在深度图中错误地引入场景物理信息,还充分考虑聚焦堆栈和聚焦测度沿图像序列方向的结构特点,实现更高程度的数据保真。模拟数据和实际数据实验结果表明,所提方法能够有效提升聚焦堆栈估计深度的精度。     

压缩光场重建与深度估计

针对光场深度估计过程中数据量大、边缘处深度估计结果不准确问题,利用压缩感知原理重建光场,提出一种新的多信息融合的光场图像深度估计算法。利用压缩感知重建算法重建5×5视角光场数据,获取光场数据后首先移动子孔径实现重聚焦,然后利用角度像素块散焦线索和匹配线索计算出场景初始深度和置信度。计算图像边缘信息,通过融合初始深度、置信度、边缘信息获取最终深度。实现压缩光场仿真重建,并对仿真光场数据和公开光场数据进行深度估计,实验结果表明:可以仿真重建出5×5视角光场数据,且仿真重建的光场可用于深度估计。该深度估计算法在场景边缘处的深度估计结果边界清晰,层次分明,验证了重建光场深度估计的可行性与准确性。     

利用谱聚类实现深度图像遮挡边界检测

针对视觉目标中存在的遮挡现象,提出一种基于谱聚类实现深度图像遮挡边界检测的方法。首先定义一种新的遮挡相关特征——有效标准差特征,基于相关特征利用均卡方集距抽取部分像素点,构建相似矩阵;然后基于相似矩阵利用Nystrom逼近方法近似估算全部像素点的拉普拉斯矩阵与逼近特征向量,对得到的逼近特征向量进行聚类分析,把深度图像中的全部像素点划分为遮挡边界点和非遮挡边界点两大类;最后可视化遮挡边界点得到深度图像中的遮挡边界。实验结果表明,本文方法无需标记样本,且在深度图像中目标物体的遮挡边界检测方面具有较好的有效性和普适性。     

基于自适应像素级注意力模型的场景深度估计

深度估计是传统的计算机视觉任务,在理解三维场景中起着至关重要的作用。基于单目图像的深度估计任务的困难在于如何提取图像特征中大范围依赖的上下文信息,提出了自适应的上下文聚合网络（adaptive context aggregation network,ACANet）用于解决该问题。该方法基于有监督的自注意力模型(supervised self-attention,SSA),能够自适应地学习任意像素之间的具有任务特性的相似性以模拟连续的上下文信息,并通过模型学习的注意力权重分布用来聚合提取的图像特征。将单目深度估计任务设计为像素级的多分类问题,经过设计的注意力损失函数减少RGB图像和深度图的语义不一致性,通过生成的像素级注意力权重对由位置索引的特征进行全局池化。最后提出一种软性有序推理算法（soft ordinal inference,SOI）,充分利用网络的预测置信度,将离散的深度标签转化为平滑连续的深度图,并且提高了准确率（rmse下降了3%）。在公开的单目深度估计基准数据集NYU Depth V2上的实验结果表明:rmse指标为0.490,阈值指标为82.8%,取得了较好的结果,证明了本文提出的算法的优越性。     

Optimized Convolutional Neural Network Recognition for Athletes’ Pneumonia Image Based on Attention Mechanism

After high-intensity exercise, athletes have a greatly increased possibility of pneumonia infection due to the immune function of athletes decreasing. Diseases caused by pulmonary bacterial or viral infections can have serious consequences on the health of athletes in a short period of time, and can even lead to their early retirement. Therefore, early diagnosis is the key to athletes’ early recovery from pneumonia. Existing identification methods rely too much on professional medical knowledge, which leads to inefficient diagnosis due to the shortage of medical staff. To solve this problem, this paper presents an optimized convolutional neural network recognition method based on an attention mechanism after image enhancement. For the collected images of athlete pneumonia, we first use contrast boost to adjust the coefficient distribution. Then, the edge coefficient is extracted and enhanced to highlight the edge information, and enhanced images of the athlete lungs are obtained by using the inverse curvelet transformation. Finally, an optimized convolutional neural network with an attention mechanism is used to identify the athlete lung images. A series of experimental results show that, compared with the typical image recognition methods based on DecisionTree and RandomForest, the proposed method has higher recognition accuracy for lung images.     

多局部残差连接注意网络的图像去模糊

针对现有的基于卷积神经网络的图像去模糊算法存在图像纹理细节恢复不清晰的问题,提出了一种基于多局部残差连接注意网络的图像去模糊算法。首先,采用一个卷积层进行浅层特征提取;其次,设计了一种新的基于残差连接和并行注意机制的多局部残差连接注意模块,用于消除图像模糊并提取上下文信息;再次,采用一个基于扩张卷积的成对连接模块进行细节恢复;最后,利用一个卷积层重建清晰图像。实验结果表明：在GoPro数据集上的PSNR (peak signal to noise ratio)和SSIM (structure similarity)分别为31.83 dB、0.927 5,在定性和定量两方面都表明所提方法能够有效地恢复模糊图像的纹理细节,网络性能优于对比方法。     

用于SAR估计的基于U-Net网络的快速膝关节模型重建

膝关节高场磁共振成像（MRI）时,射频功率沉积（SAR）是一个关键的安全指标.目前对于局部SAR的准确估计只能通过电磁仿真实现,这就要求得到每一个个体的膝关节模型.本文提出一种针对低场磁共振图像的基于卷积神经网络的分割方法,以实现膝关节磁共振图像的快速重建.数据集来自于矢位T₁加权自旋回波图像,将膝关节组织按照"肌肉-脂肪-骨骼"模型进行简化,除脂肪与骨骼之外的其他组织归类为肌肉.采用一种全卷积的神经网络,即U-Net进行逐层的图像分割,卷积层数为4,训练采用交叉熵函数.本文对图像的自动分割结果与手动标注结果进行了定量的比较.此外,采用3 T正交鸟笼线圈进行了SAR仿真,结果验证了组织简化对于SAR估计的可行性,并且所提方法构建的模型可以得到较为精准的局部SAR分布.     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于改进YOLOv3网络的无人车夜间环境感知

环境感知是无人车夜间行驶中的一项关键任务，提出一种改进的YOLOv3网络，以实现夜间对无人车获取的红外图像中行人、车辆的检测，将判断周边车辆的行驶方向问题转化为预测车辆位置的角度大小问题，并与深度估计信息进行融合对周边车辆行驶的距离和速度作出判断，从而实现夜间无人车对周边车辆行驶意图的感知。该网络具有端到端的优点，能实现整张图像作为网络的输入，直接在输出层回归检测目标的边界框位置、所属的类别和车辆的角度预测结果，并和深度估计信息融合得到周边车辆的距离和速度信息。实验结果表明，使用改进的YOLOv3网络对夜间无人车获取的红外图像进行目标检测的时间为0.04 s/帧，角度和速度预测效果较好，准确性和实时性达到了实际应用要求。     

一种基于2D-CNN的激光超声表面缺陷检测方法

激光超声表面缺陷检测的过程中,缺陷的定量表征通常依赖于操作者的判断,易受到人为因素干扰,致使检测结果不稳定.针对这一问题,提出一种基于图像识别的二维卷积神经网络(2D-CNN)的缺陷自动分类检测方法.利用有限元方法模拟激光超声检测过程,并采集超声信号数据用于训练分类模型;使用连续小变换(CWT)处理超声信号得到小波时频...     

Bearing Fault Diagnosis Method Based on Convolutional Neural Network and Knowledge Graph

An effective fault diagnosis method of bearing is the key to predictive maintenance of modern industrial equipment. With the single use of equipment failure mechanism or operation of data, it is hard to resolve multiple complex variable working conditions, multiple types of fault and equipment malfunctions and failures related to knowledge and data. In order to solve these problems, a fault diagnosis method based on the fusion of deep learning with a knowledge graph is proposed in this paper. Firstly, the knowledge rules of bearing data is used for entity extraction. Next, the multiscale optimized convolutional neural network (MOCNN) proposed in this paper is used for fault classification to achieve relationship extraction. Finally, the fault diagnosis graph of the bearing is constructed for fault-assisted decision-making as well as the detailed display of fault information. According to experiment analysis, the fault diagnosis model based on MOCNN proposed in this paper, which integrates the end-to-end convolutional neural network and the attention mechanism, still achieves an accuracy of 97.86% under the data set of 160 types of faults. Compared with the deep learning models such as Resnet and Inception in the noise environment of multiple working conditions and variable working conditions, the model proposed in this paper not only shows a faster convergence speed and stable performance, but also a higher accuracy in evaluation indicators, which is beneficial to practical use.     

基于神经网络的闪光照相网栅图像修补

提出了一种基于径向基函数（RBF）神经网络的闪光照相网栅图像修补算法,该方法采用滑动窗口方法将待修补的网栅图像分为若干子块,然后在每个子图像内分别引入RBF神经网络,将栅孔内图像作为已知数据计算RBF网络参数,并以此对每个子图像进行修补,数值试验表明,该算法能较好地再现图像边缘信息,修复的图像在信噪比和视觉方面都优于线性插值和样条插值的结果。