基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法．采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿．此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度．在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果．     

基于全尺度特征融合的无监督单目深度估计

当前无监督单目深度估计取得了很大的进展,但仍然存在着大梯度区域估计不准确的问题,主要是因为深度估计网络没有探索出有效的空间特征和语义信息,导致物体边界等大梯度区域存在着较大误差。针对这一问题,提出全方位探索特征信息的深度估计网络架构,整个框架利用全尺度的跳跃连接进行特征的整合,最后通过有效的通道注意力特征融合模块来进行特征融合,这两个巧妙的设计共同提升了单目深度估计模型的精度。在KITTI数据集上的实验结果表明,能够提升无监督单目深度估计的准确性以及生成更加锐利的物体边界。     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

多尺度特征的深度学习及在多聚焦图像融合上的应用

【目的】多聚焦图像融合指的是从同一场景下不同的图像中提取各自的聚焦区域,得到一幅全聚焦的图像,是近些年来图像处理领域一个热门的研究方向。传统的图像融合技术存在融合区域不清晰、失真、存在伪影等情况。针对这一现象,提出了一种基于深度学习的图像融合方法。【方法】所提算法整体使用了孪生网络来对图像中的聚焦区域进行分类,同时还引入了GoogLeNet中的Inception模块来提高网络的特征提取能力,取得了良好的性能。为了充分利用源图像中的特征信息,提出的算法中使用了不同大小的子块来提取源图像中不同尺度的特征信息,获得源图像多个尺度的特征。此外,提出的方法获得的二值图能够精确反映出源图像的聚焦区域和非聚焦区域,因此不需要应用后处理步骤来对二值图进行优化,降低了网络的复杂度。【结果】在Lytro多聚焦图像集和其他常用的多聚焦灰度图像集上的实验结果表明：相比于其他经典算法,提出算法的融合结果从主观和客观两个维度上都拥有显著的优势。【结论】提出的算法很好地融合了源图像中的细节特征,融合边缘自然平滑、无伪影产生,取得了较传统算法更好的融合效果。     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取．因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来源以充分利用低级特征的空间信息,并且利用注意力机制获取丰富的上下信息并增强模型对目标通道的学习能力,降低对其他目标和噪音的响应能力,改善模型在小样本上检测效果差的问题．最后利用公开遥感图像数据集和小样本数据集进行联合训练的迁移学习方法降低训练样本过少对网络学习性能的影响．实验结果表明：本文方法的精度提高了3.69%,可节省1/2的标注成本．     

基于多尺度特征融合的属性已知人脸图像超分辨率

卷积神经网络凭借其强大的表征能力,在图像超分辨率任务上取得了许多令人满意的结果。许多基于神经网络的方法采用增加网络深度的方式,存在存储空间消耗多、实用性不强的问题。为解决该问题,该文提出一种基于多尺度特征融合的属性感知人脸图像超分辨率网络。该文借助局部残差模块和逐元素相加的融合方式以减少网络复杂性并提炼出表征能力优秀的多尺度特征。该文构建一个可自适应地融合多尺度特征和人脸先验的属性感知模块,使得网络学习到更丰富的语义信息。该文提出的网络由多个网络子模块级联构成,并通过一个多层次特征融合模块进行共同学习。试验表明：该文方法能取得良好的超分辨率性能,输出更加真实的人脸图像,可以通过调整人脸属性信息进行人脸图像生成效果的操纵。     

基于多尺度特征融合的遥感影像场景分类方法

针对遥感场景影像存在类间相似性高、类内多样性大、且不同尺度下遥感影像差异大等问题,导致场景分类任务精确度受限,提出一种基于多尺度特征融合的遥感影像场景分类算法。首先利用轻量级网络MobileNetV2作为主干网络,以更少的网络参数实现更高的分类准确率。网络通过一维卷积提升输入通道,设计的多尺度特征融合模块能够捕获遥感影像的高级特征和低级特征,融合影像的多尺度特征,能够有效缓解不同尺度下遥感影像差异大的问题。通过在三个公开遥感数据集上进行实验对比,验证了所提方法的有效性。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于单目深度估计方法的图像分层虚化技术

实现了一种基于单目深度估计方法的图像分层虚化技术,可使前景清晰背景模糊,离镜头越远虚化效果越明显:首先对图像等比例缩小并且对图像中的物体做边缘检测,并利用线性追踪生成线条扫描信息图,利用双边滤波器对初始深度图做平滑处理得到深度图,依据深度信息选择阈值将图像分层,在分层的基础上对图像背景做高斯模糊处理,最终得到图像分层虚化效果,增强图像的表现力和艺术效果. 本技术的实现效果较为理想,能达到良好的图像分层虚化效果。     

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与四个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

基于特征融合SSD的微电连接器缺陷检测

提出基于多尺度特征融合单次多框检测器(SSD)算法,对微精密玻璃封装电连接器的缺陷进行检测．针对SSD算法在背景复杂、噪声干扰多、目标特征微弱环境下,特征提取能力弱、检测精度低的问题,在主干网络加入深度残差结构,丰富细节信息;针对在卷积网络中关键信息逐步丢失问题,提出了自顶向下的多尺度特征融合方法将含有上下文信息的高语义层与含有位置信息的低层特征进行融合,使得融合后的特征层包含丰富的边界信息和背景信息;在此基础上,构建了一种轻量级的通道注意力模块,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高SSD网络的特征提取能力．实验结果表明：改进算法相对于原始的SSD算法,精度由86.42%提高到了91.28%.     

多线索非参数化融合的单目视频深度估计

为解决二维视频的三维转化问题,提出了一种基于非参数化学习和多线索融合的单目视频深度图提取方法.首先,利用单目图像的区域边界轮廓和几何透视结构线索,基于前景背景融合来估计单目视频中各帧的深度图像;然后,利用视频帧间空时相关性,借助非参数学习实现单目视频深度估计;最后,利用全局背景深度分段约束和去抖动来增强深度视频序列.实验结果表明,与其他现有方法相比,该方法能得到更为准确的单目视频深度图序列,无论在主观质量还是均方根误差(RMS)和结构相似性度量(SSIM)上,均能取得较好的效果.     

基于多尺度特征融合的中分辨率遥感场景分类算法

在对中分辨率遥感图像进行场景分类时,传统的特征提取方法无法提取全面的特征,若使用卷积神经网络进行场景分类,同一大小的卷积核无法提取尺寸大小各异的地物特征,导致分类精度降低.为了提取不同尺寸的地物特征,提高分类精度,本文提出一种基于多尺度特征融合的中分辨率遥感场景分类算法.对传统的卷积神经网络进行改进以适应中分辨率遥感数据集,并在其基础上添加多尺度池化,将连接多层次的特征图谱输入到全连接层进行分类.实验表明,多层特征融合方法提取的特征信息比单层多尺度池化方法提取的特征信息更全面,分类效果更优.与其他的传统分类方法相比,本文方法获得更好的分类结果.     

融合多尺度特征和子空间注意力的黏膜下肿瘤检测

计算机辅助检测工具可以帮助医生减少在临床检查中漏检误检的情况，从而提高诊断准确度，同时减轻医生的劳动强度。针对超声胃肠镜检查中黏膜下肿瘤的定位与分类问题，提出了一种融合多尺度特征和子空间注意力的黏膜下肿瘤检测算法(MFSA-YOLOv7t)。首先，移除小目标预测头，在保证精度下使网络轻量化；然后，基于浅层特征提出多尺度特征融合模块，提取肿瘤细节信息；其次，改进上采样结构，在保留上层信息的同时增强感受野；最后，引入子空间位置注意力模块，捕获肿瘤的位置和边界特征，进一步提升黏膜下肿瘤的检测性能。实验表明，MFSA-YOLOv7t在平均精度均值、敏感度以及准确度上分别达到97.32%，96.99%和96.24%，相比YOLOv7-tiny算法检测性能有较大的提升，分别提高了2.39%，2.75%和2.59%。MFSA-YOLOv7t为医生在临床检查中的辅助诊断提供更加可靠的肿瘤类型参考，同时为黏膜下肿瘤的检测提供了一个新的思路和研究方向。     

单目视觉SLAM车载摄像机快速位姿估计及景物重构

针对单目视觉同时定位与地图构建(simultaneous localization and mapping, SLAM)应用,提出一种快速车载摄像机位姿估计及景物结构3D重构算法。在无具体标定物的情况下,利用移动机器人二自由度运动导致摄像机采集视图中对应极点的特殊性质,标定出真实摄像机与虚拟摄像机间的相对姿态,并利用主动视觉方法进一步标定出移动机器人坐标系与虚拟摄像机坐标系间的相对位移;构造无穷单应变换,将真实视图中通过SIFT算法得到的假设欧氏匹配点集转换为对应虚拟摄像机的虚拟假设欧氏匹配点集,并利用基于RANSAC的归一化三点算法快速地对本质矩阵进行估计和分解;利用已观测到的路标三维信息,递归地剔除本质矩阵分解出的平移量的尺度不确定性,并利用线性三角形法重构出景物结构。实验结果表明:该算法在保证运算精度的同时,具有更快的运算速度。