基于加权特征融合的多尺度遥感影像分类

针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征,会丢失部分细节信息,且对小样本任务表现一般的问题,本文提出了一种三支路的3D CNN,从不同尺度上提取特征后进行加权特征融合,从而获取了更为全面的特征;并引入数据增强技术,从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接,本文采用加权拼接的特征融合方法,将各特征分别乘以一个加权系数后再进行拼接,该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练,分别得到了98.60%、99.83%、99.97%的总体准确率,与各类对比方法相比,提升了高光谱遥感影像分类问题的准确率。     

多特征尺度融合改进Faster-RCNN视网膜微动脉瘤自动检测算法

视网膜微动脉瘤的检测对于早期发现糖尿病视网膜病变等重要疾病至关重要,但该病灶尺寸相对较小,属于眼底图像中的微小目标,现有的微动脉瘤检测算法难以实现该病灶的精准检测,为此提出了基于多特征尺度融合的改进Faster-RCNN微动脉瘤自动检测算法。该算法在Faster-RCNN网络模型的基础上,首先采用多特征尺度融合对特征提取网络与RPN结构进行改进以提高网络对于微小目标特征的利用;然后,通过感兴趣区域齐平池化以消除感兴趣区域池化过程中引入的量化误差;最后,通过对损失函数中的smooth L1损失函数进行重新设计得到平衡L1损失函数以实现损失函数优化,从而有效降低大梯度难学样本与小梯度易学样本间的不平衡问题,进而使得模型能够得到更好地训练。针对眼底图像中微动脉瘤的自动检测,将优化后的Faster-RCNN网络模型在Kaggle数据集上进行训练及测试,并与其他方法进行对比。实验结果表明,与其他各种结构的Faster-RCNN网络模型相比,所提出的基于多特征尺度融合的改进Faster-RCNN算法能显著提高检测结果（F-score与原始FasterRCNN相比提升了9.36%）;与其他网络模型以...     

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法*

环境声分类技术在家居安全监测、人机语音交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,本文提出一种基于多尺度通道注意力机制下的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出音频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%（iFLYTEK+Urbansound8k）的分类准确率。消融实验结果进一步表明：引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外, 在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。     

基于多尺度自适应特征的机载LiDAR点云分类

为解决复杂场景下城区点云分类精度不高的问题,提出了基于多尺度自适应特征的分类方法。首先,对经典几何统计特征和点直方图特征进行组合,将组合特征集作为分类依据;然后采用随机森林法评估特征的重要性,并自适应选取重要的特征集;最后基于多尺度自适应特征实现了点云的分类。实验结果表明:该方法能实现城区点云的高精度分类,能适合任意尺度下不同分辨率点云数据的分类。     

融合多尺度局部特征与深度特征的双目立体匹配

针对立体匹配中不适定区域难以找到精确匹配点的问题,提出一种融合多尺度局部特征与深度特征的立体匹配方法。特征融合阶段包括两部分,其一是融合不同尺度下Log-Gabor特征和局部二值模式特征组合的浅层次特征,其二是将多尺度浅层融合特征和卷积神经网络提取的深度特征进行级联,形成既包含语义信息又包含结构化信息的特征图像。通过在极线垂直方向添加不同强度的噪声来构造正负样本,减小图像中极线对齐欠准带来的误差。将该方法与两种变体方法(改变或舍弃部分模块)在KITTI数据集进行对比实验,结果表明各模块设置具有合理性;与一些经典方法相比,所提方法取得了有竞争力的匹配性能。     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于多尺度特征增强的合成孔径光学图像复原

受物理孔径大小和光线散射等影响,合成孔径光学系统成像因通光面积不足和相位失真而出现降质模糊.传统合成孔径光学系统成像复原算法对噪声敏感,过于依赖退化模型,自适应性差.对此提出一种基于生成对抗网络的光学图像复原方法,采用U-Net结构获取图像多级尺度特征,利用基于自注意力的混合域注意力提高网络在空间、通道上的特征提取能力,构造多尺度特征融合模块和特征增强模块,融合不同尺度特征间的信息,优化了编解码层的信息交互方式,增强了整体网络对原始图像真实结构的关注力,避免在复原过程中被振铃现象产生的伪影干扰.实验结果表明,与其他现有方法相比,该方法在峰值信噪比、结构相似性和感知相似度评估指标上分别提高了1.51%, 4.42%和5.22%,有效解决合成孔径光学系统成像结果模糊退化的问题.     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于特征融合的多尺度窗口产品外观检测方法

为提高产品外观质量的检测精度和实时性,提出一种基于特征融合的多尺度滑动窗口机器视觉检测方法;在训练阶段,首先提取图像的HOG特征和Lab颜色特征,并采用典型相关分析法(CCA)进行特征融合;接下来,采用支持向量机(SVM)对融合的特征进行训练,生成分类器;在检测阶段,产品外观不同区域对精度的要求不同,为提高检测效率,生成不同尺度的滑动窗口,在每个窗口中都进行图像的特征提取与特征融合;最后,对采集的图像序列进行匹配,实现产品外观划痕的实时检测;实验中,选取不同的特征提取方法进行对比,并分别生成大小不同的滑动窗口,通过分析实验结果,结合检测时间与精度,确定各个区域的窗口尺度;实验表明,与传统的检测方法相比,所提方法在检测精度和实时性上具有显著提高。     

基于多层感知机和多尺度特征提取的肝脏分割网络

肝脏精准分割对于肝癌的定位与治疗至关重要,针对肝脏形状尺寸不一以及边缘和病灶区域分割难度较大等问题,提出了一个基于多层感知机和多尺度特征提取的肝脏分割网络(M2U-Net)。该网络分为卷积阶段和多层感知机阶段。在卷积阶段的编码器部分加入挤压激励模块,突出特定的肝脏分割任务,抑制无关背景区域;在多层感知机阶段加入标记化多层感知机模块,减小模型复杂度。过渡层增加了多尺度特征提取模块,适应不同尺度肝脏的分割以及细节区域的分割;在LiTS数据集和东方肝胆医院提供的数据集上的实验结果表明,此分割网络在三个评价指标上结果均优于U-Net、U-Net++和CE-Net等分割网络。     

多尺度特征融合的目标检测算法研究

针对Faster R-CNN在多尺度目标检测时易出现小目标漏检和误检的问题,提出一种改进的多尺度目标检测算法。将利于小目标检测的低层网络和利于大尺度目标检测的高层网络进行多尺度特征融合;在训练阶段,采用在线难例样本挖掘算法维护难例样本分类池,加速神经网络模型迭代收敛,解决训练样本不均衡、训练效率低下的问题;计算并统计待检测目标的尺度大小,合理控制用于生成候选区域的锚框尺寸,提高模型泛化能力。采用PASCAL VOC2012公开数据集和类人足球机器人自建数据集进行算法验证,实验结果表明,相比Faster R-CNN算法,本算法的平均检测精度在上述数据集下分别提高了8.61和5.47个百分点。     

基于注意力融合的目标跟踪算法

针对基于孪生网络的目标跟踪算法存在抗干扰能力弱、鲁棒性差等问题,在SiamCAR基础上提出通道和空间注意力融合的目标跟踪算法。在特征提取子网络和分类回归子网络之间级联改进后的高效通道注意力和空间注意力模块,加强网络对互相关后响应图中重要通道特征和位置特征的关注,同时抑制不重要的特征信息。在OTB100上,所提算法在背景杂乱挑战下成功率和精度相比SiamCAR分别提高了3.1%和2.8%;在VOT2018上,所提算法的鲁棒性和期望平均重叠率相比SiamCAR分别提高了4.9%和2.2%。实验结果表明,所提算法增强了跟踪器的鲁棒性,提升了跟踪器在复杂场景下的跟踪效果。     

裂缝性介质多尺度深度学习模型

结合人工神经网络建立裂缝介质多尺度深度学习流动模型.基于一套粗网格和一套细网格,通过在粗网格上训练数据,多尺度神经网络能够以较少的自由度训练出准确的神经网络.并在粗网格上通过求解局部流动问题获得多尺度基函数,结合神经网络进一步得到精细网格的解.基于离散裂缝的流动方程可视为多层网络,网络层数依赖于求解时间步数.阐述裂缝介质多尺度机器学习数值计算格式的建立,介绍如何使用多尺度算法构建离散裂缝模型的多尺度基函数,并采用超样本技术进一步提高计算准确性.数值结果表明,多尺度有限元算法与机器学习结合是一种有效的流体流动模拟算法.     

粗糙微通道内液体流动的多尺度耦合模拟

采用分子动力学与有限容积法多尺度耦合算法对粗糙微通道内的液体Poiseuille流动进行了模拟。分析了粗糙元高度、分布以及几何形状对通道内流动速度和边界滑移长度的影响。结果表明：随着粗糙元高度的增加,流动速度和粗糙元间隙底部壁面上滑移长度均减小;粗糙元分布越密或不同几何形状粗糙元所对应的固壁原子数越多,滑移长度越小,但...     

基于多尺度注意力机制相位展开的三维人脸建模

相位展开作为三维(3D)测量技术中的关键环节,其解析精度直接影响3D建模的精度。由于存在欠采样和相位不连续等问题,故传统空间相位展开难以得到正确的相位信息,而时间相位展开又需要额外的信息辅助。针对复杂场景中的3D人脸建模,提出了基于多尺度注意力机制的相位展开网络。在所提网络中,利用编码器-解码器结构融合多尺度特征,并在解码网络中嵌入注意力子网络以获取上下文信息。构建一个包含5000组样本的FACE数据集和一个包含100组样本的MASK数据集,每组样本均包含截断相位和连续相位的真值,这些真值可用于相位展开的训练及测试。所提网络在FACE数据集和MASK数据集上的均方根误差分别为0.0387 rad和0.0273 rad,结构相似性分别为0.9850和0.9793。在欠采样、相位不连续等区域中,所提网络可快速准确地提取相位特征,进而保证了相位展开的正确性。最后,通过对比实验证实了所提网络的有效性和可行性。     

一种波段聚类和多尺度结构特征融合的高光谱图像分类模型

高光谱图像包含丰富的地物信息,在农业、工业和军事等领域应用广泛。因此,高光谱图像的识别与分类是一项重要的研究课题。然而,高光谱图像存在光谱维度高、噪声大、标记样本有限等问题,并未取得很好的分类效果。针对以上问题,提出一种波段聚类和多尺度结构特征融合的高光谱图像分类模型(ASPS-MRTV)。该方法主要包括以下几个步骤,首先,对高光谱数据进行归一化处理,将归一化后的三维图像按光谱维等分为n个子空间;其次,采用粗细划分策略构造自适应子空间光谱特征提取框架,将每个空间波段拉伸为一维向量后用信息散度构造波段的相似性矩阵,按照聚类的思想对n个子空间进行自适应;然后,将每个自适应子空间的光谱波段平均值进行叠加,形成光谱特征;最后,对所得到的光谱特征数据利用多尺度相对全变分技术提取结构特征。为了增强样本的线性可分性,在数据堆叠之后进行核主成分分析,最终形成空谱特征。对比实验中统一使用惩罚参数C和核参数σ都为24.5的SVM进行分类。经测试,ASPS-MRTV网络模型在Indian Pines、 University of Pavia两个数据集上分别以5%, 1%的训练样本达到了97.06%、 98....     

渐进式多尺度特征级联融合颜色恒常性算法

颜色恒常性是实现目标检测、三维物体重建、自动驾驶等计算机视觉任务的重要前提。为充分利用图像中不同尺度的特征信息估计光源,提出渐进式多尺度特征级联融合颜色恒常性算法,通过三个卷积网络分支从不同尺度提取图像中的特征信息,通过特征融合得到更加丰富的特征信息,通过级联方式将图像中的浅层边缘信息和深层细粒度特征信息进行融合,提高了颜色恒常性算法的精确性。渐进式网络结构基于加权累计角度误差损失函数提高了算法在面对极端场景光照下光源估计的鲁棒性。在重处理的ColorChecker和NUS-8数据集上的实验结果表明,本文算法在各项评价指标上均优于目前的颜色恒常性算法,可应用于需要进行颜色恒常性预处理的其他计算机视觉任务。     

渐进式多尺度特征级联融合颜色恒常性算法

为测试CIE推荐各颜色匹配函数（CMFs）CIE1931、CIE1964和CIE2006的计算性能,首先使用前期研究中两组基于配对比较法实验采集到的年轻和老年观察者异谱反射色色差比较数据,检验了CIE现有各CMFs的表现。研究发现CIE2006（22,4°）和CIE1931 2°的计算色差ΔE₀₀分别与56名年轻和40名老年观察者的目视色差ΔV间的STRESS值最小,一致性最好。在RAL K5色卡中选择了明度值L^*₁₀在34.4～71.6范围内的5个不同非彩色作为目标色,使用Epson喷墨打印机围绕每个目标色分别制作了16个异谱样本。组织了26名年轻观察者基于灰梯尺法进行80对样本的色差比较,结果表明目视色差ΔV与CIE2006（22,2°）CMFs的计算色差ΔE₀₀间STRESS值最小。本次实验的观察视场为8.17°×16.26°,现有CIE2006 CMFs在大视场下对异谱反射色间色差的计算性能还需要进一步改进。     

一种多尺度相似性学习的目标跟踪算法研究

基于深度学习的目标跟踪算法由于其良好的性能已经成为目标跟踪领域的主流算法之一。其核心思想是进行前后帧的相似性学习从而完成模板帧与搜索帧的匹配。其中,相似性学习是影响跟踪算法性能的关键一环。以孪生网络的相似性学习为切入点,对现有的深度互相关(DW-XCorr)的相似性学习方式进行改进,提出了一种多尺度相似性学习的目标跟踪算法。该算法在SiamRPN的基础网络框架下,构造多尺度互相关(Multi-Scale Cross Correlation,MS-XCorr)模块,对原有的互相关操作进行多尺度的改进,从而增加学习特征尺度的多样性,提高了跟踪网络相似性学习的效率,最终使得算法跟踪性能有进一步提升。在实验部分,将改进后的算法与其基线进行了对比实验,该算法在成功率(Success Rate)、精度(Precision)及平均精度(Norm Precision)上均有提升,成功率提高了4.3%,精度提高了4.4%,平均精度提高了4.0%。实验表明,多尺度互相关模块相较于深度互相关模块具有更强的相似性学习能力,提出的多尺度相似性学习的目标跟踪算法在目标光照、形态变化、遮挡以及干扰等复杂场景下具有更...