基于特征融合的遥感图像舰船目标检测方法

针对常用的目标检测算法对遥感图像中的舰船目标进行检测时存在检测精度与实时性兼顾不佳的问题,提出了基于特征融合的遥感图像舰船目标检测算法来检测复杂场景下的多尺度舰船目标.该算法以多尺度单发射击检测框架为基础,增加反卷积特征融合模块和池化特征融合模块,增强网络特征提取的能力.同时设计聚焦分类损失函数来解决训练过程中正负样本失衡的问题.在高分遥感舰船目标数据集上的实验结果表明,所提方法能够有效地增强复杂场景下舰船目标的检测精度.此外,该算法对遥感图像中的模糊舰船目标的检测效果也优于多尺度单发射击检测框架.     

基于图像特征融合的遥感场景零样本分类算法

利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。     

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.     

结合有序光流图和双流卷积网络的行为识别

为有效利用行为视频的长时时域信息,提高行为识别准确率,提出一种结合有序光流图和双流卷积神经网络的行为识别算法。首先利用Rank支持向量机(SVM)算法将连续光流序列压缩总结成单幅有序光流图,实现对视频长时时域结构的建模;然后设计一个包含表观和短时运动流与长时运动流的双流卷积网络,分别以堆叠RGB帧、有序光流图为输入提取视频的表观和短时运动信息与长时运动信息;最后将双流网络的C3D描述子和VGG描述子融合后输入线性SVM进行行为识别。在HMDB51和UCF101两个数据集的实验结果表明,该算法能够有效利用空域表观信息和时域运动信息,具有较高的行为视频识别准确率。     

基于改进关系网络的小样本红外空中目标分类方法

针对地对空红外空中目标识别任务中数据量严重不足的问题,提出一种基于改进关系网络的小样本红外空中目标分类方法。该方法将关系网络模型、多尺度特征融合方法及元学习训练策略相结合,首先构造多尺度特征提取模块提取输入图像的特征向量,然后将支撑样本和预测样本的特征向量输入到关系模块中,根据关系值得到预测样本的类别标签。mini-ImageNet数据集上的实验结果表明:所提模型的分类精度显著高于其他经典的小样本学习模型。Infra-aircraft dataset上的实验结果表明:所提方法在仅有个位数样本的情况下,可完成多种机型的地对空红外图像分类任务。     

基于有监督对比学习的遥感图像场景分类

针对遥感场景图像中复杂背景以及类内多样性和类间相似性影响场景分类性能的问题,提出一种基于有监督对比学习的遥感场景分类方法。该方法包含判别性特征学习和线性分类两个阶段。在判别性特征学习阶段,引入有监督对比损失以拉近同类场景间的距离并增大不同类场景间的距离,提高类内多样性和类间相似性场景的判别能力;然后引入门控自注意模块对无用的背景信息进行过滤且聚焦关键场景区域,提高复杂背景的场景识别;最后引入一个预训练的Inception V3语义分支,把语义分支和原始模型提取的特征进行融合增强特征判别能力,以提高场景分类的整体性能。线性分类阶段通过对特征学习阶段训练的模型进行微调获得分类结果。在AID和NWPU-RESISC45数据集上的综合实验证明了所提方法的有效性。     

基于时空图像融合与多任务分类网络的步态识别研究

通过研究一种基于多尺度卷积神经网络和人体姿态估计模型相结合的多任务步态识别方法,对神经网络识别结果做出一定的解释说明,同时提高其在面对协变量改变场景下的识别效果。该方法将卷积神经网络提取的步态空间特征和人体姿态估计模型得到人体关节时序特征融合,进行身份的识别。使用步态数据集CASIA-B中的正常行走序列和合成行走序列数据以及TUM-GAID步态数据集进行实验。结果表明,该方法在TUM-GAID步态数据集实验中,三种场景T₁、T₂和T₃下的识别率分别达到95.2%、72.4%和84.5%。在CASIA-B步态数据集实验中,对于正常行走序列以及两种合成行走序列,该方法在识别精度上均有较好的表现,体现该模型有较强的鲁棒性。     

应用支持向量机和人工神经网络对大气次声信号 识别的初步实验

语音情感识别在许多领域具有重要研究价值,不同声学情感特征在使用不同分类器进行分类时,识别效果具有明显差异。与语音情感有关的声学特征包括谱特征、韵律学特征、音质特征。该文提出一种特征融合的方法,将3种声学特征中具有最好识别能力的特征进行融合:保留在实验中表现稳定且有较高识别率的谱特征的全部特征,提取韵律学、音质特征的相关统计量作为辅助特征融合于谱特征中。实验表明,该文所提出的融合特征在使用同一分类器进行分类时,识别率优于单一特征;当使用不同分类器时,融合特征依然具有较好的识别能力,且识别性能稳定,3个数据集上均有较好的识别率,基本实现跨数据集识别。     

全局特征及弱尺度融合策略的小样本语音情感识别

语音是一种短时平稳时频信号,因此大多数的研究者都通过分帧来提取情感特征。然而,分帧后提取的特征为局部特征,无法准确反应情感语音动态特性,故单纯采用局部特征往往无法构建鲁棒的情感识别系统。针对这个问题,先在不分帧的语音信号里通过多尺度最优小波包分解提取语句级全局特征,分帧后再提取384维的语句级局部特征,并利用Fisher准则进行降维,最后提出一种弱尺度融合策略来将这两种语句级特征进行融合,再利用SVM进行情感分类。基于柏林情感库的实验结果表明本文方法较单纯使用语句级局部特征最后识别率提高了4.2%到13.8%,特别在小样本的情况下,语音情感识别率波动较小。      

一种基于协方差描述子的场景分类算法

图像场景分类一直是计算机视觉领域的一个热点问题。提出了协方差描述子场景分类算法,它聚合了像素位置、颜色特征、方向特征和局部纹理特征等互补特征形成协方差描述子。为了避免计算黎曼空间内的协方差距离测度,把协方差描述子转换成欧式空间内的Sigma点特征,可以实现线性的场景描述和支持向量机训练。在SUN Database标准数据集上进行了算法分类测试,并与经典的场景分类算法进行了性能比较;通过构造包含噪声的场景数据集,验证了新算法和经典算法的鲁棒性。实验结果表明该算法在计算效率和分类性能方面具有很强优势,同时具有较好的噪声鲁棒性。     

Good match exploration for thermal infrared face recognition based on YWF-SIFT with multi-scale fusion

Stable local feature detection is a critical prerequisite in the problem of infrared (IR) face recognition. Recently, Scale Invariant Feature Transform (SIFT) is introduced for feature detection in an infrared face frame, which is achieved by applying a simple and effective averaging window with SIFT termed as Y-styled Window Filter (YWF). However, the thermal IR face frame has an intrinsic characteristic such as lack of feature points (keypoints); therefore, the performance of the YWF-SIFT method will be inevitably influenced when it was used for IR face recognition. In this paper, we propose a novel method combining multi-scale fusion with YWF-SIFT to explore more good feature matches. The multi-scale fusion is performed on a thermal IR frame and a corresponding auxiliary visual frame generated from an off-the-shelf low-cost visual camera. The fused image is more informative, and typically contains much more stable features. Besides, the use of YWF-SIFT method enables us to establish feature correspondences more accurately. Quantitative experimental results demonstrate that our algorithm is able to significantly improve the quantity of feature points by approximately 38%. As a result, the performance of YWF-SIFT with multi-scale fusion is enhanced about 12% in infrared human face recognition.     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

水下高分辨率声图中小目标的深度网络分类方法

针对声成像数据缺少条件下的水下沉底小目标分类问题,提出一种深度网络分类算法。首先,采用高斯混合模型对声影区统计特性进行建模并提取声图阴影,在此基础上构建仿真数据集和真实数据集。将仿真数据集输入卷积神经网络进行训练,保留其特征提取部分,用于对真实数据集进行特征提取.重建网络分类部分并采用真实数据集的特征向量进行训练。结果表明,所提出的方法分类正确率可达88.24%,与6种对照方法相比平均分类正确率分别提升8.67%,20.47%,19.78%,11.59%,9.01%,11.58%。验证了所提出方法在小样本条件下具有较好对水下沉底小目标的分类能力。其学习曲线收敛到96.25%,仅比验证曲线高5.14%,说明在一定程度上缓解了过拟合问题。将改进的卷积神经网络应用于融合分类器,通过与逻辑回归分类器、支持向量机对目标进行分类并融合决策,正确率为93.33%,可进一步提高算法的正确率和稳定性.      

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组。基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合。通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制非目标区域信息。以端到端识别网络作为基础,利用交叉损失计算策略,对含有注意力掩码的多尺度双频段融合特征图进行目标识别。结果表明,所设计的识别网络能够有效地融合目标红外热源物理特征和可见光图像纹理特征,提高了信息融合深度,保留目标热辐射与纹理特征的同时降低了背景信息干扰,对全天候复杂环境下的多尺度热源目标具有良好的识别精度与鲁棒性。     

应用ResNet和CatBoost检测重放语声*

针对短语声指令声频信息少、不适用句子级重放语声检测的问题以及近距离录声后用高质量重放设备重放的语声难以检测的问题，提出了一种适用于词级重放语声检测的模型。首先，利用短时傅里叶变换、低频平均能量计算和帧排序等方法选择声频帧，然后提取这些帧的伽马通频率倒谱系数。其次，用基于自注意机制的残差网络模型进一步提取伽马通频率倒谱系数中的信息，并转化为特征向量。最后，将提取后的特征向量用CatBoost分类，从而提高检测性能。在POCO数据集上的实验结果表明，提出的方法可以以87.54%的准确率和12.53%的等错误率检测重放语声，优于基线和现有的方法。该文提出的方法在ASVspoof2019 PA数据集上的等错误率与串联检测代价函数分别为4.92%和0.1418，证明该文方法也适用于多种设置的重放语声检测。     

Automatic modulation recognition based on a multiscale network with statistical features

Automatic modulation recognition (AMR) can be used in dynamic spectrum access (DSA) techniques to reduce the pressure on spectrum resources. In this paper, we propose a multiscale convolution-based network model called MSNet-SF, which combines traditional statistical features and deep learning (DL) to balance recognition accuracy and complexity. In the model, the feature information is extracted by two multiscale modules, which consist of unit convolution and three different sizes of convolution kernels arranged in parallel. Additionally, the sparse connectivity of unit convolution enables the network to be more lightweight. Five statistical features (four higher-order cumulants (HOCs) and one zero-centered normalized instantaneous magnitude tightness) are also input into the model and are fully fused with the main feature map by multiplication to achieve complementarity of long-term and short-term features. This approach yields a large performance gain at a small cost and greatly reduces the confusion between QAM16 and QAM64. Simulation results in the RML2018.10A dataset show that the average recognition accuracy of the model improved by 4% after adding the statistical features and achieved an accuracy of more than 97% from 12 dB.     

合成语声的声学分析及识别特征算法

当前社会新型犯罪中电信诈骗案件频发,急需一种能够自动有效区分语声真伪的方法。为进一步增强目前深度学习领域识别合成语声的能力,为保障语声信息安全提供技术上的支持,针对合成语声声学特性上异于真实语声的特点,分析对比合成语声和真实语声的声学特性,设计了一种声学特征均方根角量化语声声强变化程度,结合基频变化率和语声窄带频谱图声学特征进行融合,量化了声学特性差异,聚焦了合成语声中关键声学信息。在神经网络模型中融合输入声学特征,在FoR数据集的验证集上得到了0.6%的等错误率,在测试集上最好结果达到了10.8%的等错误率。该文成功实现了对合成语声的识别,证实了声学特征的有效性和研究方案的可行性,在一定程度上拓宽了合成语声特征设计的研究思路。     

多尺度融合超分辨率算法在无人机探测中的应用

基于光电传感器的低慢小无人机探测系统能够快速准确地发现并识别无人机目标,但远距离非合作无人机目标在图像中像素比重过小,特征退化较明显,使识别率大大降低。图像超分辨技术能够从低分辨率目标图像区域中获得高分辨率图像并恢复更多的细节特征,现有超分辨技术很难在保证推理速度的前提下兼容图像的高低频特征,因此为了满足探测系统的需求,基于FSRCNN（fast super-resolution convolutional neural network）的特征提取与非线性映射网络结构并结合多尺度融合,提出一种包含4分支的轻量级多尺度融合超分辨率网络,能够在超分辨率图形中兼容高低频图像信息,且参数量较低,实时性高。经实验结果表明,该算法能够更加快速高效地重建出高分辨率的无人机轮廓与细节;在YOLOV3检测效果的实验中,该算法能够使无人机检测置信度平均提升6.72%,具备较高的实际应用价值。