基于加权特征融合的多尺度遥感影像分类

针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征,会丢失部分细节信息,且对小样本任务表现一般的问题,本文提出了一种三支路的3D CNN,从不同尺度上提取特征后进行加权特征融合,从而获取了更为全面的特征;并引入数据增强技术,从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接,本文采用加权拼接的特征融合方法,将各特征分别乘以一个加权系数后再进行拼接,该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练,分别得到了98.60%、99.83%、99.97%的总体准确率,与各类对比方法相比,提升了高光谱遥感影像分类问题的准确率。     

利用双流卷积神经网络的人脸表情识别方法北大核心CSCD

近年来,人脸表情识别(FER)方法已经取得比较好的识别准确度,但实际环境中由于姿态、遮挡、光照等因素,会对其检测准确度有不小的减弱效果。针对这些问题,提出了一种新的基于双流卷积神经网络(CNN)的FER算法。从外观和几何特征差异两方面入手,建立双流CNN,基于外观特征的网络是提取预处理后图像的局部方向模式(LDP)特征作为该网络的输入,而基于几何特征的网络主要是基于动作单元(AUs)标志点的坐标变化,AUs标志点主要是标志面部做表情时运动肌肉的位置。此外,利用了一种自动编码器技术生成具有中性情绪的面部图像的技术。算法在CK+和JAFFE数据集上进行了验证,检测准确度分别为98.81%和96.05%,与其他最新方法比较均显示出更好的效果。     

融合多尺度局部特征与深度特征的双目立体匹配

针对立体匹配中不适定区域难以找到精确匹配点的问题,提出一种融合多尺度局部特征与深度特征的立体匹配方法。特征融合阶段包括两部分,其一是融合不同尺度下Log-Gabor特征和局部二值模式特征组合的浅层次特征,其二是将多尺度浅层融合特征和卷积神经网络提取的深度特征进行级联,形成既包含语义信息又包含结构化信息的特征图像。通过在极线垂直方向添加不同强度的噪声来构造正负样本,减小图像中极线对齐欠准带来的误差。将该方法与两种变体方法(改变或舍弃部分模块)在KITTI数据集进行对比实验,结果表明各模块设置具有合理性;与一些经典方法相比,所提方法取得了有竞争力的匹配性能。     

高速铁路场景的分割与识别算法

为实现高速铁路周界侵限检测系统自动识别轨道区域的功能,提出了一种自适应的图像分割与识别算法。计算了每个场景的直线特征极大值以调节自适应参数,提出了新的基于边界点权重及区域面积的聚类组合规则,将碎片化区域快速组合成局部区域;简化了卷积神经网络,通过对卷积核进行预训练并在损失函数中增加稀疏项来提高特征图的差异性。在不使用显卡的前提下,对比实验结果表明所提算法的像素准确率最高(95.9%),计算时间最短(2.5 s),网络参数约为0.18×10~6个,在分割精准度、识别准确率、计算时间、人工操作复杂度和系统硬件成本等之间找到了有效平衡点,提高了铁路周界侵限检测系统的自动化程度和工作效率。     

尺度不变特征与几何特征融合的人耳识别方法

要提高人耳的识别率,关键是特征的提取与表达.尺度不变特征变换(SIFT)技术是局部点特征提取算法,在尺度空间寻找极值点,提取对图像的尺度和旋转变化具有不变性,对光照变化和图像变形具有较强的适应性的特征向量.尝试用SIFT技术来提取外耳图像的结构特征点以形成稳定的特征描述子,为了克服一幅图像中有多个局部描述子相似的问题,在SIFT特征描述子中融入一个耳廓几何特征.最后采用特征向量的欧氏距离作为两幅图像相似性度量标准进行人耳识别.在耳图像库七进行实验.结果表明,该方法不仅可以有效地提取人耳特征,通过少量特征可获得较高的识别率,而且对耳图像刚体变化具有较强的稳健性.     

基于卷积神经网络与特征融合的天气识别方法

在太阳能热水器及太阳能电池等太阳能发电领域,下雨、下雪、阴天等气候因素将严重影响发电效果,而太阳能随动系统工作也必须消耗能量,所以迅速判断当前的天气状况,并设计自适应的开关随动系统极其重要。当天气状况为阴雨或者雪天时,系统应当关闭从而减少能耗。鉴于传统的天气识别方法效率低、准确度差、计算量大的问题,在公开的天气图像基础上创建了一个具有多种类别的天气分类集,并提供了一种基于卷积神经网络与特征融合的天气图像识别技术。通过采用传统方式获取图像的颜色、纹理、形状3种特征作为整个模型的底层特征,在原本的VGG16(visual geometry group-16)模型基础上进行了改进,从而提取图像的深层特征,最后将底层特征与深层特征融合起来在Softmax上进行输出,总识别率达到94%。     

深浅交错式特征融合的人体图像分割方法北大核心CSCD

人体图像分割作为人体行为理解和分析的基础,但要实现精准分割及实时分割是一个巨大的难题,因此提出一种深浅交错式特征融合的全卷积神经网络的方法,应用于人体图像分割。使用全卷积神经网络的卷积层提取丰富的图像特征,对不同深度的特征图由深到浅交错式地拼接并融合。最终将融合特征图送入卷积层输出预测图像,并经过全局阈值分割得到分割结果。在百度人体图像分割数据库上进行实验,其平均覆盖率可以达到89.95%,最佳分割重叠率高达99.31%;分割一幅500×500彩色图像的平均耗时为56ms,实现较好的分割性能。     

基于多尺度递归网络的图像超分辨率重建

提出了一种基于多尺度递归网络的图像超分辨率网络模型,该模型主要由多个多尺度特征映射单元级联而成,每个单元分别包含一组不同尺度的特征提取层、一个融合层以及一个特征映射层。特征提取直接在原始低分辨率图像上进行,最后采用亚像素卷积重构高分辨率图像。训练阶段使用自适应矩估计优化方法加速网络模型的收敛。实验结果表明,所提算法取得了较好的超分辨率结果,图像纹理清晰、边缘锐利,视觉效果明显得到增强。在Set5、Set14、BSD100以及Urban100等常用测试集上的客观评价指标(PSNR和SSIM)均高于现有的几种主流算法。     

基于核循环结构的自适应特征融合目标跟踪EI北大核心CSCD

视频跟踪中,使用单一特征对目标进行描述难以适应复杂场景的变化,目标的尺度变化、形变、遮挡等因素易导致跟踪失败。为提高跟踪的稳健性,基于核循环结构,提出一种自适应特征融合和模型更新的跟踪方法,并引入尺度更新机制。首先利用目标的灰度特征和局部二值模式特征分别计算滤波响应图,依据响应图的峰值旁瓣比(PSR)自适应地分配权值并加权融合,从而估计目标的最佳位置。然后根据融合后响应图的PSR来判断跟踪质量,据此决定是否更新模型。最后在目标位置周围提取方向梯度直方图特征构建尺度金字塔,训练尺度相关滤波器,用来估计目标的最佳尺度。实验选取标准测试数据集中具有光照变化,遮挡和尺度变化的视频序列进行实验,结果表明,该算法能够实现对目标的稳定跟踪,并且在距离精度和成功率上均优于对比算法。     

Image fusion through local feature extraction by using multi-scale top-hat by reconstruction operators

The purpose of image fusion is to combine useful image features of different original images into the final fusion image, which will produce one useful result image for different applications. One of the main difficulties of image fusion is extracting useful image features of different original images. In some cases, useful image features are local image features of the whole image. To efficiently extract local image features and produce an efficient fusion result, an image fusion algorithm based on the extracted local image features by using multi-scale top-hat by reconstruction operators is proposed in this paper. Firstly, multi-scale local feature extraction using multi-scale top-hat by reconstruction operators is discussed. Then, based on the extracted multi-scale local features of different original images, the useful image features for image fusion are constructed. Finally, the constructed useful image features for image fusion are combined into the final fusion image. Experimental results on different types of images show that, the proposed algorithm performs well for image fusion.     

Influence of the method of acoustic feature representation on the phoneme recognition efficiency with perceptron

We study different methods of acoustic feature representation for the phoneme recognition problem using an artificial neural network. Feature representation methods are compared using the results of phoneme recognition and clustering of the parameters retrieved from speech signals. The best results of phoneme recognition are obtained by using a filter bank for acoustic feature representation. __________ Translated from Izvestiya Vysshikh Uchebnykh Zavedenii, Radiofizika, Vol. 50, No. 4, pp. 350–356, April 2007.     

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法*

环境声分类技术在家居安全监测、人机语音交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,本文提出一种基于多尺度通道注意力机制下的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出音频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%（iFLYTEK+Urbansound8k）的分类准确率。消融实验结果进一步表明：引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外, 在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。     

基于小波变换与小域特征模糊融合的人脸识别

小波变换是一种很好的图像压缩方法,利用小波变换对人脸图像进行三次小波分解,并将低频分量分割成为7个子图像。鉴于人脸上的各小域子图像信息的相互独立性。先利用小域子图像实现软分类,然后使用传统奇异值分解(SVD)法提取出各小域子图像的奇异值(SV),构造出小域奇异值特征向量,给出待识别图像对训练样本图像的隶属度,并采用模糊融合的方法对小域特征进行数据融合,获得识别结果。实验结果表明,该方法实现起来简单、识别速度快,具有很高的识别率。     

Good match exploration for thermal infrared face recognition based on YWF-SIFT with multi-scale fusion

Stable local feature detection is a critical prerequisite in the problem of infrared (IR) face recognition. Recently, Scale Invariant Feature Transform (SIFT) is introduced for feature detection in an infrared face frame, which is achieved by applying a simple and effective averaging window with SIFT termed as Y-styled Window Filter (YWF). However, the thermal IR face frame has an intrinsic characteristic such as lack of feature points (keypoints); therefore, the performance of the YWF-SIFT method will be inevitably influenced when it was used for IR face recognition. In this paper, we propose a novel method combining multi-scale fusion with YWF-SIFT to explore more good feature matches. The multi-scale fusion is performed on a thermal IR frame and a corresponding auxiliary visual frame generated from an off-the-shelf low-cost visual camera. The fused image is more informative, and typically contains much more stable features. Besides, the use of YWF-SIFT method enables us to establish feature correspondences more accurately. Quantitative experimental results demonstrate that our algorithm is able to significantly improve the quantity of feature points by approximately 38%. As a result, the performance of YWF-SIFT with multi-scale fusion is enhanced about 12% in infrared human face recognition.     

Face recognition using improved-LDA with facial combined feature

Face recognition subjected to various conditions is a challenging task. This paper presents a combined feature improved Fisher classifier method for face recognition. Both of the facial holistic information and local information are used for face representation. In addition, the improved linear discriminant analysis (I-LDA) is employed for good generalization capability. Experiments show that the method is not only robust to moderate changes of illumination, pose and facial expression but also superior to the traditional methods, such as eigenfaces and Fisherfaces.     

近岸4种鱼的声散射特征提取及融合实验研究*

为了有效地提取表征鱼类间差异的声散射特征参数,该文通过绳系法实验研究了近岸4种经济鱼类的声散射信号特征提取及融合方法。首先,通过自研双频鱼探仪采集花鲈、许氏平鲉、黑鲷和斑石鲷的个体鱼声散射信号;然后,分别测定200 kHz和450 kHz换能器下鱼体的目标强度,同时提取鱼声散射信号的时频域统计特征;最后,将降维后的时频特征与频差特征融合组成新的特征向量。该文通过实验验证了该方法的有效性,基于组合特征的支持向量机识别准确率达93%。结果表明,鱼的频率响应特性和鱼声散射信号的时频域统计特征能一定程度上反映鱼的固有属性,有效地增加判别依据能显著提高以上4种鱼类的识别准确率。     

Palmprint recognition method based on score level fusion

Different palmprint recognition methods have different advantages. The texture- and feature-based palmprint recognition methods can well exploit the minutiae of the palmprint but are not very robust to the possible variation such as the rotation and shift of the palm. The representation-based palmprint recognition method can well take advantage of the holistic information but seems not to be able to fully exploit the minutiae of the palmprint. In this paper, we propose to fuse the competitive coding method and two-phase test sample sparse representation (TPTSR) method for palmprint recognition. As one of representation-based methods, TPTSR method takes the whole palmprint image as the input and determines the contribution of the training samples of each class in representing the test sample. TPTSR also uses the contribution to calculate the similarities between the test sample and every class. The competitive coding method is a feature-based method and is highly complementary with TPTSR. We use a weighted fusion scheme to combine the matching scores generated from TPTSR and the competitive coding method. The experimental results show that the proposed method can obtain a very high classification accuracy and outperforms both TPTSR and the competitive coding method.     

多特征融合的鸟类物种识别方法

针对短时窗平均/长时窗平均算法从次声台站监测数据中提取的信号仍然包含噪声的问题,对支持向量机和人工神经网络的机器学习方法进行了研究。采用小波包分解的方法对信号进行重构,提取出各频带内的重构信号能量特征,对事件信号和噪声进行了识别实验,并分析了提高识别能力的方法,为工程应用提供理论参考。实验结果表明,在训练数据集不大的情况下,通过优化模型结构可以将两种方法的识别能力提高到可以接受的水平。