基于广义典型相关分析融合和鲁棒概率协同表示的人脸指纹多模态识别

针对单模态生物特征识别容易受自身条件和环境变化的影响,鉴于人脸识别和指纹识别已经在生物识别系统中得到了广泛应用,提出了二者特征信息融合的多模态生物特征识别方法。该方法首先对人脸、指纹图像进行预处理,并对这两种模态均提取LBP和Gabor特征,然后将广义典型相关分析方法分别引入到人脸多特征融合和指纹多特征融合中,应用分块对角矩阵组合上述融合的人脸特征和指纹特征,最后用鲁棒概率协同表示分类器进行分类。在两个多模态数据库上的实验结果表明:与人脸或指纹单模态生物特征识别相比,基于人脸指纹的多模态生物特征识别具有更高的识别率和更好的稳定性;所提出的基于广义典型相关分析的特征融合方法优于传统的融合方法。     

一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于人脸和人耳的多模态生物特征识别

单一模式生物特征识别系统由于存在一些固有的局限性,有时难以满足实际应用的需求,本文提出了基于正面人脸和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库,利用核Fisher鉴别分析方法分别进行了人耳识别、人脸识别和人脸人耳融合识别,融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的准确率,也为实现非打扰式识别提供了一种新的途径.     

多模态语义协同交互的图文联合命名实体识别方法

针对现有多模态命名实体识别(Multimodal Named Entity Recognition, MNER)研究中存在的噪声影响和图文语义融合不足问题,本文提出一个多模态语义协同交互的图文联合命名实体识别(Image-Text Joint Named Entity Recognition, ITJNER)模型。ITJNER模型加入图像描述作为额外特征丰富了多模态特征表示,图像描述可以帮助过滤掉从图像特征中引入的噪声并以文本形式总结图像语义信息;还构建了多模态协同交互的多模态语义融合模型,可以加强多模态信息融合,并减少图像信息的语义偏差。在Twitter-2015和Twitter-2017数据集上进行方法实验,分析实验结果并与AdaCAN、UMT、UMGF、Object-AGBAN等方法进行对比。相较于对比方法中的最优方法UMGF,本方法在Twitter-2017数据集上的准确率、召回率、F1值分别提高了0.67%、2.26%、0.93%;在Twitter-2015数据集上,召回率提高了0.19%。实验结果验证了本方法的有效性。     

人体生物特征识别方法的基本研究

利用生物特征识别的方法可有效的鉴别个人的身份。论述了三种典型的人体生物特征：指纹、虹膜和人脸的自动识别方法，对各种方法的特点作了说明。     

利用特征距离信息引导决策融合的多模态生物特征识别方法

传统的决策层融合作为识别系统最末端的融合层次,具有信息量不足的缺点,对于各模态分类性能差异较大的系统,识别率低且可靠性差。提出了一种基于特征距离信息的决策层融合方法,应用于包含虹膜、手掌静脉和手指静脉的多模态生物特征识别系统。以置信度作为权重,通过权重来探索不同模态生物特征识别的性能差异,实现了有效特征信息的提取,并且提高了系统的抗干扰能力。该方法充分考虑了权重因子与特征距离信息和模态分类性能参数之间的复杂关系,将模态的决策偏好通过置信度转化为定量表征,不仅使各模态权重因子的求解更具科学性,而且提高了识别系统在复杂情境下的自适应能力。实验结果表明,该融合方法的识别精度与抗干扰能力优于其他决策层融合算法。     

生物特征识别综述

对生物特征识别技术作了综述.着重介绍了几种主要的个人身份认证的方法,并对各种方法进行了分析和比较.单一模式的生物特征识别系统有其固有的局限性,难以满足实际应用的需求.融合多种生物特征的多模式识别系统可以提高身份认证的准确率、鲁棒性和普适性,是生物特征识别技术的发展方向.     

基于多模态的贝叶斯网络疼痛识别方法

有效的疼痛管理对病人的治疗和护理至关重要,针对传统的单模态疼痛识别准确度低的问题,提出了一种基于多模态的贝叶斯网络(multimodal Bayesian network, MMBN)疼痛识别方法。首先利用互信息对多模态特征进行相关性判断,剔除冗余的特征向量,使得模型简洁;其次将多模态特征与贝叶斯网络结构的可扩展性相结合设计了一种基于多模态的BN结构,并建立疼痛识别模型;最后利用BN概率推理算法完成疼痛识别,并在UNBC-McMaster数据库上进行验证。实验结果表明：与传统基于单模态的疼痛识别方法相比较,MMBN方法利用多模态之间的信息互补性能够有效地提高疼痛识别准确度,为目前的疼痛识别与研究提供了一种新手段。     

基于核典型相关分析的姿态人耳、人脸多模态识别

选用在生理位置上具有一定关联性的人耳和人脸作为研究对象,针对剧烈的姿态变化会造成融合信息大量缺损的问题,提出了一种基于核典型相关分析的多模态识别方法,利用标准化和中心化两种方法对原始数据集进行预处理,并用最近邻方法进行分类识别. 实验结果表明,核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响,且与单生物特征相比,识别率显著提高.     

大词汇量环境噪声下的多模态视听语音识别方法

视听语音识别(Audio-Visual Speech Recognition,AVSR)技术利用唇读和语音识别(Audio-Visual Speech Recognition,AVSR)的关联性和互补性可有效提高字符识别准确率。针对唇读的识别率远低于语音识别、语音信号易受噪声破坏、现有的视听语音识别方法在大词汇量环境噪声中的识别率大幅降低等问题,本文提出一种多模态视听语音识别(Multi-modality Audio-Visual Speech Recognition,MAVSR)方法。该方法基于自注意力机制构建双流前端编码模型,引入模态控制器解决环境噪声下音频模态占据主导地位而导致的各模态识别性能不均衡问题,提高识别稳定性与鲁棒性,构建基于一维卷积的多模态特征融合网络,解决音视频数据异构问题,提升音视频模态间的关联性与互补性。与现有主流方法对比,在仅音频、仅视频、音视频融合3种任务下,该方法的识别准确率提升7.58%以上。     

一种基于虹膜和人脸的多生物特征融合方法

针对单一生物特征识别方法易受干扰、应用受限制等问题,提出了一种基于虹膜和人脸的多生物特征融合方法以提高身份识别的精度及可靠性.该融合方法利用 Log-Gabor 相位编码算法和Laplacianfaces 算法对虹膜和人脸进行特征提取及匹配,然后在匹配层对两种生物特征的匹配得分值使用最小最大概率机策略进行融合,最后利用融合后得分值进行决策.该方法与单生物特征识别方法相比,识别性能明显提高.在UBIRIS虹膜库和ORL人脸库构成的多模生物特征库中进行了测试,实验结果表明:该方法的等错误率可降低到 0.28%,比单一虹膜和单一人脸方法分别降低了0.69%和 1.62%,与采用传统融合策略的方法相比,等错误率也降低了 0.2%以上.     

基于动力指纹和Bayes数据融合的桥梁损伤识别

受测量噪声的影响,采用单一指标评价桥梁安全容易产生误判,因此提出一种基于Bayes理论的桥梁损伤识别方法.该方法将识别过程分解为损伤定位识别与损伤定量识别两部分,首先采用Bayes公式融合归一化的动力指纹,进行损伤位置识别,进而提取损伤处的动力指纹构建Bayes网络,计算各节点的条件概率,从而识别损伤程度.通过简支梁数值模拟验证了该方法具有良好的抗噪性,尤其能够对小损伤准确定位,对程度差别小的损伤准确分类.     

人脸识别关键技术及面临的问题

对人脸识别技术的整体框架进行了简要的描述,并对人脸识别的两个关键环节,即预处理和人脸检测定位问题进行了探讨,同时对当前存在的关键问题进行了总结。     

指纹识别技术的研究

随着计算机技术的发展：作为身份识别手段的生物识别技术得到了广泛的应用,指纹识别技术作为生物识别技术的一种更是发展迅速。指纹识别技术为身份识别提供了更加可靠的手段。     

利用生物特征水印的交易协议及其实现

为解决水印密钥保密传递和唯一性等问题，将生物识别技术与数字水印相结合，从应用角度分析了现有的数字水印协议和模型，引入生物特征识别技术，给出了一种安全的数字水印协议；实现了一种基于指纹识别的生物特征水印实施方案，解决了一般情况下生物特征数据和数据量较大、难于将其表达成能适应水印嵌入和提取的关键问题。实验证明，该方案是可行和有效的。     

基于指纹识别技术的图书馆创新研究

阐述了指纹识别原理和指纹数据库建设,说明了指纹数据库与图书馆现有管理系统的对接,介绍了指纹库的使用和优点,就指纹识别技术在高校图书馆的使用进行了探析。     

国内多模态话语研究动态述评

随着现代信息技术的发展,人们更加依赖多模态话语进行交际,多模态话语已经引起越来越多的学者的关注。我国多模态话语研究主要涉及多模态话语理论探讨,视觉语法应用,多模态外语教学实践探索等。文章分析了近十年我国多模态话语研究现状问题并展望未来发展方向。