基于孪生神经网络在线判别特征的视觉跟踪算法

基于孪生神经网络的跟踪算法是利用离线训练的网络提取目标的特征并进行匹配,从而实现跟踪。在离线训练过程中,网络学到的是相似目标的通用特征,因此当有相似目标干扰时,用这种通用特征表达特定目标将会导致跟踪性能下降,甚至丢失目标。为提高对相似目标的判别能力,通过在线更新网络参数,使网络能够在通用特征的基础上,进一步学到当前目标的特定特征,这样不仅能有效地区分目标与背景,还能消除相似目标的干扰。实验在OTB50和OTB100数据库上进行,结果表明该算法可以提高对网络提取特征的判别力,实现对目标的稳健性跟踪。     

基于改进SSD的交通大场景多目标检测

现有目标检测算法在复杂大场景下多目标检测的精度和实时性难以平衡,为此,受深度神经网络卷积核形态启发,模仿了人眼视觉机理,改进了基于深度学习的目标检测框架,即单向多框检测器(SSD),提出了多目标检测框架——自适应感知SSD,将其专用于复杂大交通场景多目标检测。设计了由多形态、彩色Gabor构成的特征卷积核库,训练筛选最优特征提取卷积核组替换原有网络的低级卷积核组,从而提高检测精度;将单图像检测框架与卷积长短期记忆网络结合,通过瓶颈-长短期记忆层提炼传播帧间的特征映射,实现网络帧级信息的时序关联,降低计算成本,从而实现对视频中受强干扰影响目标的追踪识别;同时加入自适应阈值策略,降低漏警率和虚警率。实验结果表明,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了9%～16%,平均准确率均值提高了14%～21%,多目标检测率提高了21%～36%,检测帧率达到32frame·s-1,实现了算法精度与实时性的平衡,取得较好的检测识别效果。     

融合扰动感知模型的孪生神经网络目标跟踪

针对全卷积孪生网络目标跟踪算法(Siamfc)在严重遮挡、旋转、光照变化、尺度变化等情况下容易出现跟踪失败的问题,提出了一种融合扰动感知模型的孪生神经网络目标跟踪算法。将孪生神经网络提取到的低层结构特征与高层语义特征进行有效融合,以提高特征的表征能力;利用模板自适应策略在线更新模板,以提高算法在遮挡和旋转等情况下跟踪的精确度。与此同时,将基于颜色直方图特征的扰动感知模型引入到算法中,通过加权融合的方式获得目标响应得分图,以此估计出目标的位置,并利用相邻帧尺度自适应策略估计出目标最佳尺度。为验证本文算法的效果,利用公开数据集测试所提算法性能,并与多种跟踪方法进行对比。实验结果表明:在2015目标跟踪标准测试数据集下本文所提算法总体跟踪精确度为0.945,总体成功率为0.929,相比Siamfc算法分别提高了2.9%和2.8%,在无人机航拍测试数据集中本文所提算法也具备较高的精确度与成功率,获得的跟踪效果良好。     

自适应特征选择的分层卷积视觉跟踪

为提升分层卷积相关滤波跟踪算法的速度和精度,减少无效卷积通道特征对跟踪精度的影响,提出一种自适应特征选择的分层卷积相关滤波跟踪方法.该方法选取能表征目标的双层卷积特征,将相关滤波训练与预测合并,在视频序列的每一帧计算上一帧目标区域与非目标区域的卷积特征均值比,选取满足特征均值比要求的卷积通道特征训练相关滤波分类器,根据分类器与目标特征的最大响应值预测目标位置;最后根据预测结果稀疏更新目标初始帧特征,作为后续帧训练分类器的依据.在OTB-100标准数据集上对算法进行测试,实验结果表明本文算法的平均距离精度为91%,平均重叠率精度为64.4%,平均速度为21.7帧/秒,比原分层卷积相关滤波跟踪算法分别高出7.3、8.2个百分点和11.3帧/秒,该算法的平均距离精度比高精度的连续卷积跟踪算法(CCOT)高1.2个百分点,跟踪速度是CCOT的近20倍.本文算法可以有效提升分层卷积跟踪算法的速度和精度,在目标发生遮挡、快速运动等干扰时能稳定跟踪到目标.     

一种多尺度相似性学习的目标跟踪算法研究

基于深度学习的目标跟踪算法由于其良好的性能已经成为目标跟踪领域的主流算法之一。其核心思想是进行前后帧的相似性学习从而完成模板帧与搜索帧的匹配。其中,相似性学习是影响跟踪算法性能的关键一环。以孪生网络的相似性学习为切入点,对现有的深度互相关(DW-XCorr)的相似性学习方式进行改进,提出了一种多尺度相似性学习的目标跟踪算法。该算法在SiamRPN的基础网络框架下,构造多尺度互相关(Multi-Scale Cross Correlation,MS-XCorr)模块,对原有的互相关操作进行多尺度的改进,从而增加学习特征尺度的多样性,提高了跟踪网络相似性学习的效率,最终使得算法跟踪性能有进一步提升。在实验部分,将改进后的算法与其基线进行了对比实验,该算法在成功率(Success Rate)、精度(Precision)及平均精度(Norm Precision)上均有提升,成功率提高了4.3%,精度提高了4.4%,平均精度提高了4.0%。实验表明,多尺度互相关模块相较于深度互相关模块具有更强的相似性学习能力,提出的多尺度相似性学习的目标跟踪算法在目标光照、形态变化、遮挡以及干扰等复杂场景下具有更...     

面向无人机的轻量级Siamese注意力网络目标跟踪

随着无人机技术在军事、民用等领域的广泛运用,高精度、低功耗智能无人机跟踪系统的需求也日益增多。针对无人机跟踪任务中目标尺度变化大、视野角度多变、遮挡等问题,提出了一种基于轻量级Siamese注意力网络的无人机实时跟踪算法。首先,选取易于部署在嵌入式设备中的轻量级卷积神经网络MobileNetV2作为特征提取主干网络;接着,设计通道空间协同注意力模块,增强模型的适应能力与判别能力;然后,搭载区域建议网络,通过互相关获取前景背景分类和边界框回归响应图;最后,加权融合多层响应图,调整候选区域筛选策略,计算得到更加准确的跟踪结果。在无人机跟踪数据集上的仿真实验结果表明,相对于当前主流算法SiamRPN,该算法跟踪精度提升了3.5%,能更好地应对复杂多变的场景。同时,在NIVIDA RTX 2060 GPU上,跟踪速度达到60 frame/s。     

基于卷积神经网络与一致性预测器的稳健视觉跟踪

针对视频序列的稳健性目标跟踪问题,提出一种基于卷积神经网络(CNN)与一致性预测器(CP)的视觉跟踪算法。该算法通过构建一个双路输入CNN模型,同步提取帧采样区域和目标模板的高层特征,利用逻辑回归方法区分目标与背景区域;将CNN嵌入至CP框架,利用算法随机性检验评估分类结果的可靠性,在指定风险水平下,以域的形式输出分类结果;选择高可信度区域作为候选目标区域,优化时空域全局能量函数获得目标轨迹。实验结果表明,该算法能够适应目标遮挡、外观变化以及背景干扰等复杂情况,与当前多种跟踪算法相比具有更强的稳健性和准确性。     

基于卷积神经网络与一致性预测器的稳健视觉跟踪EI北大核心CSCD

针对视频序列的稳健性目标跟踪问题,提出一种基于卷积神经网络(CNN)与一致性预测器(CP)的视觉跟踪算法。该算法通过构建一个双路输入CNN模型,同步提取帧采样区域和目标模板的高层特征,利用逻辑回归方法区分目标与背景区域;将CNN嵌入至CP框架,利用算法随机性检验评估分类结果的可靠性,在指定风险水平下,以域的形式输出分类结果;选择高可信度区域作为候选目标区域,优化时空域全局能量函数获得目标轨迹。实验结果表明,该算法能够适应目标遮挡、外观变化以及背景干扰等复杂情况,与当前多种跟踪算法相比具有更强的稳健性和准确性。     

基于多层卷积特征融合的目标尺度自适应鲁棒跟踪

针对复杂跟踪条件下目标的鲁棒跟踪和精确尺度估计问题,提出了一种基于多层卷积特征融合的目标尺度自适应鲁棒跟踪算法。算法首先利用VGG-Net-19深层卷积网络架构提取目标候选区域的多层卷积特征,通过相关滤波算法构建二维定位滤波器,得到多层卷积特征并进行加权融合,从而确定目标的中心位置;然后通过对目标区域进行多尺度采样,提取其HOG特征构建一维尺度相关滤波器,确定目标的最佳尺度。在复杂跟踪条件下的实验结果表明,与6种当前主流跟踪算法相比,该算法取得了最好的跟踪成功率与精度,同时在跟踪过程中较好地实现了对目标快速尺度变化的自适应跟踪,且具有较快的跟踪速率。     

基于多层卷积特征融合的目标尺度自适应稳健跟踪

针对复杂跟踪条件下目标的稳健跟踪和精确尺度估计问题,提出了一种基于多层卷积特征融合的目标尺度自适应稳健跟踪算法。算法首先利用VGG-Net-19深层卷积网络架构提取目标候选区域的多层卷积特征,通过相关滤波算法构建二维定位滤波器,得到多层卷积特征并进行加权融合,从而确定目标的中心位置;然后通过对目标区域进行多尺度采样,提取其梯度方向直方图特征构建一维尺度相关滤波器,确定目标的最佳尺度。实验结果表明,与6种当前主流跟踪算法相比,该算法取得了最好的跟踪成功率与精度,同时在跟踪过程中较好地实现了对目标快速尺度变化的自适应跟踪,且具有较快的跟踪速率。     

基于光谱匹配降维和特征融合的高光谱目标跟踪

针对现有高光谱视频目标跟踪算法在目标尺度发生变化时容易出现跟踪精度下降的问题,提出一种基于光谱匹配降维和特征融合的高光谱目标跟踪算法。首先,利用目标局部光谱和阈值来估计目标光谱,并利用目标光谱与高光谱图像进行朴素相关,实现高光谱图像降维,从而提取目标的深度特征。然后,利用局部方差判断目标区域,提取目标的3D方向梯度直方图（HOG）特征。为保留高光谱图像的光谱信息以及深度特征的语义信息,利用通道卷积融合的方法,得到更具辨别力的融合特征。最后,将融合特征送入相关滤波器,通过尺度池思想提高算法在目标尺度变化挑战下的跟踪鲁棒性。实验结果表明,所提跟踪算法在目标尺度变化挑战下具有更好的性能。     

融合峰旁比和帧差均值自适应模型更新的视觉跟踪

为了让相关滤波模型更加适应目标外观的变化,提高相关滤波跟踪算法的鲁棒性和实时性,根据相关滤波响应值、帧差均值和目标运动位移之间的关系,提出了一种单层卷积相关滤波实时跟踪模型的自适应学习率调整跟踪方法.该方法首先选取单个卷积层卷积特征,减少了卷积特征维度,然后使用单层卷积特征训练相关滤波分类器预测目标位置,用快速尺度预测方法估计跟踪目标的尺度,并采用稀疏的模型更新策略,提高跟踪的速度;最后利用相关滤波预测响应图的峰旁比估计预测位置的可信度,结合图像帧差均值和目标的运动位移量来评估目标的表观变化,并根据目标预测的可信度和表观变化情况自适应调整相关滤波模型更新的学习率,使模型快速学习目标的变化特征,提高了目标跟踪的精度.在OTB100数据集上对算法进行测试,实验结果表明,本文算法的平均距离精度达90.1%,优于实验中对比的9种主流算法,平均成功率值为79.2%,仅次于9种算法中的连续卷积跟踪算法,平均速度为31.8帧/秒,是连续卷积相关滤波算法的近30倍.     

基于注意力卷积神经网络的动态手势识别研究北大核心CSCD

针对复杂环境下动态手势识别准确率低的问题,提出了一种基于长短期记忆网络和卷积神经网络的动态手势识别算法。采用长短期记忆网络学习每个滤波器的权重,预测人体外形相关的滤波器组;采用卷积神经网络提取目标手势的轨迹图,创建彩色的轨迹图像;将轨迹图像送入注意力卷积神经网络训练,利用神经网络识别出复杂环境下的手势。实验结果表明,该算法能够准确地检测与跟踪手势的动态变化,并且实现了较好的手势识别准确性。     

基于加权多实例学习的压缩感知目标跟踪

为了处理运动目标跟踪中的遮挡、光照变化以及背景杂乱等问题,提出了一种基于加权多实例学习的压缩感知目标跟踪方法。在提取图像块类Haar特征的基础上,采用随机投影方法对高维特征进行压缩,结合加权多实例学习策略,在boosting学习框架下训练分类器,根据分类器最大响应值得到跟踪目标图像块。使用矩形框手动标定第一帧图像的目标,对后续帧采样的正负实例的类哈尔特征进行压缩,通过这些样本特征训练分类器,得到跟踪结果。实验结果表明,所提算法具有较高的跟踪精度、实时性和鲁棒性,对所选的四个具有挑战性的视频序列,跟踪成功率都能超过89%,帧率也超过26f/s。     

基于自适应多层卷积特征决策融合的目标跟踪

针对在复杂环境中目标尺度变化、形状变化以及场景光照变化、背景干扰等因素导致的目标跟踪稳定性下降问题,提出一种基于自适应多层卷积特征决策融合的目标跟踪算法。首先,通过卷积神经网络VGG-Net-19提取目标候选区域的多层卷积特征;其次,在相关滤波模型框架下,利用这些卷积特征构建多个弱跟踪器;接着,根据每个弱跟踪器的决策损失变化自适应地调节它们的决策权重,完成基于多层卷积特征的目标位置估计;然后,根据尺度相关滤波模型在目标中心区域进行多尺度采样,并利用相邻帧的尺度变化先验分布完成对目标尺度的预测。选取51组具有多种挑战因素的视频序列对所提算法的跟踪性能进行测试。实验结果表明,与当前主流的目标跟踪算法相比,所提算法取得了更高的跟踪精度和成功率,同时可以较好地适应目标的尺度变化,并且在目标发生形变、场景出现光照变化及背景干扰等复杂条件下仍具有较好的跟踪鲁棒性。     

基于注意力融合的目标跟踪算法

针对基于孪生网络的目标跟踪算法存在抗干扰能力弱、鲁棒性差等问题,在SiamCAR基础上提出通道和空间注意力融合的目标跟踪算法。在特征提取子网络和分类回归子网络之间级联改进后的高效通道注意力和空间注意力模块,加强网络对互相关后响应图中重要通道特征和位置特征的关注,同时抑制不重要的特征信息。在OTB100上,所提算法在背景杂乱挑战下成功率和精度相比SiamCAR分别提高了3.1%和2.8%;在VOT2018上,所提算法的鲁棒性和期望平均重叠率相比SiamCAR分别提高了4.9%和2.2%。实验结果表明,所提算法增强了跟踪器的鲁棒性,提升了跟踪器在复杂场景下的跟踪效果。     

融合辅助目标学习和卷积循环网络的非侵入式语音质量评价算法

语音质量的客观评价可以代替昂贵的人工评分,但是目前客观指标的计算通常需要纯净的参考语音,这在许多实际声学系统中很难获得。为此提出了一种融合辅助目标学习和卷积循环网络（CRN）的非侵入式语音质量评价算法。为降低算法的复杂度,算法采用基于仿人耳听觉特性滤波器的Bark频率倒谱系数（BFCCs）作为CRN的输入。算法首先构建一个卷积神经网络（CNN）从BFCCs中提取帧级特征。然后,构建双向的长短记忆网络,在帧级特征中建模长期的时间依赖性和序列特征。最后,利用自注意力机制自适应地从帧级特征中筛选出有用信息,将其整合至话语层面的特征中,并将这些话语级特征映射为客观得分。为改善质量评测的有效性,算法采用多任务训练策略,引入语音激活检测（VAD）作为辅助学习目标。基于开源数据库的实验显示,与其他非侵入式算法相比,提出的算法和平均主观意见分（MOS）具有更好的相关性。而且,算法参数规模较小且对ITU-T P.808发布的带有主观MOS的失真语音数据库具有良好的泛化能力,接近语音质量感知评估（PESQ）指标的精度。      

基于特征自适应选择的金字塔均值漂移跟踪方法

针对均值漂移跟踪算法框架不足以对目标帧间运动过大及快速尺度变化进行有效地处理,且单个图像特征对环境适应性较差.提出了一种特征自适应选择方法,通过分析目标与背景的特征区分度来选择出最有效的特征.将金字塔自适应分解和均值漂移跟踪结合,提出了金字塔均值漂移跟踪方法.采用背景加权直方图描述目标模板模型,核函数加权直方图描述候选...     

稳健的双模型自适应切换实时跟踪算法

为提升卷积特征目标跟踪算法的实时性和稳健性,利用不同卷积层特征对不同目标表征能力不同的特性,提出双模型自适应切换的实时跟踪方法。该方法对选取的两个卷积层特征使用目标区域和跟踪搜索区域卷积特征的能量均值比来评估卷积特征,选择能量均值比大于给定阈值的卷积通道特征来训练两个相关滤波分类器,然后利用目标相关滤波响应图的峰旁比自适应切换两个相关滤波分类器来预测目标位置,最后采用稀疏模型更新策略来更新分类器。在标准数据集上进行算法测试,实验结果表明,本文算法平均距离精度为89.3%,接近连续卷积跟踪算法,平均跟踪速度为25.8frams/s,是连续卷积跟踪算法的25倍,整体性能优于实验中的对比跟踪算法。     

基于多域卷积神经网络与自回归模型的空中小目标自适应跟踪方法

针对星空背景下卫星跟踪中运动小目标与伪目标交会造成的跟踪漂移问题,提出一种基于多域卷积神经网络(MDNet)与自回归(AR)模型的空中小目标自适应跟踪方法。对用MDNet采集到的图像序列第1帧的正样本进行bounding-box回归模型训练;再训练用最小信息准则和最小二乘法确定阶数和参数的AR模型,估计目标运动轨迹并预测目标位置;最后,将该目标位置作为MDNet的采样中心,约束采样候选区域,用bounding-box回归模型调整目标位置。实验用8种跟踪方法测试了8组场景复杂的视频序列,结果表明,本文方法的成功率及平均覆盖率均显著高于其他7种典型算法,具有较高的精确性和稳健性。