基于深度卷积神经网络和二进制哈希学习的图像检索方法

随着图像数据的迅猛增长,当前主流的图像检索方法采用的视觉特征编码步骤固定,缺少学习能力,导致其图像表达能力不强,而且视觉特征维数较高,严重制约了其图像检索性能。针对这些问题,该文提出一种基于深度卷积神径网络学习二进制哈希编码的方法,用于大规模的图像检索。该文的基本思想是在深度学习框架中增加一个哈希层,同时学习图像特征和哈希函数,且哈希函数满足独立性和量化误差最小的约束。首先,利用卷积神经网络强大的学习能力挖掘训练图像的内在隐含关系,提取图像深层特征,增强图像特征的区分性和表达能力。然后,将图像特征输入到哈希层,学习哈希函数使得哈希层输出的二进制哈希码分类误差和量化误差最小,且满足独立性约束。最后,给定输入图像通过该框架的哈希层得到相应的哈希码,从而可以在低维汉明空间中完成对大规模图像数据的有效检索。在3个常用数据集上的实验结果表明,利用所提方法得到哈希码,其图像检索性能优于当前主流方法。     

高精度参数估计问题

对高精度参数的估计问题进行了研究.在观测数据无误差的情况下,将微分方程组转化为线性方程组,利用矩阵的奇异值分解给出了参数的最优解.在有观测数据误差的情况下,采用高斯-牛顿迭代法进行求解,给出了改进的高斯-牛顿法和阻尼最小二乘算法;通过灰色估计法给出了模型的初始解,通过微分方程数值解法计算模型迭代过程中误差和偏导数.最后,通过对迭代过程中的状态变量引入误差项,导出了基于总体最小二乘的高斯-牛顿迭代法,从系统的角度解决了观测时间有误差下的参数估计问题.     

一种有效的视频文字提取方法

根据文字区域内集中分布着短小的水平垂直边缘,而背景区的边缘则比较粗、比较长的特征,提出一种视频文字提取方法.它使用相关熵二值化和形态学膨胀获得候选文字区,然后提取候选区域的变异直方图,根据该直方图获得精确的文字区.选用不同视频截图实验,结果表明该方法简单,具有较高的正确率、精度和鲁棒性.     

一种基于K-L变换的突变镜头检测方法

镜头检测是对视频进行分析和检索的基础.根据人眼的视觉特性,本文研究了一种基于K-L变换的突变镜头检测方法.新方法通过对原始RGB空间进行K-L变换得到由主轴构成的图像参数模型,利用相邻两帧对应第一、第二主轴的方向差异,应用加权系数来计算帧间差值.然后运用基于滑动窗口的自适应阈值方法来进行突变镜头检测,并对静止镜头进行了处理.实验结果和性能比较表明该算法取得了良好的检测效果,并且对目标的快速运动、光照变化等具有一定的鲁棒性,同时计算速度快,易于实现.     

基于音视频模板匹配的新闻视频识别方法

本文提出了一种基于音视模板匹配的新闻视频识别方法。在模板建立过程中,从新闻视频片头中的主题音乐提取音频模板,从主持人镜头中的扩展人脸区域提取视觉模板,这两者共同构成音视模板;在识别过程中,对电视视频流先进行音频模板匹配,然后由匹配通过的候选时间点定位到相应的视频镜头,接着通过视觉模板对镜头中的扩展人脸区域进行匹配,进而确定主持人镜头,最后完成新闻视频识别。实验结果表明,该方法计算效率高、简单易操作,具有较好的实用价值。     

基于多表频繁项投票和桶映射链的快速检索方法

为解决基于随机映射的高维向量快速检索方法位置敏感哈希存在的随机性强和内存消耗大两个问题,在E2LSH(Exact Euclidean Locality Sensitive Hashing)的基础上提出了基于多表频繁项投票和桶映射链的快速检索方法。该方法用检索结果构造基准索引矩阵,并对基准索引矩阵进行频繁项投票和校正得出最终索引来降低检索的随机性;桶映射链利用E2LSH的数据划分特性减少检索时读入内存的数据点的数目,以此来降低内存消耗。实验证明该方法能减弱检索的随机性,并有效地降低检索的内存消耗。这对于提高大规模信息检索尤其是图像检索的可行性有着较大的作用。     

一种稳健的新闻视频镜头检测方法

 根据人眼的视觉特性,本文提出了一种基于K-L变换的新闻视频镜头检测方法.首先,通过对原始RGB空间进行K-L变换,得到由主轴构成的图像参数模型;其次,运用基于滑动窗口的自适应阈值方法来比较相邻帧间参数模型的差异,得到候选的镜头切换帧;再次,定义以候选帧为首帧的小窗口,计算窗口内各帧与首帧的参数模型差异,得到随时间变化的曲线,称之为参数模型差异曲线(Parameter Model Variation Curve),简称PMV曲线;最后,通过分析曲线的特性进行镜头检测,完成镜头切换方式的分类,同时滤除掉闪光灯镜头.实验结果和性能比较表明,针对国内外新闻视频中出现的各种类型镜头切换该算法取得了良好的检测效果,并且对目标的快速运动、光照变化等具有一定的鲁棒性.     

一种基于随机化视觉词典组和查询扩展的目标检索方法

在目标检索领域,当前主流的解决方案是视觉词典法(Bag of Visual Words, BoVW),然而,传统的BoVW方法具有时间效率低、内存消耗大以及视觉单词同义性和歧义性的问题。针对以上问题,该文提出了一种基于随机化视觉词典组和查询扩展的目标检索方法。首先,该方法采用精确欧氏位置敏感哈希(Exact Euclidean Locality Sensitive Hashing, E2LSH)对训练图像库的局部特征点进行聚类,生成一组支持动态扩充的随机化视觉词典组;然后,基于这组词典构建视觉词汇分布直方图和索引文件;最后,引入一种查询扩展策略完成目标检索。实验结果表明,与传统方法相比,该文方法有效地增强了目标对象的可区分性,能够较大地提高目标检索精度,同时,对大规模数据库有较好的适用性。     

基于文字穿越线和笔画连通性的 视频文字提取方法

 视频文字自动提取对提高视频内容的整体理解程度具有重要意义.在复杂背景下,现有提取方法难以稳健地定位文字和有效抑制背景干扰.我们提出一种复杂背景下稳健的视频文字提取方法,首先利用小波变换和非监督聚类方法获得候选文字区域;其次,引入穿越线及其幅度谱概念,通过提取穿越线特征进行聚类定位单行文字;最后,充分考虑到文字笔画的连通性,引入重线概念,通过检测重线获取文字像素关键点,从关键点出发进行区域生长,结合启发式规则,完成二值化过程.实验表明,该方法能够在复杂背景下得到较理想的文字二值化图像,不受文字颜色、字体、大小等因素的影响,性能优于文献[7]和文献[8]提出的方法.     

基于卷积神经网络和监督核哈希的图像检索方法

当前主流的图像检索方法采用的视觉特征,缺乏自主学习能力,导致其图像表达能力不强,此外,传统的特征索引方法检索效率较低,难以适用于大规模图像数据.针对这些问题,本文提出了一种基于卷积神经网络和监督核哈希的图像检索方法.首先,利用卷积神经网络的学习能力挖掘训练图像内容的内在隐含关系,提取图像深层特征,增强特征的视觉表达能力和区分性;然后,利用监督核哈希方法对高维图像深层特征进行监督学习,并将高维特征映射到低维汉明空间中,生成紧致的哈希码;最后,在低维汉明空间中完成对大规模图像数据的有效检索.在ImageNet-1000和Caltech-256数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,提高图像检索效率,优于当前主流方法.