光笔式双摄像机三维坐标视觉测量系统

基于双目立体视觉的系统模型,设计了一种新型的光笔,提出了基于该光笔的匹配算法。由于光笔在测量时可以出现任何姿态,必须对两摄像机像面上所成图像中的8个发光点进行匹配,才能代入摄像机模型计算出8个发光点在左摄像机坐标系下的三维坐标,通过建立8个共面发光点所在的平面坐标系与左摄像机坐标系的线性关系求得测头中心的三维坐标。实验结果表明,系统在5 m范围内的空间长度测量精度达到0.159 mm,基本满足大尺寸工件的现场检测需求。     

水下环境中基于曲线约束的SIFT特征匹配算法研究

针对水下双目图像匹配时不再满足空气中极线约束条件以及尺度不变特征变换(SIFT)特征匹配算法处理水下图像误匹配率较高等问题,提出一种基于曲线约束的水下特征匹配算法。对双目摄像机进行标定获取相关参数,再获取参考图和待匹配图;利用SIFT算法对两幅图像进行匹配,同时利用由参考图提取的特征点推导出其在待匹配图上对应的曲线,将该曲线作为约束条件判定待匹配图上对应特征点是否在曲线上,从而剔除误匹配点,以达到提高精度的目的。实验结果表明,该算法优于SIFT算法,可以有效地剔除误匹配点,比SIFT算法匹配精度提高约12%,解决了SIFT算法在水下双目立体匹配中误匹配率高的问题。     

基于单目视觉的静止目标定位方法

以无人机感知与避障为背景,提出了基于运动的单目视觉测距方法.选择摄像机运动过程中在不同位置对同一目标获取的两幅图像,然后利用尺度不变特征变换算法对所选图像进行特征检测和匹配,通过分析同一目标特征点在两幅图像中不同成像位置的变化,结合无人飞行器自身的运动参数,求解出无人飞行器与障碍目标之间的位置信息.采用该方法对不同位置的目标进行定位实验,结果表明该算法的测量精度和时效性可以满足实际避障的要求.     

嫦娥三号全景相机图像全景镶嵌方法的研究

为实现嫦娥三号月球车全景相机图像的无缝镶嵌,针对全景相机序列图像光照不均、月表影像的特殊性等问题,提出了一种基于加速稳健特征(SURF)算法的嫦娥三号全景相机图像全景镶嵌方法。采用SURF算法提取特征点,用SURF描述子的欧氏距离作为判定度量进行特征匹配。求取相邻两幅图像间的变换矩阵,并利用Levenberg-Marquardt非线性优化算法进行优化。采用基于线性插值的渐入渐出方法对图像重叠区域进行融合,实现月表图像的无缝镶嵌。结果显示,该方法针对嫦娥三号全景相机图像实现了快速准确的镶嵌,生成的镶嵌图满足月球车探测目标选取及路径规划的需求。     

基于同心圆合成图像匹配的双目视觉标定

分析了双目视觉传感器的数学模型,提出了一种基于同心圆合成图像匹配的双目视觉传感器的标定方法。在测量范围内任意多次摆放同心圆靶标,由两台摄像机拍摄靶标图像。根据摄像机模型与已知同心圆在靶标坐标系上的位置关系,构造合成图像,将合成图像与观测图像进行相似度匹配,通过优化定位得到靶标上每个圆的圆心点图像坐标。利用左右图像对应的圆心图像坐标和双目视觉的约束关系,对双目视觉传感器参数进行非线性优化,并得到最优解。所提出的标定方法是在张正友方法的理论基础上,利用了图像的整体性进行的优化。实验结果表明,该方法提高了标定精度。     

基于单目图像和方向的测距系统及性能分析

 针对非合作大目标的被动测距问题,介绍了一种基于单目图像序列和成像方向的测距系统,并进行了性能分析.这种测距系统的特点是无需初始距离导引,它对目标距离的估计借助于专门的定位方程,方程由目标特征线度、摄像机的空间坐标、目标在采样时刻对相机的方位角和俯仰角决定.其中,方位角和俯仰角通过光电经纬仪获得,摄像机的空间坐标通过GPS获得,目标特征线度通过相邻帧图像匹配得到.分析表明,该系统的性能主要取决于特征线度的准确度,其他测量误差如目标的方位角、俯仰角和摄像机的空间坐标对其影响较小.目标特征线度选取时,在相邻帧目标图像匹配点中,筛选出三个具有较大极限的尺度不变特征变换关键点,构造三角形及其外接圆,在外接圆上取经过三角形重心且平行或垂直于尺度不变特征变换主方向的弦线作为特征线度,这种特征线度对目标旋转不敏感.实验结果表明这种测距方法能够实现对非合作大目标的被动测距.     

基于最佳搜索域的水下图像区域匹配算法研究

针对水下双目图像匹配时不再满足空气中极线约束条件以及归一化互相关(NCC)算法处理水下图像计算量大等问题,提出了一种基于最佳搜索域的水下图像区域匹配算法。对双目摄像机进行标定得到相关参数,并获取参考图和待匹配图;运用曲线极线约束计算出与空气中极线的最大偏离值,确定最佳搜索域;用NCC进行匹配,将原来的线性搜索改为在最佳搜索域中进行多行搜索,提高匹配精度;并应用盒滤波技术加速,提高匹配速度。实验结果表明,该算法达到了尺度不变特征变换(SIFT)算法的匹配精度,可以应用在整幅图中进行稠密匹配,且运算速度比原有NCC匹配算法大大提高,成功将区域匹配算法应用于水下环境中。     

改进Fast-RCNN的双目视觉车辆检测方法

针对不同空间尺度的车辆表现出显著不同的特征导致检测算法效率低、准确性差且单目难以准确获取车辆距离信息的问题,提出了一种改进Fast-RCNN的汽车目标检测法,利用双目视觉对车辆进行测距。首先利用双目立体相机采集前方图像并进行预处理,加载深度神经网络Fast-RCNN的训练数据,再针对汽车不同空间尺度引入多个内置的子网络,将来自所有子网络的输出自适应组合对车辆进行检测,然后利用SURF特征匹配算法进行左右图像的立体匹配,根据匹配数据进行三维重建并确定车辆质心坐标,从而测量出车辆与双目相机之间的距离。实验结果表明,所述算法可以实现对车辆的快速检测,检测时间比传统的Fast-RCNN缩短了42 ms,并且实现了对5 m范围车辆距离的准确测量,其误差仅为2.4%,精确度高,实时性好。     

一种基于特征跟踪的视频序列稳像算法

提出一种基于特征跟踪的视频序列稳像算法.该算法从视频序列的参考帧中提取出一组角点特征,然后在后续帧中基于模糊Kalman滤波进行特征窗跟踪,通过比较各帧图像中特征窗间的对应关系计算出补偿摄像机运动所必需的参数,使用这些参数将后续帧向参考帧对准,从而得到稳定的视频序列.实验结果表明该算法稳像效果好,运算复杂度低,且具有较强的鲁棒性.     

基于双目视觉的三维重建中特征点提取及匹配算法的研究

三维重建是计算机视觉技术的主要内容之一。基于双目视觉的二维图像特征点的提取及特征点的匹配是三维重建技术的核心。通过以双目立体视觉理论为基础,提取立体图像的Harris角点作为特征点,经过基于小波变换的子线段匹配方法,较好地的解决了匹配精度与匹配速度之间的平衡问题。采用该方法对水泥冷却机内熟料的高度进行了测量,实现了熟料的三维重建。实验表明,该方法可提高图像匹配的速度和精度,能够较精确地对物体实现三维重建。     

基于改进的FAST-SURF快速图像拼接算法

针对SURF（speeded-up robust features）算法计算量大、图像拼接效率低的不足,以FAST （features from accelerated segment test）角点取代SURF斑点在图像重合区域提取特征点,使用SURF描述子进行特征点描述,通过描述子降维、自适应最近邻与次近邻比值法、几何约束法剔除错误匹配点,提高匹配的准确性。匹配完成后,通过减少样本集的个数和舍弃不合理参数模型来改进RANSAC（random sample consensus）方法,获取单应性矩阵,最后进行图像变换、融合和拼接。实验结果显示,该图像拼接算法与传统的SURF算法相比,图像拼接总时间减少了12%,拼接效率得到了显著提高。     

多探测器拼接成像系统实时图像配准

依据已设计完成的基于同心球透镜的四镜头多探测器阵列拼接成像系统,对该系统图像拼接配准过程所采用的特征检测提取、特征向量匹配与筛选、空间变换模型参数估计等算法进行了研究。首先,采用Fast-Hessian检测子提取参考图像和待配准图像的特征点,并生成加速鲁棒特征(SURF)描述向量。接着,采用快速近似最近邻(FANN)逼近搜索算法获得初始的匹配点对,并对匹配点对特征向量的欧式距离进行排序。然后,参照成像系统光学设计参数设定合理的阈值,筛选并保留下较好的匹配点对。最后,提出了一种改进的渐进式抽样一致性(IPROSAC)算法对空间变换矩阵模型进行参数估计,从而得到参考图像与待配准图像的空间几何变换关系。实验结果表明:该算法对图像尺寸、旋转和光照变化都具有一定的不变性,特征匹配时间为0.542 s,配准变换时间0.031 s,配准误差精度小于0.1 pixel,可以满足成像系统关于图像配准实时性和准确性的要求,具有一定的工程应用价值。     

基于稀疏光流法的ORB特征匹配优化

针对图像特征误匹配数量大的问题，提出一种基于稀疏光流法的ORB图像特征点匹配算法。对特征点进行暴力匹配得到初始匹配点集，利用稀疏光流法计算特征点运动向量，估计出特征点在待匹配图像中的二维坐标位置，剔除偏离估计位置较远的特征点匹配对，最后利用随机抽样一致算法进行几何校验进一步优化匹配结果，达到剔除误匹配的效果。实验结果表明:该算法相较于ORB算子、SIFT算子、SURF算子准确率平均提升了21.6%，较RANSAC-ORB算法准确率平均提升了2%，且该算法对图像光照变换、视角变换、模糊变换、旋转和缩放变换和光照变化具有较好的通用性。     

基于特征匹配的快速鲁棒数字稳像

针对手持移动摄像装置拍摄视频序列相邻帧间存在平移、小角度旋转运动,而且易受噪声、光照变化的影响等问题,提出一种基于优化Oriented FAST and rotated BRIEF(ORB)特征匹配的实时鲁棒电子稳像算法。对相邻帧预处理后用Oriented FAST算子检测特征点,再用Rotated BRIEF描述提取的特征点并采用近邻汉明距离匹配特征点对,然后采用级联滤波去除误匹配点对,最后使用迭代最小二乘法(ILSM)拟合模型参量进行运动补偿实现稳像。图像匹配测试和稳像实验结果表明:基于改进的ORB算法的电子稳像方法补偿每一帧的时间均小于0.1 s,定位精度可达亚像素级,能有效补偿帧间平移旋转运动,而且对噪声和光照变化有较强鲁棒性。经稳像处理后,实拍视频质量明显提高,峰值信噪比（PSNR）平均提高了10 db。     

一种基于嵌入式全景视频流影像数据实时拼接方法

针对机载全景视频流影响,提出了一种基于嵌入式的全景实时拼接方法。提取图像中的SURF(speeded up robust features)特征点,生成特征描述子。通过计算2个特征点之间的欧式距离来确定匹配度,经过仿射变换后,利用泊松变换实现图像间的融合平滑处理。将上述流程在目标设备上进行并发执行,根据每个流程自身的特点进行定制化优化,实现全景实时拼接。试验测试表明,本方法实现了拼接接缝处基本无缝的效果,拼接速度达到30 Hz,能够满足实时显示的要求。     

十亿像素瞬态成像系统实时图像拼接

为了满足工程应用对图像拼接实时性的要求,依据已设计完成的基于同心球透镜与微相机拼接阵列复合结构的十亿像素瞬态成像系统,提出一种基于统一计算设备架构(CUDA)与先验信息相结合的自适应图像拼接并行加速算法。首先,利用高精度四维标定平台对相邻微相机成像重叠区域进行预标定。接着,采用基于CUDA的快速鲁棒特征(SURF)方法检测提取重叠区域图像的候选特征点集。然后,运用基本线性代数运算子程序(CUBLAS)加速基于随机KD-Tree索引的近似最近邻搜索(ANN)算法,用于获取初始匹配点对。最后,提出一种改进的并行渐近式抽样一致性(IPROSAC)算法,用于剔除误匹配点对和空间变换矩阵的参数估计,从而得到拼接图像的空间几何变换关系。实验结果表明,该算法的图像拼接时间为287 ms,与单独采用CPU串行算法相比速度提高了近30倍。     

结合SIFT算法的视频场景突变检测

视频场景变化检测对于视频的标注以及语义检索具有非常重要的作用。本文提出了一种结合SIFT(Scale Invariant Feature Transformation)特征点提取的场景变化检测算法。首先利用SIFT算法分别提取出视频前后帧的特征点并分别统计其数量,然后对视频前后帧进行图像匹配,统计匹配上的特征点数量,最后将该帧的匹配特征点数量与该帧前一帧的特征点数量做比值,从而通过该比值判断场景变化情况。实验结果表明,视频场景突变检测率平均可以达到95.79%。本算法可以在视频帧进行图像匹配的过程中对场景的变化情况进行判断,因此该算法不仅应用范围较广,还可以保证场景变化检测的精度,仿真结果证明了算法的有效性。     

AKAZE结合自适应局部仿射匹配的视差图像特征匹配算法

针对常用的图像特征匹配算法对具有视差的图像在图像特征匹配阶段会产生大量误匹配点的问题,提出了一种AKAZE（accelerated-KAZE）算法结合自适应局部仿射匹配的特征匹配算法。首先,采用AKAZE算法提取特征点;接着,采用二进制描述符M-LDB(modified-local difference binary)进行描述并进行暴力匹配产生粗匹配点对;最后,基于图像的仿射变换可以提供较强的几何约束这一特性,采用自适应局部仿射匹配完成精匹配。实验结果表明,该算法针对具有旋转变化、尺度变化、视角变化的图像匹配,具有提取特征点均匀、匹配准确等效果,提取的正确特征点数量分别平均相对于SIFT算法提升了1.66倍、SURF算法提升了1.08倍、ORB算法提升了6.92倍、GMS算法提升了1.23倍,能够满足具有较大视差图像匹配的需求。     

车载摄像平台序列图像快速拼接方法

 针对车载摄像平台序列图像拼接中存在畸变、数据量大的问题,提出一种车载摄像平台序列图像快速拼接方法。首先对图像进行预处理来消除畸变的影响,然后对图像检测SURF特征点,定义特征点匹配率作为图像的相似性度量,根据特征点匹配率提取关键帧,再采用改进的配准策略得到全局配准模型,避免了配准误差的累积,最后采用一种最大值融合法得到序列图像的拼接图。实验结果表明：该方法具有较强的鲁棒性、更为快速。