基于Census变换和引导滤波的立体匹配算法

在双目立体视觉系统中，立体匹配是关键步骤之一，其精度对后续的研究有着重大影响。Census算法由于具有简单明晰、运行效果好、实时性强等优点，被广泛采用。但Census立体匹配算法存在变换窗口中心点易受外界条件干扰、深度不连续区域匹配精度低等缺点，由此提出了一种新型的基于Census变换及引导滤波器的立体匹配算法。在Census变换阶段通过计算变换窗口周围的像素的平均值，降低了外界干扰的影响，同时在代价聚合阶段引入具有包边特性且计算量不依赖于滤波核大小的引导滤波器作为自适应权重。实验结果表明:所提算法在Middlebury测试平台上平均误匹配误差为6.03%，相较于目前Census立体匹配算法16.2%的平均误匹配率，匹配效果明显提高，且算法效率较高，具有较好的辐射不变性。     

一种快速双目视觉立体匹配算法

针对目前双目视觉立体匹配算法计算量过大、实时性不强的问题,提出了一种平行配置系统的快速立体匹配算法.利用两幅视图的差异将视图分为特征点和非特征点,然后对特征点采用WTA(winner-take-all)方法进行匹配,而对非特征点只进行简单的验证,最后得出致密的视差图.该算法利用视差的分段连续性,大大减少了运算量.实验结果表明,该算法提取的特征点集中于视差不连续区,与目前其它基于区域的匹配算法相比,该算法得到的误匹配像素百分比与其它算法相当,而计算速度却提高了一个数量级,并且边缘特征较好,是一种有效可行的高实时性立体匹配算法.     

Laws纹理模板在立体匹配中的应用

立体匹配一直是计算机视觉领域的一个中心问题,基于区域整体匹配算法较好地解决了纹理单一区域的立体匹配问题,其关键步骤是纹理单一区域的分割和匹配.针对纹理单一区域的特点,提出利用Laws纹理模板对图像纹理特征进行分析描述,然后进行基于直方图的分割,得到纹理单一区域.对于各种场景图像.通过分析比较各种Laws纹理模板组合,能够得到最好的分割效果.在国际标准图像上测试的实验结果表明,相对于灰度共生矩阵描述纹理单一区域和基于区域生长的方法,该方法能提高纹理单一区域的识别率和分割阈值选取的稳健性,这有助于提高基于区域整体匹配算法的匹配精度和实用价值.     

基于深度约束的水下稠密立体匹配

针对双目水下图像匹配不满足空气中常规极线约束的问题,提出一种基于深度约束的半全局算法以实现水下稠密立体匹配.首先采用深度约束确定匹配过程的深度约束搜索区域.然后,基于深度约束区域将绝对差值和梯度计算推广到二维区域并进行加权融合.在深度约束区域内的搜索过程中,采用胜者为王的策略确定某一视差值下的最佳行差及最佳行差下的匹配代价,并将其作为能量函数的数据项应用于半全局算法中,进行匹配代价的聚合.最后采用抛物线拟合法得到亚像素级的稠密视差图.在水下图片上进行的稠密立体匹配结果表明:相较于其他半全局匹配算法,本文算法在极大提高运行速度的前提下,可以获得良好的水下稠密立体匹配效果.     

复杂X光照条件下非凸表面完全重构

针对复杂光照条件下非凸表面完全重构问题,提出了一种基于两步策略的多目重构新方法.把立体匹配过程转化为颜色方差最小化问题,利用颜色方差阈值来平衡采样点数与采样噪声之间的矛盾,同时回避了立体匹配算法的二义性.采用水平集方法建立曲面运动方程,通过符号距离函数的演化过程逼近目标表面;通过弹性势能的最小化过程滤除采样噪声,增强对遮挡、光照条件的稳键性.实验结果表明,该方法能够在复杂光照条件下推断出非凸目标形状,且与Jin的算法比较,表现了更好的准确性,节省31%～39%的重构时间.     

基于改进代价计算和自适应引导滤波的立体匹配

针对现有局部立体匹配算法在弱纹理区域匹配精度低的问题,提出一种基于改进代价计算和自适应引导滤波代价聚合的局部立体匹配算法。该算法首先将增强后的梯度信息与基于增强梯度的Census变换相结合,构建代价计算函数;然后对图像的每一个像素构建自适应形状十字交叉窗口,并基于自适应窗口进行引导滤波代价聚合;最后通过视差计算和多步视差精化得到最终的视差图。实验结果表明,改进后的算法在Middlebury测试平台上对标准立体图像对的平均误匹配率为4.80%,与基于传统引导滤波器的立体匹配算法相比,本文算法在弱纹理区域取得更好的匹配结果。     

基于改进Census变换和动态规划的立体匹配算法

为降低双目立体匹配算法在视差不连续区域和噪声干扰情况下的误匹配率,提出了一种基于改进Census变换和动态规划的立体匹配算法。采用支持区域为十字交叉形状窗口且设有噪声容限的改进Census变换进行代价计算,提高了单像素匹配代价的可靠性;利用引导图滤波器快速有效地完成代价聚合;在视差选择阶段,设计了一种改进的动态规划算法,消除了扫描线效应,提高了匹配速度和正确率;经过视差后处理得到最终视差图。实验结果表明,该算法在Middlebury测试平台上的平均误匹配率为5.31%,在低纹理区域和视差不连续区域均能得到准确的视差,运算复杂度低且具有较好的稳健性。     

一种基于分割的可变权值和视差估计的立体匹配算法

立体匹配一直是计算机视觉研究领域中的热点和难点.是立体视觉中的关键技术之一.为了消除幕于局部图像的双目立体匹配的歧义性,提出一种基于图像分割及可变权值方窠的初始匹配和贪婪的后处理视差估计策略相结合的市体匹配算法.分割彩色立体图像对,利用分割自适应地分配权值来消除匹配特征相似的歧义性.计算匹配代价得到初始视差.接着,为了更好地消除弱纹理区域、重复纹理区域和宽遮挡区域等复杂歧义性,视差后处理中采用贪婪估计方案,包括基于分割的视差校准、窄遮挡处理及多方向自适应加权最小二乘拟合填充.实验结果表明,基于分割的本算法结构简单,能有效地提高处理局外点的稳健性,并生成高精度的稠密视差.     

基于像素类别优化的PatchMatch立体匹配算法

基于PatchMatch(同时估计像素点的视差和法向量的3D标签)的方案已经在立体匹配中取得高精度的亚像素视差,但该类方法无法有效解决图像无纹理区域的错误匹配。针对这一问题,对LocalExp(local expansion move)算法进行了改进,并提出一种融合多维信息的自适应像素类别优化的立体匹配算法。该方法设计了一种交叉窗口,在窗口内基于颜色与颜色的自相关信息构建相关权重,并利用约束函数剔除匹配代价中的离群值;在PatchMatch的标签初始化阶段增加约束机制,改进视差标签的建议生成机制,并利用基于局部扩张运动的优化方法求解标签值;利用基于像素类别的填充策略进行视差优化。实验结果表明所提算法能够在Middlebury数据集上取得较低的匹配误差。     

基于改进梯度和自适应窗口的立体匹配算法

立体匹配技术是计算机视觉领域的研究热点,由于问题本身的病态性,一直没有得到很好地解决。针对现有局部立体匹配算法精度不高以及易受光照失真影响的问题,提出了一种基于改进梯度匹配代价和自适应窗口的匹配算法。在传统梯度向量仅包含幅度信息的基础上,引入相位信息,并对原始匹配代价进行变换,进一步消除异常值;利用图像结构和色彩信息构建自适应窗口进行代价聚合;提出了一种局部视差直方图的视差精化方法,获得了高精度的视差图。实验结果表明,所提算法在Middlebury测试平台上平均误匹配误差为6.1%,且对光照失真条件具有较高的稳健性。     

基于广义正交迭代算法的立体视觉定位

提出了一种新的基于广义正交迭代算法的立体视觉定位.该算法通过提取CenSurE局部特征和相应的U-SURF描述符,采用SAD方法进行子像素立体匹配,并利用U-SURF描述符匹配进行前后帧图像特征跟踪.在RANSAC框架下对匹配点进行3D-3D运动估计获得了运动参量的初始值.由于3D-3D运动估计使3D点集间欧式距离误差...     

一种改进Census变换与梯度融合的立体匹配算法

针对现有立体匹配算法对噪声敏感、易失真、在视差不连续区域与弱纹理区域误匹配率高的问题,提出一种改进Census变换与梯度融合的多尺度立体匹配算法。采用支持窗口内所有像素的加权平均灰度值作为Census变换的参考值,将Census代价与由水平和垂直方向归一化结合的梯度代价进行加权融合,通过设置噪声容限获得稳定的代价,提高了单像素匹配代价的可靠性;在多分辨率尺度下,采用改进引导滤波算法完成对匹配代价的聚合;通过视差提取获得视差图。实验结果表明,该算法在Middlebury测试平台上对标准立体图像对的平均误匹配率为4.74%,对27组扩展立体图像对的平均误匹配率为8.67%。该算法使得视差不连续区域与弱纹理区域的误匹配率进一步降低,且对噪声和光照等干扰表现出较好的稳健性。     

基于色彩权值和树形动态规划的立体匹配算

针对立体匹配算法在图像非遮挡区域,特别是弱纹理区域误匹配率较高的问题,提出一种基于十字交叉窗口下自适应色彩权值和树形动态规划的立体匹配算法。首先结合颜色、梯度信息及Census变换作为相似性测度函数构建代价计算函数;然后以图像的距离和色彩信息构建自适应十字交叉窗口,并提出基于色彩权值的代价聚集方式;将树形结构动态规划算法的思想引入到视差计算,代替单独采用赢者通吃策略的方法,对视差进行全局优化;最后通过视差求精得到稠密视差图。实验结果表明,本文算法在Middlebury测试平台4幅标准图像上非遮挡区域的平均误匹配率为2.45%,同时对其他10组图像进行了对比评估,本文算法有效地提高了图像非遮挡区域匹配的准确率。     

场景轮廓的动态规划立体匹配算法

立体匹配算法是三维重建的关键步骤。由于实际场景中经常存在大片灰度相近的区域,稠密三维重建存在计算时间长、实时性差的问题。采用了场景的轮廓来重建场景的方法。基于场景中相邻点之间的视差应当是连续的假设,解决了轮廓在匹配时存在的"噪点"的问题,利用动态规划法对轮廓上各个点的视差进行约束以及求解最优解。由于提取轮廓后需要匹配的点数大为减少,用时可减少为原来的10%,得到与场景一致的轮廓视差图。     

渐进细化的实时立体匹配算法

基于卷积神经网络的立体匹配算法在精度上取得了较大的提高,但大多数算法仍然无法满足实时性要求。提出一种渐进细化的实时立体匹配算法,在低分辨率层级中初始化视差图,再渐进地恢复视差图的空间分辨率。该算法采用轻量的骨干网络提取多尺度特征,在保证算法实时性的同时,对特征进行反向融合,提高了特征的稳健性。提出一种多分支融合模块对视差图进行渐进细化,对不同区域的多种模式进行自动聚类,再分别预测视差图残差,根据聚类权重融合最终结果,使模型能够更好地处理具有不同特点的区域。在KITTI测试集上,所提算法的运行速度达到20 frame/s,与运行效率相当的DispNetC算法相比,错误率降低了约30%。     

利用图像分割的基于图割的立体匹配算法

立体匹配通过寻找同一空间景物在不同视点下投影图像的像素间的一一对应关系, 最终得到该景物的视差图。在对匹配算法作了深入研究的基础上, 提出了一种利用图像分割的基于图割的立体匹配算法。算法把参考图分割成多个区域, 然后用平面公式在一个分割中建立视差。视差模板是从初始视差分割中提取的。每一个分割被分配到精确的视差模板。构建全局能量函数,能量函数的鲁棒最小化是由基于图割的最优化获得的。算法对低纹理区域和接近视差边界区域有很好的匹配效果, 同时, 又解决了传统的基于全局算法中计算量过大, 实时性不好的问题。实验表明, 本算法能满足高精度、高实时性要求。     

一种基于仿射不变区域约束的立体匹配算法

针对现有立体匹配算法匹配速度的不足,提出一种基于区域约束的快速立体匹配算法。选取4对稳定的特征点作为初始匹配点对,在左右图像中分别构建四边形,然后将四边形划分成4个三角形,以每个三角形对为待匹配区域,利用仿射不变性进行区域内特征点匹配。获得特征点匹配对后,再以每个特征点为中心进行开窗,利用传统的基于灰度信息的方法进行精度验证。实验表明,该算法在保证一定精度的情况下能获得较高的匹配速度,可满足实时性要求。     

三目自适应权值立体匹配和视差校准算法

立体匹配是计算机视觉研究中的关键问题.相比于双目视觉,三目视觉能够获得更多的信息和额外的极线约束消除立体匹配的歧义性.为了提高三目立体匹配的精度,提出一种基于自适应权值和视差校准的三日立体匹配方法.将双目视觉中有效的自适应权值窗选择算法应用到三目视觉中,进行匹配窗的选择;提出一种新的目标图像选择算法,能够合理利用平行基线三目立体视觉系统中不同目标图像提供的信息,有效地消除遮挡,提高匹配的精度;提出一种适用于三目视觉的视差校准算法,利用三目图像像素间的色彩相似性和距离约束将初始匹配的视差结果进行校准,得到最终的视差图.实验结果表明,本文算法结构简单,能够生成浓密、高精度的视差图.     

基于图像分割的稠密立体匹配算法

提出一种基于图像分割的稠密立体匹配算法,该算法将灰度-梯度算法与零均值归一化互相关(ZNCC)算法相结合生成匹配代价,利用SLIC(Simple Liner Iterative Cluster)算法对图像进行分割,基于视差图和超像素更新了匹配代价。在视差后处理阶段,基于左右一致性检验(LRC)、孔洞填充和十字交叉自适应窗口加权中值滤波的方法减小视差图的误匹配率。利用Middlebury数据集的4组图像进行测试,测试结果表明,平均误匹配率为4.99%。     

改进Fast-RCNN的双目视觉车辆检测方法

针对不同空间尺度的车辆表现出显著不同的特征导致检测算法效率低、准确性差且单目难以准确获取车辆距离信息的问题,提出了一种改进Fast-RCNN的汽车目标检测法,利用双目视觉对车辆进行测距。首先利用双目立体相机采集前方图像并进行预处理,加载深度神经网络Fast-RCNN的训练数据,再针对汽车不同空间尺度引入多个内置的子网络,将来自所有子网络的输出自适应组合对车辆进行检测,然后利用SURF特征匹配算法进行左右图像的立体匹配,根据匹配数据进行三维重建并确定车辆质心坐标,从而测量出车辆与双目相机之间的距离。实验结果表明,所述算法可以实现对车辆的快速检测,检测时间比传统的Fast-RCNN缩短了42 ms,并且实现了对5 m范围车辆距离的准确测量,其误差仅为2.4%,精确度高,实时性好。