基于深度学习的逆向反射模型

为提高光度立体视觉技术处理各向同性非朗伯反射的能力，提出一种基于深度学习的逆向反射模型，通过提取与方位角差相关的图像特征，弥补共位光源逆向反射模型的理论不足，实现表面法向量高精度估计。该模型由三阶段子网络组成，分别是方位角差子网络、逆向反射模型子网络与法向量估计子网络，其中：第一阶段子网络与第二阶段子网络共同实现像素值到法向量以及入射光线方向点积的高精度映射；第三阶段子网络充分利用前两个子网络提取的特征，实现表面法向量高精度估计。仿真实验表明，所提方法对100种典型各向同性非朗伯反射均具有较好的处理能力；基于标准数据集的真实实验证明，所提方法能够取得平均5.90°的法向量估计精度，充分证明所提方法的有效性。     

基于逆向反射模型的非朗伯光度立体视觉

提出了一种基于共位图像的逆向反射模型,可用于对非漫反射表面的非线性反射行为进行精确建模。该模型可以从像素值精确映射到法向量与入射光线方向的内积。实验仅需一张共位图像和一张多光谱条件下拍摄的RGB图像就可以实现高精度的光度立体视觉性能,大大缩短了拍照所需的时间。对于大批量生产的工件的表面检测而言,由于共位图像可以提前采集后供后续工件重复使用,故该技术可以以微秒级的拍摄速率来实现移动表面的在线检测。另一方面,由于该方法中使用了神经网络来训练近场光度立体视觉模型中的映射关系,省去了传统近场光度立体视觉中的迭代步骤同时提高了对于阴影点、高亮点等异常值的鲁棒性。经仿真和实验验证,该算法能够很好地在极少量图片条件下恢复非漫反射表面的法向量。     

点线特征结合的RGB-D视觉里程计

针对传统视觉里程计在低纹理场景下,定位精度差甚至失效的问题,提出一种结合点线特征的RGB-D视觉里程计方法。该方法结合了点线特征各自独有的特性,同时联合点特征的光度误差和线特征的局部梯度适应性误差,构建了一个对低纹理场景鲁棒的联合误差函数。利用高斯-牛顿迭代法对联合误差函数进行非线性迭代优化,以获取相机每一帧的准确位姿。在公开的真实RGB-D数据集和合成基准测试数据集上对本文方法进行评估。实验结果表明,与其他先进算法相比,本文算法具有更优越的准确性和鲁棒性。     

基于线结构光的双目三维体积测量系统

针对工业应用中工件的体积测量问题,设计了一个基于双目立体视觉原理的体积测量系统。线结构光投射到被测物表面产生变形的激光条纹,精确提取光条中心线,利用极线约束实现左右图像特征点匹配;根据双目视觉原理,由光条图像坐标计算出其在相机坐标系下的三维坐标,完成三维重建;将相机坐标系下的三维点云转换到理想的世界坐标系下,经过积分计算得到被测物体积。采用该系统对不规则棱锥实现三维重建,并完成体积测量。实验结果表明该方法具有一定的可行性和有效性,在工业检测领域有较好的应用前景。     

基于相移的彩色结构光编码三维扫描技术

在物体三维轮廓扫描中,被动式双目立体视觉方法对表面特征不明显的物体难以获取足够的三维信息,针对这一问题,基于双目立体视觉原理,结合主动视觉中结构光投射方法,提出了基于相移的彩色结构光编码方法。该方法将四种颜色按照全排列的相关性质编码产生彩色光栅投射在被测物体表面,依据光栅相位移动增大光栅密度,结合极线约束实现立体匹配,最终获取物体三维数据。结果表明使用该三维扫描技术得到的三维曲面符合原物特征,特别适用于物体三维轮廓的致密测量。     

基于单目视觉和圆结构光的目标姿态测量方法

为解决实际工程中无法在被测目标表面设置固定特征来配合单目视觉系统实现目标姿态测量的难题,将圆结构光源引入单目视觉系统中。通过建立圆结构光的视觉姿态测量模型,提出了一种基于单目视觉和圆结构光的目标姿态测量方法。利用图像处理获取不同姿态下目标表面的结构光光条图像的数学参数;然后将其输入到姿态测量算法中,得到目标表面结构光光条的法向量;最后利用目标表面的参考点与结构光光条中心之间的距离约束关系确定唯一解。实验结果表明,该方法有效可行,测量误差平均在0.5°以内,更便于机器人抓取等工程领域的应用。     

基于光学参考棒的立体视觉测量系统现场标定技术

为实现大空间复杂工件的准确测量,精确标定立体视觉系统变得越来越重要。为了克服传统立体摄像机标定过程繁复、户外实现困难的弱点,提出了一种基于光学参考棒的灵活、有效的立体视觉测量系统标定技术。参考棒水平和深度方向各有三个距离已知的红外LED作为特征点。通过在测量范围内的不同位置和方位移动光学参考棒,两像机同时捕获参考棒上特征点的图像。基于匹配的特征像点以及对极线约束,利用线性算法和Levenberg-Marquardt(LM)迭代算法快速地标定立体视觉测量系统。两像机之间平移量的比例因子由参考棒上特征点间的已知距离确定。参量标定过程中,自动地控制光强,优化曝光时间,使不同位置处光点图像的强度均一致,可以获得高的信噪比,提高标定精度。实验结果表明,该方法灵活、有效,在线标定能达到很高的精度,将现场标定过程应用到实际的大空间三维测量系统中,测量最大误差为0.18 mm。     

多视高分辨率纹理图像与双目三维点云的映射方法

针对双目立体视觉重建点云模型与高分辨率纹理图像的融合问题,本文提出了一种新的纹理映射方法。在双目立体视觉系统上增设长焦纹理相机拍摄高分辨率纹理图像,利用高分辨率纹理图像与双目图像的二维特征匹配,以双目图像为桥梁,得到纹理图像与三维点云模型的匹配关系,进而实现高分辨率纹理图像到三维点云模型的映射。同时,针对映射过程中多视纹理图像重叠部分的数据冗余,提出一种引导线点云数据分区方法,有效解决了多视纹理图像重叠部分的映射问题。通过实验验证,所提方法能够方便准确地实现多视纹理图像与双目三维点云模型的纹理映射。在本文实验条件下,三维模型的纹理可分辨原始线宽为0.157 mm的线对,与双目系统直接产生的三维模型相比,其纹理分辨率提高了1倍,验证了所提出的多视高分辨率纹理映射方法的有效性。     

基于标志点的三维拼接立体偏折法

立体偏折法作为一种非接触式镜面表面三维测量方法,近年来发展迅速。为了解决传统立体偏折法难以测量较大倾角曲面的问题,提出了一种基于标志点的三维拼接立体偏折法。先利用立体偏折法测量不同视角下的曲面子区域的三维点云,同时通过立体视觉测量样品台上标志点的三维坐标,使用标志点坐标进行粗拼接,再通过迭代最近点算法进行精拼接,最终重构出完整的三维面型。实际搭建了一套三维拼接立体偏折测量系统,测量了一个倾角25.8°的光滑凸球面反射镜,拼接后球面拟合误差在3μm以内。实验结果验证了方法的可行性,对立体偏折法应用于大口径和大倾角的复杂光学曲面三维测量具有借鉴意义。     

基于HALCON的双目立体视觉工件尺寸测量

为了实现对大批量生产工件尺寸的精密测量，该文基于双目立体视觉视差原理，设计了一种工件尺寸实时测量系统；系统通过两个工业数字摄像头实时采集工件不同角度的两幅图像，并基于机器视觉软件HALCON的HDevelop开发环境，对两幅图像进行相关预处理，获取感兴趣区域。提出一种基于canny的亚像素边缘检测、边缘细化、基于atukey权重函数的最小二乘法边缘拟合及边缘均匀取点算法获取精确的边缘特征点，并通过双目系统标定、极线约束与NCC相结合的立体匹配、世界坐标转换、几何计算相结合的非接触式双目视觉方法进行尺寸测量。通过大量实验证明，该方法可有效地获取工件特征点的三维坐标值，不借助外部测量仪器实现工件关键尺寸的高精度实时检测，检测精度达±0.2mm以上，简单快捷，具有较好的准确性和实时性。     

基于激光散斑成像的零件表面粗糙度建模

表面粗糙度是衡量机械表面加工水平的重要参数. 通过构建一套激光散斑成像采集系统, 获取了不同表面加工类型和不同粗糙度值的零件表面激光散斑图像. 应用Tamura纹理特征理论提取图像的纹理粗糙度、对比度、方向度特征, 并分析了这三个特征与表面粗糙度的关系. 发现了纹理粗糙度特征与表面粗糙度的单调关系, 推导出平磨、外磨、研磨三种表面加工工艺的粗糙度值与图像纹理粗糙度特征的数学函数关系, 实现了表面粗糙度的测量. 同时, 利用Tamura纹理特征与加工工艺的依赖关系, 建立了基于贝叶斯网络的工艺识别推理模型, 推理出了零件表面加工工艺. 通过为多种加工类型表面建立粗糙度测量模型, 为粗糙度测量提供了新思路. 实验证明所提的粗糙度测量模型能以较高的准确率识别出零件表面加工类型并测量出其表面粗糙度值.     

立体视觉测量系统现场校准技术

为实现大空间复杂工件的准确测量,精确校准立体视觉系统变得越来越重要.提出了一种利用光学参考棒,基于单位四元数法的灵活、有效的立体视觉测晕系统现场校准技术.该方法以光学参考棒为校准靶标,以参考棒上的三个共线的距离已知的红外LED作为特征点,通过在测量范围内不同位置对光学参考棒上特征点成像,灵活、有效地实现两摄像机之间的外参校准.参数校准过程中,自动地控制光强,优化曝光时间,从而使得不同位置处光点图像的强度一致,并且可以获得高的信噪比,提高校准精度.实验结果表明该方法具有相当高的在线校准精度,在实际应用中能获得很好的效果,最大测量误差为0.15 mm,最大标准差为0.11 mm.     

金属表面特性对差动式视觉测量的影响实验

介绍了一种全面的金属表面反射模型,从理论上论证差动式视觉测量的可行性。在平行光照明下,测量不同级别粗糙度比较样块在入射面内的反射亮度,在大量数据的基础上总结分布规律,以寻求事实依据。搭建视觉测量系统,采集金属工件的明、暗域图像,并对图像差分融合,进行实验验证。结果表明,工件表面的缺陷信息得到了大幅增强,杂乱的背景信息被有效抑制。基于金属表面反射特性提出的差动式视觉测量系统,在提高图像对比度和增强边缘方面显示了其优越性。     

基于偏振信息的强反射工件高光去除及视觉测量方法

搭建了一种基于反向传播神经网络与高斯分布函数的图像高光去除模型。该模型可以优化图像的特征提取及特征匹配。以高反射率金属工件表面作为实验对象,进行了边缘特征提取及视觉测量精度分析,实验结果表明,所提方法可实现0.75 mm的视觉测量精度,一定程度上验证了所提方法的可行性。     

激光扫描在工件表面检测中的应用方法

为了获取磨削工件表面特征信息，提出一种基于激光扫描的磨削工件表面检测方法。利用机械臂带动激光传感器扫描放置在激光测量平面中的磨削工件，从而获得工件在激光测量平面中的三维坐标信息，通过相邻2个扫描点之间的高度变化求出工件边界点的三维坐标信息，结合x轴和y轴坐标的极值点利用最小二乘法拟合出工件边界在激光测量平面中的解析式，进一步求出附着在工件上的坐标系相对于激光测量坐标系的位姿，最后利用工件在激光测量坐标系中的位置矢量信息得出其表面特征信息。实验结果表明，利用该方法对工件表面进行检测，得到工件表面检测误差为0.11 mm，检测平均时间在1 s内，满足工件表面特征检测要求。     

一种基于协方差描述子的场景分类算法

图像场景分类一直是计算机视觉领域的一个热点问题。提出了协方差描述子场景分类算法,它聚合了像素位置、颜色特征、方向特征和局部纹理特征等互补特征形成协方差描述子。为了避免计算黎曼空间内的协方差距离测度,把协方差描述子转换成欧式空间内的Sigma点特征,可以实现线性的场景描述和支持向量机训练。在SUN Database标准数据集上进行了算法分类测试,并与经典的场景分类算法进行了性能比较;通过构造包含噪声的场景数据集,验证了新算法和经典算法的鲁棒性。实验结果表明该算法在计算效率和分类性能方面具有很强优势,同时具有较好的噪声鲁棒性。     

空间非合作目标的三目立体视觉测量方法

针对在轨服务任务如何在近距离处获取空间非合作目标的相对位置和姿态的难题,提出一种三目立体视觉测量方法。首先利用三台呈等边三角形布置的大视场可见光相机获取图像;然后采用所提方法对特征点进行匹配;接着采用RANSAC方法解算被测目标在世界坐标系下的位姿参数;最后通过对非合作卫星模型的静止、位置移动和姿态转动进行实验。实验结果表明,静止状态下的相对位置精度优于2.2 mm,相对角度测量精度优于0.3°;当模型位置移动时,绝对位置精度优于3 mm;当模型姿态转动时,相对位置精度优于5.6 mm,相对角度测量精度优于1.7°,说明所提方法可以改善双目立体视觉技术在测量角度大的区域易出现测量盲区、特征点定位误匹配和测量视场有限的不足。     

弱纹理环境下视觉里程计优化算法研究

针对视觉里程计在弱纹理的道路环境下定位精度骤降的问题,提出一种双目视觉里程计优化算法。首先,通过提取局部特征平面,为立体匹配缺失的特征提供平面约束,增加有效立体特征的数量;其次,在特征追踪过程中,使用匀加速运动模型,提高特征追踪的数量和质量;最后,在位姿计算和优化过程中,使用考虑特征置信度的光束法平差算法来减少远距离特征引入的误差影响,提高算法的精度和稳健性。数据集实验和实际场景实验表明,该算法在占有极少计算资源的情况下对弱纹理环境下的定位精度有较明显的优化效果,在其他场景也具有较好的适应性。     

基于双目光栅重建和纹理映射的缺陷三维测量方法

针对工业检测中对表面缺陷的高精度检测和定位需求,提出了一种缺陷特征重建方法。通过在基于双目光栅投影的三维重构系统上附加纹理相机,实现对于重构点云模型的纹理映射,并结合纹理相机图像中提取到的特征区域,完成表面特征的三维重构。针对待测物体需要进行多视角重建的情况,引入精密转台,利用旋转轴标定方法获取不同旋转位置下纹理图像与点云数据的映射关系,并利用基于距离判据的判断方法实现了对遮挡部分点云的剔除。采用四象限临近点搜索和基于距离加权平均的线性插值方法对纹理图像中像素坐标进行三维测量。实验完成了对于图像中标注缺陷轮廓内像素点的重建,实现了对于表面特征的精确尺寸计算和定位,通过对重建的缺陷尺寸和位置进行计算并与影像测量仪测得结果进行对比,可得本文方案对缺陷三维尺寸和位置的测量误差不超过0.2 mm,且能更准确地计算缺陷面积。     

双目视觉测量系统特征点提取与匹配技术研究

自主研发了一种光笔式双目立体视觉大工件尺寸测量系统,对测量系统中特征点的提取及其匹配技术进行了研究。测量系统采用 Canny 算子和 Zernike 矩相结合的算法实现椭圆光斑的亚像素边缘提取,根据得到的亚像素边缘点,采用基于最小二乘的曲线拟合法得到椭圆光斑的中心坐标。针对特征点的匹配问题,提出了一种基于位置约束的快速匹配方法。实验结果显示:所提方法能提取到椭圆光斑亚像素边缘,可精确计算出椭圆光斑中心坐标,匹配率达到95%以上。