基于Kinect传感器多深度图像融合的物体三维重建

物体的三维重建技术一直是计算机视觉领域研究的热点问题,提出一种利用Kinect传感器获取的深度图像实现多幅深度图像融合完成物体三维重建的方法。在图像空间中对深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场（hierarchical signed distance field）,对距离场中所有的体素应用整体Delaunay三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,完成物体表面重建。实验结果表明,该方法利用Kinect传感器采集的不同方向37幅分辨率为640480的深度图像完成目标物体的三维重建,仅需要48 s,并且得到非常精细的重建效果。     

基于unity和kinect的交警手势识别仿真系统的设计和实现

为研究计算机辅助驾驶系统中交警手势的识别,搭建了一个虚拟驾驶场景的实验室研究仿真系统。采用了微软公司的Kinect设备采集人体骨骼数据,经由经验模型提取特征并使用模式识别对交警手势信号进行信号分类,使用unity公司的unity3D软件实现虚拟驾驶场景的三维重建。系统测试表明,使用kinect进行手势识别响应快,准确率高,使用unity作为虚拟驾驶场景的开发平台方便快捷,两者组合非常适宜搭建基于视觉的辅助驾驶系统的仿真环境。     

基于注意力卷积神经网络的动态手势识别研究北大核心CSCD

针对复杂环境下动态手势识别准确率低的问题,提出了一种基于长短期记忆网络和卷积神经网络的动态手势识别算法。采用长短期记忆网络学习每个滤波器的权重,预测人体外形相关的滤波器组;采用卷积神经网络提取目标手势的轨迹图,创建彩色的轨迹图像;将轨迹图像送入注意力卷积神经网络训练,利用神经网络识别出复杂环境下的手势。实验结果表明,该算法能够准确地检测与跟踪手势的动态变化,并且实现了较好的手势识别准确性。     

基于深度视觉传感器和卷积神经网络的跌倒检测算法

为提高传统跌倒检测系统的识别准确率,降低识别时间,提出了一种新型跌倒检测模型。以Kinect V2深度视觉传感器获取的骨骼节点为样本数据源,由改进型K-means算法计算聚类中心点,并在此基础上提取跌倒检测特征数据。将特征数据重构成5×5训练样本数据后,输入所设计的卷积神经网络模型进行训练学习,得到优化的跌倒检测模型参数。实验表明,所设计的新型检测模型相对于传统检测跌倒算法具有更高的识别准确率和更快的运算速度,保证了系统的实时性和鲁棒性要求。     

基于动态手势的人机交互系统的研究与设计

本文描述一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的系统。手势手套主要由弯曲传感器、陀螺仪加速度计、电阻电压转换电路和无线通信模块组成,来实现手势信息的采集、去噪、前压缩、解算等功能,并通过无线通信将实时手势信息交付给上一层;无线中继端将其与多种传感器电路、显示屏、摄像头、通信接口和常用的工业控制接口等集成到一块上,采集其他传感器信息结合前级的手势信息,在短时间深度上对多种信息进行融合并通过控制算法输出给控制器件。上位机主要负责手势信息的建模还原和更长时间序列上和多维度的信息处理;网络云端可以实现手势信息的大数据处理、匹配和远程交互等功能。经实验检测达到了理想的设计要求。     

基于优化估计的深度图像修复与误差补偿方法研究

针对Kinect传感器在获取深度图像时存在深度值随机跳变的不准确性问题,基于最优估计的思想,提出卡尔曼滤波与多帧平均法相结合的图像修复方法。首先利用卡尔曼滤波对多幅深度图像进行修复处理,实现Kinect传感器在采集信息过程中随着时间递推,深度值的跳变逐渐趋于平稳的效果;然后基于多幅图像平均法确定最终的深度图像,解决了Kinect获取深度值存在误差导致的不精确问题。实验结果表明,该算法的均方根误差为38.102 5,平均梯度为0.471 3,信息熵为6.191 8,与单幅图像修复效果相比,得到的深度图像边缘更加清晰。     

面向嵌入式平台的轻量化神经网络手势识别方法

针对传统基于图像分割和特征提取的手势识别算法在复杂背景下识别准确率低、灵活性差的问题,基于目标检测神经网络的手势识别算法可以有效提高复杂环境下手势识别的准确性。受嵌入式处理器体积和功耗的限制,常用的目标检测神经网络在嵌入式上的识别速度较低,不能满足实时手势识别的要求。在SSD目标检测的基础上对其进行优化,使用MobileNetv3网络实现特征提取,目标检测方面则是使用SSD-lite结构,其使用深度可分离卷积替代普通卷积,实现了轻量化MobileNetv3-SSDLite手势识别算法的设计。针对手势识别的要求,制作了包含不同手势的数据集,利用它在服务器上完成了模型的训练。为了满足嵌入式的算力限制,通过模型的量化压缩将float64的网络参数量化为int8,并压缩网络结构,提高网络在嵌入式上的推理速度,实现基于嵌入式的手势识别。实验结果表明,基于嵌入式的MobileNetv3-SSDLite手势识别算法可以达到平均准确率99.61%,且识别速度达到每秒50帧以上,满足实时手势识别的要求。     

基于单目视觉的虚拟鼠标方法

自然的交互方式有利于提高增强现实系统的真实感和沉浸感,是增强现实技术的重要研究内容。针对这一问题,提出一种基于单目视觉的虚拟鼠标实现方法,只需要使用单个摄像头,即可对裸手手势进行识别进而模拟真实鼠标动作,最后基于该方法开发了基于单目视觉的虚拟鼠标系统。首先,根据色度信息,分割手部肤色区域;然后,基于指尖的形态学特征识别指尖点,并过滤以排除误检点;最后根据指尖点及其坐标控制光标模拟鼠标动作。实验结果表明,该系统设备简单、精度较高,完全可以实现各种鼠标动作的模拟。     

基于深度体素卷积神经网络的三维模型识别分类

提出一种基于深度体素卷积神经网络的三维(3D)模型识别分类算法,该算法使用体素化技术将3D多边形网格模型转化为体素矩阵,并通过深度体素卷积神经网络提取该矩阵的深层特征,以增强特征的表达能力和差异性。在ModelNet40数据集上的实验结果表明:所提算法对3D网格模型识别分类的准确率能够达到87%左右。所构建的深度体素卷积神经网络能够有效地增强3D模型的特征提取和表达能力,提高对大规模复杂3D网格模型分类识别的准确率,所提方法优于当前的主流方法。     

基于椭圆外切矩形性质的圆形标志点检测

圆形标志点检测通常被视为椭圆检测。由于光线、角度等原因,采集到的标志点会出现残缺,另外,当背景或物体较复杂时,非标志点边缘为标志点的提取带来干扰。为此,提出了一种基于椭圆外切矩形性质的圆形标志点检测方法。通过拟合椭圆的准圆来检测椭圆的中心,利用椭圆外切矩形的几何性质来确定椭圆的长短轴位置及旋转角度。为了去除非标志点的干扰边缘影响,进一步构造验证参数,并结合聚类算法,最终提取有效的标志点类。仿真与实物实验表明,该算法拟合精度高,检测性能优良,对具有部分残缺的椭圆有良好的识别效果,且对于复杂情况下的标志点识别仍具有较高的精度和稳健性。     

一种基于关键帧的人体行为识别方法

为了提高人体动作识别的准确率和实时性,提出了一种基于关键帧的人体行为识别新方法。用Kinect提取人体骨架信息(各关节点的3D坐标),将中心点(人体基准参考点)分别与其他各关节点作结构向量,根据空间不变性选取中心向量,计算各个结构向量和中心向量之间的夹角,并将夹角的角速度作为一种新的姿态描述特征,利用AP(Affinity Propagation)聚类算法提取关键帧,利用SVM将得到的关键帧进行动作序列的分类。在Cornell Activity Dataset-60(CAD-60)数据库实验结果表明,新方法具有良好的识别能力。     

基于偏斜度、陡峭度特征的光纤布拉格光栅冲击载荷定位

针对复合材料结构上低速冲击载荷位置识别问题,通过构建分布式光纤布拉格光栅(FBG)传感网络,分析了光纤布拉格光栅传感器感知的冲击响应信号时间序列的偏斜度、陡峭度与到传感器之间距离的关系。通过不同位置传感器感知的冲击响应信号的偏斜度和陡峭度对冲击载荷所在的区域和到各个传感器之间的距离进行了辨识,采用加权质心定位算法实现了冲击载荷位置的坐标定位。实验结果表明:在碳纤维复合材料板上240mm×240mm的监测区域内随机选取16个测试样本点进行低速冲击定位识别,实现了所有冲击实验点的区域辨识,坐标定位的平均误差为20.7mm。研究结果为碳纤维复合材料板的低速冲击定位提供了一种可靠的方法。     

基于深度学习的流场时程特征提取模型

特征识别是流体力学的重要研究方向,然而在中高雷诺数情况下物体的尾流流场复杂,难以通过传统方法实现特征的提取与识别.深度学习理论与技术的不断发展为复杂流场特征的识别提供了新方法.基于流场时程数据的深度学习模型,本文研究了4种模型对尾流场特征提取与识别的精度,得到了针对流场时程特征提取的高精度新方法.结果表明:所提出的模型能够识别尾流物理时程的不同特征,并通过流场时程实现了目标的外形识别,验证了方法的可行性;同时结果表明基于卷积运算的深度学习模型精度高,适用于流场时程数据的特征分析;深度学习网络结构更深、层间结构复杂的残差卷积网络识别精度最高,是尾流时程分析的高精度算法.本文所提方法从流场物理量时程的角度对流场特征进行了提取与识别,证明了深度学习方法具有较高的识别精度,是研究流场特征的重要途径.     

基于Kinect深度数据的移动机器人障碍检测方法研究

（北方工业大学,机械与材料工程学院,北京,100144） 摘要： 未知室内环境中的障碍检测是室内移动机器人领域的热点问题。在低成本条件下为更加准确的对环境中的障碍进行检测,提出一种基于低成本Kinect传感器点云数据进行环境障碍检测的有效方法。首先通过Kinect三维点云数据,对点云数据进行去燥处理,并进行三维数据到二维平面的投影的转换并通过DBSCAN聚类算法对投影的二维点云数据进行聚类分析。通过设置相邻顶点间最大距离阈值对convex-hull凸包算法进行改进,试验结果表明改进的凸包算法能够对障碍进行有效识别。该方法在Matlab中进行了方法验证,并在P3-DX移动机器人平台上进行了试验验证,结果表明该方法能够有效对环境中的障碍进行有效识别。     

呼吸声分类技术研究及检测系统设计*

患有呼吸问题的病人由于呼吸道腺体不受意识控制、异物或者其本身肺部病变等原因会出现呼吸异常。医护人员通过病人的呼吸状况可以找寻和分析病人出现这种呼吸状况的原因。而以往呼吸声的诊断方式是专业的医护人员通过使用听诊器对病人进行肺部听诊。但是听诊的结果取决于医护人员的经验与相关参数。在初级诊断治疗阶段,初级医生识别听诊声的效率以及准确率很低,一般从20%到80%不等。因此会存在10%到20%的高误诊率（漏诊、错诊和延误）。本文提出了一种利用PVDF薄膜传感器提取语声特征的检测系统,该检测系统根据病人发出声音的不同,提取呼吸声特征值判断病人的呼吸状况。通过PVDF传感器采集的微弱呼吸声再经过KNN算法分类之后其识别率可达90.6%,对于细分种较类多的湿罗声,其识别率在80.2%左右。综上表明相比于传统听诊方式通过PVDF传感器采集识别的结果具有更高的准确性和可靠性,其判断呼吸状况的结果可以为医护人员提供参考,更好的为患有呼吸疾病的病人提供监测。     

一种存储伪图像的手掌静脉识别研究

传统的生物特征识别方法直接将用户的生物特征模板存储于数据库中。由于生物特征具有唯一性和稳定性,一旦被窃取,用户的生物特征将终身不可再用。针对此问题提出了一种存储伪生物特征图像的手掌静脉识别算法,该算法不从外部输入密钥,不存储原始掌脉生物特征模板。在注册阶段,于近红外光下采集用户手掌静脉图像,对图像进行加密形成伪图像,将伪图像存储于数据库中;在认证阶段,将数据库中的伪图像解密后提取特征,与认证阶段采集图像提取的特征进行匹配,给出认证结果。在PolyU图库、CASIA图库和自建图库上进行测试,结果表明:在样本数量为300时,该算法在上述3种图库中的等误率分别为0.4135%、0.5576%、0.4744%,识别时间分别为325.0740,316.0800,322.6530ms。在小范围样本内,所提算法适用于安防、考勤等场合,具有一定的实用价值。     

基于模糊距离和DS证据融合的清洁机器人定位设计

针对现有清洁机器人定位算法具有的定位精度不高且难以保证在线定位的实时性问题,设计了一种基于模糊距离和DS(DEMPSTER-SHAFER)证据融合的清洁机器人自定位算法。首先,对清洁机器人的总体结构进行了建模和分析,并对其进行硬件设计,为了实现清洁机器人的实时精确定位,采用DS证据数据融合方法对多传感器采集的数据进行有效数据融合,为了进一步提高其精确性,引入了模糊距离,定义当前传感器采集数据与理想结果之间的距离,根据距模糊距离的大小自适应地调大或减少传感器采集数据分配信度的权重,将加权信度作为新的信度进行融合得到最终的融合结果。在不同的场地中进行实际试验,对文中设计的清洁机器人进行实际定位,实验结果表明文中方法能有效地进行定位,较经典的DS证据融合和其它方法具有较高的定位精度,且具有较小的时间复杂度和空间复杂度, 具有较大的优越性。     

基于预识别技术及SART算法的单光场相机三维流场重建

提出了一种基于预识别及联合代数重建技术(SART)的单光场相机三维流场重建方法。首先结合光场图像,采用光线追迹的预识别技术预先筛选出控制体中包含示踪粒子的离散体素,实现对权矩阵结构的优化,然后利用插值法准确计算出测量体体素与图像像素之间的权函数。最终采用SART实现对示踪粒子三维空间位置的重构。单颗粒的重建结果表明:重建颗粒的中心位置准确,且其沿深度方向的拉伸程度较经典算法(MART)的结果明显减弱。此外,该算法在提高了重建效率的同时也降低了对权矩阵存储空间的需求。     

基于深度卷积神经网络的红外船只目标检测方法

针对红外船只图像较模糊导致的识别率低、识别速度慢等问题,提出了一种基于深度卷积神经网络(CNN)的检测算法。首先采用标记分水岭分割算法提取红外船只图像中的连通区域,并对原图相应的目标位置进行标记和归一化处理,提取候选区域。采用改进的AlexNet(一种深度CNN模型)进行船只目标识别,将提取的候选区域送入改进的AlexNet进行特征提取和预测,得到最终检测结果。分水岭方法可大大减少候选区域检测时间,以及减少深度CNN识别时间。利用实验室自制的红外成像系统获取近千张红外船只图像数据,并对其平移缩放形成的数据集进行仿真实验。结果表明,标记分水岭与深度CNN的结合,可有效识别船只目标,所提方法具有良好的性能,能够更加快速准确地识别红外船只目标。     

基于深度图像的嵌入式人体坐姿检测系统的实现

以检测不良坐姿,分析人们学习工作状态为引导,设计了基于深度图像的坐姿检测系统。该系统采用3D传感器获取人体坐立时的深度图像,设计了一种基于深度阈值的快速前景提取与干扰移除方法,能快速有效的提取坐姿状态下的人体分割图。基于人体轮廓的曲线特征实现了人体关键点定位,通过人体关键点的角度、深度信息与轮廓特征,对不同的坐姿图像进行统计分析,得到了一种区分不同坐姿的判定基准,运用该基准对9种不同坐姿进行识别,平均识别率可达到90%。最后,基于Android平台设计了坐姿检测系统的应用软件,实现了坐姿检测、坐姿提醒以及姿态统计等功能,并且对学习过程进行测试,测试结果表明,本系统可以有效的检测出9种坐姿、并对不良坐姿进行提醒与统计。