Nrityabodha: Towards understanding Indian classical dance using a deep learning approach

Indian classical dance has existed since over 5000 years and is widely practised and performed all over the world. However, the semantic meaning of the dance gestures and body postures as well as the intricate steps accompanied by music and recital of poems is only understood fully by the connoisseur. The common masses who watch a concert rarely appreciate or understand the ideas conveyed by the dancer. Can machine learning algorithms aid a novice to understand the semantic intricacies being expertly conveyed by the dancer? In this work, we aim to address this highly challenging problem and propose deep learning based algorithms to identify body postures and hand gestures in order to comprehend the intended meaning of the dance performance. Specifically, we propose a convolutional neural network and validate its performance on standard datasets for poses and hand gestures as well as on constrained and real-world datasets of classical dance. We use transfer learning to show that the pre-trained deep networks can reduce the time taken during training and also improve accuracy. Interestingly, we show with experiments performed using Kinect in constrained laboratory settings and data from Youtube that it is possible to identify body poses and hand gestures of the performer to understand the semantic meaning of the enacted dance piece.     

基于DBSCAN与梯度划分的Kinect障碍物轮廓检测算法

针对移动机器人的环境检测和避障问题中传感器获取的信息不够全面及准确,无法准确提供周围环境信息等问题,文中提出了利用Kinect传感器来获取周围环境的色彩信息和深度数据,并且提出了一种利用梯度划分和DBSCAN聚类方法来处理Kinect传感器获得的深度数据图。该算法首先使用梯度障碍物边缘检测方法对Kinect获取得到的深度图进行快速高效的处理障碍物边缘轮廓,并对算法中的差分参数进行改进,使得计算得到的梯度结果更准确。然后对比不同的聚类方法,使用BDSCAN聚类方法来对检测划分完毕的障碍物进行聚类分析,最后通过安排具体实验对该算法进行验证。实验结果表明,该算法能够对周围环境障碍物进行准确划分,可行区域效果明显,对不同物体的成功检测率较高,验证了算法的有效性。     

一种基于改进DTW算法的动态手势识别方法

结合Kinect传感器提出了一种基于改进的DTW算法的动态手势识别方法。首先,通过SDK对Kinect传感器获得的深度信息进行分析,获得人体骨骼点3D位置,选取其中4个点作为手部运动特征;然后,用加权距离和全局路径限制的方法对传统的DTW算法进行改进;最后,用改进的DTW算法进行模板训练和实现动态手势的识别。实验表明：该方法能很好地实现动态手势的识别,实时性好,在背景干扰和光照方面有较强的鲁棒性,较传统的DTW算法在识别速度和识别正确率方面有所提高。     

低分辨率KINECT传感器采集三维点云的人脸识别

针对传统的三维人脸识别算法成本较高且不能很好地处理带有光照、表情等变化人脸识别的问题,设计了低分辨率Kinect传感器采集三维点云的鲁棒人脸识别系统。首先,通过鼻尖检测、人脸剪裁、姿势校正、对称填充及平滑采样得到规范的纹理图像;然后,在纹理图像上运用判别色彩空间变换,从而最大化类与类之间的分离性;最后,利用多模态稀疏编码有效地重建误差以得到查询图像与训练集之间的相似度,并利用Z-得分技术完成最终的人脸识别。在通用人脸数据库CurtinFaces、PIE及AR上的识别率可高达96.7%,实验结果表明,相比其它几种人脸识别算法,本文算法取得了更好的识别效果。     

Region based foreground segmentation combining color and depth sensors via logarithmic opinion pool decision

In this paper we present a novel foreground segmentation system that combines color and depth sensors information to perform a more complete Bayesian segmentation between foreground and background classes. The system shows a combination of spatial-color and spatial-depth region-based models for the foreground as well as color and depth pixel-wise models for the background in a Logarithmic Opinion Pool decision framework used to correctly combine the likelihoods of each model. A posterior enhancement step based on a trimap analysis is also proposed in order to correct the precision errors that the depth sensor introduces. The results presented in this paper show that our system is robust in front of color and depth camouflage problems between the foreground object and the background, and also improves the segmentation in the area of the objects’ contours by reducing the false positive detections that appear due to the lack of precision of the depth sensors.     

基于体感识别的辅助倒水机器人控制系统

为了更好的给老年人及残疾人提供服务,基于体感识别技术,设计了辅助倒水机器人控制系统。首先通过Kinect摄像头获取人体景深图像,然后利用体感识别控制算法对人体姿势进行识别,最后将识别结果转换为控制命令传输到辅助倒水机器人使其执行相应动作。实验表明,辅助倒水机器人具有良好的操控及执行性能,能较好地满足老年人及残疾人的需求,对服务型机器人领域的发展研究具有很好的参考价值。     

基于超像素分割的深度图像修复算法

为了提高Kinect相机获取的深度图质量,提出了一种基于超像素分割的图像修复算法。 首先对深度图和彩色图分别 进行双边滤波和超像素分割;其次,结合深度图像和彩色图像相似性,记录彩色分割块的位 置,并对应于 深度图中;最后,在每个分割块对应深度区域中,根据丢失像素点在分割块中所占比例,划 分为无空洞区 域、小空洞区域、大空洞区域和全空洞区域4类。采用快速行进算法对小空洞区域进行 修复,利用中 值填补算法进行大空洞区域修复,对全空洞区域利用邻域区间对应彩色图像相似性进行填充 。4种类型中 的无空洞区域无需修复。实验结果表明,本文方法与FMM、Shen和Scheming的方法相比, 平均均方根误差(RMSE) 分别降低了2.958、0.822和0.078,修复 的主观质量也有所提高。     

基于像素级别的Kinect深度测量误差补偿方法

本文提出了一种基于像素级别的Kinect2.0 深度误差补偿方法。首先,利用Kinect2.0传感器在不同的位置处采集一个 标准平面。第二 ,利用最小二乘 法将采集的三维数据进行平面拟合,作为理论平面数据。第三,逐像素点地计算Kinect2.0 传感器的深度误 差,并建立一个三维查找表。第四,通过建立一个三维查找表,在测量过程中通过插值方法 计算每个像素 点的深度,实现Kinect2.0测量数据深度方向的误差补偿。实验结果表明, 所研究的误差补 偿方法在Kinect2.0 内部参数未知的情况下,能稳定可靠地将Kinect2.0的平均测量误差减小到 0.8mm以内。对于Kinect2.0在较高精度场合的应用,本文算法能够使 测量精度达到更高。     

一种鲁棒的基于深度数据的行为识别算法

人体行为识别在视频监控和人机交互中具有重要应 用,利用深度数据进行行为识别是近年兴起的技术,并取得了一定的进展,但还没有一个公 认的、鲁棒性好的行为描述方法,且性能有待提高。针对以上问题,本文提出了3种鲁棒的、深度数据上的行为描述方法,并结合支持向量机(SVM)分类器在两个公开的且具 有挑战性的深度数据集上对 它们进行评估。实验结果表明,本文提出的行为描述方法具有较好的区分性和鲁棒性,其性 能比一些先进的且具有代表性的算法性能更好。     

基于像素滤波和中值滤波的深度图像修复方法

针对Kinect相机采集的深度数据一般有噪声和黑 洞现象,直接应用于场景三维重建系统中效果差的问 题,提出了像素滤波器和中值滤波器相结合的Kinect 深度图像修复方法。首先对一帧图片 上的像素进行搜索, 找到像素值为0的点,以该点为中心,利用其邻域内的像素,定义一个两层的滤波器,根据 像素滤波器的原理 对其进行修复,填充深度图片的黑洞;然后采用中值滤波器,在平滑深度图像的同时保留边 缘信息,去除孤立 噪声点。实验结果表明,本文方法去噪的同时也能对黑洞进行修补,与原始深度图像相比, 空洞明显减少,深度图像质量大大提高。