168 2016,52(1) ComputerEngineering andApplications计算机工程与应用 基于BPOF特征与深度图像的人体姿态估计研究 曹亚微,周书仁 CA0 Yawei,ZHOU Shuren 长沙理工大学计算机与通信工程学院,长沙410114 Computer&Communication Engineering School,Changsha University of Science&Technology,Changsha 4 1 0 1 1 4.China CAO Yawei,ZHOU Shuren.Research of human pose estimation based on BPOF feature and depth image.Computer Engineering and Applications,2016,52(1):168—172. Abstract:Human pose estimation is a research topic which has wide application prospect,and the topic has become one of the important research hotspot in the field of computer vision.For feature extraction in human pose estimation,the paper proposes an improved method based on Binary Phase—Only Filter(BPOF)algorithm,first ofall,it calculates the scanning line length value from eight directions of every pixel in the image,then puts the eight value into the BPOF algorithm to get the feature of the pixel,it also optimizes the random forest which is used to classify,finally can estimate the human pose.The improved method has made a very big enhancement in recognition rate and robustness,at the same time,the optimized random forest classiier reduces fthe algorithm system time consumption. Key words:computer vision;human pose;depth image;Binary Phase—Only Filter(BPOF):random forest 摘要:人体姿态估计是一个有着非常广泛应用前景的研究课题,并且在计算机视觉领域中,该课题已经成为了重 要研究热点之一。针对人体姿态估计中的特征表达提出了一种基于二元纯位相匹配滤波器(BPOF)的特征提取算 法,首先对图像中每一个像素点都从8个方向去计算扫描线段长度值,然后再将得到的8个值引入到BPOF算法中进 行计算以便得到该像素点的特征值,同时针对随机森林分类器进行优化,最终对图像中的人体姿态做出估计。该改 进方法在识别率以及鲁棒性方面有了很大提高,同时优化的随机森林分类器使得算法系统时间开销有所降低。 关键词:计算机视觉;人体姿态;深度图像;二元纯位相匹配滤波器(BPOF);随机森林 文献标志码:A 中图分类号:TP391 doi:10.37788.issn.1002.8331.1312—0407 1 引言 人体姿态估计是计算机视觉领域中的一个重点研 究课题,该课题的主要难点在于计算的准确度和鲁棒性, 而造成上述困难不容易被解决的主要原因有遮挡和自遮 挡问题、噪声和服装以及毛发的干扰问题,同时还有人 体的不同身材不同体型以及人类动作的多样性等问题, 因此人体姿态估计也是一个富有挑战性的研究课题。 在研究方法方面,部分中外学者从人体部件u。】的角 度构建模型,结合部件检测器对图像中的人体姿态做出 型。同时也有部分研究人员以全局人体为导向进行合 理建模 对人体的姿态进行估计。 另外从粒子 的角 度将姿态估计问题从二维空间聚合到三维空间,进而实 现三维 人体姿态重建也是一种有效的姿态估计方法, Ramakrishna[1”等人提出了activity.independent方法辅助 三维重建工作。近年来,随着深度相机的问世,深度信 息 在姿态估计研究方面成为了一个热点方法,Girshick 3 提出的新方法可以高效地将人体的姿态从深度图像中 回归到常见的运动姿态当中。本文以深度图像为基础, 估计,Sun 针对目标的关节检测提出APM模型,Sharma 等人在部件模型集合基础上针对静态图像提出EPM模 结合赵文闯u 提出基于部位位置及尺寸的研究方法以 及BPOF算法,提出了新的人体姿态估计算法。 基金项目:湖南省自然科学基金(No.12JJ6057);湖南省教育厅资助科研项目(No.13B132);长沙市科技计划资助项目(No.K1203015-11); 湖南省大学生研究性学习和创新性实验计划基金资助项目(湘教通[20121402号136)。 作者简介:曹亚微(1990一),女,硕士研究生,主要研究方向:图像处理、模式识别,E—mail:610673606@qq.tom;周书仁(1975一), 男,博士,主要研究方向:图像处理、模式识别、人工智能。 收稿日期:2014.01—02 修回日期:2014—02—27 文章编号:1002—8331(2016)01—0168—05 CNKI网络优先出版:2014—04.30,http://www.cnki.net/kcms/doi/10.3778 ̄.issn.1002—8331.1312—0407.html 曹亚微,周书仁:基于BPOF特征与深度图像的人体姿态估计研究 2深度图像 深度图像指的是使用深度图将场景中各个点与摄 l1, (“,1,)∈l 一7c,∥l ,HBP。F【“, ) 1l—一,1, ( 【 ,“,1,)J∈[∈l lf,/J一十7+7c】l BPOF=exp[-j ̄b] 2 (3) 像机间的距离表示出来,即深度图像中的每一个像素点 的值都代表了场景中该像素点与摄像机之间的距离。 获取深度图像的工具就是深度相机,获取后还需要针对 其中, 的值是可以任意选取的。 3.3 BPOF特征提取方法 公式(1)使用深度比较的思想展开特征提取的相关 工作,即针对某一个特定像素点 ,另外选取一个像素 点 ,分别提取 、 两个像素点的深度信息值,然后进 得到的图像进行处理,主要包括矫正和标定,最终得到 深度图像。从深度图像中提取每一个像素点的深度信 息就可以针对图像提取特征。 3特征提取 行相减运算,最终得到所需的特征值。但是针对像素点 曰的选取问题来说,它与像素点 的距离需要人工去设 3.1传统特征计算方法 定,但是像素点B与像素点 之间的距离,无论是过于 Shottonu 采用的特征提取方法选用了相对来说比 大还是过于小,都可能会引起特征计算的结果与预期的 较简单的深度比较特征。对于某个已知的像素X,特征 目标大相径庭,进而使得实验的最终结果不尽理想,另 计算如式(1): 外针对身体不同的位置的像素点,如果采用同样的参数 (,, )=dI(x+南)一d +赤) ( ) 进行计算,那么实验结果的准确性也会产生一定的负面 其中,图像 中某一个像素点的深度信息值使用d,(x) 影响,但是该特征又有其不可被忽视的计算简便性,因 来表示,0--(u,v)用来说明偏移量“和v。对于某一个 次本文在这里做出了改进,将部件的位置及尺寸信息和 特殊的偏移像素,例如超出了图像边缘的点,相关探针 BPOF算法融合起来,共同进行特征提取。本文使用像 d,( )会给出一个非常大的反应值。 素的二维坐标位置来直接将该像素的位置特征表示出 图1展示了深度图像中特征提取的过程,0 表示垂 来,设需要提取特征的像素点为 ,那么就可以利用扫 描线段的长度来展开运算工作。从像素点 开始,按 直深度信息比较,即针对某一个已知像素点,向上走一 照某一种方法进行扫描,直到扫描到具备某一种特征的 定的距离确定一个像素点,然后分别提取两者的深度值 像素点】,为止,那么上述过程中,像素点 、y之间的线 进行相减运算。图1(a)中的0 表示场景点与人物像素 段即为扫描线段。本文中的方法从8个方向分别展开 点进行深度比较,. 会给出一个较大的反应,但是在图 扫描工作,这8个方向分别是:0。、45。、90。、135。、180o、 1(b)中则是人物像素点之间的深度对比,这种情况下, 225。、270。、315。。本文中把扫描方向上相邻的两个像 . 会给出一个较小反应,几乎是等于0的,因此,. 这 素点之间由背景像素到人物像素或者人物像素到背景 种特征容易发现人体的顶部。提取的方法容易发现人 像素的改变点称为是一次跳变,跳变点的确定通过像素 物身体的顶部;不同像素位置X的两个特征。同理,特 点的深度值差别来判断,那么本次扫描线段长度就像素 征厂日可以用来发现人体竖直结构的部位,例如手臂。 点 到像素点】,的距离,如果像素点 作为是( ),。), .像素点】,的坐标是(X ,Y ),那么本次扫描的扫描线段 长度为: r—————— ———————— d=√(x 一Xe) +( 一Ye) (4) 在提取特征的过程中,每一个像素都有进行8个方 向的扫描,因为待估计的深度图像中的每一个像素点都 会产生8个扫描线段长度,为了计算方便,文中把得到的 扫描线段长度值利用公式(5)转换N[o,255]的区间内。 (a)较大反应 (b)较小反应 图1深度图像特征选取 D=l(彘 s5J (5) 公式中,d…表示图像中所有像素的全体扫描线段长度 3.2 BPoF算法 中的做大值。那么经过公式(5)的转换,图像中每一个 BPOF(二元纯位相滤波器)是一种匹配滤波器算 像素就会产生8个新的扫描线段长度值D,且都为整 法,该算法的二值化从复平面的原点经过,和虚轴呈现 数。本文中把区间[0,255】中的256个整数看作是256 度夹角的直线可以将真个复平面分为两部分,一部分 个不同的等级,同时每一个等级使用8个位来表示,进 是上述直线的左半部分,将其置为一1,同时将复平面的其 而在提取特征的时候,把每一个像素点的8个不同的D 他位置置为+l,进而就得到了BPOF算法表达式如下: 等价为上述8个位。那么就可以得到如下的特征提取 172 2016,52(1) ComputerEngineering andApplications计算机工程与应用 【9]孙洛,邸慧军,陶霖密,等.多摄像机人体姿态跟踪[J】.清华 大学学报,2011,51(7):966.971. [1 0]Bourdev L,Malik J.Poselets:Body part detectors trained [2]Yang Yi,Ramanan D.Articulated post estimation with flexible mixture—of_parts[C]//Proceedings of CVPR 20 1 1,20 1 1. [3】Sun Min,Savarese S.Articulated part-based model for joint object detection and pose estimation[C]//Proceedings of ICCV 2011.2011. using 3D human pose annotations[C]//Proceedings of ICCV 2009,2009. [4]Sharma G,Jurie F,Schmid C.Expanded parts model for [1 1]Ramakrishna V,Kanade T,Sheikh Y.Reconstructing 3D human attribute and action recognition in still images[C]// Proceedings of CVPR 2013,2013. human pose from 2D image landmarks[C]//Proceedings of ECCV 2012.2012. [5]Tian Yuandong,Lawrence Zitnick C,Narasimhan S G. Exploring the spatial hierarchy of mixture models for [12]李乐,张茂军,熊志辉,等.基于内容理解的单幅静态街景 图像深度估计【J].机器人,2011,33(1):174—180. [13]Girshick R,ShoRon J,Kohli EEficifent regression ofgeneral— human pose estimation[C]//Proceedings of ECCV 20 1 2, 2O12. 【6]Fathi A,Mori G.Human pose estimation using motion exem— activity human pose from depth images[C]//Proceedigns of ICCV 2011,2011. p1ars[c]//Proceedings of ICCV 2007,2007. [7】王文中,王兆其.基于局部先验模型的单目视频人体运动 跟踪[J】.计算机辅助设计与图形学学报,2011,23(9): 1545.1551. [14】赵文闯,程俊.深度图像中基于部位位置及尺寸的人体识 别方法[J】.集成技术,2012,1(3):10—14. [1 5]Shotton J,Fitzgibbon A.Real·time human pose recognition in pstrs from single depth images[C]//Proceedings of CVPR 2O11.20l1. [8]Gall J,Yao A.2D action recognition selves 3D human pose estimation[C]//Proceedings of ECCV 2010,2010. (上接161页) [4】Pedrycz W,Izakian H.Cluster—centric fuzzy modeling[J]. IEEE Transactions on Fuzzy Systems,2014,22(6):1585—1597. c-means model[J].IEEE Trans on Fuzzy Systems,1 995, 3(4):370—379. Bezdek J C.A convergence theorem for the fuzzy ISODATA [5]Yang J M,Yu P T,Kuo B C,et a1.A novel fuzzy linear feature extraction orf hyperspectml image classmcation[C]// Proc of IEEE Int Conf Geosci Remote Sens Symp,2006: 3895—3898. clustering algorithm[J].IEEE Trans on Pattern Analysis Machine Intelligence,1980,2(1):1—8. Hathaway R J,Bezdek J C.Local convergence of the fuzzy [12】 c-means algorithms[J].Patten Recognirtion,1986,19(6): 477—480. 【6]Kuo B C,Landgrebe D A.Nonparametric weighted feature extraction for classification[J].IEEE Trans on Geosci Remote Sens,2004,42(5):1096—1105. Signal theory methods in multispectral [13] Landgrebe D A.remote sensing[M]。New York:Wiley,2003. Ibraheem L.Linear and quadratic classiier to detectifon [14] [7]Yang J M,Yu P T,Kuo B C,et a1.A novel non-parametric weighted feature extraction method for classiifcation of hyper— of skin lesions“Epicutaneus”[C]//Proceedings of the 5th Intemational Conference on Bioinformatics and Biomedica1 spectral image with limited training samples[C]//Proc of IEEE Int Conf Geosci Remote Sens Symp,2007:1152—1555. Engineering(iCBBE),2011:1—5. Hsieh Yaosheng,Cheng Fantien,Yang Hawching.Virtual· [15】 [8】Yang J M,Yu P T,Kuo B C.A nonparametric feature extraction and its application to nearest neighbor classi— metrology-based FDC scheme[C]//Proceedings of the 8th IEEE International Conference on Automation Science and Engineering,Seoul,Korea,August 20—24,2012:80—85. icatifon for hyperspectral image data[J].IEEE Trans on Geosci Remote Sens,2010,48(3):1279—1293. [9]Qian S E,Chen G Y_A new nonlinear dimensionality reduction method with application to hyperspectral image [16] Moni B S,Raju G.Modiifed quadratic classiifer for hand— written Malayalam character recognition using run length ana1ysis[C]//Proceedings of IEEE Int Geosci Remote Sens Symp,2007:270-273. count[C】//Proceedings of the Emerging Trends in Elec— ritcal and Computer Technology(ICETECT),Tamil Nadu, 2011:600—604. [10】Pal N R,Bezdek J C.On cluster validity for the fuzzy