您好,欢迎来到抵帆知识网。
搜索
您的当前位置:首页基于深度图像与骨骼数据的行为识别

基于深度图像与骨骼数据的行为识别

来源:抵帆知识网
Journal of Computer Applications ISSN 1oO1—9081 2016.11一】O 计算机应用,2016,36(11):2979—2984,2992 文章编号:1001.9081(2016)11—2979.06 CODEN JYIIDU http://www.joca.cn DOI:10.11772/j.issn.1001—9081.2016.11.2979 基于深度图像与骨骼数据的行为识别 陆中秋,侯振杰。,陈 宸,梁久祯 (常州大学信息科学与工程学院,江苏常州213164) (}通信作者电子邮箱houzj@CCZU.edu.an) 摘要:为了充分利用深度图像与骨骼数据进行人体行为识别,提出了一种基于深度图形与骨骼数据的多特征 行为识别方法。该算法的多特征包括深度运动图(DMM)特征与四方形骨骼特征(Quad)。深度图像方面,将深度图 像投影到一个笛卡尔坐标系的三个平面获得深度运动图特征。骨骼数据方面,提出四方形骨骼特征,它是骨骼坐标 的一种标定方式,得到的结果只与骨骼姿态有关。同时提出一种多模型概率投票的分类策略,减小了噪声数据对分 类结果的影响。所提方法在MSR—Action3D和DHA数据库进行实验,实验结果表明,所提算法有着较高的识别率与 良好的鲁棒性。 关键词:深度图像;骨骼数据;行为识别;深度运动图;四方形骨骼特征 中图分类号:TP391.4 文献标志码:A Action recognition based on depth images and skeleton data LU Zhongqiu,HOU Zhenjie。,CHEN Chen,LIANG Jiuzhen fSchool ofInformation Science&Engineering,Changzhou University,Changzhou Jiangsu213164,China) Abstract:In order to make full use of depth images and skeleton data for action detection,a multi・feature human action recognition method based on depth images and skeleton data was proposed.Multi—features included Depth Motion Map(DMM) feature and Quadruples skeletal feature(Quad).In aspect of depth images,DMM could be captured by projecting the depth image onto the three plne aof a Descartes coordinate system.In aspect of skeleton data,Quad was a kind of calibration method for skeleton features and the results were only related to the skeleton posture.Meanwhile.a strategy of multi model probabilistic voting model was proposed to reduce the influence from noise data on the classification.The proposed method was evaluated on Microsoft Research Action3D dataset and Depth-included Human Action(DHA)database.The results indicate that the method has high accuracy and good robustness. Key words:depth image;skeleton data;action recognition;depth motion map;Quadruples skeletla feature(Quad) 0 引言 行为识别是计算机视觉与模式匹配中的一个热门问题, 得到的深度运动图进行局部二值模式(Local Binary Pattern, LBP)预处理,只获取其纹理信息;同时对骨骼数据进行四方 形坐标标定,利用Fisher对得到的骨骼数据进行预处理;最 后将得到的深度运动图与骨骼特征输入到一个基于支持向量 机(Support Vector Machine,SVM)的多模型概率投票的分类 每天人们都会遇到许多潜在的人机交互。尽管这些年许多学 者对行为识别做了许多卓越的贡献,识别人类行为仍然是一 个巨大的挑战。 早期的行为识别主要对视频进行处理。随着图像技术与 硬件的发展,利用微软Kinect或华硕Xtion等设备,学者可 器中。本文在行为识别方面有2点贡献:1)将深度图像信息 与骨骼信息结合作为行为的数据特征;2)提出了基于SVM的 多模型概率投票机制,很大程度上克服了噪声数据对模型的 影响,提高了识别率,具有一定的鲁棒性。 对于传统的彩色摄像头采集的图像,学者们大多利用其 时空特征与轨迹进行行为识别:文献[5]利用时空点与SVM 以实时获取人体的深度图像信息。与传统的图像相比,深度 图像不受光照影响,能够提供三维空间信息。利用深度图 像,学者们对行为识别做了许多研究,例如文献[1—3];同 时,深度摄像头设备通过对深度数据的处理,提取出了人体 的骨骼特征 ,为行为识别提供的重要的行为特征。 配合识别人体行为;文献[6]利用尺度不变的轨迹作为特征, 在3层的抽象等级上识别行为;文献[7]提出了在视频序列 中提取运动能量图(Motion Energy Image,MEI)和运动历史图 本文提出一种基于深度运动图数据与骨骼数据的融合识 别方法。通过深度摄像头(RGB.Depth,RGBD)可以获取一 个行为的一系列深度图像。将这一系列的深度图在3个视图 方向(前视图、左视图、俯视图)上投影获取深度运动图,并对 收稿日期:2016—06—07;修回日期:2016—06.27。 (Motion History Image,MHI)作为行为特征。使用图像强图 或者颜色的一个主要缺点使其对光照变化敏感,了算法 的鲁棒性。蔡加欣等 对人体轮廓进行研究,基于随机森林 基金项目:国家自然科学基金资助项目(61063021);江苏省产学研前瞻性联合研究项目(BY2015027-12)。 作者简介:陆中秋(1991一),男,江苏张家港人,硕士研究生,CCF会员,主要研究方向:行为识别;侯振杰(1973~),男,内蒙古包头 人,教授,博士,CCF会员,主要研究方向:机器视觉、机器学习;陈宸(1982~),男,江苏常州人,博士,主要研究方向:数字图像处理、机器 学习;梁久祯(1968一),男,山东济南人,教授,博士,CCF会员,主要研究方向:机器视觉。 2980 计算机应用 第36卷 方法,提…基于袋外数据误差加权投票准则的行为视频分类 方法。 其中:u( ):f , ≥0;, 为采样点个数,f,( )为判圳阔 L0. <0 随着RGBD摄像头的发展。学者们已经提出许多基于深 度罔像的行为识别算法:文献[9]利川金字塔模型与3D点 数 具体过程为:若g 的坐标足( 邻采样点 、 {g ,的坐标叮以表爪为: ),其、 弪为r的m个近 的词袋模型作为行为姿态的行为特征;文献[10]将深度图像 投影到3个lF交的平面l 形成深度运动图(Depth Motion Map,DMM).然后』}j提取其梯度直厅 (Histogram Of ( 一r sin(2"rri/m),) ,+r COS(27ri/m)) 经过式(2)计算Ⅲg 的,n位的L BP编码作为g 的新数 值,那么图像就变为如 2(d),统计僻到i冬1像的A方 h 以侧踢为例子,如罔2,l 2(a)表,J;・ 侧踢运动的深 度冈像序列..DMM,的人小为III,×n,,DM,¥I 的大小为川 × Gradient,HOG)作为行为的特征;文献l l1]从深度视频中提 取随机f i』}】l模式(Ran<tom Occupant)Pattern,ROP)特征,并 用稀疏编码技术进行亘新编码;郑胤等 介绍了深度学习 及其目标和行为识别中的新进展。 随着对深度图像进一步的处理,学青们提取m其中高层 次的骨骼信息,基于骨骼佶息的算法可以更加直接地描述人 体行为:文献[1]将人体定位到3D空问箱子模型,提取人体 的3D骨骼点直方 (Histogram Of 3D Joint,HOJ3D)作为行 为特征;史献[13]提 从人体骨骼节点的拓扑结构中选取最 有子集来提高识别率;文献[14]提出了一种生物启发的三维 骨骼特 的时空层次结构;文献[2]使用朴素贝叶斯近邻分 类器识别人体骨骼特征点的静态与动态信息。 与传统单一的特征数据模型相比,多特征有着良好的优 势。文献[15]提出了跨数据模型的融合实验, IXMAS (INRIA Xmas Motion Acquisition Sequences)等数据库做了实 验。在火数据环境下,多特征 同识别成为人体行为识别趋 势。绱合深度图像与骨骼数据,可以提高识别的准确性。 l 运动特征描述 1.1深度运动图特征 深度 像可以』}】来表爪物体3D结构和形状信息 文献 】0]提H{ 深度 像时M序列中的每一帧投影到正交的3 个笛 尔【f{f水表示这个行为动作。具体地说,使州二=.}1见图中 的主视 、俯视图和左视陶,将人体定位到笛 尔坐标系, 分别将人体深度数据投影到主视罔、俯视图和左视图。每一 帧行为可以表示为 =/f, f÷,其中:f,s、t分别表示在主视 图、左 和俯视 的人体投影。与史献 2]不同,每个投影 的网是南2个连续的深度罔像帧做差投影得到 、对于』v帧的 深度数据视频,由式(1)汁算出它的DMM,特征: ^ DMM= ,lⅢap: 一m i I (1) 其中:i表 时间序列帧;map'表示在第i帧下的、在 图 上 的投影;“车1I 6分别表示开始帧和结柬帧 、 但是并不是所有深度罔中的像素郜需要被投影,深度图 像r{1很多像素值为0,对行为特征描述没有帮助。所以要对 每一帧 像进行感兴趣 域(Region Of Interest,RO1)操作。 即裁剪 像.使主要内容平铺住整个 像上,且保证冈像大 小一致 为_r进一步对DMM,中的像素进行过滤,对DMM 进行 部二值模式(LBP)操作 .LBP是一种用来描述冈像局 部纹理特 的算法,可以提取DMM.叶1的纹理信 皂 增加了 特征的稀疏性 如 1.对于在图像L个给定的一点g ,式 (2)为LBP的计算公式: LBP (g )=∑U(^=l g 一g )2 (2) , ,DMM,的大小为,n,X n,【 为是用像索『f【作为特征.为r 避免大像素值埘模型的影响,将DMM, 一化到[0.1], 时进行R()l, }IE图像大小一致,表示为1)MM,,则踢腿特征 可以表永为h=LBP(DMM,),^的大小为(,¨, ×n, +Ⅲ × +m, X )×1 -.q g L卫 g } , 陶1 1 g,} :。示意网(r=1) 一 (d)LBP处理的边缘检测前视 圈一一 (c)ROI处 的侧踢前视 l 2深度运动 特征彤成过程 1.2骨骼特征(Quad) 由于微软的Kine(、t提供的骨骼数据带求的便利,¨丁以 接获取人体的20个骨骼节点、、根据文献[16]所提 的四方 形骨骼表,J 法埘骨骼点进行处理,如罔3所爪。 e R 表示 在真实世界坐标系下人的骨骼点坐标. 则-Y=[ :. , ■]。X 与 为卡}j距较远的点 、以 Y 作为 点. 映射到[1, l,1]。,卡£J建本地坐标系÷ 这2个点确定后,剩下的2个点 !Jjlj可以用如下公式计算出: S( ):sR[ 一 ] (3) 其中:s表示缩放矩阵,R表爪旋转矩阵. 令S( )=[0.0, 0]‘, (X )=[1,1,1]I,则当前4个骨骼点特征可表,J÷为 q=[ ( ); (1Y4)],其大小为6×1,如 3。 取图3(a)左臂4个节点作为一个叫方肜骨骼表,J 点。 卡H距较远的2个点分别作为(0,0,0)飘I(1,l,1),则该4点的 特征表永为q=[ ,儿,:3,X , ,z ]。。 由于能检测到的人体关节见有20个,即存在的四方肜 骨骼特征有 =4845个。对于一个 帧的行为动作,特征 可表示为: 第11期 陆中秋等:基于深度图像与骨骼数据的行为识别 2981 Q={qIIt i∈(1,c ), ∈(1,k)} (4) 为了SVM能够进行概率输出,使用挤压函数sigmod将 由于Q的大小与k有关,而每个动作的k又不同,导致 每个行为的骨骼特征大小不同。为了避免这个问题,对Q进 ,( )映射到[0,1],如式(7): P(Y=1 I =1/[1+exp(af+ )] (7) 为了保证公式的单调性,设置A<0。通过这样,可以输 出带概率的SVM分类结果。 对于多分类的概率支持向量机(Probability Support Vector Machine,PSVM),对每个带概率的SVM进行一对一,该方 法在每两类训练一个分类器,因此对于一个k类问题,将有 k(Ji}一1)/2个分类函数。当对一个未知样本进行分类时,每 行Fisher处理。由文献[17]可知,利用高斯混合模型的 Fisher,可以将Q转换为Fisher向量F。F的大小为2fa×1。f 在本文高斯混合模型中取128,d为Q的行数量,在本文为6, 即F的大小为1 536×1。 韶 -一- .个分类器都对其类别进行判断.并为相应的类别“投上一 r^, 票”,最后得票最多的类别即作为该未知样本的类别。决策 ● ● ● ● (a)全身骨架 (b)四方行坐标系 图3四方形骨骼表示 2基于SVM的概率投票行为识别 单个的SVM只能解决二分类问题,对于多分类的问题, 可以使用多个SVM分类器联合分类,包括一对一、一对多等 方法。虽然直接分类的SVM是一个强有力的机器学习的分 类工具,然而在实际应用中,由于噪声的影响,每个样本对 分类结果的影响应该是不同的。直接将结果分类成0和1可 能并不恰当。为了使SVM更加适应这些问题,要求SVM具 有软输出的功能,即输出概率。本文的SVM概率投票分类 就是基于输出概率进行的。 给定的行为识别特征数据包括深度运动图特征与四方形 骨骼特征。其中深度运动图特征包括 ={f,s,t}三个方向 的特征。对于三个方向的深度运动图特征与骨骼特征,对各 个特征进行SVM概率建模,将得到的模型进行累加投票,得 到最大目标可能概率,即为最后输出标签。 Label=max( .Model (E));E∈{ ,F} (5) 代表前视图、左视图与俯视图三个方向。F代表骨骼数 据在Fisher操作后的骨骼特征。如图4,对于每个特征进行 SVM分类,得到各个特征的模型。与以往的SVM不同,该 训练的几个模型输出均为识别概率。将概率累加,获取最大 概率的标签即为结果。 y 图4 SVM二分类 SVM是机器学习中的强有力的学习方法。传统的SVM 是解决单分类问题。SVM试图找出一个超平面,使超平面能 够尽量多地分隔出两类。经过大量实验证明,SVM在小样本 集上有着卓越的优势。 如图4所示。SVM希望在这两类中找出一个平面。如 式(6), )大于0对应Y=1,I厂( )小于0对应Y=一1。 )=W・ +b (6) 阶段采用投票法,传统的投票法可能存在多个类的票数相同 的情况,从而使未知样本同时属于多个类别,影响分类精 度,基于概率输出的投票法可以避免这方面的问题,取得更 好的效果。 由于是多特征的概率SVM投票模型,那么需要对每个 模型进行SVM参数调优,在每个单独模型上,调整SVM的 准确度到最优。 与以往的SVM不同,该训练的几个模型输出均为识别 概率。将概率累加,获取最大概率的标签即为结果。这样有 如下优点: 1)对不同特征进行不同的处理,发挥特征的最好效果。 2)可以集成当前效果最好的特征进行分类,极容易拓 展。 3)随着计算机性能的提高,概率投票方式不会受到计算 机性能的约束,可以达到实时的效果。 3实验结果与分析 3.1 MSR—Action3D实验 3.1.1实验数据 MSR—Action3D数据库是一个关于Kinect采集数据的行 为识别库,其中包括1O个人做20个动作:high wave(HiW)、 horizontal wave(How)、hammer(H)、hand catch(HC)、forward punch(FP)、high throw(HT)、draw x(Dx)、draw tick(DT)、 draw circle(DC)、hand clap(HC)、two hand wave(THW)、side boxing(SB)、bend(B)、forward kick(FK)、side kick(SK)、 jogging(jo)、tennis swing(Ts)、tennis serve(TS)、golf swing (GS)、pickup throw(PT)。每个人做2—3次。总共包括557 个240×320的深度图像与557个骨骼数据。 深度I. D肘 ]LBP c 图像 垫 DMM,}== hE [== DMM,_J ^ p 匕 模型 数据 Quad匕= Fq— ——_L_— 卜\ 图5行为识别算法流程 3.1.2实验设置 设置一与文献[3]中的设置相同,将20个行为分为3 组(AS1、AS2、AS3),如表1,AS1与AS2里都是相似行为, 而AS3里则是相似度较小的行为。对每一组进行3个实验。 在实验一中,1/3作为训练数据,2/3作为测试数据。实验二 2982 第36巷 }I.2/3作为训缘数据,1/3作为测试数据 实验 ,..半数 圳约 佯本,1/3作为测试样本)叶】,小艾的识别率已经tj现有 n ‘法大体持平, 、s3子集中更足达到了100%. .实 验 (1/2作为训 样术,包括1、3、5、6、7、9号人的行为数 ,抛作训练.剩余一T作测试  ̄Jfff婴识别 设置二 -j义献 l1】IIt设 十II川,I;1,a4使Jl{20个行为, 、 作为iJ JlL ̄i数 .剩余一、 f1 为洲试数据 二更具彳『挑战性 表I MSII lion31)数据分组 剩余作为_-Jl!lJ 木)中.本文的 l别率明显高于脱彳『的 如图6所_,I=_== 表3 体分类准确牢的混淆I3i阵如图6所爪 在 存AS3 rI1.水文方法对许多动作 的类删比较多. ,J 上文献 2__lj水殳疗法的混淆 的 验二一 }I, ASI AS2这2个卡f『似动作的数据于褒巾,本文的方法降低 _r锵分率.提高了准确率能够完全地 分 求,准确率达到l00%: 表!单一特征实验结果 3.1.3 买验结果与分析 实验主 分为一个方而: 一特 实验、特 融合 验 稳定性实验对深瞍运动 特f 厅彤骨骼特 lllj者的 1)MM UuatI 8l 3 78 6 结合分别进千亍设 的实验.验 特 融合的 JZ, 时 )MM+()Lla‘ 9I.3 将本算法 现 ‘的J七他算法进行对比 最后,对 验数据进 仃随机抽样,测 算法的稳定 单一特征实验对深度运动 、四办形骨骼特 干¨两者 表3设置一实验结果 % 的融合分别进仃 验 根抛没 71 门数据安排,一 数据作 勾训练,一半数拂;作为测试.一 20类行为 比较 没置二 ‘的各种情况的}5l圳率:如表2所爪,将深度运动 一j四方 形 麓 骼特f【 融合.f 着更高的识圳 特 融合 验 据实验 一进行实验,一0脱彳『的方法 进行对比,结果受¨表3,呵以行f¨,本文的方法 实验一 (1/3为iJll缘佯水,2/3为测试佯小)的识别率比脱仃n0方法 r_ ■■■■■■■■■■■■■■●■■■■■■■■ t●■nH日 ■ j 1____¨ 9 8 r、 6 S l Hi r FK SK Jo FS TS GS PT 预洲结果的分类 a)AS 1数槲集在文献【2l实验结粜 预测结果的分类 (h)As2数据集在文献I2 I 验结粜 预测结粜的分类 (c)AS3数据策在文献I2l实验结粜 HiW HC DX DT DC THW FK SB fii ̄!'J结果的分类 d)AS1数据策在本文方法实验结粜 HiT FK SK JO TS TS GS PT 预测结粜的分类 预测结粜的分类 e)AS2数据集在本文方法实验结果 (i.)AS3数据集在本史方法实验结果 【割6 文献:2]方法与本史,J、法混淆砸阵对比 根据文验没 二 进行实验,与 有方法对}E,结粜如表 4 勾实验设置 :将所有20类仃为一起进行i、J『l练识圳.实 第1 1期 陆中秋等:基于深度图像与骨骼数据的行为识 2983 验设置二对于算法的识别半型 订挑战 根 纳 I叮以行 出,本文方法有营较高的识圳 ,达钊91.3cA,仪7欠丁史献 [18] 表4设置二实验结果 方法 识刖牢/cA 力法 Ul圳啐 / DMM一1t()G F…I 85 5 史献I 2I】,J‘法88 8 l{{)P…】88.9 迁献I 22】,J 法89.5 H()N4l】e …88.2 史献I 3 J,J‘法87.3 At.ti0n1Pf El1 cll11)1r ”】89.3 本殳力‘法 9I 3 1)eI ih Cub l IJ 91.9 存深度运动 预处婵巾.ffI j:埘投影 的深度 进仃r I.BP处 ,【{Ij小川1.BI 参数,” j r埘结 有符 接的 响 如图7昕,J ,随荷r的变大, 放大I 1{P的J 瞍,降低J’边 缘提取的效l粜,准确率总体呈卜降趋 ¨时.随什 取f 变化,识》j『J率』-卜波动,实验选择r 4个m的选fff,rl{l剞7 u 知, m为6、r为I时,本义 法彳『荷较 的以圳 罔7 不吲r j m的准确半(没 ) 稳定性实验为了洲试融 特征n0稳定性,九 没 -的 基础J ,对j 深度运动 特 、四 肜忖骼特 和 结 特征分别进行随fJ【抽样实验, 8所示 特 融合 , 别率何很大的提高,Ii,1时. 随机抽样测试 .识"4 的稳 定性也有所提高,增强r系统的稳定性 F-I融合特iit f--1深度运动【冬1特征 皿 ,形骨骼特 3.2 I)HA实验数据 3.2.1 实验数据 I)HA(Deplh—included Hunmii A li,m)深 数 也括r 23类人体什为,分)jlJ垃:bend、 k、jtlllIt)、pjumll、l-till、si&・、 skip、walk、(1lle—lI Lilld—W ̄tW: 、 o—lltlll(1.w lvP、rrIont—oh,t)、 i(1e— clap、 ̄ii'lll—swing、arm—ctlrI、leg-kl‘ k、leg—CLII1、rt)I{一s、~ing、golf- swing、mmt—box、si&一box、lai hi、1)iI【・l1、ki(・k I)HA数 l 包括了深度数据卡¨彩色数据 、深度数扒 像 彩色数 像 大,J、郜是480 x640 陔数据集的深度 像已经作丁预处 , 将背景太除,把人体深度数据分割tt{术 I)HA数 集…21 个人求制,每个人每种动作做一次.数据集总 怂483个观 频序列 如 9罹永了DH ~数 集的深度 像 3.2.2买验设置 本实 使用帑一法进千亍数据准备 数 一 仃21个 人,则将数据集分成2l份然 依次随f』【从IItI'll川i收・份 做测试佯小,其余的10份作为圳eg-F:小 『互 这个操作1o 次,则有l0份随机的测试样本卡¨ j之埘心的 个2()份的I Jl l练样本最 存僻到的l0次实验结 lR』 r均 ,这 做【『『 以有效避免 ’f:样本 导致的实 n0』Jj (a)彩色 像 (h)人体遮 (c)深度数拊 慝l 9 1)}lA数据氍深f望 3.2.3 实验结果与分析 M样,实验分为3个 :遥功过n 一 叶 j多特fjl= 融合实验、运动过 与特征处 融合 舱_f1l慨 投 验 对丁DHA数据库,Lf1于只 深度 像数 , 过Kine(・I的 S1)K(Soft Develop Toolkit),转换¨ 『J _的坩骼数 :进" ’法 识别~ 1)运动过程单- ̄.Tq,E 多特 m 验 对于 一的特flF, DHA 验数孙 的 『Il 15 ,lJ ..对于单一的特性, 1】HA数 f ,运功 (Motion Hislorv hnage,Mil1)的准 IL I)MM的 ,Quad州 对低一点 M}tI、1)MM j Quad的 i 验 li.小近 ‘ 仍然比其他单一的准确 高 表5单一性比较 办法 l圳率/% ,J 订 HfJ, ,r  ̄1H1 86 3 、1Ill+Quad 87 4 I]M、1 84 7 I)、l、1+【J㈧(I 89 4 Quad 79.4 2)运动过程与特 处理融 蛉 存1)}{^数据集I .采刖fI1I 4的 土进f 吱验比较 6所示, DH 上I)MM的准确卒f¨然【‘L、lItl f ㈨II,J等价 模式局部二 模_』 (L nilbi Ill Paltt Ii I JII“lI Hinai、Palti 11, UPLBt )比 一的LBt 、tt()G与 塔,J‘¨ l,J‘ (Pyramid Histogram of Oiiellie(I Gladie,1l,l’}.1O( )效 表6融合实验 力法 tfl别率/ } ,J I)jI_啐 / MHI—H(】( 78 3 I1MM一}l()( 77 6 MIl1一 lOG 79.6 I)M、1一l,¨ll( 82. MIlI—I B}】80.3 I)MM—I HI 83 4 MHl—I l I lj}J 80.1 I)MM—I l,l『J{P 83 6 表7所爪.PS\M的准确 比- ・sYM的准 表7概率投票实验 _,j法 i只别 棼 听 _,J 法 圳 ,“  ̄1H1一 、1 ̄1 8fJ l l】、1、{一 、_、1 84 9 、1}Il—l S、M 8l 4 1)、1、1 j,S 、1 85 3 实验证明.DMM—PSVM仍然表脱良 接 ‘求比较持 处理 如表8听示, 特 处 ,J .I I’I Rl’设 比…)【 2984 计算机应用 away,NJ:IEEE,2009:2004—201 1. 第36卷 和PHOG效果好。 表8几种方法特征比较 [7] BOBICK A,DAVIS J.The recognition of human movement using temporal templates[J】.IEEE Transactions on Pattern Analysis and 方法 DMM—LBP—PSVM 识别率/% 85.1 方法 DMM.H0G—PSVM 识别率/% 84.4 Machine Intelligence,2001,23(3):257—267. [8】 蔡加欣,冯国灿.基于局部轮廓和随机森林的人体行为识别[J]. 光学学报,2014,34(10):204—213.(CAI J X,FENG G C.Ac- tion recognition based on local contour and random forest[J].Aeta DMM.UPLBP.PSVM 89.3 DMM—PH0G—PSVM 88.7 将深度图像与骨骼数据相结合,与单一的深度图像进行 比较,结果如表9。结果表明,深度图像与骨骼图像相结合, 能提高算法的准确度。 表9深度与骨骼实验 方法 识别率/% DMM.UPLBP—PSVM 9O.3 DMM--UPLBP・-Quad--PSVM 91.7 3.3时间复杂度分析 由于是多特征融合,所以时间复杂度会相对较高。在深 度图像方面,DMM的每个方向的时间复杂度为0(n),经过 LBP特征处理后,时间复杂度增加到O(n )。在骨骼点方面, Qaud的时间复杂度为O(n),然而对Quad进行Fisher编码, 其时间复杂度变为O(n )。将深度图像与骨骼数据放人基于 概率输出的SVM,其各自的SVM的时间复杂度为O(rt ),经 过多特征融合,最后整个算法的时间复杂度为O(n’)。 4 结语 本文提出了一种深度图像数据与骨骼数据结合的方案, 将深度运动图与骨骼四方形特征同时作为识别人体行为的特 征;同时提出了多模型概率投票的分类策略,克服了噪声对 单个模型的影响,具有较好的鲁棒性。以后的工作考虑更多 的数据特征协同表示,同时降低算法的复杂度,增强算法的 实时性。 参考文献: [1】XIA L,CHEN C C,AGGARWAL J K.View invariant human ae- tion recognition using histograms of 3D joints[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recogni— tion Workshops.Piscataway,NJ:IEEE,2012:20—27. [2] YANG X,TIAN Y.Eigen-joints—based action recognition using na- ire—Bayes—nearest—neighbor【C】//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway,NJ:IEEE,2012:14—19. [3】U W,ZHANG Z,LIU Z.Action recognition based on a bag of 3D points[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway,NJ:IEEE, 2010:9—14. [4】 SHOTTON J,F ̄ZGIBBON A,COOK M,et a1.Real-time human pose recognition in parts from single depth images[c]//Proceedings of the 201 1 IEEE Conference on Computer Vision and Pattern Rec- ognition.Piscataway,NJ:IEEE,201 1:1297—1304. [5】 SCHULDT C,LAPTEV I,CAPUTO B.Recognizing human ae— tions:a local SVM approach[c]//Proceedings of the 17th IEEE International Conference on Pattern Recognition.Piscataway,NJ: IEEE.2004.3:32—36. [6】 SUN J,WU X,YAN S,et a1.Hierarchical spatio—temporal eontext modeling for action recognition[C]//Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Piscat. Optica Sinica,2014,34(10):204—213.) [9]LI W,ZHANG Z,LIU Z.Action recognition based on a bag of 3D points【C]//Proceedings of the 2010 IEEE Computer Society Con- ferenee on Computer Vision and Pattern Recognition Workshops. Piscataway,NJ:IEEE,2010:9—14. 【10】 YANG X,ZHANG C,TIAN Y.Recognizing actions using depth motion maps・based histograms of oriented gradients【C]//Proceed・ ings of the 20th ACM International Conference on Multimedia. New York:ACM,2012:1057—1060. [11] WANG J,LIU Z,CHOROWSKI J,et a1.Robust 3D action recog— nition with random occupancy patterns[C]//Proceedings of the 12th European Conference on Computer Vision.Berlin:Springer- Verlag,2012:872—885. [12] 郑胤,陈权崎,章毓晋.深度学习及其在目标和行为识别中的新 进展[J】.中国图象图形学报,2014,19(2):175—184.(ZHENG Y,CHEN Q Q,ZHANG Y J.The new development of deep learn— ing in action recognition【J].Journal of Image and Graphics, 2014,19(2):175—184.) 【13】 CHAARAOUI A A,PADILLA-L’OPEZ J R,CLIMENT—P’EREZ P,et a1.Evolutionary joint selection to improve human action rec- ognition with RGB-D devices【J】.Expert Systems with Applica- tions,2014,41(3):786—794. [14】 CHAUDHRY R,OFLI F,KURILLO G,et a1.Bio-inspired dy・ namie 3D discriminative skeletla features for human action recogni— tion[C】//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Washington,DC: IEEE Computer Society,2013:471-478. [15】LIN Y Y.Depth and skeleton associated action recognition without online accessible RGB-D cameras[C】//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piseataway,NJ:IEEE,2014:2617—2624. [16】 VIEIRA A W,NASCIMENT0 E,OLIVEIRA G.STOP:space- time occupancy patterns for 3D action recognition from depth map sequences[C]//Proceedings of the 17th Iberoameriean Congress on Pattern Recognition.Berlin:Springer-Verlga,2012:252— 259. 【17】 GEORAIOS E,GURKIRT S,RADU H.Skeletal quads:human action recognition using joint quadruples【C】//Proceedings of the 2014 22nd International Conference on Pattern Recognition.Pisea— taway.NJ:IEEE.2014:4513—45l8. 【181 XIA L,AGGARWAL J.Spatio—temporal depth cuboid similarity  ̄ature for activity recognition using depth camera[C]//Proceed— ings of the 2013 IEEE Conference on Computer Vision and P ̄tern Recognition.Piseataway,NJ:IEEE,2013:2834—2841. 【19】 OREIFE1 0,LIU Z.HON4D:histogram of oriented 4D normals for activity recognition from depth sequences[C】//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recog— nition.Piscataway,NJ:IEEE,2013:716—723. (下转第2992页) 2992 计算机应用 第36卷 (上接第2984页) [20] WANG J,LIU Z,wu Y.Mining actionlet ensemble for action recognition with depth eanle ̄s[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway,NJ:IEEE,2012:1290—1297. Computer Vision and Pattern Recognition.Piseataway,NJ:IEEE, 2014:588—595. [24] CHEN C,LIU K,KEHTARNAVAZ N.Real—time human action recognition based on depth motion maps[J].Journal of Real-Time Image Processing,2013,12(1):155—163. [21]TRAN Q D,LY N Q.Sparse spatio-temporal representation of joint shape—motion cues for human action recognition in depth sequences[C]//Proceedings of the 2013 IEEE RIVF International Conference on Computing and Communication Technologies.Research,Innovation,and Vision for the Future. Background This work is partilly supporated by the National Natural Science Foundation of China(61063021),Industry,Teaching and Research Prospective Project of Jiangsu Province(BY2015027-12). LU Zhongqiu,born in 1991,M.S.candidate.His research interests include action detection,machine learning. Piscataway,NJ:IEEE,2013:253—258. [22]RAHMANI H,MAHMOOD A,HUYNH D Q,et a1.Rela time action recognition using histograms of depth gradients and random decision forests[C]//Proceedings of the 2014 IEEE Winter Conference on Applications of Computer Vision.Piscataway,NJ: IEEE,2014:626—633. HOU ZheMie,born in 1973,Ph.D.,professor.His research interests include computer vision,machine learning. CHEN Chen,born in 1982,Ph.D..His research interests include sinalg and image processing. [23] VEMULAPALLI R,ARRATE F,CHELLAPPA R.Human action recognition by representing 3D human skeletons as points in a lie LIANG Jiuzhen,born in 1969,Ph.D.,professor.His research interests include computer vision. group[C]//Proceedings of the 2014 IEEE Conference on 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- dfix.cn 版权所有 湘ICP备2024080961号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务