Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ＩＳＳＮ １ｏＯ１—９０８１ ２０１６．１１一】Ｏ 计算机应用，２０１６，３６（１１）：２９７９—２９８４，２９９２ 文章编号：１００１．９０８１（２０１６）１１—２９７９．０６ ＣＯＤＥＮ ＪＹＩＩＤＵ ｈｔｔｐ：／／ｗｗｗ．ｊｏｃａ．ｃｎ ＤＯＩ：１０．１１７７２／ｊ．ｉｓｓｎ．１００１—９０８１．２０１６．１１．２９７９ 基于深度图像与骨骼数据的行为识别 陆中秋，侯振杰。，陈 宸，梁久祯 （常州大学信息科学与工程学院，江苏常州２１３１６４） （｝通信作者电子邮箱ｈｏｕｚｊ＠ＣＣＺＵ．ｅｄｕ．ａｎ） 摘要：为了充分利用深度图像与骨骼数据进行人体行为识别，提出了一种基于深度图形与骨骼数据的多特征 行为识别方法。该算法的多特征包括深度运动图（ＤＭＭ）特征与四方形骨骼特征（Ｑｕａｄ）。深度图像方面，将深度图 像投影到一个笛卡尔坐标系的三个平面获得深度运动图特征。骨骼数据方面，提出四方形骨骼特征，它是骨骼坐标 的一种标定方式，得到的结果只与骨骼姿态有关。同时提出一种多模型概率投票的分类策略，减小了噪声数据对分 类结果的影响。所提方法在ＭＳＲ—Ａｃｔｉｏｎ３Ｄ和ＤＨＡ数据库进行实验，实验结果表明，所提算法有着较高的识别率与 良好的鲁棒性。 关键词：深度图像；骨骼数据；行为识别；深度运动图；四方形骨骼特征 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｉｍａｇｅｓ ａｎｄ ｓｋｅｌｅｔｏｎ ｄａｔａ ＬＵ Ｚｈｏｎｇｑｉｕ，ＨＯＵ Ｚｈｅｎｊｉｅ。，ＣＨＥＮ Ｃｈｅｎ，ＬＩＡＮＧ Ｊｉｕｚｈｅｎ ｆＳｃｈｏｏｌ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｚｈｏｕ Ｊｉａｎｇｓｕ２１３１６４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｍａｋｅ ｆｕｌｌ ｕｓｅ ｏｆ ｄｅｐｔｈ ｉｍａｇｅｓ ａｎｄ ｓｋｅｌｅｔｏｎ ｄａｔａ ｆｏｒ ａｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ，ａ ｍｕｌｔｉ・ｆｅａｔｕｒｅ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｉｍａｇｅｓ ａｎｄ ｓｋｅｌｅｔｏｎ ｄａｔａ ｗａｓ ｐｒｏｐｏｓｅｄ．Ｍｕｌｔｉ—ｆｅａｔｕｒｅｓ ｉｎｃｌｕｄｅｄ Ｄｅｐｔｈ Ｍｏｔｉｏｎ Ｍａｐ（ＤＭＭ） ｆｅａｔｕｒｅ ａｎｄ Ｑｕａｄｒｕｐｌｅｓ ｓｋｅｌｅｔａｌ ｆｅａｔｕｒｅ（Ｑｕａｄ）．Ｉｎ ａｓｐｅｃｔ ｏｆ ｄｅｐｔｈ ｉｍａｇｅｓ，ＤＭＭ ｃｏｕｌｄ ｂｅ ｃａｐｔｕｒｅｄ ｂｙ ｐｒｏｊｅｃｔｉｎｇ ｔｈｅ ｄｅｐｔｈ ｉｍａｇｅ ｏｎｔｏ ｔｈｅ ｔｈｒｅｅ ｐｌｎｅ ａｏｆ ａ Ｄｅｓｃａｒｔｅｓ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ．Ｉｎ ａｓｐｅｃｔ ｏｆ ｓｋｅｌｅｔｏｎ ｄａｔａ，Ｑｕａｄ ｗａｓ ａ ｋｉｎｄ ｏｆ ｃａｌｉｂｒａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｓｋｅｌｅｔｏｎ ｆｅａｔｕｒｅｓ ａｎｄ ｔｈｅ ｒｅｓｕｌｔｓ ｗｅｒｅ ｏｎｌｙ ｒｅｌａｔｅｄ ｔｏ ｔｈｅ ｓｋｅｌｅｔｏｎ ｐｏｓｔｕｒｅ．Ｍｅａｎｗｈｉｌｅ．ａ ｓｔｒａｔｅｇｙ ｏｆ ｍｕｌｔｉ ｍｏｄｅｌ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｖｏｔｉｎｇ ｍｏｄｅｌ ｗａｓ ｐｒｏｐｏｓｅｄ ｔｏ ｒｅｄｕｃｅ ｔｈｅ ｉｎｆｌｕｅｎｃｅ ｆｒｏｍ ｎｏｉｓｅ ｄａｔａ ｏｎ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｗａｓ ｅｖａｌｕａｔｅｄ ｏｎ Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ Ａｃｔｉｏｎ３Ｄ ｄａｔａｓｅｔ ａｎｄ Ｄｅｐｔｈ－ｉｎｃｌｕｄｅｄ Ｈｕｍａｎ Ａｃｔｉｏｎ（ＤＨＡ）ｄａｔａｂａｓｅ．Ｔｈｅ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｈａｓ ｈｉｇｈ ａｃｃｕｒａｃｙ ａｎｄ ｇｏｏｄ ｒｏｂｕｓｔｎｅｓｓ． Ｋｅｙ ｗｏｒｄｓ：ｄｅｐｔｈ ｉｍａｇｅ；ｓｋｅｌｅｔｏｎ ｄａｔａ；ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ；ｄｅｐｔｈ ｍｏｔｉｏｎ ｍａｐ；Ｑｕａｄｒｕｐｌｅｓ ｓｋｅｌｅｔｌａ ｆｅａｔｕｒｅ（Ｑｕａｄ） ０ 引言 行为识别是计算机视觉与模式匹配中的一个热门问题， 得到的深度运动图进行局部二值模式（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ， ＬＢＰ）预处理，只获取其纹理信息；同时对骨骼数据进行四方 形坐标标定，利用Ｆｉｓｈｅｒ对得到的骨骼数据进行预处理；最 后将得到的深度运动图与骨骼特征输入到一个基于支持向量 机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）的多模型概率投票的分类 每天人们都会遇到许多潜在的人机交互。尽管这些年许多学 者对行为识别做了许多卓越的贡献，识别人类行为仍然是一 个巨大的挑战。 早期的行为识别主要对视频进行处理。随着图像技术与 硬件的发展，利用微软Ｋｉｎｅｃｔ或华硕Ｘｔｉｏｎ等设备，学者可 器中。本文在行为识别方面有２点贡献：１）将深度图像信息 与骨骼信息结合作为行为的数据特征；２）提出了基于ＳＶＭ的 多模型概率投票机制，很大程度上克服了噪声数据对模型的 影响，提高了识别率，具有一定的鲁棒性。 对于传统的彩色摄像头采集的图像，学者们大多利用其 时空特征与轨迹进行行为识别：文献［５］利用时空点与ＳＶＭ 以实时获取人体的深度图像信息。与传统的图像相比，深度 图像不受光照影响，能够提供三维空间信息。利用深度图 像，学者们对行为识别做了许多研究，例如文献［１—３］；同 时，深度摄像头设备通过对深度数据的处理，提取出了人体 的骨骼特征 ，为行为识别提供的重要的行为特征。 配合识别人体行为；文献［６］利用尺度不变的轨迹作为特征， 在３层的抽象等级上识别行为；文献［７］提出了在视频序列 中提取运动能量图（Ｍｏｔｉｏｎ Ｅｎｅｒｇｙ Ｉｍａｇｅ，ＭＥＩ）和运动历史图 本文提出一种基于深度运动图数据与骨骼数据的融合识 别方法。通过深度摄像头（ＲＧＢ．Ｄｅｐｔｈ，ＲＧＢＤ）可以获取一 个行为的一系列深度图像。将这一系列的深度图在３个视图 方向（前视图、左视图、俯视图）上投影获取深度运动图，并对 收稿日期：２０１６—０６—０７；修回日期：２０１６—０６．２７。 （Ｍｏｔｉｏｎ Ｈｉｓｔｏｒｙ Ｉｍａｇｅ，ＭＨＩ）作为行为特征。使用图像强图 或者颜色的一个主要缺点使其对光照变化敏感，了算法 的鲁棒性。蔡加欣等 对人体轮廓进行研究，基于随机森林 基金项目：国家自然科学基金资助项目（６１０６３０２１）；江苏省产学研前瞻性联合研究项目（ＢＹ２０１５０２７－１２）。 作者简介：陆中秋（１９９１一），男，江苏张家港人，硕士研究生，ＣＣＦ会员，主要研究方向：行为识别；侯振杰（１９７３～），男，内蒙古包头 人，教授，博士，ＣＣＦ会员，主要研究方向：机器视觉、机器学习；陈宸（１９８２～），男，江苏常州人，博士，主要研究方向：数字图像处理、机器 学习；梁久祯（１９６８一），男，山东济南人，教授，博士，ＣＣＦ会员，主要研究方向：机器视觉。 ２９８０ 计算机应用 第３６卷 方法，提…基于袋外数据误差加权投票准则的行为视频分类 方法。 其中：ｕ（ ）：ｆ ， ≥０；， 为采样点个数，ｆ，（ ）为判圳阔 Ｌ０． ＜０ 随着ＲＧＢＤ摄像头的发展。学者们已经提出许多基于深 度罔像的行为识别算法：文献［９］利川金字塔模型与３Ｄ点 数 具体过程为：若ｇ 的坐标足（ 邻采样点 、 ｛ｇ ，的坐标叮以表爪为： ），其、 弪为ｒ的ｍ个近 的词袋模型作为行为姿态的行为特征；文献［１０］将深度图像 投影到３个ｌＦ交的平面ｌ 形成深度运动图（Ｄｅｐｔｈ Ｍｏｔｉｏｎ Ｍａｐ，ＤＭＭ）．然后』｝ｊ提取其梯度直厅 （Ｈｉｓｔｏｇｒａｍ Ｏｆ （ 一ｒ ｓｉｎ（２＂ｒｒｉ／ｍ），） ，＋ｒ ＣＯＳ（２７ｒｉ／ｍ）） 经过式（２）计算Ⅲｇ 的，ｎ位的Ｌ ＢＰ编码作为ｇ 的新数 值，那么图像就变为如 ２（ｄ），统计僻到ｉ冬１像的Ａ方 ｈ 以侧踢为例子，如罔２，ｌ ２（ａ）表，Ｊ；・ 侧踢运动的深 度冈像序列．．ＤＭＭ，的人小为ＩＩＩ，×ｎ，，ＤＭ，￥Ｉ 的大小为川 × Ｇｒａｄｉｅｎｔ，ＨＯＧ）作为行为的特征；文献ｌ ｌ１］从深度视频中提 取随机ｆ ｉ』｝】ｌ模式（Ｒａｎ＜ｔｏｍ Ｏｃｃｕｐａｎｔ）Ｐａｔｔｅｒｎ，ＲＯＰ）特征，并 用稀疏编码技术进行亘新编码；郑胤等 介绍了深度学习 及其目标和行为识别中的新进展。 随着对深度图像进一步的处理，学青们提取ｍ其中高层 次的骨骼信息，基于骨骼佶息的算法可以更加直接地描述人 体行为：文献［１］将人体定位到３Ｄ空问箱子模型，提取人体 的３Ｄ骨骼点直方 （Ｈｉｓｔｏｇｒａｍ Ｏｆ ３Ｄ Ｊｏｉｎｔ，ＨＯＪ３Ｄ）作为行 为特征；史献［１３］提 从人体骨骼节点的拓扑结构中选取最 有子集来提高识别率；文献［１４］提出了一种生物启发的三维 骨骼特 的时空层次结构；文献［２］使用朴素贝叶斯近邻分 类器识别人体骨骼特征点的静态与动态信息。 与传统单一的特征数据模型相比，多特征有着良好的优 势。文献［１５］提出了跨数据模型的融合实验， ＩＸＭＡＳ （ＩＮＲＩＡ Ｘｍａｓ Ｍｏｔｉｏｎ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｅｑｕｅｎｃｅｓ）等数据库做了实 验。在火数据环境下，多特征 同识别成为人体行为识别趋 势。绱合深度图像与骨骼数据，可以提高识别的准确性。 ｌ 运动特征描述 １．１深度运动图特征 深度 像可以』｝】来表爪物体３Ｄ结构和形状信息 文献 】０］提Ｈ｛ 深度 像时Ｍ序列中的每一帧投影到正交的３ 个笛 尔【ｆ｛ｆ水表示这个行为动作。具体地说，使州二＝．｝１见图中 的主视 、俯视图和左视陶，将人体定位到笛 尔坐标系， 分别将人体深度数据投影到主视罔、俯视图和左视图。每一 帧行为可以表示为 ＝／ｆ， ｆ÷，其中：ｆ，ｓ、ｔ分别表示在主视 图、左 和俯视 的人体投影。与史献 ２］不同，每个投影 的网是南２个连续的深度罔像帧做差投影得到 、对于』ｖ帧的 深度数据视频，由式（１）汁算出它的ＤＭＭ，特征： ＾ ＤＭＭ＝ ，ｌⅢａｐ： 一ｍ ｉ Ｉ （１） 其中：ｉ表 时间序列帧；ｍａｐ＇表示在第ｉ帧下的、在 图 上 的投影；“车１Ｉ ６分别表示开始帧和结柬帧 、 但是并不是所有深度罔中的像素郜需要被投影，深度图 像ｒ｛１很多像素值为０，对行为特征描述没有帮助。所以要对 每一帧 像进行感兴趣 域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯ１）操作。 即裁剪 像．使主要内容平铺住整个 像上，且保证冈像大 小一致 为＿ｒ进一步对ＤＭＭ，中的像素进行过滤，对ＤＭＭ 进行 部二值模式（ＬＢＰ）操作 ．ＬＢＰ是一种用来描述冈像局 部纹理特 的算法，可以提取ＤＭＭ．叶１的纹理信 皂 增加了 特征的稀疏性 如 １．对于在图像Ｌ个给定的一点ｇ ，式 （２）为ＬＢＰ的计算公式： ＬＢＰ （ｇ ）＝∑Ｕ（＾＝ｌ ｇ 一ｇ ）２ （２） ， ，ＤＭＭ，的大小为，ｎ，Ｘ ｎ，【 为是用像索『ｆ【作为特征．为ｒ 避免大像素值埘模型的影响，将ＤＭＭ， 一化到［０．１］， 时进行Ｒ（）ｌ， ｝ＩＥ图像大小一致，表示为１）ＭＭ，，则踢腿特征 可以表永为ｈ＝ＬＢＰ（ＤＭＭ，），＾的大小为（，¨， ×ｎ， ＋Ⅲ × ＋ｍ， Ｘ ）×１ －．ｑ ｇ Ｌ卫 ｇ ｝ ， 陶１ １ ｇ，｝ ：。示意网（ｒ＝１） 一 （ｄ）ＬＢＰ处理的边缘检测前视 圈一一 （ｃ）ＲＯＩ处 的侧踢前视 ｌ ２深度运动 特征彤成过程 １．２骨骼特征（Ｑｕａｄ） 由于微软的Ｋｉｎｅ（、ｔ提供的骨骼数据带求的便利，¨丁以 接获取人体的２０个骨骼节点、、根据文献［１６］所提 的四方 形骨骼表，Ｊ 法埘骨骼点进行处理，如罔３所爪。 ｅ Ｒ 表示 在真实世界坐标系下人的骨骼点坐标． 则－Ｙ＝［ ：． ， ■］。Ｘ 与 为卡｝ｊ距较远的点 、以 Ｙ 作为 点． 映射到［１， ｌ，１］。，卡￡Ｊ建本地坐标系÷ 这２个点确定后，剩下的２个点 ！Ｊｊｌｊ可以用如下公式计算出： Ｓ（ ）：ｓＲ［ 一 ］ （３） 其中：ｓ表示缩放矩阵，Ｒ表爪旋转矩阵． 令Ｓ（ ）＝［０．０， ０］‘， （Ｘ ）＝［１，１，１］Ｉ，则当前４个骨骼点特征可表，Ｊ÷为 ｑ＝［ （ ）； （１Ｙ４）］，其大小为６×１，如 ３。 取图３（ａ）左臂４个节点作为一个叫方肜骨骼表，Ｊ 点。 卡Ｈ距较远的２个点分别作为（０，０，０）飘Ｉ（１，ｌ，１），则该４点的 特征表永为ｑ＝［ ，儿，：３，Ｘ ， ，ｚ ］。。 由于能检测到的人体关节见有２０个，即存在的四方肜 骨骼特征有 ＝４８４５个。对于一个 帧的行为动作，特征 可表示为： 第１１期 陆中秋等：基于深度图像与骨骼数据的行为识别 ２９８１ Ｑ＝｛ｑＩＩｔ ｉ∈（１，ｃ ）， ∈（１，ｋ）｝ （４） 为了ＳＶＭ能够进行概率输出，使用挤压函数ｓｉｇｍｏｄ将 由于Ｑ的大小与ｋ有关，而每个动作的ｋ又不同，导致 每个行为的骨骼特征大小不同。为了避免这个问题，对Ｑ进 ，（ ）映射到［０，１］，如式（７）： Ｐ（Ｙ＝１ Ｉ ＝１／［１＋ｅｘｐ（ａｆ＋ ）］ （７） 为了保证公式的单调性，设置Ａ＜０。通过这样，可以输 出带概率的ＳＶＭ分类结果。 对于多分类的概率支持向量机（Ｐｒｏｂａｂｉｌｉｔｙ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＰＳＶＭ），对每个带概率的ＳＶＭ进行一对一，该方 法在每两类训练一个分类器，因此对于一个ｋ类问题，将有 ｋ（Ｊｉ｝一１）／２个分类函数。当对一个未知样本进行分类时，每 行Ｆｉｓｈｅｒ处理。由文献［１７］可知，利用高斯混合模型的 Ｆｉｓｈｅｒ，可以将Ｑ转换为Ｆｉｓｈｅｒ向量Ｆ。Ｆ的大小为２ｆａ×１。ｆ 在本文高斯混合模型中取１２８，ｄ为Ｑ的行数量，在本文为６， 即Ｆ的大小为１ ５３６×１。 韶 －一－ ．个分类器都对其类别进行判断．并为相应的类别“投上一 ｒ＾， 票”，最后得票最多的类别即作为该未知样本的类别。决策 ● ● ● ● （ａ）全身骨架 （ｂ）四方行坐标系 图３四方形骨骼表示 ２基于ＳＶＭ的概率投票行为识别 单个的ＳＶＭ只能解决二分类问题，对于多分类的问题， 可以使用多个ＳＶＭ分类器联合分类，包括一对一、一对多等 方法。虽然直接分类的ＳＶＭ是一个强有力的机器学习的分 类工具，然而在实际应用中，由于噪声的影响，每个样本对 分类结果的影响应该是不同的。直接将结果分类成０和１可 能并不恰当。为了使ＳＶＭ更加适应这些问题，要求ＳＶＭ具 有软输出的功能，即输出概率。本文的ＳＶＭ概率投票分类 就是基于输出概率进行的。 给定的行为识别特征数据包括深度运动图特征与四方形 骨骼特征。其中深度运动图特征包括 ＝｛ｆ，ｓ，ｔ｝三个方向 的特征。对于三个方向的深度运动图特征与骨骼特征，对各 个特征进行ＳＶＭ概率建模，将得到的模型进行累加投票，得 到最大目标可能概率，即为最后输出标签。 Ｌａｂｅｌ＝ｍａｘ（ ．Ｍｏｄｅｌ （Ｅ））；Ｅ∈｛ ，Ｆ｝ （５） 代表前视图、左视图与俯视图三个方向。Ｆ代表骨骼数 据在Ｆｉｓｈｅｒ操作后的骨骼特征。如图４，对于每个特征进行 ＳＶＭ分类，得到各个特征的模型。与以往的ＳＶＭ不同，该 训练的几个模型输出均为识别概率。将概率累加，获取最大 概率的标签即为结果。 ｙ 图４ ＳＶＭ二分类 ＳＶＭ是机器学习中的强有力的学习方法。传统的ＳＶＭ 是解决单分类问题。ＳＶＭ试图找出一个超平面，使超平面能 够尽量多地分隔出两类。经过大量实验证明，ＳＶＭ在小样本 集上有着卓越的优势。 如图４所示。ＳＶＭ希望在这两类中找出一个平面。如 式（６）， ）大于０对应Ｙ＝１，Ｉ厂（ ）小于０对应Ｙ＝一１。 ）＝Ｗ・ ＋ｂ （６） 阶段采用投票法，传统的投票法可能存在多个类的票数相同 的情况，从而使未知样本同时属于多个类别，影响分类精 度，基于概率输出的投票法可以避免这方面的问题，取得更 好的效果。 由于是多特征的概率ＳＶＭ投票模型，那么需要对每个 模型进行ＳＶＭ参数调优，在每个单独模型上，调整ＳＶＭ的 准确度到最优。 与以往的ＳＶＭ不同，该训练的几个模型输出均为识别 概率。将概率累加，获取最大概率的标签即为结果。这样有 如下优点： １）对不同特征进行不同的处理，发挥特征的最好效果。 ２）可以集成当前效果最好的特征进行分类，极容易拓 展。 ３）随着计算机性能的提高，概率投票方式不会受到计算 机性能的约束，可以达到实时的效果。 ３实验结果与分析 ３．１ ＭＳＲ—Ａｃｔｉｏｎ３Ｄ实验 ３．１．１实验数据 ＭＳＲ—Ａｃｔｉｏｎ３Ｄ数据库是一个关于Ｋｉｎｅｃｔ采集数据的行 为识别库，其中包括１Ｏ个人做２０个动作：ｈｉｇｈ ｗａｖｅ（ＨｉＷ）、 ｈｏｒｉｚｏｎｔａｌ ｗａｖｅ（Ｈｏｗ）、ｈａｍｍｅｒ（Ｈ）、ｈａｎｄ ｃａｔｃｈ（ＨＣ）、ｆｏｒｗａｒｄ ｐｕｎｃｈ（ＦＰ）、ｈｉｇｈ ｔｈｒｏｗ（ＨＴ）、ｄｒａｗ ｘ（Ｄｘ）、ｄｒａｗ ｔｉｃｋ（ＤＴ）、 ｄｒａｗ ｃｉｒｃｌｅ（ＤＣ）、ｈａｎｄ ｃｌａｐ（ＨＣ）、ｔｗｏ ｈａｎｄ ｗａｖｅ（ＴＨＷ）、ｓｉｄｅ ｂｏｘｉｎｇ（ＳＢ）、ｂｅｎｄ（Ｂ）、ｆｏｒｗａｒｄ ｋｉｃｋ（ＦＫ）、ｓｉｄｅ ｋｉｃｋ（ＳＫ）、 ｊｏｇｇｉｎｇ（ｊｏ）、ｔｅｎｎｉｓ ｓｗｉｎｇ（Ｔｓ）、ｔｅｎｎｉｓ ｓｅｒｖｅ（ＴＳ）、ｇｏｌｆ ｓｗｉｎｇ （ＧＳ）、ｐｉｃｋｕｐ ｔｈｒｏｗ（ＰＴ）。每个人做２—３次。总共包括５５７ 个２４０×３２０的深度图像与５５７个骨骼数据。 深度Ｉ． Ｄ肘 ］ＬＢＰ ｃ 图像 垫 ＤＭＭ，｝＝＝ ｈＥ ［＝＝ ＤＭＭ，＿Ｊ ＾ ｐ 匕 模型 数据 Ｑｕａｄ匕＝ Ｆｑ— ——＿Ｌ＿— 卜＼ 图５行为识别算法流程 ３．１．２实验设置 设置一与文献［３］中的设置相同，将２０个行为分为３ 组（ＡＳ１、ＡＳ２、ＡＳ３），如表１，ＡＳ１与ＡＳ２里都是相似行为， 而ＡＳ３里则是相似度较小的行为。对每一组进行３个实验。 在实验一中，１／３作为训练数据，２／３作为测试数据。实验二 ２９８２ 第３６巷 ｝Ｉ．２／３作为训缘数据，１／３作为测试数据 实验 ，．．半数 圳约 佯本，１／３作为测试样本）叶】，小艾的识别率已经ｔｊ现有 ｎ ‘法大体持平， 、ｓ３子集中更足达到了１００％． ．实 验 （１／２作为训 样术，包括１、３、５、６、７、９号人的行为数 ，抛作训练．剩余一Ｔ作测试 ￣Ｊｆｆｆ婴识别 设置二 －ｊ义献 ｌ１】ＩＩｔ设 十ＩＩ川，Ｉ；１，ａ４使Ｊｌ｛２０个行为， 、 作为ｉＪ ＪｌＬ￣ｉ数 ．剩余一、 ｆ１ 为洲试数据 二更具彳『挑战性 表Ｉ ＭＳＩＩ ｌｉｏｎ３１）数据分组 剩余作为＿－Ｊｌ！ｌＪ 木）中．本文的 ｌ别率明显高于脱彳『的 如图６所＿，Ｉ＝＿＝＝ 表３ 体分类准确牢的混淆Ｉ３ｉ阵如图６所爪 在 存ＡＳ３ ｒＩ１．水文方法对许多动作 的类删比较多． ，Ｊ 上文献 ２＿＿ｌｊ水殳疗法的混淆 的 验二一 ｝Ｉ， ＡＳＩ ＡＳ２这２个卡ｆ『似动作的数据于褒巾，本文的方法降低 ＿ｒ锵分率．提高了准确率能够完全地 分 求，准确率达到ｌ００％： 表！单一特征实验结果 ３．１．３ 买验结果与分析 实验主 分为一个方而： 一特 实验、特 融合 验 稳定性实验对深瞍运动 特ｆ 厅彤骨骼特 ｌｌｌｊ者的 １）ＭＭ ＵｕａｔＩ ８ｌ ３ ７８ ６ 结合分别进千亍设 的实验．验 特 融合的 ＪＺ， 时 ）ＭＭ＋（）Ｌｌａ‘ ９Ｉ．３ 将本算法 现 ‘的Ｊ七他算法进行对比 最后，对 验数据进 仃随机抽样，测 算法的稳定 单一特征实验对深度运动 、四办形骨骼特 干¨两者 表３设置一实验结果 ％ 的融合分别进仃 验 根抛没 ７１ 门数据安排，一 数据作 勾训练，一半数拂；作为测试．一 ２０类行为 比较 没置二 ‘的各种情况的｝５ｌ圳率：如表２所爪，将深度运动 一ｊ四方 形 麓 骼特ｆ【 融合．ｆ 着更高的识圳 特 融合 验 据实验 一进行实验，一０脱彳『的方法 进行对比，结果受¨表３，呵以行ｆ¨，本文的方法 实验一 （１／３为ｉＪｌｌ缘佯水，２／３为测试佯小）的识别率比脱仃ｎ０方法 ｒ＿ ■■■■■■■■■■■■■■●■■■■■■■■ ｔ●■ｎＨ日 ■ ｊ １＿＿＿＿¨ ９ ８ ｒ、 ６ Ｓ ｌ Ｈｉ ｒ ＦＫ ＳＫ Ｊｏ ＦＳ ＴＳ ＧＳ ＰＴ 预洲结果的分类 ａ）ＡＳ １数槲集在文献【２ｌ实验结粜 预测结果的分类 （ｈ）Ａｓ２数据集在文献Ｉ２ Ｉ 验结粜 预测结粜的分类 （ｃ）ＡＳ３数据策在文献Ｉ２ｌ实验结粜 ＨｉＷ ＨＣ ＤＸ ＤＴ ＤＣ ＴＨＷ ＦＫ ＳＢ ｆｉｉ￣！＇Ｊ结果的分类 ｄ）ＡＳ１数据策在本文方法实验结粜 ＨｉＴ ＦＫ ＳＫ ＪＯ ＴＳ ＴＳ ＧＳ ＰＴ 预测结粜的分类 预测结粜的分类 ｅ）ＡＳ２数据集在本文方法实验结果 （ｉ．）ＡＳ３数据集在本史方法实验结果 【割６ 文献：２］方法与本史，Ｊ、法混淆砸阵对比 根据文验没 二 进行实验，与 有方法对｝Ｅ，结粜如表 ４ 勾实验设置 ：将所有２０类仃为一起进行ｉ、Ｊ『ｌ练识圳．实 第１ １期 陆中秋等：基于深度图像与骨骼数据的行为识 ２９８３ 验设置二对于算法的识别半型 订挑战 根 纳 Ｉ叮以行 出，本文方法有营较高的识圳 ，达钊９１．３ｃＡ，仪７欠丁史献 ［１８］ 表４设置二实验结果 方法 识刖牢／ｃＡ 力法 Ｕｌ圳啐 ／ ＤＭＭ一１ｔ（）Ｇ Ｆ…Ｉ ８５ ５ 史献Ｉ ２Ｉ】，Ｊ‘法８８ ８ ｌ｛｛）Ｐ…】８８．９ 迁献Ｉ ２２】，Ｊ 法８９．５ Ｈ（）Ｎ４ｌ】ｅ …８８．２ 史献Ｉ ３ Ｊ，Ｊ‘法８７．３ Ａｔ．ｔｉ０ｎ１Ｐｆ Ｅｌ１ ｃｌｌ１１）１ｒ ”】８９．３ 本殳力‘法 ９Ｉ ３ １）ｅＩ ｉｈ Ｃｕｂ ｌ ＩＪ ９１．９ 存深度运动 预处婵巾．ｆｆＩ ｊ：埘投影 的深度 进仃ｒ Ｉ．ＢＰ处 ，【｛Ｉｊ小川１．ＢＩ 参数，” ｊ ｒ埘结 有符 接的 响 如图７昕，Ｊ ，随荷ｒ的变大， 放大Ｉ １｛Ｐ的Ｊ 瞍，降低Ｊ’边 缘提取的效ｌ粜，准确率总体呈卜降趋 ¨时．随什 取ｆ 变化，识》ｊ『Ｊ率』－卜波动，实验选择ｒ ４个ｍ的选ｆｆｆ，ｒｌ｛ｌ剞７ ｕ 知， ｍ为６、ｒ为Ｉ时，本义 法彳『荷较 的以圳 罔７ 不吲ｒ ｊ ｍ的准确半（没 ） 稳定性实验为了洲试融 特征ｎ０稳定性，九 没 －的 基础Ｊ ，对ｊ 深度运动 特 、四 肜忖骼特 和 结 特征分别进行随ｆＪ【抽样实验， ８所示 特 融合 ， 别率何很大的提高，Ｉｉ，１时． 随机抽样测试 ．识＂４ 的稳 定性也有所提高，增强ｒ系统的稳定性 Ｆ－Ｉ融合特ｉｉｔ ｆ－－１深度运动【冬１特征 皿 ，形骨骼特 ３．２ Ｉ）ＨＡ实验数据 ３．２．１ 实验数据 Ｉ）ＨＡ（Ｄｅｐｌｈ—ｉｎｃｌｕｄｅｄ Ｈｕｎｍｉｉ Ａ ｌｉ，ｍ）深 数 也括ｒ ２３类人体什为，分）ｊｌＪ垃：ｂｅｎｄ、 ｋ、ｊｔｌｌｌＩｔ）、ｐｊｕｍｌｌ、ｌ－ｔｉｌｌ、ｓｉ＆・、 ｓｋｉｐ、ｗａｌｋ、（１ｌｌｅ—ｌＩ Ｌｉｌｌｄ—Ｗ￣ｔＷ： 、 ｏ—ｌｌｔｌｌｌ（１．ｗ ｌｖＰ、ｒｒＩｏｎｔ—ｏｈ，ｔ）、 ｉ（１ｅ— ｃｌａｐ、￣ｉｉ＇ｌｌｌ—ｓｗｉｎｇ、ａｒｍ—ｃｔｌｒＩ、ｌｅｇ－ｋｌ‘ ｋ、ｌｅｇ—ＣＬＩＩ１、ｒｔ）Ｉ｛一ｓ、～ｉｎｇ、ｇｏｌｆ－ ｓｗｉｎｇ、ｍｍｔ—ｂｏｘ、ｓｉ＆一ｂｏｘ、ｌａｉ ｈｉ、１）ｉＩ【・ｌ１、ｋｉ（・ｋ Ｉ）ＨＡ数 ｌ 包括了深度数据卡¨彩色数据 、深度数扒 像 彩色数 像 大，Ｊ、郜是４８０ ｘ６４０ 陔数据集的深度 像已经作丁预处 ， 将背景太除，把人体深度数据分割ｔｔ｛术 Ｉ）ＨＡ数 集…２１ 个人求制，每个人每种动作做一次．数据集总 怂４８３个观 频序列 如 ９罹永了ＤＨ ～数 集的深度 像 ３．２．２买验设置 本实 使用帑一法进千亍数据准备 数 一 仃２１个 人，则将数据集分成２ｌ份然 依次随ｆ』【从ＩＩｔＩ＇ｌｌ川ｉ收・份 做测试佯小，其余的１０份作为圳ｅｇ－Ｆ：小 『互 这个操作１ｏ 次，则有ｌ０份随机的测试样本卡¨ ｊ之埘心的 个２（）份的Ｉ Ｊｌ ｌ练样本最 存僻到的ｌ０次实验结 ｌＲ』 ｒ均 ，这 做【『『 以有效避免 ’ｆ：样本 导致的实 ｎ０』Ｊｊ （ａ）彩色 像 （ｈ）人体遮 （ｃ）深度数拊 慝ｌ ９ １）｝ｌＡ数据氍深ｆ望 ３．２．３ 实验结果与分析 Ｍ样，实验分为３个 ：遥功过ｎ 一 叶 ｊ多特ｆｊｌ＝ 融合实验、运动过 与特征处 融合 舱＿ｆ１ｌ慨 投 验 对丁ＤＨＡ数据库，Ｌｆ１于只 深度 像数 ， 过Ｋｉｎｅ（・Ｉ的 Ｓ１）Ｋ（Ｓｏｆｔ Ｄｅｖｅｌｏｐ Ｔｏｏｌｋｉｔ），转换¨ 『Ｊ ＿的坩骼数 ：进＂ ’法 识别～ １）运动过程单－￣．Ｔｑ，Ｅ 多特 ｍ 验 对于 一的特ｆｌＦ， ＤＨＡ 验数孙 的 『Ｉｌ １５ ，ｌＪ ．．对于单一的特性， １】ＨＡ数 ｆ ，运功 （Ｍｏｔｉｏｎ Ｈｉｓｌｏｒｖ ｈｎａｇｅ，Ｍｉｌ１）的准 ＩＬ Ｉ）ＭＭ的 ，Ｑｕａｄ州 对低一点 Ｍ｝ｔＩ、１）ＭＭ ｊ Ｑｕａｄ的 ｉ 验 ｌｉ．小近 ‘ 仍然比其他单一的准确 高 表５单一性比较 办法 ｌ圳率／％ ，Ｊ 订 ＨｆＪ， ，ｒ ￣１Ｈ１ ８６ ３ 、１Ｉｌｌ＋Ｑｕａｄ ８７ ４ Ｉ］Ｍ、１ ８４ ７ Ｉ）、ｌ、１＋【Ｊ㈧（Ｉ ８９ ４ Ｑｕａｄ ７９．４ ２）运动过程与特 处理融 蛉 存１）｝｛＾数据集Ｉ ．采刖ｆＩ１Ｉ ４的 土进ｆ 吱验比较 ６所示， ＤＨ 上Ｉ）ＭＭ的准确卒ｆ¨然【‘Ｌ、ｌＩｔｌ ｆ ㈨ＩＩ，Ｊ等价 模式局部二 模＿』 （Ｌ ｎｉｌｂｉ Ｉｌｌ Ｐａｌｔｔ Ｉｉ Ｉ ＪＩＩ“ｌＩ Ｈｉｎａｉ、Ｐａｌｔｉ １１， ＵＰＬＢｔ ）比 一的ＬＢｔ 、ｔｔ（）Ｇ与 塔，Ｊ‘¨ ｌ，Ｊ‘ （Ｐｙｒａｍｉｄ Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｉｉｅｌｌｉｅ（Ｉ Ｇｌａｄｉｅ，１ｌ，ｌ’｝．１Ｏ（ ）效 表６融合实验 力法 ｔｆｌ别率／ ｝ ，Ｊ Ｉ）ｊＩ＿啐 ／ ＭＨＩ—Ｈ（】（ ７８ ３ Ｉ１ＭＭ一｝ｌ（）（ ７７ ６ ＭＩｌ１一 ｌＯＧ ７９．６ Ｉ）Ｍ、１一ｌ，¨ｌｌ（ ８２． ＭＩｌＩ—Ｉ Ｂ｝】８０．３ Ｉ）ＭＭ—Ｉ ＨＩ ８３ ４ ＭＨｌ—Ｉ ｌ Ｉ ｌｊ｝Ｊ ８０．１ Ｉ）ＭＭ—Ｉ ｌ，ｌ『Ｊ｛Ｐ ８３ ６ 表７所爪．ＰＳ＼Ｍ的准确 比－ ・ｓＹＭ的准 表７概率投票实验 ＿，ｊ法 ｉ只别 棼 听 ＿，Ｊ 法 圳 ，“ ￣１Ｈ１一 、１￣１ ８ｆＪ ｌ ｌ】、１、｛一 、＿、１ ８４ ９ 、１｝Ｉｌ—ｌ Ｓ、Ｍ ８ｌ ４ １）、１、１ ｊ，Ｓ 、１ ８５ ３ 实验证明．ＤＭＭ—ＰＳＶＭ仍然表脱良 接 ‘求比较持 处理 如表８听示， 特 处 ，Ｊ ．Ｉ Ｉ’Ｉ Ｒｌ’设 比…）【 ２９８４ 计算机应用 ａｗａｙ，ＮＪ：ＩＥＥＥ，２００９：２００４—２０１ １． 第３６卷 和ＰＨＯＧ效果好。 表８几种方法特征比较 ［７］ ＢＯＢＩＣＫ Ａ，ＤＡＶＩＳ Ｊ．Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｈｕｍａｎ ｍｏｖｅｍｅｎｔ ｕｓｉｎｇ ｔｅｍｐｏｒａｌ ｔｅｍｐｌａｔｅｓ［Ｊ】．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ 方法 ＤＭＭ—ＬＢＰ—ＰＳＶＭ 识别率／％ ８５．１ 方法 ＤＭＭ．Ｈ０Ｇ—ＰＳＶＭ 识别率／％ ８４．４ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００１，２３（３）：２５７—２６７． ［８】 蔡加欣，冯国灿．基于局部轮廓和随机森林的人体行为识别［Ｊ］． 光学学报，２０１４，３４（１０）：２０４—２１３．（ＣＡＩ Ｊ Ｘ，ＦＥＮＧ Ｇ Ｃ．Ａｃ－ ｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｌｏｃａｌ ｃｏｎｔｏｕｒ ａｎｄ ｒａｎｄｏｍ ｆｏｒｅｓｔ［Ｊ］．Ａｅｔａ ＤＭＭ．ＵＰＬＢＰ．ＰＳＶＭ ８９．３ ＤＭＭ—ＰＨ０Ｇ—ＰＳＶＭ ８８．７ 将深度图像与骨骼数据相结合，与单一的深度图像进行 比较，结果如表９。结果表明，深度图像与骨骼图像相结合， 能提高算法的准确度。 表９深度与骨骼实验 方法 识别率／％ ＤＭＭ．ＵＰＬＢＰ—ＰＳＶＭ ９Ｏ．３ ＤＭＭ－－ＵＰＬＢＰ・－Ｑｕａｄ－－ＰＳＶＭ ９１．７ ３．３时间复杂度分析 由于是多特征融合，所以时间复杂度会相对较高。在深 度图像方面，ＤＭＭ的每个方向的时间复杂度为０（ｎ），经过 ＬＢＰ特征处理后，时间复杂度增加到Ｏ（ｎ ）。在骨骼点方面， Ｑａｕｄ的时间复杂度为Ｏ（ｎ），然而对Ｑｕａｄ进行Ｆｉｓｈｅｒ编码， 其时间复杂度变为Ｏ（ｎ ）。将深度图像与骨骼数据放人基于 概率输出的ＳＶＭ，其各自的ＳＶＭ的时间复杂度为Ｏ（ｒｔ ），经 过多特征融合，最后整个算法的时间复杂度为Ｏ（ｎ’）。 ４ 结语 本文提出了一种深度图像数据与骨骼数据结合的方案， 将深度运动图与骨骼四方形特征同时作为识别人体行为的特 征；同时提出了多模型概率投票的分类策略，克服了噪声对 单个模型的影响，具有较好的鲁棒性。以后的工作考虑更多 的数据特征协同表示，同时降低算法的复杂度，增强算法的 实时性。 参考文献： ［１】ＸＩＡ Ｌ，ＣＨＥＮ Ｃ Ｃ，ＡＧＧＡＲＷＡＬ Ｊ Ｋ．Ｖｉｅｗ ｉｎｖａｒｉａｎｔ ｈｕｍａｎ ａｅ－ ｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｈｉｓｔｏｇｒａｍｓ ｏｆ ３Ｄ ｊｏｉｎｔｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉ— ｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１２：２０—２７． ［２］ ＹＡＮＧ Ｘ，ＴＩＡＮ Ｙ．Ｅｉｇｅｎ－ｊｏｉｎｔｓ—ｂａｓｅｄ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｎａ－ ｉｒｅ—Ｂａｙｅｓ—ｎｅａｒｅｓｔ—ｎｅｉｇｈｂｏｒ【Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ． Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１２：１４—１９． ［３】Ｕ Ｗ，ＺＨＡＮＧ Ｚ，ＬＩＵ Ｚ．Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ａ ｂａｇ ｏｆ ３Ｄ ｐｏｉｎｔｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１０ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ， ２０１０：９—１４． ［４】 ＳＨＯＴＴＯＮ Ｊ，Ｆ￣ＺＧＩＢＢＯＮ Ａ，ＣＯＯＫ Ｍ，ｅｔ ａ１．Ｒｅａｌ－ｔｉｍｅ ｈｕｍａｎ ｐｏｓｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｐａｒｔｓ ｆｒｏｍ ｓｉｎｇｌｅ ｄｅｐｔｈ ｉｍａｇｅｓ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１ １ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃ－ ｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１ １：１２９７—１３０４． ［５】 ＳＣＨＵＬＤＴ Ｃ，ＬＡＰＴＥＶ Ｉ，ＣＡＰＵＴＯ Ｂ．Ｒｅｃｏｇｎｉｚｉｎｇ ｈｕｍａｎ ａｅ— ｔｉｏｎｓ：ａ ｌｏｃａｌ ＳＶＭ ａｐｐｒｏａｃｈ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ： ＩＥＥＥ．２００４．３：３２—３６． ［６】 ＳＵＮ Ｊ，ＷＵ Ｘ，ＹＡＮ Ｓ，ｅｔ ａ１．Ｈｉｅｒａｒｃｈｉｃａｌ ｓｐａｔｉｏ—ｔｅｍｐｏｒａｌ ｅｏｎｔｅｘｔ ｍｏｄｅｌｉｎｇ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔ． Ｏｐｔｉｃａ Ｓｉｎｉｃａ，２０１４，３４（１０）：２０４—２１３．） ［９］ＬＩ Ｗ，ＺＨＡＮＧ Ｚ，ＬＩＵ Ｚ．Ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ａ ｂａｇ ｏｆ ３Ｄ ｐｏｉｎｔｓ【Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１０ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎ－ ｆｅｒｅｎｅｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ． Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１０：９—１４． 【１０】 ＹＡＮＧ Ｘ，ＺＨＡＮＧ Ｃ，ＴＩＡＮ Ｙ．Ｒｅｃｏｇｎｉｚｉｎｇ ａｃｔｉｏｎｓ ｕｓｉｎｇ ｄｅｐｔｈ ｍｏｔｉｏｎ ｍａｐｓ・ｂａｓｅｄ ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ【Ｃ］／／Ｐｒｏｃｅｅｄ・ ｉｎｇｓ ｏｆ ｔｈｅ ２０ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１２：１０５７—１０６０． ［１１］ ＷＡＮＧ Ｊ，ＬＩＵ Ｚ，ＣＨＯＲＯＷＳＫＩ Ｊ，ｅｔ ａ１．Ｒｏｂｕｓｔ ３Ｄ ａｃｔｉｏｎ ｒｅｃｏｇ— ｎｉｔｉｏｎ ｗｉｔｈ ｒａｎｄｏｍ ｏｃｃｕｐａｎｃｙ ｐａｔｔｅｒｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １２ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ－ Ｖｅｒｌａｇ，２０１２：８７２—８８５． ［１２］ 郑胤，陈权崎，章毓晋．深度学习及其在目标和行为识别中的新 进展［Ｊ】．中国图象图形学报，２０１４，１９（２）：１７５—１８４．（ＺＨＥＮＧ Ｙ，ＣＨＥＮ Ｑ Ｑ，ＺＨＡＮＧ Ｙ Ｊ．Ｔｈｅ ｎｅｗ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎ— ｉｎｇ ｉｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ【Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ ａｎｄ Ｇｒａｐｈｉｃｓ， ２０１４，１９（２）：１７５—１８４．） 【１３】 ＣＨＡＡＲＡＯＵＩ Ａ Ａ，ＰＡＤＩＬＬＡ－Ｌ’ＯＰＥＺ Ｊ Ｒ，ＣＬＩＭＥＮＴ—Ｐ’ＥＲＥＺ Ｐ，ｅｔ ａ１．Ｅｖｏｌｕｔｉｏｎａｒｙ ｊｏｉｎｔ ｓｅｌｅｃｔｉｏｎ ｔｏ ｉｍｐｒｏｖｅ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃ－ ｏｇｎｉｔｉｏｎ ｗｉｔｈ ＲＧＢ－Ｄ ｄｅｖｉｃｅｓ【Ｊ】．Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ ｗｉｔｈ Ａｐｐｌｉｃａ－ ｔｉｏｎｓ，２０１４，４１（３）：７８６—７９４． ［１４】 ＣＨＡＵＤＨＲＹ Ｒ，ＯＦＬＩ Ｆ，ＫＵＲＩＬＬＯ Ｇ，ｅｔ ａ１．Ｂｉｏ－ｉｎｓｐｉｒｅｄ ｄｙ・ ｎａｍｉｅ ３Ｄ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｓｋｅｌｅｔｌａ ｆｅａｔｕｒｅｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉ— ｔｉｏｎ［Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ．Ｗａｓｈｉｎｇｔｏｎ，ＤＣ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２０１３：４７１－４７８． ［１５】ＬＩＮ Ｙ Ｙ．Ｄｅｐｔｈ ａｎｄ ｓｋｅｌｅｔｏｎ ａｓｓｏｃｉａｔｅｄ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈｏｕｔ ｏｎｌｉｎｅ ａｃｃｅｓｓｉｂｌｅ ＲＧＢ－Ｄ ｃａｍｅｒａｓ［Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｐｉｓｅａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１４：２６１７—２６２４． ［１６】 ＶＩＥＩＲＡ Ａ Ｗ，ＮＡＳＣＩＭＥＮＴ０ Ｅ，ＯＬＩＶＥＩＲＡ Ｇ．ＳＴＯＰ：ｓｐａｃｅ－ ｔｉｍｅ ｏｃｃｕｐａｎｃｙ ｐａｔｔｅｒｎｓ ｆｏｒ ３Ｄ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｄｅｐｔｈ ｍａｐ ｓｅｑｕｅｎｃｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｂｅｒｏａｍｅｒｉｅａｎ Ｃｏｎｇｒｅｓｓ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌｇａ，２０１２：２５２— ２５９． 【１７】 ＧＥＯＲＡＩＯＳ Ｅ，ＧＵＲＫＩＲＴ Ｓ，ＲＡＤＵ Ｈ．Ｓｋｅｌｅｔａｌ ｑｕａｄｓ：ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｊｏｉｎｔ ｑｕａｄｒｕｐｌｅｓ【Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ２２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｅａ— ｔａｗａｙ．ＮＪ：ＩＥＥＥ．２０１４：４５１３—４５ｌ８． 【１８１ ＸＩＡ Ｌ，ＡＧＧＡＲＷＡＬ Ｊ．Ｓｐａｔｉｏ—ｔｅｍｐｏｒａｌ ｄｅｐｔｈ ｃｕｂｏｉｄ ｓｉｍｉｌａｒｉｔｙ ￣ａｔｕｒｅ ｆｏｒ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｄｅｐｔｈ ｃａｍｅｒａ［Ｃ］／／Ｐｒｏｃｅｅｄ— ｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐ￣ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｅａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１３：２８３４—２８４１． 【１９】 ＯＲＥＩＦＥ１ ０，ＬＩＵ Ｚ．ＨＯＮ４Ｄ：ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ４Ｄ ｎｏｒｍａｌｓ ｆｏｒ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｄｅｐｔｈ ｓｅｑｕｅｎｃｅｓ［Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇ— ｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１３：７１６—７２３． （下转第２９９２页） ２９９２ 计算机应用 第３６卷 （上接第２９８４页） ［２０］ ＷＡＮＧ Ｊ，ＬＩＵ Ｚ，ｗｕ Ｙ．Ｍｉｎｉｎｇ ａｃｔｉｏｎｌｅｔ ｅｎｓｅｍｂｌｅ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｄｅｐｔｈ ｅａｎｌｅ￣ｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１２：１２９０—１２９７． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｅａｔａｗａｙ，ＮＪ：ＩＥＥＥ， ２０１４：５８８—５９５． ［２４］ ＣＨＥＮ Ｃ，ＬＩＵ Ｋ，ＫＥＨＴＡＲＮＡＶＡＺ Ｎ．Ｒｅａｌ—ｔｉｍｅ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｍｏｔｉｏｎ ｍａｐｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｒｅａｌ－Ｔｉｍｅ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１３，１２（１）：１５５—１６３． ［２１］ＴＲＡＮ Ｑ Ｄ，ＬＹ Ｎ Ｑ．Ｓｐａｒｓｅ ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｊｏｉｎｔ ｓｈａｐｅ—ｍｏｔｉｏｎ ｃｕｅｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｄｅｐｔｈ ｓｅｑｕｅｎｃｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ ＲＩＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ．Ｒｅｓｅａｒｃｈ，Ｉｎｎｏｖａｔｉｏｎ，ａｎｄ Ｖｉｓｉｏｎ ｆｏｒ ｔｈｅ Ｆｕｔｕｒｅ． Ｂａｃｋｇｒｏｕｎｄ Ｔｈｉｓ ｗｏｒｋ ｉｓ ｐａｒｔｉｌｌｙ ｓｕｐｐｏｒａｔｅｄ ｂｙ ｔｈｅ Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ（６１０６３０２１），Ｉｎｄｕｓｔｒｙ，Ｔｅａｃｈｉｎｇ ａｎｄ Ｒｅｓｅａｒｃｈ Ｐｒｏｓｐｅｃｔｉｖｅ Ｐｒｏｊｅｃｔ ｏｆ Ｊｉａｎｇｓｕ Ｐｒｏｖｉｎｃｅ（ＢＹ２０１５０２７－１２）． ＬＵ Ｚｈｏｎｇｑｉｕ，ｂｏｒｎ ｉｎ １９９１，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉｓ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ａｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ，ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１３：２５３—２５８． ［２２］ＲＡＨＭＡＮＩ Ｈ，ＭＡＨＭＯＯＤ Ａ，ＨＵＹＮＨ Ｄ Ｑ，ｅｔ ａ１．Ｒｅｌａ ｔｉｍｅ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｈｉｓｔｏｇｒａｍｓ ｏｆ ｄｅｐｔｈ ｇｒａｄｉｅｎｔｓ ａｎｄ ｒａｎｄｏｍ ｄｅｃｉｓｉｏｎ ｆｏｒｅｓｔｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｗｉｎｔｅｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ： ＩＥＥＥ，２０１４：６２６—６３３． ＨＯＵ ＺｈｅＭｉｅ，ｂｏｒｎ ｉｎ １９７３，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． ＣＨＥＮ Ｃｈｅｎ，ｂｏｒｎ ｉｎ １９８２，Ｐｈ．Ｄ．．Ｈｉｓ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ｓｉｎａｌｇ ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ． ［２３］ ＶＥＭＵＬＡＰＡＬＬＩ Ｒ，ＡＲＲＡＴＥ Ｆ，ＣＨＥＬＬＡＰＰＡ Ｒ．Ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｒｅｐｒｅｓｅｎｔｉｎｇ ３Ｄ ｈｕｍａｎ ｓｋｅｌｅｔｏｎｓ ａｓ ｐｏｉｎｔｓ ｉｎ ａ ｌｉｅ ＬＩＡＮＧ Ｊｉｕｚｈｅｎ，ｂｏｒｎ ｉｎ １９６９，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． ｇｒｏｕｐ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ
