第２４卷第９期 ２０１４年９月 计算机技术与发展 ＣＯＭＰＵ ＩＥＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ Ｖｏ１．２４ Ｎｏ．９ Ｓｅｐ． ２０１４ 基于Ｋｉｎｅｃｔ的手术辅助系统研究 陈燕军，汪 地，杨 浩，卢泉奇，苗同升 （上海大学上海市机械自动化及机器人重点实验室，上海２０００７２） 摘要：针对手术室无菌环境要求非常高的现实需求，以及传统鼠标键盘等人机交互方式存在的需要定期消毒且无法在 手术过程中进行操作等客观，对目前手术室中人机交互存在的问题进行了分析，提出了一套基于Ｋｉｎｅｃｔ自然人机交 互技术的手术辅助系统。该系统包括一个病人资料库、一套Ｗｉｎｄｏｗｓ系统下基于Ｋｉｎｅｃｔ自然人机交互技术的控制程序及 一套Ｋｉｎｅｃｔ手术辅助系统硬件。实验结果表明通过Ｋｉｎｅｃｔ可以收集操作者的手势、动作、声音等，并将其转化为操作系统 可以理解的命令，对手术辅助系统进行相关操作，从而辅助手术进行。该系统对于改善手术条件、节省手术时间、缓解病 患痛苦具有一定帮助。 关键词：人机交互；Ｋｉｎｅｃｔ；手术辅助系统 中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：１６７３—６２９Ｘ（２０１４）０９－００８１－０３ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３—６２９Ｘ．２０１４．０９．Ｏ１８ Ｒｅｓｅａｒｃｈ ｏｎ Ｏｐｅｒａｔｉｏｎ Ａｕｘｉｌｉａｒｙ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｋｉｎｅｃｔ ＣＨＥＮ Ｙａｎ－ｊｕｎ，ＷＡＮＧ Ｄｉ，ＹＡＮＧ Ｈａｏ，ＬＵ Ｑｕａｎ－ｑｉ，ＭＩＡＯ Ｔｏｎｇ—ｓｈｅｎｇ （Ｓｈａｎｇｈａｉ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｍｅｃｈａｎｉｃａｌ Ａｕｔｏｍａｔｉｏｎ ａｎｄ Ｒｏｂｏｔｉｃｓ，Ｓｈａｎｇｈａｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈａｎｇｈａｉ ２０００７２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇ ａｔ ｔｈｅ ｈｉｇｈ ｄｅｍａｎｄ ｆｏｒ ｓｔｅｒｉｌｅ ｏｐｅｒａｔｉｎｇ ｒｏｏｍ ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ ｔｈｅ ｏｂｊｅｃｔｉｖｅ ｃｏｎｓ￣ａｉｎｓ ｏｆ ｒｅｇｕｌａｒ ｄｉｓｉｎｆｅｃｔｉｏｎ ａｎｄ ｎｏｔ ｏｐｅｒａｔｉｎｇ ｄｕｒｉｎｇ ｔｈｅ ｏｐｅｍｔｉｏｎ ｆｏｒ ｔｒａｄｉｔｉｏｎａｌ ｉｎｔｅｒａｃｔｉｖｅ ｗａｙｓ ｓｕｃｈ ａｓ ｍｏｕｓｅ ｎｄ ａｋｅｙｂｏａｒｄ，ａｎａｌｙｚｅ ｈｅ ｔｈｕｍａｎ—ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｐｒｏｂ— ｌｅｍｓ ｉｎ ｔｈｅ ｏｐｅｒａｔｉｎｇ ｒｏｏｍ，ａｎｄ ｐｕｔ ｆｏｒｗａｒｄ ａ ｓｅｔ ｏｆ ｏｐｅｒａｔｉｏｎ ａｕｘｉｌｉａｒｙ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｎａｔｕｒａｌ Ｋｉｎｅｃｔ ｈｕｍａｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｔｅｃｈ— ｎｏｌｏｇｙ．Ｔｈｅ ｓｙｓｔｅｍ ｉｎｃｌｕｄｅｓ ａ ｐａｔｉｅｎｔ ｄａｔａｂａｓｅ，ａ ｓｅｔ ｏｆ ｃｏｎｔｒｏｌ ｐｒｏｃｅｄｕｒｅ ｂａｓｅｄ ｏｎ ｎａｔｕｒａｌ Ｋｉｎｅｃｔ ｈｕｍａｎ－ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｔｃｈｎｏｌｅｏｇｙ ｕｎｄｅｒ Ｗｉｎｄｏｗｓ ｓｙｓｔｅｍ ａｎｄ ａ ｓｅｔ ｏｆ Ｋｉｎｅｃｔ ｏｐｅｒａｔｉｏｎ ａｕｘｉｌｉａｒｙ ｓｙｓｔｅｍ ｈａｒｄｗａｒｅ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｈｅ Ｋｉｔｎｅｃｔ Ｃａｎ ｃｏｌｌｅｃｔ ｈｅ ｔｏｐｅｒａｔｏｒ ｇｅｓｔｕｒｅ，ｍｏｖｅｍｅｎｔ，ｓｏｕｎｄ ａｎｄ ＳＯ ｏｎ，ｔｈａｔ ｃｈａｎｇｅ ｔｏ ｔｈｅ ｃｏｍｍａｎｄ ｗｈｉｃｈ ｔｈｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ ｃｏｕｌｄ ｕｎｄｅｒｓｔａｎｄ，ｃａｒｒｙｉｎｇ ｏｕｔ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｏｐｅｒａｔｉｏｎ ｆｏｒ ｔｈｅ ｓｙｓｔｅｍ ｔｏ ｓｕｐｐｏ￣ｔｈｅ ｏｐｅｒａｔｉｏｎ．Ｔｈｅ ｓｙｓｔｅｍ ｉｓ ｂｅｎｅｆｉｃｉｌ ｆａｏｒ ｉｍｐｒｏｖｉｎｇ ｔｈｅ ｏｐｅｒａｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ，ｓａｖｉｎｇ ｈｅ ｏｐｔｅｒａｔｉｏｎ ｔｉｍｅ ａｎｄ ａｌｌｅｖｉａｔｉｎｇ ｐａｔｉｅｎｔｓ ｐａｉｎ． Ｋｅｙ ｗｏｒｄｓ：ｈｕｍａｎ—ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ；Ｋｉｎｅｃｔ；ｏｐｅｒａｔｉｏｎ ａｕｘｉｌｉａｒｙ ｓｙｓｔｅｍ Ｏ 引 言 自然人机交互技术是人机交互技术的一个重要研 究方向，主要研究人和计算机之间如何用自然的方式 断 。然而，大量的影像资料也加大了医生在手术中 的工作量，医生需要经常查阅影像资料，这样就束缚了 医生的手术操作。 目前，尽管计算机辅助系统被大量地应用于手术 室中，但是其主要是基于鼠标、键盘等人机交互技术。 进行交互…。２００８年，比尔盖茨提出“自然用户界面 （Ｎａｔｕｒｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ，ＮＵＩ）”的概念，人机交互在近 几年发生了很大的改观，鼠标和键盘将逐渐地被更为 由于手术室中对无菌要求非常高，传统的鼠标键盘等 人机交互方式存在需要定期消毒，且医生无法在手术 过程中进行直接操作等。其需要护士为医生查找 相关的影像资料，这样既增加了不必要的交流，也耗费 掉了宝贵的手术时间。为了使医护人员从繁琐的重复 网络出版时间：２０１４－０７—１７ 地，博士，副教授，研究生导师，研究方向为嵌入 自然的触摸式、视觉式及语音控制界面所代替。 近年来，计算机断层扫描技术（ＣＴ）、核磁共振 （ＭＲＴ）等非侵人性医学成像技术大量应用于医疗诊 断中，这些技术的应用可以有力地辅助医生精确诊 收稿日期：２０１３～ｌ１—２Ｏ 修回日期：２０１４—０２－２１ 基金项目：上海市机械自动化及机器人重点实验室开放基金项目（ＺＺｌＯ０１） 作者简介：陈燕军（１９８９一），男，江西丰城人，硕士，研究方向为嵌入式系统和ＮＡＯ机器人；汪式系统开发、机器人控制。 网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／６１．１４５０．ＴＰ．２０１４０７１７．１２２６．００７．ｈｔｍｌ ・８８・ 计算机技术与发展 第２４卷 ４结束语 话题检测和跟踪是网络舆情系统最重要的应用之 一略研究［Ｊ］．中文信息学报，２００８，２２（２）：１０—１７． ［４］ 马彬，洪宇，陆剑江，等．基于线索树双层聚类的微博 话题检测［Ｊ］．中文信息学报，２０１２，２６（６）：１２１—１２８． ，几乎每个舆情系统都会应用话题检测和跟踪分析 网络舆情热点和突发事件。由于互联网每天发布的信 息量大，如何快速准确地发现热点话题和突发性事件 是近几年来舆情应用研究的热点。大多数研究者的共 识就是应用统计模型，在自动聚类的基础上进行话题 ［５］ 洪［６］常宇．基于语义结构和时序特征的话题检测与跟踪技术 鹏，马辉．高效的短文本主题词抽取方法［Ｊ］．计算 研究［Ｄ］．哈尔滨：哈尔滨工业大学，２００９． 机工程与应用，２０１１，４７（２０）：１２６—１２８． ［７］Ｈｏｆｍａｎｎ Ｔ．Ｐｒｏｂａｂｉｌｉｓｉｔｉｃ ｌａｔｅｎｔ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ［Ｃ］／／ｌ￣ｏｃ ｏｆＵＡＩ９９．［ｓ．１＿］：［ｓ．ｎ．］，１９９９． ［８］Ｌｉ Ｈａｎｇ，Ｙａｍａｎｉｓｈｉ Ｋ．Ｔｏｐｉｃ ａｎａｌｙｓｉｓ ｕｓｉｎｇ ａ ｆｉｎｉｔｅ ｍｉｘｔｕｒｅ 检测，将计算正确率的提高归结于聚类算法的改进上， 很少关注聚类时的策略和方法的改进。但实际上策略 和方法上的改进在一定应用范围内比算法改进更有 效。文中就是运用语法分析抽取文中所有句子的主 干，并根据主干提取ＶＳＭ向量。基于双向量的话题检 ｍｏｄｅｌ［Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ，２００３，３９ （４）：５２１－５４１． ［９］Ｌａｎｄａｕｅｒ Ｔ，Ｆｏｌｔｚ Ｐ，Ｌａｈａｍ Ｄ．Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｌａｔｅｎｔ ｓｅｍａｎｔｉｃ ｎａｌａｙｓｉｓ［Ｊ］．Ｄｉｓｃｏｕｒｓｅ Ｐｒｏｃｅｓｓｅｓ，１９９８，２５：２５９—２８４． ［１０］唐籍涛，李飞，郭昌松．网络舆情监控中新词识别问题的 测大大提高了检测的正确率，在网络舆情热点监测方 面得到了较好的验证和应用。下一步的工作将继续深 入研究特征向量的提取方法和中心向量提炼策略，在 语义分析的基础上进一步提高话题检测的正确率，从 而得到更好的应用效果。 参考文献： ［１］张小明，李舟军，巢文涵．基于增量型聚类的自动话题检测 研究［Ｊ］．软件学报，２０１２，２３（６）：１５７８—１５８７． ［２］ 王振宇，吴泽衡，唐远华．基于多向量和二次聚类的话题检 测［Ｊ］．计算机工程与设计，２０１２，３３（８）：３２１４—３２１８． ［３］ 米海涛，熊德意，刘群．中文词法分析与句法分析融合策 研究［Ｊ］．计算机技术与发展，２０１２，２２（１）：１１９—１２１． ［１１］林鸿飞，高天，姚天顺．中文文本的可视化表示［Ｊ］．东北 大学学报：自然科学版，２０００，２１（５）：５０１—５０４． ［１２］金珠，林鸿飞，赵晶．基于ＨｏｗＮｅｔ的话题跟踪及倾向 性分类研究［Ｊ］．情报学报，２００５，２４（５）：５５５—５６１． ［１３］赵华，赵铁军，张姝，等．基于内容分析的话题检测研 究［Ｊ］．哈尔滨工业大学学报，２００６，３８（１０）：１７４０—１７４３． ［１４］Ｈｏｔｈｏ Ａ，Ｓｔｕｍｍｅ Ｇ．Ｃｏｎｃｅｐｔｕａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ｔｅｘｔ ｃｌｕｓｔｅｒｓ ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＦＧＭＬ ｗｏｒｋｓｈｏｐ．Ｐｉｓｃａｔａｗａｙ，ＮＪ，ＵＳＡ： ＩＥＥＥ．２００２：１—９． （上接第８３页） －５６５． 室环境下协助医生进行手术以提高手术效率，减轻医 护人员劳动强度。医生可以在手术过程中随时使用自 己的手势、身体姿态及语音作为输入元素来实现病例 资料、医学影像和化验报告的切换；同时可以实现医学 影像的放大缩小、翻页、旋转等功能。 参考文献： ［１］余涛．Ｋｉｎｅｃｔ应用开发实战［Ｍ］．北京：机械工业出版 社，２０１２． ［７］ 吕开阳，叶华茂，李晓光，等．Ｋｉｎｅｅｔ体感技术在动物外科 实验教学中的应用及展望［Ｊ］．中国医学教育技术，２０１２， ２６（２）：１７１—１７３． ［８］Ｋｕｅｈｎ Ｔ．Ｔｈｅ Ｋｉｎｅｃｔ ｓｅｎｓｏｒ ｐｌａｔｆｏｒｍ［Ｊ］．Ａｄｖａｎｃｅ ｉｎ Ｍｅｄｉａ Ｔｅｃｈｎｏｌｏｇｙ，２０１１（６）：２１９２—２１９８． ［９］Ｇａｌｌｏ Ｌ，Ｍｉｎｕｔｏｌｏ Ａ，ｄｅ Ｐｉｅｔｒｏ Ｇ．Ａ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ ｆｏｒ ＶＲ— ｅｒａｄｙ ３Ｄ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ ｂｙ ｏｆｆ－ｔｈｅ－ｓｈｅｌｆ ｉｎｐｕｔ ｄｅｖｉｃｅｓ［Ｊ］． Ｃｏｍｐｕｔｅｒｓ ｉｎ Ｂｉｏｌｏｇｙ ａｎｄ Ｍｅｄｉｃｉｎｅ，２０１０，４０（３）：３５０—３５８． ［１Ｏ］陈一民，张云华．基于手势识别的机器人人机交互技术研 究［Ｊ］．机器人，２００９，３１（４）：３５１—３５６． ［１１］郝颖明，朱枫．外科手术计算机辅助导航技术［Ｊ］．生物 医学工程杂志，２００４，２１（２）：３０６—３１０． ［２］ 董士海．人机交互的进展及面临的挑战［Ｊ］．计算机辅助设 计与图形学学报，２００４，１６（１）：１—１３． ［３］Ｈｅｍａｎｄｅｚ—Ｌｏｐｅｚ Ｊ Ｊ，Ｑｕｉｎｔａｎｉｌｌａ—Ｏｌｖｅｒａ Ａ Ｌ，Ｌｏｐｅｚ— Ｒａｍｉｒｅｚ Ｊ Ｌ，ｅｔ ａ１．Ｄｅｔｅｃｔｉｎｇ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｃｏｌｏｒ ａｎｄ ｄｅｐｔｈ ［１２］Ｃｈａｎｇ Ｙ Ｊ，Ｃｈｅｎ Ｓ Ｆ，Ｈｕａｎｇ Ｊ Ｄ．Ａ Ｋｉｎｅｃｔ—ｂａｓｅｄ ｓｙｓｔｅｍ ｏｒｆ ｐｈｙｓｉｃａｌ ｒｅｈａｂｉｌｉｔａｔｉｏｎ：ａ ｐｉｌｏｔ ｓｔｕｄｙ ｆｏｒ ｙｏｕｎｇ ａｄｕｌｔｓ ｗｉｔｈ ｍｏ— ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ Ｋｉｎｅｅｔ ｓｅｎｓｏｒ［Ｊ］．Ｐｒｏｅｅｄｉａ Ｔｅｃｈｎｏｌｏｇｙ， ２０１２，３：１９６－２０４． ｔｏｒ ｄｉｓａｂｉｌｉｔｉｅｓ［Ｊ］．Ｒｅｓ Ｄｅｖ Ｄｉｓａｂｉｌ，２０１１，３２（６）：２５６６— ２５７０． ［４］李［５］ 邓斌，吴国斌．Ｋｉｎｅｃｔ引领人机交互变革［Ｊ］．程序员， 瑞，周玲玲，应忍冬．基于Ｋｉｎｅｃｔ深度信息的手势提取 ［１３］罗元，谢或，张毅．基于Ｋｉｎｅｃｔ传感器的智能轮椅手 ２０１１（９）：１００—１０３． 势控制系统的设计与实现［Ｊ］．机器人，２０１２，３４（１）：１１０一 ｌｌ３． 与识别研究［Ｊ］．计算机应用研究，２０１３，３０（４）：１２６３— １２６５． ［１４］Ｍｉｃｈａｅｌ Ｎ，Ｆｉｎｋ Ｊ，Ｋｕｍａｒ Ｖ．Ｃｏｏｐｅｒａｔｉｖｅ ｍａｎｉｐｕｌａｔｉｏｎ ａｎｄ ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｗｉｔｈ ａｅｒｉａｌ ｒｏｂｏｔｓ［Ｊ］．Ａｕｔｏｎｏｍｏｕｓ Ｒｏｂｏｔｓ， ２０１１，３０（１）：７３－８６． ［６］何贝，王贵锦，林行刚．结合Ｋｉｎｅｃｔ深度图的快速视频抠 图算法［Ｊ］．清华大学学报：自然科学版，２０１２，５２（４）：５６１
