第24卷第9期 2014年9月 计算机技术与发展 COMPU IER TECHNOLOGY AND DEVELOPMENT Vo1.24 No.9 Sep. 2014 基于Kinect的手术辅助系统研究 陈燕军,汪 地,杨 浩,卢泉奇,苗同升 (上海大学上海市机械自动化及机器人重点实验室,上海200072) 摘要:针对手术室无菌环境要求非常高的现实需求,以及传统鼠标键盘等人机交互方式存在的需要定期消毒且无法在 手术过程中进行操作等客观,对目前手术室中人机交互存在的问题进行了分析,提出了一套基于Kinect自然人机交 互技术的手术辅助系统。该系统包括一个病人资料库、一套Windows系统下基于Kinect自然人机交互技术的控制程序及 一套Kinect手术辅助系统硬件。实验结果表明通过Kinect可以收集操作者的手势、动作、声音等,并将其转化为操作系统 可以理解的命令,对手术辅助系统进行相关操作,从而辅助手术进行。该系统对于改善手术条件、节省手术时间、缓解病 患痛苦具有一定帮助。 关键词:人机交互;Kinect;手术辅助系统 中图分类号:TP391 文献标识码:A 文章编号:1673—629X(2014)09-0081-03 doi:10.3969/j.issn.1673—629X.2014.09.O18 Research on Operation Auxiliary System Based on Kinect CHEN Yan-jun,WANG Di,YANG Hao,LU Quan-qi,MIAO Tong—sheng (Shanghai Key Laboratory of Mechanical Automation and Robotics,Shanghai University, Shanghai 200072,China) Abstract:Aiming at the high demand for sterile operating room environment and the objective cons ̄ains of regular disinfection and not operating during the opemtion for traditional interactive ways such as mouse nd akeyboard,analyze he thuman—computer interaction prob— lems in the operating room,and put forward a set of operation auxiliary system based on natural Kinect human computer interaction tech— nology.The system includes a patient database,a set of control procedure based on natural Kinect human-computer interaction tchnoleogy under Windows system and a set of Kinect operation auxiliary system hardware.The experimental results show that he Kitnect Can collect he toperator gesture,movement,sound and SO on,that change to the command which the operating system could understand,carrying out corresponding operation for the system to suppo ̄the operation.The system is beneficil faor improving the operation conditions,saving he opteration time and alleviating patients pain. Key words:human—computer interaction;Kinect;operation auxiliary system O 引 言 自然人机交互技术是人机交互技术的一个重要研 究方向,主要研究人和计算机之间如何用自然的方式 断 。然而,大量的影像资料也加大了医生在手术中 的工作量,医生需要经常查阅影像资料,这样就束缚了 医生的手术操作。 目前,尽管计算机辅助系统被大量地应用于手术 室中,但是其主要是基于鼠标、键盘等人机交互技术。 进行交互…。2008年,比尔盖茨提出“自然用户界面 (Nature User Interface,NUI)”的概念,人机交互在近 几年发生了很大的改观,鼠标和键盘将逐渐地被更为 由于手术室中对无菌要求非常高,传统的鼠标键盘等 人机交互方式存在需要定期消毒,且医生无法在手术 过程中进行直接操作等。其需要护士为医生查找 相关的影像资料,这样既增加了不必要的交流,也耗费 掉了宝贵的手术时间。为了使医护人员从繁琐的重复 网络出版时间:2014-07—17 地,博士,副教授,研究生导师,研究方向为嵌入 自然的触摸式、视觉式及语音控制界面所代替。 近年来,计算机断层扫描技术(CT)、核磁共振 (MRT)等非侵人性医学成像技术大量应用于医疗诊 断中,这些技术的应用可以有力地辅助医生精确诊 收稿日期:2013~l1—2O 修回日期:2014—02-21 基金项目:上海市机械自动化及机器人重点实验室开放基金项目(ZZlO01) 作者简介:陈燕军(1989一),男,江西丰城人,硕士,研究方向为嵌入式系统和NAO机器人;汪式系统开发、机器人控制。 网络出版地址:http://www.cnki.net/kcms/detail/61.1450.TP.20140717.1226.007.html ・88・ 计算机技术与发展 第24卷 4结束语 话题检测和跟踪是网络舆情系统最重要的应用之 一略研究[J].中文信息学报,2008,22(2):10—17. [4] 马彬,洪宇,陆剑江,等.基于线索树双层聚类的微博 话题检测[J].中文信息学报,2012,26(6):121—128. ,几乎每个舆情系统都会应用话题检测和跟踪分析 网络舆情热点和突发事件。由于互联网每天发布的信 息量大,如何快速准确地发现热点话题和突发性事件 是近几年来舆情应用研究的热点。大多数研究者的共 识就是应用统计模型,在自动聚类的基础上进行话题 [5] 洪[6]常宇.基于语义结构和时序特征的话题检测与跟踪技术 鹏,马辉.高效的短文本主题词抽取方法[J].计算 研究[D].哈尔滨:哈尔滨工业大学,2009. 机工程与应用,2011,47(20):126—128. [7]Hofmann T.Probabilisitic latent semantic analysis[C]//l ̄oc ofUAI99.[s.1_]:[s.n.],1999. [8]Li Hang,Yamanishi K.Topic analysis using a finite mixture 检测,将计算正确率的提高归结于聚类算法的改进上, 很少关注聚类时的策略和方法的改进。但实际上策略 和方法上的改进在一定应用范围内比算法改进更有 效。文中就是运用语法分析抽取文中所有句子的主 干,并根据主干提取VSM向量。基于双向量的话题检 model[J].Information Processing and Management,2003,39 (4):521-541. [9]Landauer T,Foltz P,Laham D.Introduction to latent semantic nalaysis[J].Discourse Processes,1998,25:259—284. [10]唐籍涛,李飞,郭昌松.网络舆情监控中新词识别问题的 测大大提高了检测的正确率,在网络舆情热点监测方 面得到了较好的验证和应用。下一步的工作将继续深 入研究特征向量的提取方法和中心向量提炼策略,在 语义分析的基础上进一步提高话题检测的正确率,从 而得到更好的应用效果。 参考文献: [1]张小明,李舟军,巢文涵.基于增量型聚类的自动话题检测 研究[J].软件学报,2012,23(6):1578—1587. [2] 王振宇,吴泽衡,唐远华.基于多向量和二次聚类的话题检 测[J].计算机工程与设计,2012,33(8):3214—3218. [3] 米海涛,熊德意,刘群.中文词法分析与句法分析融合策 研究[J].计算机技术与发展,2012,22(1):119—121. [11]林鸿飞,高天,姚天顺.中文文本的可视化表示[J].东北 大学学报:自然科学版,2000,21(5):501—504. [12]金珠,林鸿飞,赵晶.基于HowNet的话题跟踪及倾向 性分类研究[J].情报学报,2005,24(5):555—561. [13]赵华,赵铁军,张姝,等.基于内容分析的话题检测研 究[J].哈尔滨工业大学学报,2006,38(10):1740—1743. [14]Hotho A,Stumme G.Conceptual clustering of text clusters [C]//Proceedings of FGML workshop.Piscataway,NJ,USA: IEEE.2002:1—9. (上接第83页) -565. 室环境下协助医生进行手术以提高手术效率,减轻医 护人员劳动强度。医生可以在手术过程中随时使用自 己的手势、身体姿态及语音作为输入元素来实现病例 资料、医学影像和化验报告的切换;同时可以实现医学 影像的放大缩小、翻页、旋转等功能。 参考文献: [1]余涛.Kinect应用开发实战[M].北京:机械工业出版 社,2012. [7] 吕开阳,叶华茂,李晓光,等.Kineet体感技术在动物外科 实验教学中的应用及展望[J].中国医学教育技术,2012, 26(2):171—173. [8]Kuehn T.The Kinect sensor platform[J].Advance in Media Technology,2011(6):2192—2198. [9]Gallo L,Minutolo A,de Pietro G.A user interface for VR— erady 3D medical imaging by off-the-shelf input devices[J]. Computers in Biology and Medicine,2010,40(3):350—358. [1O]陈一民,张云华.基于手势识别的机器人人机交互技术研 究[J].机器人,2009,31(4):351—356. [11]郝颖明,朱枫.外科手术计算机辅助导航技术[J].生物 医学工程杂志,2004,21(2):306—310. [2] 董士海.人机交互的进展及面临的挑战[J].计算机辅助设 计与图形学学报,2004,16(1):1—13. [3]Hemandez—Lopez J J,Quintanilla—Olvera A L,Lopez— Ramirez J L,et a1.Detecting objects using color and depth [12]Chang Y J,Chen S F,Huang J D.A Kinect—based system orf physical rehabilitation:a pilot study for young adults with mo— segmentation with Kineet sensor[J].Proeedia Technology, 2012,3:196-204. tor disabilities[J].Res Dev Disabil,2011,32(6):2566— 2570. [4]李[5] 邓斌,吴国斌.Kinect引领人机交互变革[J].程序员, 瑞,周玲玲,应忍冬.基于Kinect深度信息的手势提取 [13]罗元,谢或,张毅.基于Kinect传感器的智能轮椅手 2011(9):100—103. 势控制系统的设计与实现[J].机器人,2012,34(1):110一 ll3. 与识别研究[J].计算机应用研究,2013,30(4):1263— 1265. [14]Michael N,Fink J,Kumar V.Cooperative manipulation and transportation with aerial robots[J].Autonomous Robots, 2011,30(1):73-86. [6]何贝,王贵锦,林行刚.结合Kinect深度图的快速视频抠 图算法[J].清华大学学报:自然科学版,2012,52(4):561