文摘
我们开发了一种非接触式接口,利用手势来有效地控制医学图像在手术室。我们开发了一个内部程序称为GestureHook利用消息连接技术动作转化为特定的功能。定量评价的这个项目中,我们使用手势来控制图像的动态胆道CT研究和比较结果与一只老鼠(年代年代;)和测量特定手势的识别速度和成功率的任务根据临床场景。对于临床应用程序,这个程序成立于整形手术的手术室浏览图片。外科医生从三个不同的程序:浏览图像CT图像从pac项目,volume-rendered 3 d pac项目的图片和手术规划照片从一个基本的图像查看程序。所有程序可以无缝地由手势和动作的控制。这种方法可以控制所有手术室项目没有源代码修改,为外科医生提供一种新的方式来安全地浏览图片和手术期间轻松地切换应用程序。
1。介绍
查看或浏览医学图像在手术室里总是困难的,特别是在外科手术。外科医生依靠其他医生或护士改变形象被视为他们的兴趣之一。因为键盘和鼠标不使用适当的设备由于细菌感染的潜在风险,必须开发新的image-controlling接口用于手术室(1]。几项研究已经试图解决这个问题通过使用其他设备,如操纵杆控制手术室电脑(2),以及通过使用图像处理技术将医生的姿态的实时图像转化为行动(3]。此外,随着传感器技术的进步,Kinect™(微软公司,微软,佤邦)传感器,检测手势和动作已经被用于识别关节和动力学运动通过嵌入式摄像头和红外辐射传感器4,5]。
有恒定的请求从我们医院的医生发现更有效的方式使用计算机软件,特别是医学影像软件,在手术室手术和放射干预措施。已有多种方法被用于我们的医院,从远程控制设备和无线鼠标的帮助其他员工。例如,远程控制软件的控制装置使遥控器上的一个按钮是与现有的键盘或鼠标按钮。尽管这些设备的使用可以方便,他们不适合使用在手术室由于缺乏无菌。无线鼠标也被使用,但是精度严重依赖于电脑上的鼠标和接收器之间的距离。此外,信号干扰发生往往使它的使用作为一个可靠的输入设备。
在我们目前的研究中,我们开发了一个基于跳跃运动手势界面™(跳跃运动Inc .,旧金山,CA)传感器设备和手势操作集成到PetaVision3D(峨山医疗中心,首尔,韩国)(6),内部三维pac软件供临床使用。使用gesture-detecting传感器设备的组合,一个可选的脚踏板,和内部三维pac软件,主要目标是使手上面3 d pac的传感器触发操作软件。这些操作包括图像缩放,滚动、旋转,平移和调整窗口宽度和窗口的水平。所有操作都是基于非接触式和手势,认出使用跳跃运动传感器,和非成象等操作的选择积极的目标图像窗口或类型的操作是通过按下脚踏开关上的三个按钮的组合。然而,修改目标软件的源代码是一个主要的约束,因为我们只能够修改内部程序。提高我们之前的方法,我们添加了另一个选项,使用户能够控制所有的软件,而无需修改源代码。这是通过重新设计我们的接口和实现一个名为GestureHook的消息连接程序,将手势到特定的用户定义函数。
2。材料和方法
首先,我们开发了一个手势界面,更有效地控制医学图像比传统的鼠标和键盘接口。要实现这个概念,我们添加了一个手势识别模块3 d pac volume-rendered图像的操作软件和测试。创建一个新类命名MotionListener听传入信号的跳跃运动设备(图1)。这个类是负责接收帧从传感器设备和解析数据转换成行动按照预定义的手势。MotionListener类LayoutManager阶级的一员,负责处理所有的形象窗口。通常情况下,有四个ImageWindow LayoutManager当加载程序实例。初始化每个ImageWindow作为轴向,冠状、矢状,或考试的体绘制视图。
手势被定义和分类为缩放、旋转、旋转和缩放,窗口宽度,窗口的水平,和不透明度传递函数VRT(体绘制技术)和MPR多平面重建图像。双手在传感器设备时,左手作为启用开关检测手势,手势和动作的右手跟踪应用的形象。在四个方向移动的手从上到下和从左到右进行平移操作。将手向四个方向的任何解释为旋转操作。移动的手远离身体被解释为移动设在对象的,导致放大操作。特别是,旋转和缩放的同时结合执行与鼠标和键盘操作是不可能的。我们可以创建使用三维坐标转换矩阵和向量和应用它们同时volume-rendered对象。同时,移动鼠标指针与手势为了使用一些现有的功能程序,一个额外的功能是实现模拟鼠标的动作。其他操作定义,如图像从一个窗口到另一个地方,使程序中的指针,所以自由流动的用户可以使用软件提供的所有功能。两只手被用于这个接口和手势都是capture-enabled一方面,形状像一个拳头,抓起。
操作一个脚踏板也实现,这样用户可以用一只手和一只脚,而不是两只手。扣的脚踏板用于操作发生以外的形象窗口。这些操作包括改变操作的类型在图像窗口中,将目标图像窗口,并触发开关启用或禁用手势的检测。考虑到用户可能会发现脚踏板使用不方便,操作分配给设备是相同设备中实现跳跃运动。脚踏板装置是可选的,所以用户可以决定使用哪一个他们喜欢。
另外,为了控制其他软件常用的手术室,除了我们的内部3 d pac,我们开发了一个项目叫做GestureHook(图2)。我们这个项目在3 d pac,这样用户可以很容易地从3 d pac切换到其他程序,反之亦然。这个想法是控制电脑上的所有软件运行在手术室,不管能力访问和修改目标程序的源代码控制(图3)。程序架构允许它的用户之间的中介和目标程序控制的手势。整个过程开始时,听着运动传感器发送的数据,认识到数据作为手势,手势翻译成信息,最后将这些消息发送给活动程序,自动检测。动作和手势都是可视化实时预览部分程序的内部,使初次用户快速适应的手势界面观察他们的手移动传感器设备。当GestureHook程序识别手势动作,一方面骨架预览部分的颜色从白色变为红色(图4)。一旦用户已经学会了如何适当地使用这个程序,该程序可以最小化或发送到后台。
(一)
(b)
实施上述方法后,我们收集所有必要的硬件和软件的集成手势界面和安装在移动工作站(图5)。硬件设备包括一个跳跃运动传感器和飞利浦™脚踏板(飞利浦,阿姆斯特丹,荷兰)可选的使用。软件包括3 d pac、2 d pac,照片查看器,GestureHook应用程序。移动工作站配备的电池持续超过6小时,所有电线和领导都嵌入设备,这是一个理想的适合手术室。移动工作站是进入手术室,外科医生可以利用手势在程序界面。
(一)
(b)
(c)
(d)
3所示。结果与讨论
手势界面的评估是使用两种方法进行的。首先,新方法的性能是评价通过比较所需的时间执行相同的动作手势和鼠标之间的接口。同时,为了衡量新模型的准确性,我们检查基本手势的识别速度和准确地完成任务的数量在真实的场景中。第二种方法涉及到测量有效性的实用性在临床的设置。最大化的有效性新接口在一个复杂的手术室环境,我们安装了设备的3 d pac, 2 d pac和GestureHook应用程序在移动工作站。
评价性能,认为保存的时间通过使用非接触式接口控制volume-rendered对象与一定程度的准确性,10多个骨折患者与头部CT扫描协议在峨山放射科医学中心。接下来,我们比较了两个接口传统的鼠标和键盘接口和非接触式运动和手势interface-when获得正交视图轨道的眼睛从最初的观点(图6)。测试执行如下。在工作站上所有数据被加载。首先,正交视图是由放射科医生只有鼠标。重置的观点后,非接触式接口用于获取相同的观点。所有的测试测量用秒表和配对以及。均值±SD时代的需要用鼠标和非接触式接口和分别为(表1)。非接触式接口的操作时间明显短于鼠标的接口()。
(一)
(b)
测量精度的新界面,首先测量了识别的一些基本的手势(表2)。这些手势包括攻丝或捏手指,抓住手,并执行鼠标单击和双击。每个手势执行100次,GestureHook程序计算的数量成功识别的尝试。大部分手势很大程度上都是准确的,除了左手手指缩放手势和鼠标双击动作。这些识别利率可能取决于运营商的独特属性,比如他们的手和手指的形状,不同的手势或动作的速度。改进需要完善这些手势信号为更可靠的数据。鼠标双击手势,点击的两个阶段之间的间隔可以由用户定制GestureHook计划,这可能导致更好的结果。
接下来,我们看的有效性结合这些手势来完成任务,在真实的场景中。这些场景可能包括实际任务执行在手术室甚至阅览室,如浏览轴向CT扫描图像,移动光标和改变活动的软件,和查看其他病人的照片。每个场景进行了10次,结果通常是成功的在所有四个场景中。
移动工作站当时进入手术室后评估(图7)。非接触式接口3 d pac系统连同GestureHook用于准确、安全地浏览双颚手术病人的图像没有潜在的污染。在此设置包括VRT图像的类型从3 d pac和MPR图像,从2 d pac, CT扫描和6个手术规划照片。单独执行的操作是由外科医生和指令系统的时间还不到几分钟。
(一)
(b)
手术时间明显缩短了使用非接触式接口因为用户迅速适应了新的接口。缩短操作时间的主要原因是因为非接触式接口允许同时3 d对象的旋转和缩放。我们能够识别向量的变化从传感器接收设备和应用两种不同的手势图像在同一时间。同时,外科医生很容易能够切换到其他应用程序来查看其他图片。
使用这个接口在手术室与我们现有的软件已经非常成功。虽然这个接口是不够精确控制医院中使用的其他软件,如电子医疗记录系统或通信系统,它是适合浏览图片没有鼠标和键盘的使用。然而,有更好的理由增加界面的精度。更精确的设备可以用来控制手动作的灵敏度为了快速测量的距离在3 d对象或指向某个感兴趣的地区。所有设备和软件的结合成一个移动工作站是一个完美的适合手术室,因为工作站提供持久的电池供电(超过6小时),而不需要外部电源。
4所示。结论
我们已经开发出一个手势界面,可以嵌入到现有的软件,可以修改或使用软件,不能修改。首先,我们的接口集成到我们的内部三维pac软件。我们比较的准确性、有效性和直觉的新界面与传统的鼠标和键盘接口。因为医生在手术室里被要求控制其他现有软件充分利用手势界面,我们开发了一个消息连接程序检测手势控制程序。这个程序为外科医生提供了一种新的安全浏览图像在手术过程中。实际应用程序的接口,我们收集了所有组件到一个移动工作站和移动到手术室。基本界面指令后给医生,在手术过程中使用的非接触式接口是通过浏览volume-rendered和多平面图像的三维pac的视图CT扫描软件和2 d pac和手术规划从其他照片图像浏览软件。
在这项研究中最具创新特点是可以控制医学图像的非接触式接口多个程序没有任何修改源代码。用户也可以自定义映射的手势和特性根据他们的偏好。GestureHook可以使用单独的传感器设备或与其他输入设备。无论哪种方式程序提供了无与伦比的用户体验和提高性能在临床设置。
尽管如此,一些新系统应该增强。最重要的一个特性,应该实现的其他传感器设备和可穿戴设备GestureHook程序。当用户需要手势和身体的其他部位,其他设备可能适合检测这些肢体语言。我们相信GestureHook程序应该最终会发展成一个集成界面翻译手势从各种设备信息。我们希望进一步改善,这手控界面通过维护一个与软件开发人员密切合作,工程师,医生,贡献了他们的专业技能。
利益冲突
作者宣称没有利益冲突有关的出版。
确认
本研究支持的技术创新项目(10041618和10041618)资助的知识经济部(MKE)的韩国。本研究也支持格兰特(2013 - 7401)从峨山生命科学研究所,首尔,韩国。