文摘
检测仪器提示视网膜显微手术的视频中极具挑战性由于快速运动,光照变化,杂乱的背景,可变形形状的工具。出于同样的原因,频繁的故障跟踪添加的开销仅跟踪。在这项工作中,新方法提出了本地化不仅仪器中心点,而且其技巧和取向,无需手动仅。我们的方法作为条件随机场模型仪器(CRF)分别检测仪器的每一部分。这些部分之间的关系建模来捕获翻译、旋转和尺度变化的仪器。跟踪是通过单独的仪器检测部分和评估的信心通过建模功能的依赖。在反馈信心不足的情况下执行自动恢复过程。算法评估体内眼科手术数据集和其性能与最先进的方法与优势,没有手册仅是必要的。
1。介绍
视网膜显微手术是最微妙的操作需要microprecision医疗器械。使用这样的工具是由手动操纵视网膜组织的外科医生。一个有效反馈的工具提示和视网膜之间的距离会减少组织损伤引起的无意的视网膜。最近,眼科手术显微镜配有术中光学相干断层扫描(OCT),它被用于(1)来估算工具视网膜表面的距离。然而,连续实时检测仪器的技巧和工具取向仍然需要10月启用自动重新定位扫描期间住手术。图1描绘了两个10月扫描获得的工具提示和轴的取向。适当的位置使用十字标记。第一个扫描(白色)是位于两个技巧,10月和相应的截面图的上半部分所示1 (b)显示了视网膜表面和两个技巧有多远。第二正交扫描(蓝色)沿着仪器定位轴和相对应的横截面扫描显示在图的下方1 (b)。深度信息显示视网膜表面和深度钳中心的点。随深度增加现场的2 d坐标信息除了乐器技巧带来了新的微创手术的优点。检测和跟踪仪器提示需要提供10月设备与新职位的信息,这是最具挑战性的一步,尤其是对于镊仪器。许多因素如杂乱的背景,存在的血管,仪器的影子,和快速光照跟踪质量有负面影响。最近的方法(2,3)建模部分的仪表作为一个多部分对象以线性的方式相互连接。这种方法没有能力检测仪器提示的钳使用线性条件的地区分布很不满意。
(一)
(b)
在本文中,一个新的仪器检测、跟踪和姿态估计提出了解决方案。这个解决方案放松的线性配置仪器的零部件和提供更健壮的模型来处理不同类型的钳用于眼科手术。我们的方法作为条件随机场模型仪器(CRF)的仪器检测到的不同部分的二维空间图像。多个模型来捕获实现平移、旋转、尺度变化的部分。方法在最先进的方法的一个很大的优势是能够处理实时跟踪失败。这种情况下往往发生在现实复杂的数据集。该算法保持信心值知道是否继续跟踪检测或检测自动初始化。的第二个成就我们的方法是,它是第一个方法,我们最好的知识,不仅可以定位仪器的建议,但也其取向镊仪器。因此,它提供了所需的所有参数位置10月扫描获得技巧和视网膜表面之间的距离。实验结果证明效率、鲁棒性和准确性的方法体内真实场景和工作在长视频的能力。 Comparisons with the state of the art on public and laparoscopic datasets demonstrate comparable results with the advantage that no manual reinitialization is needed.
2。以前的工作
多的研究已经解决的问题检测和跟踪医疗器械包括颜色(4,5和几何投影6- - - - - -8)方法。最近的工作Roodaki et al。1]提出了估算工具提示视网膜表面深度通过构建他们的方法仪器跟踪算法。尽管深度的高精度估计,该算法依赖于10月手动定位扫描或跟踪算法可以很容易失败在高的外观变化。许多仪器跟踪和检测算法是发达与10月集成深度估计算法。然而,有许多的局限性中使用这些算法防止他们真正的体内手术。Sznitman et al。9)提出了一个统一的框架来解决检测和跟踪是一个密度估计问题。这个方法是模型的基础仪器定位作为一个序列熵最小化问题估计3自由度参数需要本地化工具提示。该方法评估使用简单的玻璃体切除术的乐器,它不是在钳用于视网膜剥离操作。因此,这种方法不能本地化钳自动定位的两个技巧10月扫描。提出了建模工具的多个线性连接部分(2),但线性约束限制了其功能检测的中心点,以防镊仪器为微创手术是不够的。基于机器学习的探测器(10)和在线学习方法(11)曾跟踪仪器未经检测的中心点钳技巧。Reiter et al。6)提出了一个解决方案来跟踪仪器利用其表面上的地标。基于颜色、位置和梯度特征相关的地标训练随机的蕨类植物。仪器的3 d位置检索匹配追踪的特性的立体相机使用归一化互相关。该方法实现定位精度高。然而,它不能在视频帧速率由于提取所有这些特性的计算成本。此外,一些标志性建筑的遮挡由于仪器旋转可能导致高定位错误。另一种方法(123 d]提出了铰接仪器跟踪腹腔镜图像,颜色信息是用于仪器部分分割。分割区域由不同的统计模型,以描述估计造成仪器的3 d空间。光流是用于跟踪从图像到另一个。昂贵的特征提取的方法也限制和高灵敏度的光的变化。雷基et al。13)提出了利用回归森林本地化钳边界框内提示。然而,这个边界框提供使用灰度追踪。因此,一旦跟踪丢失,操作必须手动中断10月重新启动设备。最近工作(3]提出使用深度学习检测仪器部件和估计其取向。方法取得了类似的结果,最先进的方法,但计算昂贵以及它不能检测到两个钳技巧。一般来说,大多数的局限性是由于时间复杂度或无法检测到两个技巧和钳钳取向处理在本文的工作。
3所示。该方法
医疗器械,在这工作,被建模为扇形的对象,每个部分分别能被探测到。根据使用功能,检测部分使用的大部分机器学习分类器会导致大量的虚假检测尤其是结构减少像我们的目标对象。然而,这些检测,包括真正的积极的,形成一个新的,减少搜索空间内的2 d图像空间代表仪表部分的假设空间。因此,寻求目标是减少空间中的特定仪器检测部分,这样检测的部分将是最终的仪器配置。前仪器部件和它们之间的关系的信息集成基础上的检测在一个模型,以过滤掉绝大多数的错误检测和最终得到的最优配置工具。仪器信息可以包括之前的相对长度部分,它们之间的角度,夹持长度,可能的运动关节,当前状态的可能变化,等等。给予不同的模型,表示为概率分布,描述信息仪器之前,和一些潜在的仪器配置,那么我们的方法的最终目标是为最好的优化配置(仪器构成),如图2(一个)最大化的可能性分布的先验模型。为此,该仪器在我们CRF的建模方法随机变量和的因子图模型图所示2 (b)。每一个随机变量对应于一种乐器,这些变量之间的边表示条件依赖性的部分可以被描述为一个物理约束。仪器构成是由配置,每个变量的状态代表的2 d位置和仪表部分是取自离散空间。考虑观测的一个实例对应于仪器部件特性,参考姿势和乐器配置;后被定义为 在哪里配分函数和吗是一元得分函数。,,,的图边缘模型使用不同仪器之间的运动学约束部分势函数。是二进制势函数模型钳爪之间的距离变化之间的连接的端点基于钳中心点和每一个技巧。和是三元势函数,以确保一致性的相对长度的左右部分夹具以及他们是否可以由一个小地区的形象。旋转势函数估计配置定义基于可能性分布描述仪器部件之间的适当的角度。一旦钳假设部分被检测到,从这些假设在一个不同的配置定义感兴趣的区域(ROI)与潜力评价函数来选择一个配置。这个配置是最大化后在(1),它代表了钳姿势。
(一)
(b)
在下一节中,我们介绍一元潜在的用于定义一些可能的坐标仪部分,其次是不同类型的潜在功能对仪器部件和运动约束代表我们之前的模型工具。
3.1。一元势
一元势函数是为了给出一个分数为每个仪器部分假设。每个假说有信心值是一个概率分配到2 d图像的像素来表达其程度属于一个特定的部分工具。回归森林(14面向]是训练有素的直方图的梯度(猪)15为此特性和视为一个多级探测器。回归森林是一个类标签的输出为每个假说和信心值预测。类标签的数量设置为随机变量的数量的CRF + 1背景。每个仪器的信心值假设中定义的一部分 在哪里森林和树木的数量的概率是由一棵树来表达其属于一个特定的仪器部分。给出的概率是基于测试的功能与。这个词支持部分假设这是接近最后的部分根据它们之间的距离,给出的
3.2。二进制翻译势
技巧和中心点之间的距离在不同尺度和方向的变化。翻译势模型左派和右派的这些翻译技巧的中心点测量仪器的假设之间的连接性部分参与转化的边缘,如图2 (b)。例如,给定一个假设左边的部分和一个假设检测中心的部分,它们之间的连通性计算沿着不同二次贝塞尔曲线由控制点的位置控制,如图3。的控制点被放置在正交向量向量。点的距离来指定的形状曲线连接和。由曲线表示,概率连接在每个曲线是由以下方程: 在这是一个归一化的因素。曲线是由假设段。每一段是一个连接组件的像素沿着一个曲线。连接的组件从二进制图像中提取阈值的梯度图像输入创建的微观图像。的点和覆盖在二进制图像和被认为是强连通如果至少一个边缘曲率的贝塞尔曲线一致的爪。这条曲线可能包含零(没有连接假设被设置为数值稳定性)、一个或多个段。改变的位置由不同的值使算法能够处理各种类型的不同曲率沿夹钳,如图3。连通性测量(4)建模支持更长的片段和惩罚短为了健壮的嘈杂的图像。翻译势函数中最大概率曲线,它是定义在(5)。这个概率更高的价值意味着更强的连通性和更高的潜在假设属于爪的终点: 沿着左和右连接的部分夹以同样的方式计算但不同定位的控制点。
3.3。三元势
相对长度的函数用于模型之间的相对长度左右爪部分中给出了高斯分布和(6)。函数是旨在提高算法鲁棒性的错误检测的结构像血管附近的工具提示。模型参数和估计从地面真理。此外,夹持长度应符合轴长度的ROI的配置选择。因此,一致性函数建模支持选定的夹持部分长度小于一半的大小ROI边长。否则,函数的输出是一个小概率惩罚这个配置。通过这种方式,假设不一致的组合部分处罚: 在哪里,,分别是中心,左,和正确的假设。
3.4。第四纪旋转潜在
任何配置仪器的形成一个角三倍在其部分视为随机变量。旋转的潜力(7)模型之间的关系这些随机变量两个多元高斯分布的混合物。一个分布模型变量之间的关系时,仪器关闭或即将关闭,而其他分布与不同程度开放的仪器。每个分布的参数(均值和协方差从地面真理)估计,为一个分布和其他: 在哪里,,,离开中心,分别和轴的假设。
3.5。推理的仪器构成
我们使用遗传算法(16)来推断一个最大化后方程的近似解
遗传算法的最重要部分是染色体的表示和适应度函数的定义。每个染色体代表一个配置有四个基因代表关节坐标。适应度函数设置为函数在(后1),这取决于之前的模型仪器的运动学和给出的初始假设概率回归森林。该算法首先初始随机产生1000配置,考虑初始种群。在这些配置,应用交叉成对交叉基因在特定的索引生成更多的从目前的人口变化。跳过局部极大值然而,使算法在优化过程中,变异操作是用来取代随机基因与其他社区。生产配置使用适应度函数进行评估,并形成新一代的最佳评估配置。解决方案是取得或没有固定数量的迭代收敛后连续两代。
一旦第一帧的姿态估计,减少周围感兴趣的区域(ROI)定义仪器中心点检测空间限制在下一帧。ROI逐渐扩大,当任何仪器部分是失踪的一元检测或推断的信心造成很低。信心不足的最终解决方案优化后发生的情况低或旋转的可能性分布小的潜在产出的一致性。这些情况下意味着解决方案不能有正常的钳形或已经形成的假在ROI检测,这就要求仅通过扩大ROI自动被触发。
4所示。实验和结果
实验验证该方法是进行三种不同的显微外科的数据集。第一个数据集,称为“蔡司的数据集,”由八个序列接受手术与框架解决人类的眼睛像素,downsampled原始大小的四分之一。原始大小序列实验证明将采样对检测精度的影响很小。第二个数据集是公开的(101171的图片像素。不执行将采样数据集。第三个数据集是腹腔镜手术与1000年数据集图像可用在YouTube上(http://www.youtube.com/watch?v=IVp1sgjQ5To)。评估该算法通过估计造成的仪器出现在腹腔镜手术由于其他乐器有一个固定的姿势。使用三种不同的算法的性能评估指标:精度阈值评分由Sznitman et al。10)来衡量每个仪器联合pixel-wise检测精度,严格的比例正确的部分(严格的卡式肺囊虫肺炎)17爪零件检测准确性,角阈值评分中定义(5)测量的精度估算轴的取向。该算法运行在为公共和腹腔镜数据集和fpsfps蔡司数据集在一个正常的个人电脑。回归森林树的最大深度使用。猪的特性本大小设置为块大小像素。
4.1。蔡司的数据集
算法评估序列如图4,每个序列来自不同的手术有不同的条件。在临床使用,以获得最大的可靠性从第一个图片序列用于培训。测试是剩下的除了每个序列图像其他看不见的序列。测试图像的数量从每个数据集表中列出1。每个培训框架注释点:左和右技巧,中心点,点轴中心线。训练样本图像手动集群来打开和关闭状态旋转高斯分布的参数估计。由于仪器轴直径像素,我们评估使用值之间和像素精度的阈值。图4显示了不同的比例的正确预测位置关节的乐器。结果表明,在90%的测试图像提示检测不到50像素(轴直径)错误。严格的卡式肺囊虫肺炎的左和右爪的零件(用于人体姿态估计评价)为每个序列中描述表1显示算法的鲁棒性和泛化能力的新序列。
(一)
(b)
4.2。公共数据集
该方法是较先进的方法:MC-15 [13],MC-14 [2],MC-12 [10SCV], [18],MI [19),SSD。公众的评价包括两个序列数据集。第三个序列是省略,如(2),由于其短长度使它适合用于训练目的。在第一个实验中,分别训练完成上半年每个序列和测试在下半年。中心的检测精度点如图5显示了该方法的可比性的最先进的方法不需要手动仅的优势。例如,20像素的阈值(轴直径),中间点在95%以上的正确检测到图像在这两种情况下。阈值准确性分数检测的两个技巧钳在每一个序列图进行描述7。
在第二个实验中,在整个数据集上执行培训(两个序列的前两个部分)和测试完成第二部分。的性能检测钳技巧和钳中心点图所示7贴上前缀。严格的卡式肺囊虫肺炎分数表列出了两个实验2和MC-15相比13)这是唯一最先进的方法,可以找到钳虽然只有跟踪方法和使用手动初始化来处理跟踪失败手术。
4.3。腹腔镜数据集
我们相比性能MC-15 [13],MC-12 [10],ITOL [11],MF [11],DT (11]。类似于这些方法,培训完成上半年的数据集和下半年的测试。比较我们的方法的性能检测中心与其他方法使用精度阈值如图6。很明显,我们的方法优于大多数先进的方法和达到类似的结果ITOL也是一个跟踪方法和不切实际的生活手术由于所需的手动仅。检测的准确性阈值分数每个提示如图7尽管所有其他方法不检测他们在这个具有挑战性的数据集。卡式肺囊虫肺炎成绩表2显示两爪甚至检测精度高的零件。
数据8(一个)和8 (b)表明我们的算法的性能估算轴的方向,同时从不同角度阈值来度。很明显,图像的百分比,取向与偏差检测不到度。
(一)
(b)
5。结果的讨论
该方法显示实时高精度仪器关节定位性能。这个精度是归因于CRF模型建模工具之间的依赖关系部分,而其他方法不考虑这些依赖项和仅仅依靠单个部分检测。这些依赖关系都是建立在基于随机森林的输出训练只使用梯度(猪)特性作为一元检测功能。不像其他灰度追踪方法,依靠猪特性使我们在手术方法足够健壮照明的变化。此外,它减少了所需的训练样本训练大型仪器外观的变化。这就是为什么在第一个数据集,我们的算法只需要200个样本序列和它能够运行在测试图像倍大小的训练的。实际上,它可以运行在更长时间序列由于没有需要培训更多的样本占新的照明的变化。这已经被证实是通过运行算法其他看不见的序列,实现高绩效被认为是一个伟大的成就,我们的方法与先进的方法相比MC-15 [13]和ITOL [11]。此外,依靠检测结构配件使用猪特性为我们带来新的优势方法能够感觉到一些信心的信号。这个反馈是用于自动恢复过程,缺少在大多数其他方法,重新定位仪器消失后没有医生的干预。结果也提出了很高的卡式肺囊虫肺炎的大部分得分视网膜序列。然而,在序列8,卡式肺囊虫肺炎分数不高的其他序列由于模糊度的图像使爪边缘的检测非常困难。因此,连接势函数将无法给公平偏好一些配置。来到公共数据集,卡式肺囊虫肺炎分数的方法结果可比MC-15 [13]。然而,我们的方法的优点是工作能力没有停止对这些序列,而在序列2,MC-15 [13)需要手册仅处理从现场仪表失踪的两倍。比较腹腔镜数据集,我们的方法优于MC-15 [13)至少最多本地化仪器精度阈值的中心点,如图6和达到非常接近性能ITOL (11]。然而,ITOL不能检测到钳两个技巧以及它只是灰度跟踪算法。因此,我们的算法往往是更健壮的和实际真实的手术由于其定位能力,高精度仪表左和右技巧。
建议的方法的一个重要力量点是能够估计仪器轴的方向。与其他方法不同的是,方向都被视为一个部分在我们的CRF模型,和这个特点使得我们的方法成功全10月与10月的集成成像定位扫描根据给定的坐标和方向。角阈值结果显示还在估计精度高的仪器定位在所有序列不同的数据集。
6。结论
我们提出一个新的方法对本地化钳技巧和中心点以及估算轴的取向。模型的方法仪器检测、跟踪和姿态估计CRF的推理问题。建议的方法的性能评估在视网膜和腹腔镜手术使用三个不同的指标。算法生成所需的所有参数10月10月设备为了位置自动扫描在实际手术。它还实现了实时性能和工作实际手术序列。此外,它不需要手动初始化自跟踪仪器各部分通过不断检测和维护一个信心值检测自动初始化时是必要的。仪器的方法展示了高检出率关节长序列以及类似结果的最先进的方法,无需手动仅。
相互竞争的利益
作者宣称没有利益冲突。
作者的贡献
穆罕默德Alsheakhali和Abouzar伊斯拉米同样这项工作。
确认
这项工作是支持的德国慕尼黑技术大学研究基金会(DFG)和在开放获取出版资助项目。