文摘

微创手术的手术切口(MIS)最小化需要,因此减少了手术过程中涉及的物理创伤。最终的目标是减少术后疼痛和失血以及限制疤痕区,因此加速复苏。因此极大的兴趣的外科医生和病人。然而,管理信息系统的一个主要问题是外科医生的视野很狭窄。我们之前开发和测试一个MIS全景内窥镜(MISPE)为外科医生提供了一个广阔的视野。然而,一个问题与MISPE视频拼接的低利率。因此,在本文中,我们建议使用地区的兴趣结合缩编技术改善image-stitching MISPE的性能。实验结果证实,通过使用该方法,可以将图像大小增加了超过160%,也与图像分辨率提高。例如,我们可以实现的性能改进的10×(CPU)和23个×(GPU)比原来的方法。

1。介绍

在微创手术(MIS),外科医生使用各种技术操作同时确保病人进行尽可能少的切口。一般而言,管理信息系统是比开放手术更安全,允许病人恢复得更快而经历更少的疼痛和疤痕。现代管理信息系统是一个非常成功的手术方法,涉及到将手术器械和内镜镜头插入病人的身体通过小切口或自然孔。然而,有限的视野是外科手术的最具挑战性的方面。狭窄的内镜镜头阻止外科医生能够形象整个手术视野清晰。这可以使所涉及的过程困难,增加了不确定性。因此,管理信息系统是欠缺经验的外科医生尤其困难。

在图像处理领域,多个重叠的图像组合成一个更大的图像称为镶嵌或图像缝合。图像拼接的方法可以分为两类:直接法和功能的方法1]。在直接法的情况下,使用所有可用的图像数据,而不是从图像中提取一组稀疏的特性。因此,该方法可以提供非常准确的登记。然而,最初的估计参数必须谎言接近真正的解决方案,必须有一个高程度的重叠融合的图像。功能的方法,另一方面,不需要一个初始化过程,和算法,能够满足独特的图像特征,如尺度不变特征变换(筛选)2健壮的特性(冲浪)[],而且3,面向快速旋转短暂(ORB) [4),用于评估校准参数。此外,使用稀疏特性加速了估计过程和提高实时性能。全面审查这个方法已经发表的文献Szeliski [1]。

医疗应用程序功能image-stitching方法已经实现。例如,Zanet et al。5)提出了一种方法从视网膜图像的自动拼接裂隙灯使用冲浪。也有其他的研究在视网膜裂隙灯图像的拼接6- - - - - -8]。例如,霁et al。9]证明了融合图像的局部前列腺病变使用冲浪。

在微创手术中,已经有一些研究早在2009年左右完成。behren et al。10]证明了膀胱内窥镜图像序列的拼接视频使用筛选。之后,他们开发了一个多线程的图像拼接算法使用冲浪执行膀胱实时图像的拼接11]。Iakovidis et al。12)提出了一种新颖有效的可视化自动图像拼接方法使用传统的基于无线胶囊内窥镜视频的冲浪。最近,杨et al。13)提出了一个scene-adaptive功能获得的胎盘血管图像的拼接方法在计算机辅助fetoscopic程序使用冲浪。

图像引导手术技术的发展,图像配准是最关心的问题,特别是在gastroscopic手术。先锋试图使靶器官固定在显示屏幕上的图像和扩大视野FOV的内窥镜。刘等人。14)建立了胃镜检查的全景。他们利用一个追踪装置根据形象从单机胃镜dual-cubic投影方法来创建本地和全景视图在同一时间。2016年,胡锦涛等。15)提出了一种鲁棒图像配准技术,被任命为对应的补丁功能变换顺序gastroscopic图像。这两种技术将使gastroscopic胃镜检查容易处理和安全的手术。

因此,图像拼接是逐渐被应用在医学领域,技术的可行性和辅助性质对临床应用已经广泛的探索。然而,图像拼接是有限的合成图像以小的视野,如血管和尿道。此外,在上面描述的所有研究,马赛克图像序列获得从一个移动内窥镜摄像头。这只能屈服全景静态图像,并没有反映出可能发生的改变形状的外的器官或血管成像视野(FOV)。因此,很难应用在腹腔镜手术技术,其中内部器官的位置和形状变化频繁。

为了解决这个问题,我们提出了一个MIS全景内窥镜(MISPE) [16,17),是基于两个内窥镜摄像头的使用。MISPE为外科医生提供全景图片显示完整的手术区域和反映视场的变化由于使用两个摄像头。在这个MISPE系统中,我们发现拼接的图像质量和速度需要提高实际应用。改善马赛克图像的质量,在这项研究中,我们使用graph-cut技术(18)为了防止移动物体出现在重叠区域。此外,我们还使用多波段融合方法(19]平和缝合的结果。最后,为了提高image-stitching MISPE的性能,我们建议使用感兴趣的区域(ROI)结合缩减技术。

的功能图像拼接的过程由两个阶段组成:图像配准和图像合成。我们之前20.]介绍了两种技术(选择一个较小的区域从原始图像和使用放大图片)加快图像配准过程。然而,选择一个较小的区域只能用肉眼。当两个内窥镜摄像头移动接近或远离手术区域,必须选择两个小区域。这是很难在实际手术。为了解决这个问题,在这项研究中,我们建议使用ROI自动识别两个小区域,当两个摄像头。然后,我们把这种方法和降尺度技术加快图像配准过程。此外,这也加快了seam的面具估计一步image-compositing阶段。

剩下的纸是组织如下:部分2介绍了拟议的功能image-stitching算法,而部分3描述了全景视频技术来改善性能。实验结果描述和讨论的部分4,而部分5列出了结论和未来研究的方向。

2。提出了功能Image-Stitching算法

增加内窥镜的视角,我们设计了一个MIS全景内窥镜(MISPE)有两个镜头的尖端设备主要调查(图1)。在我们MISPE,它包含两个镜头,通过USB接口连接到电脑。在录像过程中,我们开发了一个基于功能的视频拼接模块image-stitching算法来创建一个全景图像,屏幕上显示一个图像。

的功能image-stitching算法包括两个阶段:图像配准和图像合成如图2。

有以下三个步骤:图像配准阶段发现的特性,这些特性匹配,然后找到单应性矩阵。这些步骤的目的是确定两个源图像之间的坐标关系。这个阶段是最重要的一个image-stitching过程,因为它直接影响image-stitching结果的正确性。

步骤1。发现在图像特征。
这个步骤包括两个任务:第一个是检测特征点,第二个是这些点的构建描述符。特征点的特征点是基于一个对象可以被在一个图像。因为特征点只提供独特的元素的位置,在不同的图像匹配他们需要描述他们基于提取的特征描述符(特征向量)。特征描述符表示的一个子集总像素邻域的特征点。有很多算法用于寻找特征点和提取它们的描述符,如筛选[2],[冲浪3],ORB (4]。在这项研究中使用的特征点搜索算法是冲浪(3),它允许图像缩放和旋转不变特征描述。因此,改变图像的观察角度和大小规模在一定限度内不会影响比赛结果的正确性。

步骤2。在不同的图像匹配特性。
下一步是在两个不同的图像匹配特征点(特征匹配)。匹配特性的过程定义两个特性在两个单独的图像之间的相似度的基于特征描述符之间的欧几里得距离(SSD): 在哪里和在两个特征点描述符的输入图像,分别。
在这项研究中,我们使用了nearest-neighbor-distance比率(19),这是最近的之间的距离的比值和second-nearest邻居。如果比例小,最近的邻居是一个很好的匹配。我们选择的比率0.8,可以消除90%的错误匹配而丢弃不到5%的正确匹配。这个结果是在一致性报告(2]。

步骤3。发现单应性矩阵(H)。
这一步涉及到使用随机样本共识(RANSAC)算法(21]删除不匹配的对应点对和随后估计剩下的单应性矩阵的基础上,设置相应的对。单应性矩阵是一个3×3矩阵与8自由度(自由度)如下所示: 在哪里代表单应性矩阵的元素。
图像配准步骤完成后,image-compositing阶段收益率广角图像。image-compositing过程也有三个步骤:图像扭曲,扭曲的图像,找到缝口罩和混合。

步骤4。经图像在同一平面上。
单应性矩阵确定后在图像配准过程中,如上所述,我们使用一个角度变换将两个源图像为两个扭曲的图像在同一坐标系中,这样它们可以获得最终的合成图像对齐。 在哪里一个像素的坐标是在源图像,一个像素的坐标是在扭曲的图像,然后呢在方程(代表单应性矩阵的元素2)。

步骤5。找到seam扭曲图像的面具。
如果摄像机不一致,他们会有不同的看法相同的场景,这将导致工件的外观,比如那些有关“偏差”或“重影”,缝合的结果。这一步是找到一个缝,防止“重影”的可能性缝合的结果。在这项研究中,我们发现最优接缝的图像使用graph-cut缝合技术(18]。

步骤6。混合扭曲的图像。
后的图像扭曲,seam仍在输出图像由于两幅图像之间的亮度差异。为了解决这个问题,我们使用多波段融合的方法19)有效抚平了缝合的结果。

3所示。速度提高全景视频

如前所述,在本研究中,我们提出一个方法来提高视频拼接使用两个内窥镜摄像头性能在MIS。视频拼接图像的拼接在一帧一帧的方式。本文第一帧和第二帧标签用于这两个图像捕捉视频1和2,分别。

传统的视频拼接算法如下:两个帧是两个输入图像。在图像配准步骤,算法搜索匹配的图像特征来确定单应性矩阵。接下来,两个输入帧转换为两个扭曲的框架。最后一步是找到一个seam为两个扭曲框架和混合。图3说明了这些流程与相关的图像结果。

一个重要的参数对视频拼接算法的执行时间。对于实际应用,需要一个实时视频拼接过程。因为图像处理的计算时间的大小正比于图像处理,大型或高分辨率图像需要很多时间。因此,该方法旨在改善video-mosaicing性能通过提高图像配准和图像合成,演示图4。下面的部分描述的详细过程。

3.1。加速图像配准

图像配准的目的是找到两幅图像之间的对应点对,随后确定两幅图像的单应性矩阵和变换表面在同一平面对齐。因为好的匹配对出现在两幅图像的重叠区域,使用两个小区域包含重叠区域的匹配也增加了准确性和加快寻找最初的两幅图像的对应点对。

在腹腔镜手术中,两个内窥镜摄像头的运动不是太快。因此,重叠区域的位置和大小的两个当前帧和前两个不是很不同。此外,前一帧的重叠后image-stitching过程决定。因此,该技术使用重叠区域的大小和前两帧的位置来确定两个小区域的当前帧匹配。这个地区被称为投资回报率。图5描述了我们如何定义框架的ROIt和小区域框架t在图像拼接+ 1。

3.2。定义感兴趣的区域(ROI)

发现单应性矩阵后,我们使用一个视角转换,以将第二帧转换为第二帧在第一帧平面(图6)。然后,我们定义了一个矩形,这样第二帧第一帧的边缘平行。第一帧的ROI是第一帧在这个矩形的交集(绿色矩形ABCD)。以同样的方式,第二帧的ROI是由第一帧转换到同一个框架2架飞机。

我们假设第二帧转换后的四个角落 , , ,和 。因此,第一帧的ROI区域的位置的宽度和高度在第一帧。他们的参数定义如下:

匹配的两个ROI可以减少计算时间,如果两个ROI是降低到一个较低的分辨率(调整ROI区域)。缩小的图像,使用双线性插值算法。resized-scale值可以手动输入加速图像配准过程。因为单应性矩阵由九个元素(包括最后一个元素,等于1),至少需要四个对应点来确定矩阵。因此,选择刻度值的数量,以确保良好的匹配不小于4。在许多实验的情况下,我们选择了刻度值的原始图像可以调整图像的分辨率为320×240。

使用的两个调整ROI区域匹配操作,图像中特征点的坐标变化。因此,两个原始图像的单应性矩阵必须改变。确定单应性矩阵的算法如下:

步骤1。确定两个小区域从当前帧。该地区将整个帧的头两帧。后续帧的地区确定基于ROI的大小和位置的前两帧。

步骤2。调整两个小区域在低分辨率(缩放小区域)。

步骤3。使用冲浪算法来确定两个缩放小区域的单应性矩阵(H矩阵),如图像配准中所述步骤图2。

步骤4。计算单应性矩阵的两个当前帧。 单应性矩阵, ,是用于转换调整ROI 2在同一平面的调整ROI 1。此外,和左上角的坐标是角落的ROI 1和ROI 2,分别在坐标系统,而是resized-scale价值。

3.3。加速图像组成

图像配准过程已经完成后,我们使用单应性矩阵变换两个坐标系在同一平面(扭曲帧)。下一步是找到这两个扭曲的缝口罩帧。目标是确定最优边界的两个重叠像素图像以减少视觉工件。在这项研究中,我们使用graph-cut算法(18),以确定最优两个扭曲框架之间的缝。

然而,graph-cut算法需要大量的时间。graph-cut算法的计算时间从OpenCV图书馆两个图像分辨率640×480平均超过2 s CPU版本和超过1.5年代的GPU的版本。此外,计算时间图像大小成正比。为了加快这一进程,我们建议使用投资回报率确定煤层的面具。然后,我们调整两个roi分辨率较低,以减少计算时间估算煤层面具。下面的细节呈现(图4):

步骤1。决定ROI 1 warped-Frame warped-Frame 2中1和ROI 2使用方程(4)和(5)。

步骤2。调整ROI 1和ROI 2低决议找缝面具(ROI-seam-masks)。

步骤3。调整这些ROI-seam-masks原始分辨率。

步骤4。然后,复制这些ROI-seam-masks位置使用方程(4)为了获得两个缝口罩的两个扭曲的帧。

4所示。结果与讨论

OpenCV和OpenCL编程语言都是用于拟议的技术。程序使用英特尔被处决我3 CPU和GTX750Ti Nvidia GPU和8 GB RAM。GPU中起着重要作用的优化处理。缝纫性能可以被执行的CPU和GPU加速同时操作。两内窥镜摄像头使用相同类型的(2.0 MP USB数码显微镜)。

4.1。视频拼接结果

验证该算法的有效性,我们进行图像拼接两个视频同时使用一个幽灵模型和体内动物实验。

图7(一)显示了两个输入通过两个内窥镜摄像头捕获的图像在幽灵的实验,而图7 (b)显示了两个输入图像的匹配特性,和图7 (c)显示了缝合的结果。因此,图像证实该方法可以扩大视场的原来的160%。

图8(一个)显示了两个输入图像捕获来自两个视频在体内动物实验,图8 (b)显示了两个输入图像的匹配特性,和图8 (c)显示了缝合的结果。因此,可以看出,该方法可以扩大视场的原来的155%。

4.2。改善视频拼接速度

了该方法的有效性与传统的一个。本节中描述的结果比较。缝合视频是使用两个内窥镜摄像头的中等分辨率(640×480)。该项目用于性能比较是CPU和GPU上执行。

4.2.1。准备图像配准结果

数据9和10显示计算时间帧图像配准步骤使用CPU和GPU执行,分别。视频的分辨率为640×480,我们选择resized-scale值2,同时确保良好匹配的数量是足够高的。对于更大的分辨率视频,resized-scale价值选择是高,允许进一步改善性能。

表1表明该方法允许计算速度的增加(CPU)的10.75倍和3.1倍(GPU)作为常规方法相比。

4.2.2。Seam面具估计结果

数据11和12seam面具显示计算时间估计(逐帧)使用CPU和GPU执行,分别。视频的分辨率为640×480,我们选择resized-scale值10,同时确保缝估计质量高。对于更大的分辨率视频,resized-scale值会更高,导致额外的性能改进。

从表可以看出2,该方法增加了速度寻找seam面具(CPU)的153倍和140倍(GPU)相比,这些传统的方法。

4.3。讨论

image-stitching过程包括图像配准和图像合成。此外,image-compositing阶段本身有三个步骤:图像的扭曲,找到缝口罩,和图像的融合。从上述结果,我们可以计算image-stitching过程的总时间。

表3显示了视频拼接过程的平均时间(即没有改进。,(即传统的方法)和改进。该方法)连续2000帧。因此,可以看出,该方法在提高图像配准和图像合成。

可以看出,传统方法以2.97秒的CPU和GPU 1.838秒,这意味着帧率约为0.34 fps CPU和GPU 0.54帧/秒。因此,传统的方法是缓慢的CPU和GPU image-stitching操作。

表3显示了该方法的结果,它的帧速率为3.33 fps的CPU和GPU 12.82帧/秒。这意味着,该方法结果的改进在CPU和23日10××在GPU相比传统的方法。

数据13和14展示传统的拼接结果和提出方法。(a)的图像输入图像,而在(b)显示功能匹配的结果。(c)中的图像显示(d)的拼接结果虽然显示了地面实况。可以看出,使用该方法的拼接结果一样自然地面真理。此外,缝纫速度由我们提出的方法是提高图像质量并不是退化(图14)。

然而,该方法有两个缺陷。第一个是,当两个内窥镜摄像头移动快,前两帧之间的重叠和当前的两个差别很大的位置和大小。因此,该方法不能应用在使用前一帧的ROI坐标来估计当前帧的小区域。然而,这是不太可能发生在腹腔镜手术中,快速运动模糊图像捕获的相机。允许相机速度取决于相机传感器和被发现大约2.5厘米/秒。第二,两个当前帧的图像配准可以失败由于图像质量不佳或因为重叠区域是失踪。这将导致一个错误或丢失的ROI。因此,后续的图像配准框架也将失败。

识别图像配准的情况下失败,我们确定的数量和质量两个坐标系之间的匹配对。如果这个数小于4,可用方程的数量不足以确定单应性矩阵。另一方面,即使数量大于4,很少有完全配对,它们中的大多数都是不准确的;在这种情况下,即使是单应性矩阵,和第二帧将被转换为nonquadrilateral或不规则形状如图(15日)和15 (b)。因此,缝合结果将扭曲和毫无意义的外科医生。当遇到这些情况,当前帧的ROI将整个框架和以下image-compositing阶段将被忽略。缝合过程将重新开始下一帧。

在这项研究中,我们旨在执行从多个内窥镜摄像头实时拼接的图像。在数据16和17、拼接结果四个相机在两行排列。

图像显示相机的视角可以延长大约300%。然而,在目前的研究中,我们只关注缝合两个内窥镜摄像头捕捉到的图像由于管理信息系统的实时操作要求。

5。结论

在这项研究中,我们提出一个MISPE与更广泛的视野。我们已经提出了一个规模ROI技术可以结合冲浪提高注册的速度。此外,我们还结合规模ROI graph-cut算法加快图像组成。实验结果表明,MISPE能增强图像大小的160%。相比传统的方法,提出了一个结果的性能改进10×(CPU)和23个×(GPU)。拟议的技术也可以用来缝合相机视频从一个或多个的。这项技术被证实是有效的两个大型和高分辨率的图像。视频的帧率缝从两个内窥镜摄像头分辨率为640×480年确定为12.82 fps。在未来,我们打算进一步提高实时性能的缝合操作时使用多个内窥镜摄像头。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者想表达他们的特别感谢科技部支持的科研补助金(大多数)合同号下的106 - 2221 - e - 035 - 095。