识别损伤的微妙的形态和/或颜色变化在白光成像(WLI)内窥镜检查仍然是一个挑战。通常内窥镜图像遭受非均匀照明在整个图像由于曲率腔和内窥镜的照明光的方向。我们提出一种图像增强技术来解决上述缺点称为纹理和颜色增强成像(TXI)。TXI旨在加强三个形象因素" WLI(纹理、亮度和颜色)以明确组织的细微差别。在我们的方法中,retinex-based增强采用内窥镜图像处理链。Retinex-based增强结合颜色增强大大加重粘膜表面的色调差异。我们应用TXI动物内窥镜图像和评估TXI与传统内窥镜相比的性能增强技术,通常使用真实世界的图像处理技术,新提出了手术内窥镜图像增强技术。我们的实验结果表明,TXI可以提高亮度选择性地在黑暗的内窥镜图像领域,可以提高组织的细微差别细微形态或颜色变化等,同时防止over-enhancement。这些实验结果表明提出的潜力TXI算法作为未来的临床工具检测胃肠病变有difficult-to-recognize组织差异。
内镜检查在早期病变检测中起着重要作用降低胃肠道癌症相关的死亡率。大肠癌是最常见的胃肠道癌症在世界范围内,在2018年报告了180万例新病例和862000例死亡( 来提高检测性能,一些临床调查的有效性image-enhanced内镜(IEE) [ 在本文中,我们调查的内窥镜图像增强技术设计意图改善胃肠道损伤检测。正如上面提到的,很难识别病变" WLI微妙的形态和/或颜色变化。内窥镜图像经常遭受非均匀照明由于曲率腔和内窥镜的照明光的方向。非均匀照明可以使观察困难因为遥远的区域可能出现暗。我们提出一种新的图像增强技术来解决这些缺点称为纹理和颜色增强成像(TXI)。TXI旨在加强三个形象因素" WLI(纹理、亮度和颜色)来定义组织的细微差别明显。 一些图像处理技术提出了解决非均匀照明的真实世界的图像。直方图均衡化(他)和伽马校正(GC)是众所周知的和广泛使用的技术,因为他们的简单算法。在他整个图像的直方图调整平衡的灰度值和GC增强了亮度和对比度扩展和压缩明亮区域的黑色区域。然而,这些方法的主要缺点是图像中每个像素分别治疗不考虑相邻像素的输出图像与输入图像不一致。解决上面的问题,自适应图像增强技术,把每个像素相对于周围环境。例如,retinex理论( 为了解决上述缺点,我们提出一种图像处理技术修改retinex-based处理以提高组织的细微差别和维护" WLI外观。此外,我们还提出retinex-based增强色彩增强的组合极大地增强色调细微的颜色差别的帮助更容易识别。新奇的工作不仅是改善图像中光照不均匀性,提出了相关工作( 在本文中,我们目前TXI算法的内窥镜图像和定量评估指标验证TXI性能。另外,我们应用TXI动物内窥镜图像和评估性能的TXI相比对传统IEE方法用于临床实践,如结构增强[
本节介绍了TXI算法和定量评估指标用于内窥镜图像评价的定义。TXI,估计基础和细节层后,部分亮度调整应用维护的基础层的亮度和色彩明亮的地区平衡RGB组件。由于轻微的形态和颜色变化都包含在细节层,这种变化的对比度增强是通过使用细节层。对细节增强,我们提出的一个重要应用程序中修改retinex-based内窥镜图像的方法。在内窥镜图像,几个亮点往往由于镜面反射。自亮点通常非常小的区域和相当高的对比,这些都不是在基础层中提取,但在细节层对应于局部对比度亮度和颜色的场景。因此,增强细节层诱发强烈的增加亮点,这样可能会模糊图像增强斑点,导致错过了病变。要解决这个缺点,我们提出一个方法来消除亮点从细节层包括基础层的斑点。 TXI旨在加强三个形象因素(纹理、亮度和颜色)通过应用retinex理论。这个理论的基础是将图像分解成两个截然不同的层次根据人类视觉特点:基本层代表场景中的照明组件和一个细节层对应于局部对比场景的亮度和颜色。可以减少传感器的局部对比度色调映射自更大的动态范围传感器要映射到一个更小的范围。这一理论的目的是防止此类对比减少基础层的压缩,同时保持细节层。 TXI如图的流程图 分成两层 苏维埃社会主义共和国( 苏维埃社会主义共和国是由 正如上面提到的,通常亮点可以发生在内窥镜图像。由于亮点是非常小的区域和高对比度,这些都不是在基础层提取( 因此, 亮度调整 亮度校正的黑暗区域是由使用 在( 贴图色调 色调映射应用于纠正基础层要通过使用相同的功能目前用于内窥镜图像处理链。因为贴图色调通常是一个非线性过程,它需要相同的色调映射函数要保证颜色复现。贴图色调后的基础层 纹理增强 纹理增强是由使用 图像叠加 基本层色调映射和增强细节层要重组后使用 彩色增强 颜色增强然后应用于TXI mode2输出更清晰地定义轻微的颜色对比。特别是,苍白或红色区域增强早期病变检测的重要信息。颜色的区别 RGB输出TXI mode2转化为CIE1976洛杉矶 让我们定义 所示( 形象的例子所示的数字 几个定量评估指标被广泛用于评估现实世界图像的可见性。在内窥镜视觉评估,有一些研究的可见性进行了定量评估( 我们定义的标准偏差平均照明作为照明均匀性的度量。的度量可以被解释为一个指标亮度校正在黑暗的图像区域值越小,均匀性越好。在这里,得到图像的平均照明使用 正如上面提到的,颜色不同 我们定义EBCM作为图像的指标对比。EBCM被定义为之间的对比 SSIM是一个评价指标提出了(
TXI算法应用于内镜图像从动物实验获得。我们收购了内窥镜图像在食道,胃和结肠的麻醉猪验证TXI性能。在这个工作中,所有使用伊维斯LUCERA精英系统获得的图像和GIF-H290Z内窥镜(奥林巴斯公司(日本东京)。原始图像的预处理图像,即。、图像传感器输出。参考图像和增强图像从原始图像生成的计算机仿真确保相同的场景和入射角之间的粘膜的方法。我们定义了参考图像与传统的" WLI结构增强水平A3和增强图像TXI模型,TXI mode2,和传统或临床使用增强的方法,如结构增强水平A8和水生生物研究所颜色增强。结构增强[
的能力TXI选择性地增强图像的亮度是评估食管(图 接下来,TXI增强色彩对比的能力评估在胃的内窥镜图像(图 最后,由TXI纹理增强与其他方法相比了。如图
定量评价的亮度、颜色和纹理增强了使用三个图像如图 表
本文提出一项调查探索实施的可能性retinex-based增强的内窥镜图像处理链中的潜在改善病变可见性。几项研究retinex理论被用于提高内镜能见度已报告(
TXI可以提高亮度有选择地在黑暗地区的内窥镜图像和可以提高组织的细微差别等轻微的形态和/或颜色变化在传统的增强方法包括结构增强和水生生物研究所颜色增强。 总的来说,TXI提供了一个平衡改善图像特性的重要医生寻找异常(选择性增加亮度,更大的分色,和纹理增强)同时最小化总可能熟悉(自然)产生负面影响的变化。 尽管我们提出TXI算法优于其他增强技术,有两个主要的局限性。首先,苏维埃社会主义共和国( 我们已经描述了两种TXI模式在这个工作。我们的动物实验表明,TXI模型的色彩对比是更好的比TXI mode2自TXI模型直接扩展色调在洛杉矶 我们现在调查的临床相关性TXI算法运用到实际的临床内镜图像从上部和下部内镜获得。本次评估的结果将在不久的将来公布。TXI也可以结合光学图像增强技术如NBI TXI以来实现完全的内窥镜图像处理链。我们现在也正在调查,结合临床实践的可能性。此外,基于深度学习方法越来越多的被应用于内窥镜图像,尤其是对改善损伤检测。这些技术和TXI TXI以来预计将提高检测性能可以提高传统" WLI微妙的对比。在这方面,我们也探索的可能性,结合人工智能和TXI和即将到来的这次调查报告。
使用的数据来支持本研究的发现正在禁运而研究成果商业化。可用的数据可以在整个研究商业化,并请求数据将被相应的作者。
作者宣称没有利益冲突。
作者要感谢f . Hirano和美国Kuratani在获得他们的帮助和提供动物内窥镜图像数据。他是感激t . Iwasaki m . Yajima k . Takasugi k .山崎h·佐佐木和t .鹤冈发展中理论发展的建议。作者也感谢j . Thieman a . Ogawa j . Teresko和j . Nedick仔细校对。